モニターもマウスもキーボードもいらない世界
マイクロソフトが自社開発したハードウェア、自己完結型のホログラフィックコンピューター「HoloLens」は、これ自体がWindows 10を搭載したコンピューターになっている。CPUもメモリも載せており、コンピューターとしての処理もできるし、これ単体で動く。
また、よくあるVRのヘッドセットとは違い、ケーブルでパソコンにつなぐ必要がないので、かぶったまま自由に歩き回ることができる。そして大きな注目は、これもまたマイクロソフトが独自に開発したジェスチャー・音声認識によって操作ができる「Kinect／キネクト」で培ったセンサーが搭載されていることだ。上田氏は言う。
「空間を認識したり、距離を測ったりするカメラや赤外線のセンサーを搭載していて、リアルタイムで実際の空間をスキャンしていきます。目の前のテーブル、壁など、現実の物理空間にあるものは、3DデータとしてHoloLensの中に取り込まれていきます」
ヘッドセットを装着すると、VRのデバイスではコンピューターの世界に没入することになるわけだが、HoloLensは違う。コンピューターの世界だけでなく、現実世界も見られるのだ。少し淡い色のついたサングラスのようなものを通してしっかり見えるので、普通に歩き回ることができる。
操作は視線・ジェスチャー・音声で行う
また、目からの情報だけではなく、耳からの音の情報も入れることができ、音源の位置も固定することができる。上田氏は言う。
「仮想の犬を後ろに置いたとすると、ワンワン吠える声は後ろから聞こえてくるようになります」
そして、これがまさに未来的、といえるかもしれない。どうやってこのHoloLensというコンピューターを動かすか、だ。視線とジェスチャーなのである。
「ケーブルでパソコンにつながっているわけではありませんから、キーボードやマウスでは操作しません。ヘッドセットをかぶると、真っすぐ前にカーソルが出てくるんですが、頭を動かして動かすんです」
ヘッドトラッキングと呼ばれている。頭の向きでカーソルを動かすのだ。そして指示を出すときには、手のジェスチャーを使う。ジェスチャーは3種類。ひとつはエアタップ。指をまっすぐ向けた状態で認識させ、下にすばやく下ろす。これがクリック操作。
タップ＆ホールドは、つまんで動かして離す。そしてブルームは、上に向けて手を開く。アプリケーションをキャンセルしたり、スタートメニューを出すときに使う。これをHoloLensデバイスの前で行っていくのである。
「ジェスチャーだけではなく、音声コマンドもあります。利用するシーンやシナリオに応じて、マウスやキーボード、XboxのコントローラーをBluetooth接続で使うこともできます」
Windows 10が搭載されているので、Windows 10で使える形式の「Office」や「Excel」も使うことができる。HoloLensを装着したまま、現実の空間がスキャンされた中に、さまざまな仮想現実を取り入れ、しかもOfficeやExcelのデータも開くことができるのである。
「それこそ、もうこれからはモニターがいらなくなるかもしれません。しかも、現実空間を3Dで認識しています。ポケモンGOで背中が見られないのは、2Dの画面の中にポケモンが出てきているだけだからです。もし、HoloLensでこのゲームをやれば、3Dで出てきて、実際の大きさを身体で確認できたり、360度、回り込んで見ることができるようになります。コンピューターとセンサーを搭載し、現実空間をちゃんと認識できる、立体型にした初めてのコンピューターがHoloLensなんです。よく言うのは、映画『スター・ウォーズ』で、レイア姫がホログラムで出てきますが、あの世界を実現してしまった、ということなんです」
現実空間で3Dを認識できる
