ソニーの新技術「360 Reality Audio」とは?

 CES 2019のソニーブースで目玉となっていたのが「360 Reality Audio」の技術だ。CES 2019出展内容は技術を中心したものでコンセプト展示とも呼べるが、CES 2019のタイミングで「Deezer」「nugs.net」「Qobus」「TIDAL」と4つのサービスと連動して提供することが発表された。

 「360 Reality Audio」の技術の詳細をソニー株式会社R&Dセンター 基盤技術研究開発第1部門オーディオ技術開発部5課統括課長の知念 徹氏による解説を元にCES 2019の出展内容と共に紹介しよう。

ソニー
ソニーのプレスカンファレンスで発表された「360 Reality Audio」
ソニー
「Future of Music」として書かれた専用のデモルームが設けられていた

 360 Reality Audioとは、全方位からの音に包まれるまったく新しい音楽体験を目指したサウンフォドフォーマットだ。そのコンセプトとして掲げているのは、演奏や録音の現場、音楽の生まれた空間をリアルに再現すること。

 音楽フォーマットとしての特徴は「オブジェクトベースオーディオ」であるということ。他社の技術ではドルビーが映画の世界で提供する「Dolby Atmos」がもっともメジャーな例だが、オブジェクトオーディオとは音情報を従来の2chや5.1chといったチャンネルベースではなく、3次元の位置情報を持った“オブジェクト”として収録して配信され、再生時に“レンダリング”により空間のなかに復元して再生する技術。

 「オブジェクトオーディオ」では耳より高い位置や後方という位置も、意図通りに収録できるし、転送できる再生の際に鳴らすスピーカーの数が足りない場合や、ヘッドホン再生でも位置情報を元にバーチャライズ技術で再現される。

360 Reality Audioのターゲットは
ストリーミングサービス

 それを踏まえた上で360 Reality Audioの特徴を解説すると、まず音楽体験、特にモバイル・ミュージック・ストリーミングをターゲットとしているということ。

 また、音を配置できるのは360度の“全天球”。これは360度の表現にリスナーのより下方向の“南半球”も含み、従来にない足元方向の音の位置表現を可能にする。音源の圧縮方式にはオープンフォーマットである「MPEG-H 3D Audio」を用いており、オブジェクト数/ビットレートのによりレベル1では10オブジェクト(640kbps)、レベル2では16オブジェクト(1024kbps)、レベル3では24オブジェクト(1536kbps)を規定。

 レベルに応じて通信容量にあたるビットレートも上がる設定で、どのレベルで提供するかは事業者が選択可能だが、レベル3のレートは現状ではWi-Fi向け、あるいは現在のモバイル通信よりも5G回線普及後を見据えた規格と考えて良いだろう。

 360 Reality Audioの再生には、360 Reality Audioの制作環境と同じ360度全体の空間を取り巻くように配置され標準13個(耳の高さのフェイスレベルに5ch+高い位置に5ch+前方足元に3ch)のスピーカー構成が基本となっている。

 ただし、これはあくまで360 Reality Audioの制作環境やサウンド・デザイン上の規定で、ターゲットとなるモバイル・ミュージック・ストリーミングではアプリで受信することになり、アプリ側にHRTF(頭部伝達関数)によるバーチャライズを標準で提供。専用のハードウェアを用意することなく、アプリ+2chのヘッドホンで利用可能だ。スピーカー数については対応したハードウェアと組み合わせることで、スピーカー構成数を任意に減らしたシステムも構築可能となっている。

ソニー
CES 2019会場内にも13個のスピーカーを設置したデモルームを準備

スマホのスペックが上がったからこそ実現できた技術

 なお、オブジェクトベースオーディオは基本的に再生側のハードウェアの負担が大きな技術で、再生機側でレンダリングする360 Reality Audioも例外ではない。特にオブジェクトの数がもっとも多いレベル3では、最大24オブジェクトをレンダリングし、13chのスピーカーに対してHRTF(頭部伝達関数)を左右の耳用に合計で26ch計算するという膨大な処理をリアルタイムで行なうことになる。

 ただ、これも処理レベルとしては現在のスマホのミドルクラス程度のスペックから対応可能な程度。ある意味、そうした再生側(スマホ)の環境が整ってきたからこそ360 Reality Audioは発表可能となった技術とも言える。

 ソニーは業界内に360 Reality Audioの制作、配信、再生まで、一気通貫のシステムを提供。ライセンスの認証をする訳ではなく、オープンなサウンフォドーマットとしてエコシステムを構築していこうというのがソニーの狙いだ。

360 Reality Audioの包み込まれる音楽再生を体験

 CES 2019の会場に用意されていた360 Reality Audioでは、視聴者の耳の形に合わせたキャリブレーションも含めてデモンストレーションを実施。まず、13個のスピーカーを用いたリファレンスルームで、耳の中に測定用マイクを入れた形でスピーカーで再生して測定。これによりユーザーごとの聴覚特性に合わせたキャリブレーションができ、その後ヘッドホンを装着した状態で音楽を流すと、スピーカーと同じ音場で再現できる。

ソニー
CES 2019のデモでは耳にマイクを入れてユーザー毎の聴覚特性を計測

 実際に360 Reality Audioのサウンドを体験してみると、楽曲はポップミュージックをリスニングしたが、音楽制作の時点で頭上の斜め後ろの位置にボーカルが配置されていたり、楽器が自分を取り巻くように聞ける、没入感あふれる音楽制作が行なわれていた。バスドラムの音は前方足元の下の方で響いており、制作の時点で南半球も活用されていて、まるでアーティストの演奏しているステージの真っ只中で音楽を聞くような臨場感となっていた。

ソニー
360 Reality Audio再生中の様子。デモ画面ではオブジェクトの動きも確認できた

 そして、マイクによるキャリブレーションを済ませてヘッドホンで音楽を聞くと、自分の周囲を取り巻くような音のレイアウト、そして頭上の斜め後ろから流れるボーカルの位置感までほぼ完璧に再現! 実際に音楽の流れているヘッドホンはもちろんステレオなのだが、制作側の意図通りに再現される。

ソニー
今度はヘッドホンで360 Reality Audioの同じ音源を再生

 普及にあたって、CES 2019で実施したような耳に測定マイクを入れるキャリブレーションはできないのは当然のこと、標準状態のままでもHRTF(頭部伝達関数)によるバーチャライズも利用可能だ。

ワンボディーのスピーカーで
360度のサウンドが可能!

 また、360 Reality Audioのユニークな技術として、ユーザーがスマホのアプリを通して自分の耳の形状を撮影することで、画像を元に耳の形状による音の反射をシミュレートし、チューニングする事もできる。

 そして、CES 2019の会場で実施されたもうひとつの360 Reality Audioデモンストレーションが、なんとワンボディーのスピーカー(内部は3ch+3ch+1chの構成)によるサウンド再現だ。デモンストレーションは水滴のような自然音と音楽で行なわれていたが、実際の360 Reality Audioのサウンド効果として高さ方向と耳の後ろの高い位置まで、ある程度の再現に成功していた。あくまで技術デモンストレーションだが、空間の中に1個のスピーカーを設置するだけで、360度の方向を持った臨場感溢れるサウンド表現が可能と考えると夢も広がる。

ソニー
ワンボデイーのスピーカーによる360 Reality Audioのデモ

 360 Reality Audioの新しいサウンドフォーマットが登場する事もあり、まずは「コンテンツがどう増えていくのか?」が普及のカギを握る。制作ツールについてはオブジェクトオーディオで音をレンダリングできるツール、そしてマルチトラック音源をコンバートして制作を開始できるツールをソニーが開発。360 Reality Audioに賛同しているソニーミュージック、ワーナー・ミュージック参加アーティストの楽曲を提供する、世界中のスタジオへの提供をスタートさせている。

 そして、配信についてはCES 2019のタイミングで「Deezer」「nugs.net」「Qobus」「TIDAL」と4つのサービスによる連携が発表済み。最後に再生環境についてはスマホが利用可能で、アプリ側にバーチャライズ技術が標準で提供される。

 360 Reality Audioは、ソニーにとってクリエイターとユーザーをつなげるという、まったく新しい体験を届ける技術。そして、スマホと一般的な2chのヘッドホンで利用可能と普及に向けてのハードルもさほど高くはない。CES 2019で4社の提携音楽サービスが発表された事もあり、早期の登場に期待が高まる技術だ。