Apple、「Apple Glass」およびその他の AR 用途向けの新しい 3D 空間オーディオ形式を開発

ARKit の 3D モデルと同様に、Apple は、ユーザーが動いているときでも、装着しているときにユーザーの周囲に音を配置しやすくする新しいオーディオ形式を開発しています。アップルグラス」、またはおそらく同社とピクサーとの取り組みに基づいた他の AR デバイス。

Apple は以前、アップルAR、しかし現在はそれに伴う高品質オーディオの生産も目指しています。同社は 2 つの新しい特許出願で、空間オーディオに関するオプションを調査しています。

具体的には、Apple は、AR に必要な追加の空間情報を組み込んだ、標準となる .MP3 や .AAC のようなオーディオ形式を確立したいと考えています。この形式には実際のオーディオが含まれている必要がありますが、要素をステレオ画像の左側で再生するか右側で再生するかということだけではありません。 Apple は以前、ユーザーの周囲の 3D 空間にオーディオを配置するための USDZ と呼ばれるフォーマットで Pixar と協力しました。

「空間オーディオ用ファイルフォーマット」が新たに登場特許出願、ピクサー作品の少なくとも一部を記録している可能性があります。しかし、アップルは、以前に言ったUSDZ の目的は、メッセージ、ニュース、メールなどのアプリ間での共有を支援することです。

「拡張現実 (AR)、仮想現実 (VR)、複合現実 (MR) アプリケーションで 3 次元 (3D) サウンド効果を生成することは困難です。既存のオーディオ形式はもともと物理環境で 3D サウンドを生成するために設計されているためです。スピーカーの位置が固定され、リスナーが固定されている」と Apple は新しいアプリケーションで「映画館など」で説明している。

Apple は AR、VR、MR を総称して Simulated Reality (SR) と呼んでおり、3D オーディオの多くの既存フォーマットを基にして構築したいと述べています。「[たとえば] 3D サウンドを生成するように設計された空間オーディオ形式には、MPEG-H (Moving Picture Experts Group) 3D オーディオ標準、HOA (Higher-order Ambisonics) 空間オーディオ技術、および DOLBY ATMOS サラウンドサウンドテクノロジが含まれます。」と続けています。

問題は、聴衆がサウンドを認識する場所と、クリエイターがエフェクトや音楽を配置する場所を選択できる場所の両方に関係します。「SR 環境で 3D サウンド効果を生成するための代替手段の 1 つは、3D 環境のどこにでも仮想的に配置できるオーディオオブジェクトに含まれる個別のサウンドを操作することです」と Apple は述べています。

「[ただし、既存の空間オーディオ形式やオブジェクトを使用して SR アプリケーション用のオーディオを作曲することは、さまざまな音源にアクセスして動的な SR 環境に組み込むための統一された方法がないため、困難です。」と続けています。

Apple が提案した解決策は、.m4v と .mp4 がさまざまな要素をグループ化する「コンテナ」形式であるのと同様の形式を作成することです。 Apple の新しい空間オーディオ要件の場合、同社は、「シミュレーテッドリアリティ (SR) アプリケーション開発者が SR アプリケーションで使用するサウンドを作成できるようにするアセットメタデータを含むオーディオアセットライブラリ」を作成することを提案しています。

Apple によれば、「オーディオアセットは、SR アプリケーションに組み込むことができるサウンドをエンコードしたオーディオデータと、サウンドがどのようにエンコードされたかだけでなく、SR 環境のリスナーがどのように体験するかを説明するアセットメタデータを含めるためにフォーマットされています」音。

この特許出願は 4 人の発明者によるものであり、そのうち 2 人は関連する以前の特許を所有しています。 Stephen E. Pinto が以下に関する特許に名を連ねています。空間オーディオナビゲーションたとえば、「Apple Glass」の場合、クリストファー・T・ユーバンクは次の計画に取り組んできました。高解像度の画像Apple AR デバイスで。

両方の発明者は、新たに明らかになった別の発明でクレジットされている人物の一人でもあります。">関連特許「空間オーディオアップミキシング」に関係します。

オーディオを 3D フォーマットに結合する方法を示す特許の詳細

従来のオーディオでは、プレゼンターが話している下で静かに再生される音楽は通常、ベッドと呼ばれます。 Apple の提案では、この用語を取り入れて、より複雑な空間オーディオシステムに使用しています。

「空間ベッドは、完全な音場記述、たとえばシミュレートされた現実環境でシミュレートされた現実のリスナーを取り囲む仮想音の球体などを表すマルチチャンネルオーディオコンテンツです」とそれは述べています。「新しい空間ベッドは、少なくとも 2 つの空間ベッドのセクションを結合することによって生成されます。」

現在のオーディオ専門家は楽器や要素の左右の位置を意識しますが、Apple は代わりに球体について考えるというこのアイデアに基づいています。

「新しい空間オーディオオブジェクトは、新しい空間オーディオオブジェクトの聴取位置、例えばカスタムミックス球の中心の周囲の音場を定義する仮想音源の球状アレイ（仮想球）を含む場合がある」とAppleは述べている。

現在、一般的なサウンドエディタアプリではオーディオを波形として平面的にグラフィカルに表示していますが、Apple はオーディオを球体で表示する新しいシステムを提案しています。

「このプロセスでは、新しい空間オーディオオブジェクト (新しい空間ベッド) を、たとえば SR 環境などで別個の新しい地球儀として視覚化し、内部にいるサウンドデザイナーの視点から新しい地球儀の表面を表示することもできます。新しい地球儀、たとえば、新しい地球儀の中心または外側にあります」とアプリケーションは言います。

「これは、SR 環境では、新しい地球の壁の内側 (または外側) に手を伸ばし、手持ちのブラシやスプレー装置を使って絵を描くサウンドデザイナーの仮想の手として表現される可能性があります。」と続きます。 (入力空間オーディオオブジェクトの) 選択されたサウンドがレンダリングされます。」

Apple は、このアプリケーション内で Logic Pro の将来の 3D バージョンを名前で参照することはありません。また、最初のファイル形式の特定の名前も提案していません。

ただし、Apple が技術的優位性を認識してオーディオ形式を擁護するのはこれが初めてではありません。独自に作成されたものですロスレスALAC形式、そしてまたMP3ではなくAACを選択しましたiTunes ストア用。