Apple Glass は正確な 3D オーディオで AR を現実のものにする可能性がある

AppleのARヘッドセットとか「アップルグラス「スマートグラスは、3D 空間で音が発生する場所と一致する方法で音を正確に再現することにより、現実世界のビュー上に置かれたデジタル画像に合わせてリアルな音響効果を提供する可能性があります。

ゲームおよび仮想現実システムはすべて、視覚に付随してある程度の音声フィードバックをユーザーに提供します。の場合拡張現実、デジタルで作成されたアイテムを現実世界のビューで見るという体験は、何らかの方法で操作されたときの効果音によって簡単に強調される可能性があります。

音声はビデオの幻想を売り出すのに役立ちますが、いくつかの制限があります。一般的なステレオヘッドフォンのセットアップでは、基本レベルで左右の区別がある程度限定されていますが、バーチャルサウンドシステムは、サウンドエフェクトのプロパティを変更して、位置に基づいて歪みを模倣することで 3D 位置を偽装できます。

たとえば、ユーザーの頭の後ろで再生される音はくぐもりますが、正面から再生される音ははるかに明瞭になる可能性があります。ただし、これは便利ではありますが、耳、頭、体などの生理学的要素の違いによって、特定の位置での騒音から人が聞くことを期待する内容が変化する可能性があるため、その効果は本当に信じられるものではありません。

で特許火曜日にAppleに付与された「バイノーラルサウンド再生のための頭部伝達関数選択」というタイトルで、Appleは、頭部伝達関数(HRTF)と呼ばれるものを備えることで、仮想3Dサウンド定位の効果をより良くできると考えている。これらは事実上、環境内の 1 つの場所から耳への音の伝達を特徴付ける、各耳用の 1 対の音響フィルターです。

各 HRTF は、空間聴覚の期待に関する人々の違いに合わせて、多くの要因によって異なります。家庭用電化製品を使用する個々のユーザーの HRTF を実際のレベルの精度で作成するのは比較的時間がかかるか非現実的ですが、一般的な「平均」HRTF を使用するか、または最も近い HRTF を選択する可能性があります。ユーザーのニーズ。

さまざまな HRTF 設定を経験しているユーザーのグループの評価マトリックスの例。

次に、HRTF はバイノーラルシミュレーションデジタル信号処理アルゴリズムの一部として使用され、オーディオ録音をバイノーラルサウンドとして再生し、ヘッドフォンを通じて再生されます。

この特許は、データベースを厳選して少数に絞ることで、必要なものに最も近い HRTF を選択するというアイデアを中心にしています。剪定プロセスには、身長、性別、人種、年齢など、ユーザーの基本的な特徴からかけ離れたオプションを取り除くことが含まれる場合があります。

データベースをより少ない数に削減すると、最も正確な HRTF が使用される可能性が高まると特許ではアドバイスされています。初期設定の後、システムは、使用するために最も適切な HRTF を選択するために、縮小されたリストから選択を最も一般的なものに絞り込むことができます。

システムをさらに支援するために、ユーザーのオーディオデバイスでバイノーラル測定を行うことが提案されます。デバイスを 1 人のユーザーのみが使用している場合、測定は 1 回だけ実行する必要がありますが、どの HRTF が最適であるかについて他の情報が得られる可能性があります。

システムは、リスナーの特定の設定ではなく、リスナーの HRTF に最も一致するものを検索します。

また、ユーザーをグループ化することで、さまざまな HRTF の大量使用を監視して、選択を改善できる可能性があることも示唆されています。たとえば、20 ～ 25 歳のユーザーが特定のプロパティを持つ HRTF を好むことがわかっている場合、将来それらの設定に一致するユーザーに遭遇した場合、システムはその特定のフィルターを選択することになります。

出願書類には、発明者としてダリウス・A・サトンガー氏、ジョナサン・D・シェーファー氏、マーティン・E・ジョンソン氏、ピーター・V・ジュピン氏が記載されている。

Apple は毎週多数の特許を出願しています。出願書類の存在は、企業の研究開発活動の関心分野を示していますが、そのコンセプトが将来の製品やサービスで使用されることを保証するものではありません。

Apple のオーディオ処理により、次のような製品が生まれました。ホームポッド、そしてそのパススルーAirPods Pro にはノイズキャンセリング機能が搭載されていますが、サウンド関連のアイデアは引き続き開発されています。

2019年12月に、特許「クロストークキャンセラーを使用して仮想サウンドをリスナーから遠ざけるシステム」では、デバイスのスピーカーとは別の場所からサウンドが発せられているように見せる、同様の空間オーディオトリックを実行します。

この特許が適用される可能性がある適切な場所の 1 つは、Apple の長年噂されている AR メガネ「Apple Glass」です。 AR を使用し、ユーザーが見て操作できるデジタルアイテムを現実世界の環境に適用すると考えられているため、オーディオ再生を完璧にすることで、着用者にとって存在しないアイテムをより信じられるものにすることができます。

関連する特許「マルチモーダルオーディオを備えたディスプレイデバイス」と呼ばれるこの提案は、提示されるオーディオの種類に合わせて調整されるイヤピースをヘッドセットに搭載できることを示唆しています。