Apple、「Apple Glass」オーディオとAR画像をダイナミックにブレンドするソフトウェアを開発中

アップルARメガネかVRヘッドセットには、さまざまなリスニングモードを提供できる切り替え可能なオーディオシステムが含まれる可能性があり、また、現実世界の景色と仮想画像を高速でスムーズにブレンドできるシステムも組み込まれています。

よく噂されているようなアイテムアップルグラススマートグラス、拡張現実または仮想現実ヘッドセットは、ユーザーに説得力のあるビジュアルと完全な没入感をもたらす十分なオーディオを提供することに依存する必要があります。ただし、どちらの要素も、ヘッドマウント ディスプレイを製造する企業が克服しなければならない独自の問題を抱えています。

ヘッドセットオーディオ

オーディオの場合、AR やスマート グラスのオーディオ ニーズと VR のオーディオ ニーズには大きな違いがあります。前者は音声を制限し、環境の残りの部分を聞くことができるようにすることを望むかもしれませんが、VR の使用は通常、外部の音をブロックして、仮想世界の音声だけを残すことに依存します。

現在のヘッドセットは、ユーザーが独自のヘッドフォンを用意する必要がある場合にはこれを実現できますが、オーディオ システムが内蔵されているヘッドセットは通常、ユーザーが望むほどの柔軟性を提供しません。

で特許火曜日に米国特許商標庁によって付与された「マルチモーダルオーディオを備えたディスプレイデバイス」というタイトルの特許で、アップルは、ヘッドセットの支持構造上の位置間を移動できるオーディオコンポーネントを備えたヘッドマウントビジョンシステムについて説明しています。

上げた位置では、イヤホンはスピーカーとして機能します

Appleは、オーディオシステムが、可動式イヤホンシステムのスピーカーを耳から少し離れた位置に保持して使用するエクストラオーラルモードと、スピーカーを外耳道内に配置するイントラオーラルモードを切り替えることができると提案している。エクストラオーラルでは、システムは外部の音をより明確に聞くことができますが、2 番目のバージョンでは環境音がユーザーに聞こえるのをさらに妨げます。

Apple は、モードを切り替える際に、各イヤホンに 1 つのドライバーを使用することを提案しています。これにより、2 つの異なる位置に合わせて、異なるポートを介してサウンドを投影する方法を変更できます。これには、ウーファーが耳に近いかどうかに応じてウーファーの出力レベルを調整したり、音の動きを変える可能性のある切り替え可能な物理的要素も含まれます。

下げると、イヤホンは外部ノイズを遮断し、内蔵ヘッドフォンのように機能します。

音声生成モジュールはピボット上の短いアームを使用し、ピボットから最も遠い点には耳に配置するための要素が含まれています。回転方法に応じて、ユニットは 1 つの方法で音声を耳に供給するか、もう 1 つの方法を聴覚外サウンドに使用し、変更は自動的に行われます。

Appleは、オーディオ要素が回転するだけでなく、配置を容易にするために耳の方向に傾けたり、耳から遠ざけたりすることもでき、伸縮セクションが含まれる可能性があることを示唆しています。

もともと2019年4月11日に出願されており、発明者としてロバート・D・シルフヴァスト、ジェームズ・W・ヴァンダイル、ジェレミー・C・フランクリン、ニール・D・エヴァンス、クリストファー・T・ユーバンクが記載されている。

ブレンドされたビジョン

2 番目の特許では、Apple は、現実世界のカメラ データとユーザーのためにオンザフライで実行されるデジタル生成バージョンを組み合わせて、AR ヘッドセットが現実世界のビデオ フィード上で仮想オブジェクトをどのように表示するかに挑戦しようとしています。これは正確かつ迅速に実行する必要があるため、このようなプロセスを高水準で実行するにはかなりの計算リソースが必要になる可能性があります。

で特許「実画像と仮想画像を結合するための方法とデバイス」と題した Apple は、システムが可能な限り最小限のリソースで混合された仮想画像を計算できる方法を提案しています。

このシステムに関して、特許では、カメラ フィードが「仮想ピクセル」の形式で仮想対応物を持つ「実ピクセル」の一連の値をどのように作成できるかについて言及しています。それぞれには独自のピクセル値があり、これらの値は、最終的にどのピクセル値を使用してユーザーに表示するかを決定する計算を実行するために使用されます。

2 つのピクセル値を 1 つの値に組み合わせることができ、これは実際のピクセル値と仮想ピクセル値の間の加重平均に基づくことができます。 Apple は、重み付けは実際のピクセルまたは仮想ピクセルのアルファ値または透明度の値に部分的に基づいて決定できると考えています。

アルファ値を組み合わせると、現実世界のビュー上で仮想オブジェクトを透明または半透明にすることができます

実際のピクセルのアルファ値を決定するには、カメラ画像全体をダウンサンプリングし、カメラ画像に基づいてステンシルを作成し、ダウンサンプリングされた画像とステンシルの両方に基づいてマット パラメータ マトリックスを生成します。このマット パラメータ イメージはアップサンプリングすることができ、これによりピクセル値のアルファを作成できます。

このアルファ値を使用して、特定のピクセルの色コンポーネントのピクセル値を作成することもでき、ピクセル値全体ではなく個々の色を混合できるようになります。

この技術を使用すると、画像をディスプレイに送信するために必要な帯域幅の量は、カメラのみで生成されるデータの「10分の1未満」になる可能性があると考えられています。

この特許には発明者としてペドロ・マヌエル・ダ・シルバ・ケハス氏とステファン・アウアー氏が記載されており、2018年8月14日に出願された。

Apple は毎週多数の特許を申請していますが、特許の存在は同社の研究開発努力の関心分野を示していますが、そのコンセプトが将来の製品やサービスに登場することを保証するものではありません。

過去の作品

Appleは過去にARおよびVRヘッドセットに関連して数多くの出願を行っており、その中にはVRユーザーのアクセスを阻止するシステムも含まれている。物体にぶつかる、グラフィック処理のオフロード無線基地局、そしてiPhoneを使って部屋の地図を作るオンボードセンサーを使用する代わりにAR目的に使用するなどのアイデアがあります。