Apple Glassはユーザーの視線の中にあるものだけをレンダリングすることでARを高速化する可能性がある

ユーザーが見ているものを分析すると役立つ場合がありますアップルグラスまたはARヘッドセット分析のためにカメラフィードの要素に優先順位を付けるために視線を使用することで、ビデオ処理のパフォーマンスを向上させます。

拡張現実システムは、ユーザーに複合現実画像をより適切に提供するために、環境に関するデータの収集に依存しています。ほとんどの人にとって、これは主に、ユーザーの目の近くからライブカメラフィードを取得し、それをデジタル操作して、変更された状態でユーザーに表示することになりますが、これは深度マッピングなどの他のデータタイプもカバーすることができます。

多くの VR および AR システムでは、ホストコンピューターに接続されたヘッドセットを使用していますが、そのテザーを介して一度に送信できるデータの量には限りがあるため、環境に関するデータを入力する必要性が問題を引き起こす可能性があります。解像度やフレームレートの向上など、長年にわたるカメラの改良により、分析および処理すべきデータがさらに増え、そのテザーでは処理しきれないほどのデータが存在する可能性があります。

データが多ければ多いほど、AR 画像の作成に必要な処理も増える可能性があるため、処理リソースも考慮する必要があります。

米国特許商標庁が火曜日に付与した「ビデオデータの視線方向ベースの適応型プレフィルタリング」というタイトルの特許の中で、Appleは戦おうとするメインの処理が行われる前に、処理する必要があるビデオデータを絞り込むことで、イングレスの問題を解決します。

つまり、この特許は、ヘッドセットが環境の画像を取得し、いくつかのフィルターをシーンに適用し、それぞれがビデオフレームの異なる領域をカバーできることを示唆しています。これらのフィルターは、処理のためにホストに送信されるデータを決定し、ユーザーの視線だけでなく、頭の位置や動きなどの一般的な AR および VR データポイントに基づいて配置されます。

フィルタリングされたデータレイヤーは、テザーまたはワイヤレスでホストに送信され、処理されてヘッドセットにフィードバックされて表示されます。その後、ループが繰り返されます。

この背後にあるロジックは、ユーザーが実際に見ているものを処理するために、カメラによって取得されたデータのすべてが必ずしも必要であるわけではないということです。ユーザーはある方向を向いていても、目は片側を向いているため、視界の反対側にあるコンテンツのレンダリングが実質的に無意味になる場合があります。

ユーザーの視線とローカル環境を監視できるヘッドマウントディスプレイの Apple のイラスト。

Apple のシステムでは、視線を検出し、そのデータポイントを画像データのフレームに適用する必要があります。データの複数のサブセットは、優先順位を付けることができる画像のさまざまな形状とサイズを定義できます。ユーザーがアクティブに見ているセクションがメインのサブセットの下にあり、より大きなセカンダリバージョンが周囲の領域をカバーします。

ユーザーによって積極的に参照されるため、より小さいメインのサブセットに処理の優先順位が与えられます。 2 番目のより広いサブセットはユーザーの周辺にあるため、必要な処理が少なくなる可能性があるため、重要性は低くなります。この二次データも、優先データサブセットほど重要ではないため、完全な品質でホストに送信されない可能性があります。

ユーザー向けに最終画像をレンダリングする際、データにはさらにフィルターを適用して、できるだけ目立たない方法で効果的にデータを結合することができます。実際、システムは、主要な高品質のサブセットと低品質の周辺サブセット、および AR アプリでオーバーレイされている残りのカメラフィードの間の境界線をぼやけます。

ユーザーの視線の中心は完全にレンダリングされ、それから離れると低品質のレンダリングが行われます。

サブセット識別は、必ずしも一度に生成する必要はありません。 Apple は、カメラによって視覚データの最初のフレームが生成された後にプライマリサブセットが作成される可能性があるが、セカンダリサブセット領域は 2 番目のフレームの作成中に決定される可能性があると示唆しています。

さらに、第 2 フレームに関連付けられた視線検出データは、処理のために第 1 フレーム内の二次サブセット領域に情報を提供することができます。これは、ユーザーの視点の変更による望ましくない影響を和らげることができるため、ユーザーの目が動いている場合に役立ち、システムがデータを追いついて視野内に配置する必要があるためです。

この特許には、発明者としてCan Jin氏、Nicholas Pierre Marie Frederic Bonnier氏、Hao Pan氏が記載されている。もともとは2018年7月19日に提出されました。

Apple は毎週多数の特許出願を行っていますが、出願の存在は Apple の研究開発努力の関心分野を示していますが、将来の製品やサービスでの使用を保証するものではありません。

Appleは何らかの形での開発に取り組んでいると噂されているAR または VR ヘッドセット最近では「Apple Glass」として知られるものをめぐる憶測が大部分を占めています。潜在的にARヘッドセット、そして将来的にはスマートグラスの形をとる可能性があると考えられているが、噂は一般的な眼鏡と同じサイズの眼鏡の形をとる可能性があることを示唆している。

当然のことながら、Apple はこの分野に関連する多くの特許を出願していますが、中心となる概念が非常によく似ているのは、「中心窩ディスプレイこの申請書の中で、Apple は、処理されるデータ量を制限することで、ヘッドセットディスプレイの処理とレンダリングのパフォーマンスを向上させる方法があるかもしれないと示唆しました。

ファイリングでは、ホストデバイスに到達するデータを制限するのではなく、データをディスプレイに表示することがすべてです。データのサブセットと同様に、Apple は、高解像度画像と低解像度画像からなる 2 つの異なるデータストリームをディスプレイで使用できることを示唆しています。

システムは視線検出を使用して、ユーザーが見ている場所に高解像度の画像のみを配置し、その後に周囲の領域の低解像度のデータを配置します。こうすることで、各リフレッシュを更新するときにディスプレイ自体で処理しなければならないデータが減り、より高いリフレッシュレートを使用できるようになります。