「Foveated」ディスプレイが Apple Vision Pro ヘッドセットのリフレッシュレートを向上させる仕組み

アップルビジョンプロApple は、「中心窩ディスプレイ」を使用してレンダリングを最適化し、ユーザーがアクティブに見ている場所のみに焦点を合わせることで、新しいヘッドセットは画面で高いリフレッシュレートを提供できると提案しています。

仮想現実の重要な要素の 1 つまたは拡張現実ヘッドセットVision Pro と同様に、高リフレッシュレートのディスプレイを使用します。画面がより速く更新され、ユーザーの動きに素早く反応できるようになれば、動きに合わせて画面が更新されないことによる吐き気の可能性を最小限に抑えることができ、さらに仮想環境やデジタルオブジェクトが世界に配置されているという錯覚をさらに売り込むことになります。

ヘッドセットディスプレイに使用されるテクノロジーの進歩に関する問題の 1 つは、より高解像度の画面の使用が期待されることです。ディスプレイにピクセルを追加するということは、更新のたびに更新する必要がある要素が増え、シーンのレンダリング時にホストデバイスによって作成される必要があるデータが増えることを意味します。

で新しく付与された特許、「Foveated Display」の申請は、ディスプレイで使用する高解像度画像と低解像度画像からなる 2 つの異なるデータストリームを提供することで、これらの問題を解決することを目的としています。

中心窩ディスプレイの中心的な概念は、画面全体に高解像度の画像を使用する必要はなく、ユーザーが見ているものだけを使用するということです。位置を決定できれば、ディスプレイはリソースを多く使用する高解像度の画像をユーザーの直接の視界に表示し、軽量の低解像度データを画面の残りの部分に使用することが可能になります。

リフレッシュ時にディスプレイのシステムが通常どのように動作するかを説明する図

ディスプレイの残りの部分は、詳細を必要としないユーザーの周辺視野を利用するため、ディスプレイを更新する必要があるたびに実行する必要がある作業量を大幅に削減できます。

Apple のソリューションでは、視線追跡システムを使用して、ユーザーの目が訓練されている画面上のポイントを見つけます。このデータを認識したグラフィックス処理ユニットは、ユーザーが見ているシーンの一部については高解像度の画像をレンダリングし、画像の残りの部分については低解像度の画像をレンダリングします。

タイミングコントローラー回路と列ドライバー回路を使用して、前者は後者に画像データを提供し、ディスプレイへの変更を実行します。この回路は、2 つのバッファを切り替えるためにも使用され、高解像度データと低解像度データを提供し、それぞれがディスプレイのそれぞれの領域に使用されます。

補間およびフィルタ回路を使用すると、明らかな継ぎ目を平らにするために高解像度バージョンと並行して低解像度データが使用される領域など、適用前にピクセルデータを変更することができます。 2 次元空間フィルターも低解像度データバッファーに適用できます。

ユーザーが画面の中央を見ていることに基づいて、さまざまな解像度がディスプレイ上でどのように組み立てられるかを示した図。

今になってようやく認可されたばかりだが、AppleはVision Proが発表されるずっと前、2021年1月15日にこの特許を申請していた。この出願は、その文書が特にヘッドセットについて述べているという点で異例であり、何百もの潜在的な Vision Pro 特許出願の 1 つではありませんでした。目に見えるところに隠れる。

最新の発見に関連する以前の出願には、同様の方法異なる解像度のビデオフィードと選択的なレンダリングを利用して、ユーザーの遅延を最小限に抑えます。 Apple はまた、さまざまな方法を検討してきました。視線追跡システムこれには、コンポーネントをユーザーの顔から遠ざけるのではなく近くに配置できる「ホットミラー」を使用するものも含まれており、ヘッドセットを長時間快適に装着できます。