Apple、AR と VR をより高速かつ正確にするために視線追跡に取り組んでいる

長い間噂されていたAppleの拡張現実または仮想現実ヘッドセットは、制御システムの一部として視線追跡を提供する可能性があり、iPhoneメーカーはヘッドセットが動いているときでもそのような視線追跡システムを可能な限り正確にする方法を考案している。

マウスとキーボードはしばらくの間、Mac やその他のコンピュータの主要な制御システムであり、iPhone や iPad を操作するにはタッチが主な手段となっています。音声は、近年、特にモバイル デバイスでより重要な対話方法になっていますが、ユーザーがディスプレイの特定の点を選択するアクションを実行するなど、すべてのタスクに使用できるほど正確または柔軟性が高いわけではありません。

ヘッドマウント ディスプレイの場合、仮想現実の制御システムは主に、ヘッドセットの位置に関連してマッピングされ、通常はカーソルまたは手のような表現を介してアプリケーション内で識別されるモーション追跡ハンドヘルド コントローラーで構成されます。

アイトラッキングは、ユーザーがヘッドセットのディスプレイ内で特に何に注目しているかを検出することにより、ユーザーが仮想現実環境と対話するための代替方法を提供する可能性があります。これにより、現実世界の空間で仮想オブジェクトを掴んで選択するよりもぎこちないため、手を使うよりも自然で正確なメニューやその他のソフトウェア システムとの対話が可能になります。

ただし、ユーザーのヘッドセットは常に動いているため、視線追跡の精度には限界があります。ユーザーの頭に固定されている間も、ヘッドセットは動き回り、ユーザーの目と視線追跡システムの間の距離は常に変化するため、効果が最小限に抑えられます。

で特許火曜日に米国特許商標庁によって Apple に認可された「視線追跡システムを備えた電子機器」は、確率とシーン検出を使用してドリフトの問題を解決することを目的としています。この特許は、まったく新しいハードウェア ソリューションを考案するのではなく、アイテムを選択する能力を強化するために、確立された視線追跡システムを備えたソフトウェア システムの使用を効果的に提案しています。

この特許では、デバイス内の「制御回路」が、ディスプレイに表示されているコンテンツの確率密度マップである「顕著性マップ」をどのように生成し、ユーザーが視野内で操作できる関心のある地点を特定できるかについて説明している。たとえば、これには、シーン内の選択可能なボタン、テキスト、またはインタラクティブな要素が含まれる可能性があります。

関心のあるポイントとメニューを備えた顕著性マップの表示の特定のポイントをユーザーがどのように見ることができるかを示す簡略化された例。

通常の使用では、ユーザーが何かを選択したい場合、視線検出によってユーザーがどこを見ているかを判断し、顕著性マップを使用してユーザーが具体的に何を見ているかを推測し、選択を確認するために使用される別のコントローラーを使用します。

顕著性マップはアイテムの選択を支援すると同時に、視線追跡システムをより正確にするのにも役立ちます。ユーザーが見ていると測定される場所、ユーザーの視界と検出された注視点に関連する顕著性マップ上の関心領域、音声やその他のソースからのデータを比較することで、ヘッドセットの開始位置からのドリフトを判断できます。

このドリフト検出により、視線追跡システム全体のリアルタイムのキャリブレーションが可能になり、当面の将来のコンテンツ検出がより正確になります。

使用中の視線追跡システムの繰り返しのキャリブレーションを説明するフローチャート

Apple は毎週多数の特許出願を USPTO に行っていますが、そのコンセプトが将来の製品やサービスに採用されるという保証はありませんが、Apple の研究開発努力の関心分野を示していることは間違いありません。

Apple が取り組んでいると広く信じられているAR および VR デバイス、そして何年もそうしてきた、ARベースのスマートグラス2020年中のリリースが予定されていると考えられています。

同社はかなりの数の特許を蓄積している関連技術、デモンストレーションを行うなど、AR および VR での製品の使用を促進する試みも行っています。macOS 上の VRそして紹介しますiOS用ARKit。アップルも買収SensoMotoric Instruments2017 年に視線追跡技術を専門とするドイツの企業が設立されました。

2018年、Appleは、「ホットミラー」赤外線光をユーザーの目に反射させるため、最終的にはヘッドセットを可能な限り快適にするためにユーザーの顔の非常に近くに取り付けることができます。あ2015 視線ベースアイトラッキング特許は、画面を見ることによって iOS または macOS デバイスを制御すると同時に、視覚ベースのインタラクションに影響を与える可能性があるトロクスラー効果の問題を軽減するために付与されました。

2019 年 5 月のある特許出願には、ユーザーの目がどちらであるかを判断する方法が詳しく記載されています支配的です、利き目の結果から弱い目よりも位置データに重みを付けることで、視線追跡システムをさらに支援できるデータ ポイントです。