AppleはARを制御するためのトラックパッドとジェスチャーのコンボを研究中

手袋やゲームコントローラーを介して AR オブジェクトを操作するのではなく、トラックパッドなどの周辺機器を使用すると、ユーザーは目の前にあるものを選択して操作できるようになります。

Apple Glassesのようなヘッドセットと並んで、ユーザーは見ることができます拡張現実、仮想オブジェクトを対話して操作する必要があります。これは多くの場合、ユーザーが一種の手袋も着用する必要がありますが、Apple は接触を検出できる物理的な表面の作成を検討しています。コンピューター生成環境 (CGR) を制御するための大型トラックパッドを検討しています。ARKit。

「CGR 環境とは、ユーザーが閲覧するために表示される一部のオブジェクトがコンピューターによって生成される環境です」と Apple は米国特許第 2 号で述べています。">20200104025、「周辺機器によるリモートタッチ検出の有効化」と呼ばれます。

「ユーザーは、ハードウェアのボタンをアクティブにしたり、タッチ対応のハードウェアに触れたりすることで、これらの仮想オブジェクトを操作できます」と続けています。「しかし、仮想オブジェクトと対話するためのこのような技術は、ユーザーにとって扱いにくく、直感的ではない可能性があります。」

Appleが提案するソリューションには、さまざまな「複数のデバイスのシステムを使用したリモートタッチ検出の技術」が含まれていますが、原則的なものは「テーブルの上などの物理的な表面に配置される周辺デバイス」です。

ヘッドセットは、このトラックパッドスタイルのデバイスを含め、ユーザーの周囲の現実世界の合成画像をユーザーに表示していますが、仮想オブジェクトを表示することもできます。 MacBook Pro のトラックパッドと画面と同様に、ユーザーは仮想オブジェクトを見ながら、指でトラックパッド上でタッチジェスチャを実行できます。

ヘッドセットのカメラはトラックパッドの位置を特定し、そのデバイスのタッチ感知面と組み合わせて、ユーザーが操作しようとしている仮想オブジェクトを計算します。

この特許の図面には、ユーザーがパッドの対応する部分をタップして画像の選択肢から選択する様子が示されています。これらは、ユーザーが使い慣れたタッチジェスチャや動きを使用してオブジェクトを回転したり、サイズを変更したりする様子を示しています。

特許の大部分は、タッチを登録する方法と、複合 AR と実画像を表示する方法について説明しています。後者の一部は、表面に投影されたホログラムの使用を提案しています。

ただし、この特許出願の鍵となるのは、表示されている AR 画像と、ユーザーとの関係でデバイスがどこにあるかに応じて、トラックパッドのようなデバイスの使用方法がどのように変化するかということです。トラックパッドとヘッドセットが連携して動作するということは、ユーザーに周辺タッチデバイスの位置を変更するように指示できることを意味します。

「最適な動作を実現するために、周辺機器は、カメラセンサーに遮蔽物（障害物など）が入らないように、周辺機器の近くまたは周囲に追加のスペースを要求することができます」と述べています。エラーメッセージはヘッドセットに表示され、ユーザーがトラックパッドをより良い位置に移動することで消去できます。

一番上のメッセージはユーザーの AR ヘッドセットに表示されるエラーで、ユーザーがトラックパッドのようなデバイスをより良い位置に移動するとクリアされます。

これは主に、ヘッドセットカメラの視界にあり、他のアイテムによって隠されていないことを意味しますが、デバイスを特定の方向に回転させる必要があるなど、具体的な場合もあります。

「いくつかの実施形態では、一連の動作条件には、周辺機器が適切な向きである（たとえば、周辺機器の表面が地面に対してほぼ平行である、水平である、垂直であるなど）という要件が含まれます。」結論としては。

この特許は、Samuel L. Iglesias、Devin W. Chalmers、Rhit Sethi、Lejing Wang の 4 人の発明者によるものです。後者は最近、以下に関する同様の特許にクレジットされています。正確なハンドリングチャーマーズ氏は、現実の物体と仮想の物体の両方についてリストされています。ユーザーをガイドするデジタルアシスタントARとVRを通じて。