「Apple Glass」はあらゆる表面をタッチコントロール付きのディスプレイに変えることができる

タッチスクリーンは、次のような画面が目の横にある場合には実用的ではなくなります。アップルグラス」ということで、Apple は現実世界で仮想コントロールを操作する方法を調査しています。

最近明らかになった特許出願では、Apple が使用方法を提案していることが示されています。アップルAR所有者以外には表示される情報を空白の画面として表示します。現在、別のアプリケーションで、「Apple Glass」装着者にあらゆる表面をボタンとディスプレイを備えたコントロールパネルとして見せることを検討している。

「第１の物体と第２の物体との間の接触を検出するための方法および装置」2016年に提出しかし、今週明らかになったばかりですが、現実世界のオブジェクトにコントロールを重ねて表示するこの方法が必要になるだろうと指摘しています。

「人間が（本物の）物体と対話する自然な方法は、手で触れることです」と書かれています。「表面上のタッチを検出して位置を特定できる[スクリーン]は、一般にタッチスクリーンとして知られており、現在ではスマートフォンやタブレットコンピューターなどの一般的な部分になっています。」

「（ただし）現在の傾向として、AR 用のディスプレイは小型化したり、ユーザーの目の網膜に近づいたりしています」と記事は続けています。「これは例えばヘッドマウントディスプレイの場合に当てはまり、タッチスクリーンの使用が困難、あるいは不可能になることさえあります。」

「Apple Glass」には情報が表示されるかもしれませんが、メガネを外してレンズを指で突かない限り、それを使って多くのことを行うことはできません。ただし、AR はすでに仮想オブジェクトを周囲の現実世界にマッピングしているため、タッチまたはタップできる場所にボタンやコントロールが便利に配置されているかのように拡張することもできます。

その場合、「Apple Glass」が仮想オブジェクトを表示しているため、あなたの目は仮想オブジェクトを見ることになりますが、指は現実世界のその場所に実際にあるものに触れる可能性があります。ユーザーがボタンだと思われるものに触れたことを AR が判断できれば、AR は実際にコントロールをタップしたかのように反応できます。

残念ながら、それは思っているよりも難しいことです。 Apple のプライバシースクリーンのアイデアが機能するのは、現実世界のオブジェクトが iPad のようなものであるためです。 iPad は実際には画面に何も表示していなくても、タップした場所を認識できます。

Apple の新しい提案には、あらゆる表面上のそのようなタップやタッチを認識することが含まれています。そして、ユーザーに指先センサーを装着させたり、オクルージョンを使用させたりすることなく、これを実現します。

「最も一般的なアプローチは、物体または人体（指先など）に、接触を感知できるセンサーを物理的に装備することです」とこのアプリケーションは述べています。しかし、それや身体を回路の一部にする電気的なバージョンには感銘を受けず、「この種のアプローチの限界は、物体や人体の修正が必要なことだ」と述べた。

平らで四角い物体をどのようにして電卓にするかを示す特許の詳細

オクルージョンを使用すると、カメラはユーザーの指がタップする場所を監視できます。特に AR では、システムが環境全体をマッピングし、たとえばユーザーの指の下にテーブルトップの表面があることを認識しているため、これは十分に機能する可能性があります。

したがって、ボタンをその表面にマッピングできます。しかし、特許出願では事実上、かなり大きなボタンにする必要があると指摘している。 Apple の特許出願の発明者として知られるダニエル・クルツ氏によれば、致命的な問題は、オクルージョンが決して正確に正確であることができないことです。

「仮想ボタンでは、他のボタンをトリガーすることなく、テンキー上の隣接するボタンの配列のうちの 5 番などのボタンをトリガーすることは不可能です」と主張しています。周囲のボタンをすべて塞いでいます。」

ボタンをさらに大きくしたり、ボタンの数を減らしたりすることでこの問題を回避することもできますが、それでも、そのようなシステムが実際に検出するのはオクルージョンです。これらは、ボタンが実際に押されたかどうかではなく、指が「ボタン」の前を通過したかどうかを検出します。

Apple が提案した解決策は熱です。「異なる温度の 2 つの物体が接触すると、それらが接触する領域の温度が変化し、その後ゆっくりと接触前の初期温度に戻ります。」とアプリケーションは述べています。

「したがって、最近タッチが発生した環境内の点に対応するピクセルでは、ゆっくりとした、しかし明らかに測定可能な温度の低下または上昇が明らかになります。」と続けています。

つまり、指が触れたものには熱が伝わります。微々たるものですが、確かに存在します。「温度の滑らかな変化は、サンプリングされた位置で最近起こった 2 つの物体間の接触を示している可能性がある」と特許には記載されています。

この出願では、熱画像などによる熱変化を検出するさまざまな方法について説明していますが、主に達成できる精度に関係しています。

「（意図的に起こった）人体によるタッチやオクルージョンと、（偶然に起こった）その他の何かによるタッチやオクルージョンを区別できる」としている。「タッチの位置を正確に特定することができ、タッチイベントが発生した後に（つまり、タッチ時にカメラやコンピューターなどが存在しなかった場合でも）それを識別できます。」

最後は、タッチ後に検出が非常に迅速に実行されるかどうかに依存しますが、たとえば、ユーザーが表面をタップし、指を離したときに熱画像が発生する可能性があります。このアプリケーションには、表面を最近指先でタップした様子を示す写真の例が含まれています。

「Apple Glass」の着用者のみにデータを表示するという関連するアイデアと合わせて、これはすべて Apple の AR に関する広範な取り組みの一部です。この特許出願は 4 年前に提出されたものであるため、同社が視覚的な側面だけでなく、拡張現実の実際的な応用を深く検討していることがわかります。

AR 分野における Apple の多くの関連特許の中に、同じダニエル・クルツによる別の特許があります。これは、AR の正確な処理に関するものです。現実のオブジェクトと仮想オブジェクト一緒に。