Appleは当初、ウェアラブルパーソナルプロジェクターを使用した現実世界ARを検討していました

アップルARこの取り組みには当初、データを現実世界の物体に投影するメガネやヘッドセットのないバージョンが含まれており、その中にはユーザーがプロジェクター自体を着用するコンセプトも含まれていました。

一般に、拡張現実とは、デジタル画像を適用して現実世界の画像を重ね合わせ、実際には存在しない世界のオブジェクトのような錯覚を与えるものであると考えられています。ほとんどの場合、これにはユーザーの目と現実世界の間にある種の表示メカニズムが必要ですが、ある特定のケースでは、スクリーンがまったく使用されません。

で特許火曜日に米国特許商標庁からAppleに付与された「現実環境における現実の物体にデジタル情報を投影する方法およびシステム」というタイトルで、Appleはスクリーンを廃止し、デジタル画像を現実世界に適用することを支持したオブジェクトそのもの。

特許の説明の一部は非常に単純に見えますが、つまり、何らかの形式のプロジェクターを使用して物理的表面に画像を投影するというものです。ただし、デジタル画像をオブジェクトに正しくマッピングするために、システムは他のセンサーも使用して環境とオブジェクトを検出します。

このシステムは、投影をマッピングする実世界のオブジェクトの画像をキャプチャし、その画像データを深度センサーからの情報と組み合わせて、アイテムの深度マップを作成します。これは、仮想データと実際のオブジェクトの間の空間変換を計算するために使用され、アプリケーションはこれを使用して、オブジェクト上のどこにどのピクセルを投影するかを計画することができます。

Apple は、現実世界のスクリーンレス AR 用に、プロジェクターと並行して深度センサーを備えたカメラ システムを提案しています。

Appleは、どのような種類の深度センサーが使用されているかについては正確には言及していないが、「赤外線プロジェクターと赤外線カメラ」の使用について言及しており、これは最新のiPhoneのTrueDepthカメラアレイの機能に似ていると考えられる。

深度マッピングには、プロジェクターとユーザーに関連して、オブジェクトの 3D 位置とデジタル情報がオブジェクト上のどこに適用されるかを推定することも含まれます。これにより、オーバーレイされた画像上で 3D 効果を生成できるようになります。理想的には、知覚されたユーザーの閲覧位置に基づいて計算されます。

後続の画像と深度マップを生成することにより、システムはプロジェクターの揺れや動きに対抗することができ、そのような変化にもかかわらず、投影された錯覚をそのまま維持することができます。

これには、3D 深度マップの変更によるオブジェクトの認識と追跡が含まれる可能性がありますが、オブジェクトと動きの追跡をさらに支援するために、環境上で視覚的なマーカーを使用するという提案もあります。対象物の距離が分かると、被写体が遠すぎる、近すぎることをユーザーに通知したり、距離に基づいて投影の明るさを変更したりする機能が追加されます。

また、表面に投影されたキーボードなど、オブジェクトの投影の表面をユーザーが操作できる機能についても言及されています。

オブジェクトに光を投影するというアイデアは新しいものではありませんが、このアイデアは長年にわたって芸術的および商業的な目的で使用されてきましたが、Apple の特許は主に、投影を繰り返し校正する必要性を扱っており、投影を可能な限り正確に行うことができます。可能。

これには、フロントガラスの速度計など、車内のデータを表面に投影することが含まれる可能性が示唆されており、理想的にはユーザーが読み取れる状態を保つために継続的なキャリブレーションが必要です。

この説明では、ロボット パンチルト装置の「カメラに固定的に結合されたレーザー ポインタ」に基づく屋内シーン用の他のキャリブレーション システムにも言及していますが、Apple は、このシステムは高価であり、「非常に高い精度」が必要なため理想的な精度ではないと考えています。パンチルトカメラの正確なハンドアイキャリブレーション。」

Apple のシステムは移動中でも使用できることが示唆されています。図面では、プロジェクターと感知ハードウェアに、固定位置を持たずに手動で動かすためのハンドルが付いているシステムの使用が示唆されていますが、別の誇張されたバージョンでは、同じ配置がユーザーの頭の上に置かれ、ヘッドセットというよりは帽子に似ていることが示されています。

Apple のシステムはウェアラブルになる可能性がありますが、おそらくこのような形ではありません。

この発明には、発明者として Peter Meier、Mohamed Selim Ben Himane、Daniel Kurz が記載されています。珍しいことに、この特許の最初の出願は2018年12月28日だったので、USPTOに受理されるまでにほぼ8年かかったが、同時期に行われた特許協力条約（PCT）出願によって遅れた可能性が高い。

特許出願の存在は、Apple の研究開発チームが関心を持っている分野を示していますが、そのアイデアが将来の製品やサービスに登場することを保証するものではありません。

大部分のアップルのAR作業の大部分は、表面投影を行わない、より一般的なディスプレイベースの AR によって行われてきました。現在入手可能なものは、ARKit, 開発者が iOS および iPadOS アプリで AR を使用するための Apple のフレームワーク。iPhone または iPad のディスプレイで表示可能

Apple は、ある種のスマート グラスや AR および VR ヘッドセットの開発にも取り組んでいるという噂もあります。アップルグラス2021年中に到着する予定です。