Apple、リアルタイムでオブジェクトを移動、削除できる AR ソリューションを研究中

米国特許商標庁は木曜日、高度なハードウェアと複雑なアルゴリズムを使用して、仮想オブジェクトを実環境に挿入し、実環境から実オブジェクトを再配置または削除する方法を詳述した Apple の特許出願を公開した。

Appleの「現実環境における仮想オブジェクトを説明するための方法と装置」に記載されている発明は、全体的ではないAR システムは、前述のソリューションの基礎を築くパズルのピースです。

Appleが同社を買収する直前にドイツのAR専門家Metaioに付与された特許を延長2015年に今日の出願は、2007年にドイツで最初に出願された。Metaioは2010年にこの発明に関する米国特許を取得し、その特許は昨年11月にAppleに譲渡された。

特に、この特許出願は、現実の環境においてデジタルオブジェクトを忠実に表現するための技術を例示している。そのため、この特許は、コンピュータで生成された仮想オブジェクトと現実世界の画像を結合することに焦点を当てており、これは信頼できる AR エクスペリエンスを提供する上で依然として大きな障害となっている技術的ハードルです。

たとえば、特定の環境のライブ ビデオ フィードに仮想椅子をスーパーインポーズするには、高精度の位置データ、境界の作成、画像のスケーリング、その他の技術的な考慮事項が必要です。複雑なソフトウェア アルゴリズムを実行する適切なハードウェアがないと、椅子の画像が衝突、遠近感、幾何学的な問題に遭遇したり、場違いに見えたりする可能性があります。

Apple のソリューションは、高解像度カメラ、強力なオンボード画像プロセッサ、高度な測位および位置特定ハードウェアなどの資産を使用します。必要なツールのほとんどは、つい最近 iPhone のおかげで消費者市場に登場しました。

具体的には、本発明は、実環境の二次元画像をキャプチャし、少なくとも１つの物体または画像内コンポーネントに対するその位置を確認するためのカメラまたはデバイスを必要とする。そこから、デバイスは、深度マッピング、レーダー、ステレオ カメラ、またはその他の技術を使用して、周囲の 3 次元画像情報または床面と壁面の相対位置を含む空間情報を収集します。

次に、システムは 2 次元環境の所定の領域をセグメント化、つまり指定します。このセグメンテーション データは、仮想オブジェクトを表示画像にマージすると同時に、実環境の選択された部分を除去するために使用されます。この方法により、ユーザーによるオブジェクトの選択が可能になり、仮想画像アセットと現実の画像アセット間の衝突を現実的に表現できるようになります。

この技術は、販売、サービスとメンテナンス、生産、その他の関連業界に最適であるとアプリケーションは述べています。たとえば、ユーザーは、AR の定義された同種の機能を活用して、オブジェクトと物理的に対話することなく、室内の家具を配置したり移動したりできます。あるいは、ソファやテーブルなどの仮想オブジェクトを環境内に配置し、実際のオブジェクトをシーンから完全に削除することもできます。

2 次元表現からオブジェクトを消去するのは困難な作業です。このような操作のセグメンテーション データには、シーンの深度、ジオメトリ、周囲のテクスチャ、その他の要素に基づいた高精度のセグメンテーションが必要です。

Pokémon Go や Snap フィルターなどの現在の AR アプリの場合と同様に、画像をスマートフォンの画面に表示できますが、アプリケーションは半透明ディスプレイとの互換性にも言及しています。ゴーグル型デバイスのようなマイクロソフトのHoloLens同様のテクノロジーを活用して複合現実アプリケーションを容易にします。

文書によると、ソファやテーブルは氷山の一角にすぎない。特にMetaioは、その技術をヘッドアップディスプレイパッケージなどのARカーナビゲーションに応用することを構想していた。

本発明はこの主題について詳しく述べていないが、この技術は、車内環境またはその環境の一部を効果的に不可視にし、ドライバーに道路の明確な視界を提供する手段を提供する。あるいは、シナリオによっては、ほとんどの最新の車両で利用可能な大型インフォテインメント ディスプレイが、車内の画像上に仮想オブジェクトとして重ね合わされる可能性があります。

おそらく偶然ではないでしょうが、Apple は現像自動運転車のソフトウェアおよびハードウェア システムを作成する取り組みの一環としての AR ベースのナビゲーション システム。

昨年の報告書によると、同社はモバイルアプリ、Siri、その他のハンズオフテクノロジーをサポートできるARヘッドアップディスプレイの開発に携わるため、BlackBerryのQNXプロジェクトから多くのエンジニアを引き抜いたという。 Appleはおそらく、仮想現実リグ（おそらくOculus RiftやHTC Viveなどのヘッドマウントゴーグル）で自社のソリューションを密室でテストしているとされている。

この文書では、提案されている AR アプリケーションを処理できるさまざまな画像処理アルゴリズムについて詳しく説明します。

Apple がこの発明を消費者向け製品の出荷に統合する計画があるかどうかは不明ですが、噂によると、同社は近い将来、ある種の AR システムをリリースすることに取り組んでいます。デュアルセンサーのiPhone 7 Plusカメラが鍵となる可能性が高いアップルのAR願望。現在の形式では、デュアル レンズ アレイは、次のような深度センシング操作のためのプラットフォームを提供します。ポートレートファッションAppleのカメラアプリで。

Apple の AR 特許出願は 2015 年 10 月に初めて申請され、ピーター・マイヤー氏とステファン・ホルツァー氏が発明者として認められています。