Apple、高度な物体認識とPOIラベルを備えた詳細な拡張現実デバイスの特許を取得

Appleは火曜日、周囲を検出し、生成された仮想情報をリアルタイムでユーザーに表示できるモバイル拡張現実システムについて説明する2つの特許を取得した。

米国特許商標庁が公開した、Apple の米国特許第9,560,273号強化されたコンピュータビジョン機能を備えた拡張現実デバイスのハードウェアフレームワークを規定する一方で、米国特許第9,558,581号特定の環境上に仮想情報をオーバーレイする特定の方法を詳しく説明します。ハードウェアとソフトウェアのソリューションを組み合わせることで、Apple の AR への願望を垣間見ることができるかもしれません。

どちらの特許も元々は、Apple が同社を買収する直前にドイツの AR 専門家 Metaio によって申請されました。2015年に。その後、USPTO に特許を申請し、昨年 11 月に IP が Apple に譲渡されました。

「少なくとも 1 台のカメラを備えたウェアラブル情報システム」に関する '273 特許は、1 台以上のカメラ、画面、ユーザーインターフェイス、およびコンピュータービジョン専用の内部コンポーネントを備えたデバイスを想定しています。ヘッドマウントディスプレイは現在のAR発明の理想的なプラットフォームとして言及されているが、出願書類はスマートフォンが適切な代役として機能する可能性があることも示唆している。

この出願の中核は、AR データオーバーレイの視覚化よりも、電力効率の高いオブジェクト認識を扱っています。前者の機能はおそらく、AR の広範な導入に対する最大の技術的障壁です。特に、顔認識セキュリティシステムで採用されているような既存の画像照合ソリューションは、大量の電力を消費するため、現実世界での使用は限られています。

ウェアラブルARシステムのイラスト。

ただし、Apple の特許は、単純なデバイス制御にとどまらず、ユーザーの環境を監視し、検出された物体に関する情報を提供する電力効率の高い方法について詳述しています。たとえば、このテクノロジーはガイド付きツアーアプリの一部として使用され、訪問者が博物館を歩き回っているときに興味深いオブジェクトをスキャンしてその情報を提供する可能性があります。

モバイルデバイスに適した電力仕様を達成するために、本発明は、動作稼働時間の大部分にわたってデフォルトの低電力スキャンモードを維持する。高出力モードは、AR コンテンツをダウンロードして表示するときや、新しいコンピュータービジョンモデルをシステムメモリに保存するときなど、短時間でトリガーされます。

この文書では、光学追跡の初期化、つまりカメラの位置と方向の初期決定について詳しく説明しています。 AR の不可欠な側面である初期化は、このテクノロジーで克服するのが最も難しいハードルの 1 つと考えられています。

Apple によれば、このプロセスは、特徴検出 (特徴抽出)、特徴記述、特徴照合という 3 つの主要な構成要素に分けられます。 Apple は、既存のビジュアルコンピューティング手法に依存する代わりに、専用のハードウェアと事前学習されたデータを実装する、最適化された新しい手法を提案しています。

いくつかの実施形態は、特徴認識および照合プロセス全体を管理する集積回路を必要とする。このプロセスをさらに支援するのは、強度画像、または環境から反射されるさまざまな量の光を表す画像、深度画像、またはその 2 つの組み合わせに依存することです。

ユーザーデバイスによってキャプチャされた画像は、オンボードまたはオフサイトのデータベース内の記述子と相互参照され、データベース自体は常に更新されます。コンポーネント、オンボードモーションセンサー、その他のハードウェアを配置することで、物体の識別可能性をさらに絞り込むことができます。

興味深いことに、本発明は、より良好な物体決定をもたらす深度画像には２台のカメラ設定が必要であることに注目している。偶然にも、Apple は昨年、iPhone 7 Plus で 2 つのカメラを備えたデザインを導入しました。

Apple はまた、ポートレートモードを備えた最新の主力 iPhone に深度検出機能を組み込みました。この機能は、複雑なコンピュータービジョンアルゴリズムと深度マッピングを使用して一連の画像レイヤーを作成します。カメラモードは、特定のレイヤー、特に写真の被写体を含むレイヤーを自動的にシャープにし、カスタムぼかし技術を使用して他のレイヤーのフォーカスを選択的に解除します。

本日の特許のさらなる実施形態は、物体認識、記述、照合手順に関して非常に詳細に述べているが、他の実施形態では、上述のツアーガイドアシスタントのような潜在的な用途について説明している。他に考えられるユースケースには、屋内ナビゲーションアセットが含まれます。

「実環境で仮想情報を表現する方法」というタイトルの Apple の '581 特許も、Metaio の研究室で生まれ、AR 環境で関心のある点にラベルを付ける方法を明らかにしています。より具体的には、IP は仮想情報を現実世界のオブジェクトにオーバーレイするときにオクルージョン知覚を考慮します。

たとえば、透明なディスプレイ (または背面カメラからのライブフィードを表示するスマートフォン画面) で AR 都市地図を閲覧しているユーザーは、近くの建物やランドマークに関する情報を取得します。従来の AR システムでは、ラベル、画像、音声、その他のメディアが POI 上に直接オーバーレイされ、POI が視界から遮られてしまうことがありました。

コンピュータビジョンシステムの欠点を補うために、Appleは、ジオメトリモデル、深度センシング、測位データ、および現在のARソリューションでは一般的に見られないその他の高度なテクノロジーの使用を提案しています。

2D および 3D モデルを適用すると、このようなシステムはユーザーの視点と POI からの距離を考慮できるようになり、デジタルコンテンツの適切な視覚化に役立ちます。重要なのは、このプロセスでは、視点と仮想情報ボックスまたは資産の間の光線を計算できることです。これらの光線は、POI の「外側」の壁と「内側」の壁に関連付けられた境界によって制限されます。

繰り返しになりますが、Apple の特許は、ユーザーの周囲の環境の深度マップを作成するための 2 台のカメラシステムに依存しています。 '581 特許では、この深度マップを使用して、仮想データが重ね合わされる幾何学的モデルを生成します。

Apple が今日の特許のいずれかを出荷中の消費者向け製品に統合する計画があるかどうかは不明ですが、増え続ける証拠同社がARシステムのいくつかのフレーバーをリリースする方向に動いていることを示唆している。現在および過去の特許の多くが仮想データの生成と表示に深度センシング技術に依存しているため、デュアルセンサーのiPhone 7 PlusカメラがAppleのARパズルの鍵となる可能性が高い。

Apple の物体認識特許は、2014 年 2 月に初めて申請され、元 Metaio CTO の Peter Meier と上級設計エンジニアの Thomas Severin が発明者として認められました。 AR ラベル特許は 2014 年 6 月に申請されており、発明者の Meier、Lejing Wang、Stefan Misslinger の功績が認められています。