Apple、AR、VRの向上に向けて光の方向を捉えるカメラを研究中

光の進行方向を捉える将来の iPhone カメラは、より詳細な 3D を提供し、改善される可能性があります。アップルARウォークスルー体験。

現在の iPhone のカメラはシーン内の光の強さを捉えますが、将来のカメラではさらに多くのことができるようになる可能性があります。ライトフィールド写真を使用すると、カメラシステムは光の進行方向を捕捉し、さらに視野内のさまざまなオブジェクトの位置を記録できます。

それが「パノラマ ライト フィールドのキャプチャ、処理、表示」の中心となるアイデアです。新しく付与された特許。

ユーザーが自由に歩き回っているときに、iPhone などのデバイスを使用して画像をキャプチャし、AR エクスペリエンスのデータを構築する方法を検討しています。

「この特許には、モバイルデバイスを持ったユーザーがジェスチャーを実行して、さまざまな位置からシーンの画像をキャプチャするライトフィールドパノラマシステムが詳細に記載されています。」と特許には記載されています。 「位置情報や方向情報な​​どの追加情報も取得される可能性があります。」

「画像と情報は、画像の相対位置や画像の深度情報を含むメタデータを決定するために処理される可能性がある」と続けている。 「ライト フィールド パノラマは、シーンのさまざまな 3D ビューをレンダリングするレンダリング エンジンによって処理され、視聴者が 6 つの自由度でさまざまな位置と角度からシーンを探索できるようになります。」

3D 画像を見たことがあるでしょう。自分の位置が固定されており、振り向いたり、上下を見たりすることはできても、前に進んだり、物体を避けたりすることはできません。 AR をより没入型にするために、Apple はより多くの情報を記録し、それを表示する機能も必要としています。

Apple は、「モバイル デバイスやヘッドマウント ディスプレイなどのレンダリングおよび表示システムを使用すると、視聴者はシーン内のオブジェクトの後ろや上を見たり、シーンをズームインまたはズームアウトしたり、シーンのさまざまな部分を表示したりすることができます」と述べています。 。」

特許の詳細を編集し、ジェスチャーで情報を取得し、後で AR として表示するために中継する方法を示しています。

意図された結果は、「キャプチャされたシーンの広角コンテンツ」が「視差を認識する」ことです。そのため、「仮想現実で画像がレンダリングされると、シーン内のオブジェクトは、世界内の位置と、それらに対する視聴者の相対位置に従って適切に移動します。」

Apple は続けて、「さらに、通常仮想現実システムで表示されるコンピュータ生成コンテンツのレンダリングと比較して、画像コンテンツは写真のようにリアルに見えます。」と述べています。

この特許は、Ricardo J. Motta および Gary L. Vondran, Jr を含む 6 人の発明者によるものです。彼らの以前の研究には、取得された特許ARのライトフィールドキャプチャについて。

特許では通常のことですが、この特許は主要なテクノロジーに焦点を当てており、ユースケースや潜在的な問題には特に焦点を当てていません。この場合、重要な問題は、3D の詳細をキャプチャするデバイスが強力である必要があり、おそらく電話よりも強力である必要があることです。

画像をベースステーションにキャプチャする

したがって、別の特許が存在します。こちらも新たに付与された—それはまさにこれについてです。 「ビデオ パイプライン」は、iPhone や HMD などのデバイスが画像データをキャプチャし、処理のためにベース ステーションなどの別のデバイスにワイヤレスで送信する方法に関係します。

「基地局は、従来のスタンドアロン システムよりも多くの計算能力を提供する可能性があります。また、無線接続は、従来のテザリング システムのようにデバイスを基地局に繋ぎ留めることはありません」と Apple は述べています。

移植性と処理能力の間で妥協することが重要です。

「スタンドアロン システムでは、ユーザーは自由に移動できます」と Apple は続けます。「しかし、サイズ、重量、バッテリー、熱などの制限があるため、スタンドアロン デバイスは一般にコンピューティング能力の点で制限があり、そのため品質も制限されます。レンダリングできるコンテンツ。」

「テザリングシステムのベースステーションは、スタンドアロンデバイスよりも多くの計算能力を提供し、その結果、より高品質のレンダリングを提供する可能性があります。しかし、物理ケーブルがデバイスをベースステーションに繋ぎ止めるため、ユーザーの移動が制限されます。」とAppleは述べています。

そこでアップルの提案はワイヤレスシステムだ。ただし、この特許は、キャプチャデバイスからデータを受信するシステムを提示するだけではなく、データを表示することにも関係しています。

「（キャプチャ）デバイスには、ユーザーの環境やユーザーに関する情報を収集するセンサーが含まれている場合があります」とAppleは述べています。 「センサーによって収集された情報は、無線接続を介して基地局に送信される可能性があります。」

より強力な基地局にワイヤレスで接続されたモバイルデバイスを示す特許の詳細

「[その後]基地局は、デバイスから受信したセンサー情報に少なくとも部分的に基づいてフレームまたはスライスをレンダリングし、フレームまたはスライスをエンコードし、圧縮されたフレームまたはスライスをデコードして表示するためにデバイスに送信します」とAppleは続けます。 「システムは、無線リンクを通じて目標フレームレートを維持し、フレームのレンダリング、送信、および表示における遅延を最小限に抑えるための方法および装置を実装することができる。」

この特許は 13 人の発明者によるものです。その中には、以下に取り組んだ Avi Bar-Zeev も含まれます。空間オーディオナビゲーション、ジェフリー・スタールは、これまでのAR/VR作品。

毎週の AppleInsider Podcast で Apple の最新情報を入手し、AppleInsider Daily から最新ニュースを入手してください。 HomePod mini に「Hey、Siri」と話しかけて、これらのポッドキャストと最新の HomeKit Insider エピソードも聞いてください。

広告なしのメインの AppleInsider Podcast エクスペリエンスをご希望の場合は、月額 5 ドルで購読して AppleInsider Podcast をサポートできます。Apple の Podcast アプリを通じて、 またはパトレオン経由他のポッドキャストプレーヤーをお好みの場合は、

AppleInsider では、Apple 関連のお買い得情報もお届けします。Amazonプライムデー2021。 6 月 21 日と 22 日のプライムデーの前、最中、そしてその後もバーゲンがあり、イベント期間中あらゆる取引がすぐに利用できます。