Appleは何年もARとVRに取り組んできました、そしてそれは2020年のスマートグラスで報われるでしょう

Apple の取り組み仮想現実そして拡張現実の分野はかなりの数の特許と出願を生み出しており、最終的にはiPhoneメーカー初のヘッドセットの誕生につながる可能性がある。 AppleInsiderは、ヘッドマウントディスプレイ以外でこの技術を使用するものも含め、同社の提出書類の一部を調べている。

長年にわたる報道では、Apple が何らかの形のヘッドセットやヘッドセットを製造しているのではないかと推測されてきました。スマートグラス拡張現実または仮想現実を使用するもの。以前のレポートでは、ハードウェアが到着する可能性があることが示唆されていました2021年に一方、Ming-Chi Kuo 氏の投資家向けメモでは、2020年発売、しかし最終的には、少なくとも理論的には、Appleがこの分野で製品を発売するのにそれほど長くはかからないことを意味します。

同じ噂はテクノロジーの使用を示唆していますウィギグのように近くの iPhone または他のホストデバイスに接続して軽量のヘッドセットを作成し、片目ごとに 8K ディスプレイを使用して最適なユーザーエクスペリエンスを実現します。

この噂は筆者の考えに基づく憶測を提供しているが、Appleがグラフィックス分野で取り組んでいることを裏付ける数少ない証拠の1つは、複数の特許の存在だ。さまざまなアプリケーションや付与された特許が長年にわたって表面化しており、Apple が AR および VR 体験用に作られたソフトウェアやアプリをどのように開発するつもりであるかを示すだけでなく、単なるヘッドセットからさらに離れたハードウェア設計やアプリケーションを示唆することもあります。

ハードウェア

ヘッドセットやメガネがどのような形になるかについては議論があるが、特許や申請書を見ると、Appleがさまざまな製品カテゴリの多くが、大小を問わず遭遇する、小さいながらも重大な問題の解決に取り組んでいることが明らかになっている。

2018年3月特許出願米国特許商標庁が公開した「複数のスキャンモードを備えたディスプレイ」に関する論文では、ヘッドセットのディスプレイ要素を最適化して、画面を可能な限り高速で更新できるようにする方法を提案していますが、この問題は解像度が高くなるとさらに悪化します。動作中のピクセル数に応じて変化します。

変更が必要なディスプレイのセクションのみを更新することで、ヘッドセットが実行する作業が減り、ユーザーのエクスペリエンスを台無しにする可能性のあるディスプレイのアーティファクトの可能性が最小限に抑えられます。

視覚的なエクスペリエンスは、可能な限り完璧なものを実現するために、ユーザーの監視を強化するのに十分なほど重要です。で浮上しているアプリケーション2018年4月「視線追跡システム」とは、簡単に言えば、ディスプレイに対する動きや位置を含むユーザーの目を追跡しようとするもので、現行世代のヘッドセットでは追跡できないものです。

アイトラッキングには、ユーザーの視線がどこにあるかを知ることで、より現実的な被写界深度効果を提供できるなど、いくつかの追加の利点があります。ユーザーが要素を見ているときに、必ずしも直接面している必要はなく、シーンの一部をアニメーション化するなど、視線ベースのインタラクションも提供できます。

ある特許の図における反射型視線追跡の例

Apple のソリューションは、一般的なアイトラッキングが最適な監視を行うために目の反対側に配置されることに依存しているのに対し、Apple はミラーやその他の部品を利用してアイトラッキングハードウェアをユーザーの頭に近づけている点で注目に値します。一般に、体重がユーザーから離れるほど、顔にかかる圧力が大きくなり、時間が経つにつれて使用が不快になる可能性があります。

もっと最近の特許出願「調整機構を備えたヘッドマウントディスプレイ」では、ヘッドバンドと硬質ヘッドセットの膨張式ブラダーを電動で締め付けて、最小限の動きでディスプレイを頭蓋骨の所定の位置に固定することで、ユーザーの快適さの問題を解決しようとしています。

システムは、滑りが検出された場合やユーザーが速い動きをしている場合にバンドを締めるなど、自動化できます。また、ユーザーの目の検出がヘッドセットの最適な位置の測定値として使用され、理想的な位置に対する目の位置に基づいて自動調整されるアイトラッキングも取り上げられています。

後ろのボックスは電気モーターによってバンドに張力を加えるために使用されます。

同時に、「ヘッドマウントディスプレイの温度制御」に関する別の特許出願は、発熱の問題の解決を目指していました。ディスプレイなどのコンポーネントは大量の熱を放出する可能性があるため、ヘッドセット内の他のコンポーネントだけでなく、ユーザー自身にも問題を引き起こす可能性があります。

Apple のソリューションは比較的シンプルで、コンポーネントが配置されているチャンバー内に空気を移動させるためのファンと通気口で構成されています。同時に、空気はフェイスシールを介してヘッドセットに吸い込まれるため、別個の空気入口の必要性がなくなります。

空気が暖かすぎたり、ユーザーが目に長時間さらされることを好まない湿気を含んでいたりする可能性があるため、空気の移動はユーザーにとっても有益である可能性があります。繰り返しになりますが、Apple はその領域の空気を循環させるためにファンの使用を提案しています。これは、コンポーネントの温度、湿度、ユーザーの皮膚の温度、さらには発汗のレベルによって自動的にオンになる可能性があります。

VR の側面では、Apple が特許を申請しました。2018年3月「予測中心窩仮想現実システム」には、高解像度の画像と低解像度の画像の両方を同時に出力する二重解像度システムが含まれます。

理論的には、低解像度のオプションがいつでも利用可能ですが、それに比べて高解像度の画像は関連する処理コストの関係で制限されることが前提となっています。高解像度バージョンが処理されている間、低バージョンはユーザーの視界の領域に表示されるため、ユーザーは周囲の状況を大まかに把握できます。また、ユーザーが焦点を当てている画像の領域に高画像を確保し、残りの部分に低バージョンを使用することもできます。

ヘッドセットの内側と外側を監視するために多くのセンサーが配置される場所を示す特許画像

同時に表面化した「世界センサーとユーザーセンサーを備えたディスプレイシステム」は、筐体の内側と外側の両方に多数のカメラやその他のセンサーを備えたヘッドセットを示唆しています。内部のセンサーは視線、表情、頭の動きを監視し、外部バージョンは部屋を追跡し、処理用に複数のライブビデオビューを生成し、ヘッドセットの下でのユーザーの手のジェスチャーを検出することもできます。

iPhoneをディスプレイとして挿入できるスペースを備えた「メガネ」の例

当時浮上した3番目の申請書は、現在のGoogle Cardboardスタイルのヘッドセットとスマートグラスを掛け合わせたもので、「ディスプレイ付きポータブル電子機器を保持するためのヘッドマウントディスプレイ装置」とは事実上、iPhoneなどを保持できるメガネを指す。デバイス。

シールドメガネの形をしたiPhoneは、ユーザーの目の位置に合わせて前面に差し込み、Lightningポートに接続します。穴はリアカメラで世界を見ることを可能にし、他の穴は音の出力と換気を可能にします。

メガネには、内蔵イヤフォン、対話用のリモコン、および手動制御用のサイドボタンも描かれています。

指センサーユニットの潜在的な取り付けポイントを示す Apple 特許出願の画像

AR や VR とは直接関係はありませんが、Apple はユーザーが仮想オブジェクトとどのように対話できるかを検討しています。その主な例がウェアラブルです。手袋のような入力デバイスジェスチャー制御と触覚フィードバックを提供できる可能性があります。

アプリケーション

Apple の計画においてハードウェアは重要な役割を果たしていますが、ソフトウェアについても同じことが言えます。 ARKit は、開発者が AR コンテンツをアプリに簡単に追加できるようにする素晴らしいスタートではありますが、Apple はヘッドセットとデバイスの両方でそのユーティリティを拡張する方法を模索しています。

2017 年 10 月に新たに浮上した特許出願画像を動的に変更し、画像とテキストデータをリアルタイムでユーザーに表示する方法を詳しく説明します。具体的には、この特許はヘッドセットに関するもので、静止画と動画の両方で、視界に合わせて画像を歪ませる必要があります。

歪みは、別の特許出願で発見された問題です。2018年8月。「球面投影による歪みを補正するための正距円筒オブジェクトデータの処理」では、360 度カメラリグで生成されたビデオを結合する際のエラーと問題を修正する方法を説明しました。

複数のカメラを使用した 360 度カメラリグ

エンコーダーはビデオを大きな画像として扱うのではなく、ビデオをピクセルブロックに分割します。ピクセルブロックは、シーン内のどこにあるか、また、ユーザーの「ビュー」内のどこにあるかに応じて異なる方法で処理されます。その方向を見ています。赤道にあるピクセルブロックは、球の上部または下部にあるピクセルブロックよりも簡単に処理されます。

アン2017年4月「現実環境における仮想オブジェクトを説明するための方法および装置」に関する特許出願では、デバイスの現実世界ビューの画像を利用して、仮想オブジェクトをあたかも世界に配置された物理的なアイテムであるかのように見せる方法を説明しました。この要素は、ARKit がカメラ内ビューに配置されたオブジェクトをレンダリングして可能な限りリアルにする方法の一部になりました。

コンテンツとアプリケーションの作成からアプリケーション自体に目を向けると、1 件の特許出願が2018年3月「3D ドキュメント編集システム」というタイトルのこのシステムでは、VR または AR 空間内でドキュメントを作成する問題を扱います。 Apple は、ヘッドセットを使用して、空中に浮遊するテキストの 3 次元エディターを構想しており、テキストには他の通常の特性と同様に奥行きがあります。

これは「Word ですが 3D である」と考えられますが、VR でドキュメントを作成すると、アイテムをドキュメントの他の部分よりもユーザーに近づけることで要素をより目立つようにするなど、いくつかの利点が得られる可能性があります。

Apple の 3D ドキュメントエディタのコンセプト

ナビゲーションは、Apple が AR の受け入れにとって非常に重要であると信じているようで、いくつかの特許やアプリケーションがその特性を有効に活用しています。からの 1 つ2017年1月は、周囲を検出して、アートギャラリーの絵画などのアイテムに関する情報をユーザーにリアルタイムで提供できるモバイルデバイスについて説明します。

このシステムは、建物内でのユーザーの位置を単に特定するのではなく、高電力モードに移行してアイテムに関する関連 AR コンテンツをダウンロードして表示する前に、デフォルトの低電力スキャンモードで近くにあるアイテムをアクティブに識別します。。単一の背面カメラを使用した光学追跡は、少なくともカメラのビュー内で、AR データが所定の位置に固定されているという印象を与えるのに役立ちます。

あ特許取得済み2019 年 2 月の「モバイルデバイス上の現実環境のビュー内の関心点を表現する方法およびそのためのモバイルデバイス」では、ユーザーの周囲にオーバーレイする AR ビューを提供します。この場合、Apple は主に一般的なナビゲーションのコンセプトを指しており、カメラビューに興味のある地点と関連データを重ね合わせ、ユーザーが自分の位置と比較してその場所が大まかにどこにあるかを知ることができます。

オブジェクトスキャン特許出願の画像

繰り返しますが、カメラビューは、表示できる関心のあるポイントを決定するために使用され、したがってユーザーにどのようなデータを提供できるかを決定します。

注目すべきは、この特許が都市などの広いエリアにわたる一般的なナビゲーションに適用されるだけでなく、よりすぐにアクセスできる場所にも適用されることです。このようなシステムは、ショールーム内でダッシュボードを構成するときに関心のある領域を強調表示することで、車の主な機能に関する詳細を提供できる可能性があることが示唆されています。ユーザーは、iPhone の位置を紛失したなど、自宅内の事柄を知るために使用することもできます。

Appleはこの特許の中で、モバイルデバイスだけでなく「半透明ディスプレイ」を備えたスマートグラスでも使用でき、ユーザーは自分の周囲の現実世界の景色にARインジケーターを重ねて見ることができると示唆している。

仮想のスマートグラスでPOIシステムがどのように機能するかを説明する

車の中で

モバイルデバイスやヘッドセットが VR や AR の対象となるのは明らかですが、Apple はこのテクノロジーが役立つ可能性のあるさらに遠い分野にも目を向けています。自動車エンジニアリングの仕事とクロスオーバーしたものです。

発見されました2018年4月では、「立体画像を使用した適応型車両拡張現実ディスプレイ」の特許出願では、車内の AR システムがドライバーや乗客に前方の道路の代替ビューをどのように提供できるかを説明しています。このシステムは、ルート、興味のある地点、搭載センサー、その他の要素に関するデータを使用して、ユーザーの視界を遮る山や建物を越えたルートの眺め、霧などの中での道路の強化されたビューなどのアイテムを提供できるようになります。視界が悪い状況。

車両前方の道路をコンピューターで生成したビューの例

他の特許や出願に対する重要な変更点は、情報が必ずしもヘッドセットやメガネに表示されるわけではないと Apple が想定していることだ。情報はフロントガラスの AR オーバーレイとして表示され、ドライバー自身の道路ビューに重ねて表示されます。

Apple はマストヘッドにあるように、他にも自動車に興味を持っています。」プロジェクト・タイタンこれには、周囲を監視できるセンサーで覆われた自動運転車が含まれます。これは自動運転車を中心としていますが、この分野での Apple の取り組みは、AR ビューを使用して運転を改善することを目的とした他の多くの技術特許につながりました。その一人であること。

伝説の AR スマートグラスと同じくらい噂されていますが、Project Titan がどのように変化し、消費者向け製品になるのかどうかもまだわかりません。