AppleはARグラスの開発に何年も取り組んできたが、iOS 13はその最新の兆候にすぎない

Apple が製造する拡張現実ヘッドセットやスマートグラスに関する噂は何年も前から広まっていますが、これまでのところ、iPhone の製造元はそのハードウェアが開発中であることをまだ正式に認めていません。 iOS 13 で ARKit に加えられた追加機能や多数の特許、その他の報告は、Apple がこれまで以上にその成果の公開に近づいていることを示しています。

WWDC 2019の基調講演中、Appleは時間をかけて、同社が提供する最新機能のいくつかを明らかにした。ARKit 3、開発者が拡張現実機能をアプリに追加できるようにする同社のフレームワーク。 iOS 13 の一部として追加される機能により、アップルのARユーザーが期待するテクノロジーの理想形に近づく、新たなレベルへの取り組み。

しかし今のところ、Apple エコシステムにおける AR は引き続き iPhone と iPad に限定されており、ユーザーエクスペリエンスという点では理想的とは言えません。 ARのバージョンヘッドセットを使用する人々が手を上げてモバイルデバイスの限られたウィンドウを通して見る必要がなくても効果を与えることは、このテクノロジーの完成形である可能性があり、Apple はプラットフォームのあらゆる改善を通じて、その実現に少しずつ近づき続けています。

iOS 13のARKit 3

基調講演では、これまで AR エクスペリエンスに欠けていたいくつかの要素が強調されましたが、以前の ARKit バージョンでは可能でした。ARKit 3 の下で、より没入感を高め、開発者がアプリでさらに多くの機能を提供できるようにするために多くの変更が加えられています。

ARKit 3 の重要なコンポーネントはピープルオクルージョンです。これにより、iOS デバイスは、AR で強化されたシーンの中央に人が立っていることを検出します。 ARKit 3 は、カメラのビューをデジタルオブジェクトで平らに覆うのではなく、見ている人物とユーザーとの距離を検出し、理論的にデジタルオブジェクトよりも近い場合、オーバーレイを変更してオブジェクトが表示されるようにすることができます。人の後ろに。

この技術により、クロマキーの背景を必要とせずに、アプリを通じて表示される被写体が完全なデジタル環境を歩いているように見える、グリーンスクリーンスタイルの効果の可能性も可能になります。

デジタルオブジェクトを遮って被写体の背後に表示する AR シーンのビュー

Apple はまた、被写体の動きをアプリ内でリアルタイムに分析および解釈できるモーションキャプチャ機能も追加しました。対象を単純なスケルトンに分割すると、関節や骨を特定して変化を監視することができ、その動きによってアニメーションをトリガーしたり、キャラクターのカスタムの動きを記録したりすることができます。

このトラッキングの変更は、ARKit フェイストラッキングにも影響します。ARKit フェイストラッキングは、最新の iPhone および iPad Pro モデルですでに TrueDepth カメラを利用して、ミー文字やスナップチャットなどでユーザーの顔を分析しています。 ARKit 3 では、顔追跡が拡張され、同時に最大 3 つの顔を操作できるようになりました。

もう 1 つの重要なコンポーネントは、ユーザーが同じ AR 環境内で互いに共同作業できる機能です。単一のセッションで人々に同じアイテムや環境を見せることで、複数人の間で AR 内でマルチプレイヤーゲームや共同作業を行うことが可能になり、AR 体験にソーシャルな要素を加えることが可能になります。

ARKit 3 で導入されたその他の変更点は、フロントカメラとリアカメラを同時に使用してユーザーの顔と世界を追跡する機能、同時に最大 100 枚の画像を検出する機能、物理的な画像サイズの自動推定、より堅牢な 3D オブジェクトです。検出、および機械学習による改善された平面検出。

ARKit の発表とは別に、特許は Apple の AR メガネの取り組みに関する 2 番目の証拠源です。

Apple が米国特許商標庁に提出したアイデアを将来の製品やサービスに使用するつもりであるという保証はありませんが、提出書類は少なくとも Apple の研究開発努力における以前の関心分野を示しています。

ヘッドセットの内側と外側のカメラを示す Apple 特許出願の画像

AR ヘッドセットの重要な要素はディスプレイです。仮想風景と現実風景を組み合わせた完璧な錯覚を作り出すには高速応答時間が不可欠です。特許出願2016 年 12 月と 2017 年 1 月に発行された「複数のスキャンモードを備えたディスプレイ」というタイトルの論文では、高解像度でアーチファクトが発生する可能性を最小限に抑えるために、ディスプレイの回路がディスプレイ全体ではなく、リフレッシュごとにディスプレイの一部のセクションのみを更新する方法について説明しています。高リフレッシュレートの画面。

また、画面の一部のみを更新すると、ディスプレイが各更新を実行するための作業が減り、更新期間が短くなり、全体的な画面更新速度が速くなります。更新の高速化は、ユーザーの頭の物理的な動きに合わせてディスプレイが十分に更新されない場合に、一部のユーザーの乗り物酔いを軽減するのにも役立ちます。

で示唆されているように、世界を高速でレンダリングする機能は、吐き気や乗り物酔いの防止にも役立ちます。2017年出願「予測的中心窩仮想現実システム」の場合。複数のカメラ設定を備えたヘッドセットで構成され、ハードウェアは低解像度と高解像度で世界の写真を撮影します。ユーザーの目がディスプレイ上で見ている上部のセクションがユーザーに表示され、下部のセクションは周囲を埋めます。シーンの処理を高速化します。

2016 年の「世界センサーとユーザーセンサーを備えたディスプレイシステム」では、ヘッドセットの外側と内側のカメラを使用して環境とユーザーの目、表情、手のジェスチャーを追跡し、一種の拡張現実画像を作成して操作できるようにします。

視線追跡のための「ホットミラー」の使用を示す特許出願の画像

アイトラッキングは特許出願でも大きく取り上げられており、その中には2019年5月の特許出願も含まれます。眼優位性、その他2018年からユーザーの頭のできるだけ近くで実際にアイトラッキングを実行する方法を提案します。追跡装置を顔に近づけ、赤外線を反射する「ホットミラー」などのアイテムを使用することで、ユーザーの頭から遠くに配置される重量が減り、より快適なユーザーエクスペリエンスが得られます。

より実用的なレベルで、Apple は AR メガネがどのように実現できるかを研究しました。完璧にフィット2019 年には、装着後にヘッドセットが動かないようにモーターで固定されたバンドや膨張可能なセクションなど、さまざまな調整システムが使用されています。温度調節も重要な要素であることが判明し、ヘッドセット内のハードウェアだけでなくユーザーの顔も冷却します。

Apple はまた、別個のディスプレイを使用する代わりに、ユーザーの iPhone を目の前に置くだけで使用できるスマートグラスの形式を作成する方法も検討しました。シンプルなスマートフォンベースのVRヘッドセットエンクロージャをさらに進化させた、アップルの提案2017 年の「ディスプレイ付きポータブル電子デバイスを保持するためのヘッドマウントディスプレイ装置」は、iPhone を片側からスライドさせて挿入し、カメラと外部ボタン、腕に内蔵のイヤホン、およびリモコンを備えています。

iPhoneを持ったスマートグラスの特許申請イメージ

インタラクションに関して、Apple は時間をかけてその使用方法を検討してきました。力感知手袋VRとARシステムを使って。導電性ストランドと埋め込みセンサーを使用することで、手袋やその他の衣服は、コマンドをトリガーしたり、ジェスチャーを読み取り、物理的物体と接触している指の数をカウントしたりできる力感知機能を提供できる可能性があります。

アプリケーション面では、Apple の特許出願は AR が次の目的で使用できることを示唆しています。配車サービスサービスでは、スマートグラスを使用して、顧客が自分の乗り物を見つけることができ、その逆も可能です。ナビゲーションについては、2019 年の特許の 1 つが次のようにアドバイスしています。興味のあるポイントAR を介して現実世界のビューに表示でき、注目すべき地理的特徴ではなく、部屋内のアイテムの位置を通知するために拡張することもできます。

「興味のある場所」ナビゲーションアプリがスマートグラスにどのように表示されるか

報道と推測

Appleが何らかのスマートグラスやARヘッドセットを開発するという考えはしばらくの間広まっており、今後数年以内にハードウェアがリリースされる可能性がある。 Loup Venturesのアナリスト、ジーン・マンスター氏は2018年、Appleが2018年に「Apple Glasses」を発売する可能性があると示唆した。2021年後半, 1 台あたり約 1,300 ドルのコストで、発売初年度に 1,000 万台も販売される可能性があります。

もう一人の長年のアップル解説者であるミンチー・クオ氏は最近、ヘッドセットが登場する可能性があると示唆した2020年半ば、おそらく2019年末に製造が開始されると思われます。

想定されているメガネがどのように表示されるかについて、クオ氏は、iPhone が処理の大部分を実行するディスプレイとして機能する可能性があると示唆しています。ウィギグケーブルレス接続を提供できる 60 ギガヘルツのワイヤレスネットワーキングシステムも、このデバイスと 8K 解像度の接眼レンズ、および想定されるコードネームに使用されることが示唆されています。T288。」

アイトラッキングを買収したSensoMotoric Instrumentsが製造したヘッドセット

ヘッドセットの開発が浮上した漏洩した安全性報告書2017年には、Appleのオフィスの1つでプロトタイプデバイスをテストしていた人物に対して「応急処置を超えた医療処置」が必要な事件が発生した。特に損傷は目の痛みに関連しており、視覚関連のもの、おそらく何らかの形式のヘッドセットのテスト中に損傷したことを示唆しています。

Appleはまた、次のように話したと伝えられている技術サプライヤー2019年のCESでARヘッドセット用コンポーネントの入手について、Apple従業員がお忍びで導波管ハードウェアのサプライヤーのスタンドを訪問した。

ARやヘッドセットの製造に密接に関係する企業の買収も行われている。 2017年にAppleは視線追跡会社を買収したSensoMotoric Instruments、2018年8月に購入しましたアコニアホログラフィックス、AR ヘッドセット用の特殊なレンズの開発に焦点を当てたスタートアップです。