Apple は将来の AR および VR 市場を指揮するための幅広い研究を行っています

Appleは、一見するとあまり興味がなさそうな多くの技術の特許を申請している。彼らは一緒に世界の絵を描きます。アップルビジョンプロそして拡張現実体験はどこでも利用できるようになるでしょう。

映画の中でフリーガイ, ライアン・レイノルズは、ビデオゲームの世界のノンプレイアブルキャラクター（NPC）であるガイを演じます。彼は、何の変哲もない銀行の何の変哲もない銀行員として、サングラスをかけた犯罪者に繰り返し強盗に遭い、同じ日を繰り返す運命にある。

映画の冒頭シーンで、ガイは、サングラスをかけている人はやりたいことは何でもでき、全能のヒーローとして見なされていると説明します。彼には気づかれていませんが、これらの強力な人々は、彼が住んでいるコンソールゲームの現実世界のプレイヤーのアバターです。

毎日行われている銀行強盗の最中、ガイはサングラスをかけた強盗の命令に大人しく従うのではなく、反撃してサングラスを奪った。銀行を出てサングラスをかけると、ガイはプレイヤーと同じように突然周囲の世界を見ることができます。

メガネ (またはヘッドセット) で世界が変わりますか? 20 世紀スタジオ提供

それはフォートナイト- プレイヤーの体力バーが表示されるマッシュアップにインスパイアされました。浮かんでいる救急箱はガイの健康を回復し、衣類や武器のアップグレードはどこに行っても販売されています。

通常、特許を読んでも映画のことを思い出すことはありません。それでも、Apple の毎週の特許更新の最近のレビューで、私はいくつかの関連出願を見つけました。それらを総合すると、この映画を実現するという Apple の計画を、少なくともある程度は示唆しています。

2 つの興味深い特許は、「屋内と屋外の両方で位置を測定するシステム、「2つ目は」電子デバイス上の拡張現実コンテンツの通知」。

最も重要なのは「屋内外の位置を把握するシステム」だ。この特許は、Apple の Ultra Wideband チップに加えて、さまざまなデバイスを使用してユーザーの正確な位置を特定するシステムについて説明しています。実際には、WiFi ルーターなどのデバイスはすでに人の位置を特定できますが、これは通常、一般的な位置情報に使用されます。

三角測量により、人の位置を大まかに把握できます。 Apple の特許には、さまざまな追加の無線デバイスタイプを利用することで、位置の特定をさらに正確にするいくつかの工夫が加えられています。

GPS が検出する衛星の数が増えるほど精度が向上するのと同じように、利用可能な信号が多いほど、トレーニングの精度が高くなります。

この特許では、特定の空間内の誰かの位置をより正確に把握するために、すべて同時に測定および評価される典型的な無線デバイスについて説明しています。 WiFi と Bluetooth の送信デバイスはすでに連携して使用できますが、この特許により興味深いことが追加されます。

Apple の特許出願にあるこの図は、位置検出に使用される複数のカメラを示しています。

Appleはユーザーを追跡し、位置データをブロードキャストするカメラの使用を計画している。実際には、このテクノロジーは Amazon の Amazon Go ストアで使用されているものと似ています。アマゾンの場合、複数のカメラが複数の角度から顧客を追跡し、店舗のコンピューターが受け取ったものをユーザーに請求する自動精算システムを稼働させている。

Apple のこのシステムのアプリケーションでは、代わりに物理空間にユーザーを配置して、複合現実 (MR) コンテンツを表示します。現在、Apple Vision Pro は、パススルーカメラと物理センサーを利用して、ディスプレイや「吊り下げられた」アートワークなどの配置場所を含むユーザーの位置を特定します。

Appleの技術を利用すれば、画像認識に頼らずに物体を追跡することなく、あらゆる環境にMR物体を配置できるようになる。

複数の小型デバイスを使用すると、超高精度のユーザー位置特定による「現実世界」でのインタラクティブな体験が可能になる可能性があります。各デバイスがフィードバックに追加されるにつれて、エクスペリエンスが向上しました。このテクノロジーの非常に興味深い使用例がいくつか想像できます。

映画と同じようにフリーガイ、没入型のインタラクティブな体験は、Apple Vision Pro と将来のデバイスで可能になります。 Free Guy とは異なり、この技術は、ウィリアム・ギブソンの小説のように、できればディストピアなしで、ユーザーと世界との対話を強化する可能性があります。

屋内での精度による AR エクスペリエンスの向上

これは最もありふれた使用例ですが、小売環境でも明らかな用途があります。たとえば、Apple ストアに行って、製品の仕様を見ることができます。iMacその上にホバリングするか、iPhoneケースの画像を携帯電話に重ねて表示すると、どのように見えるかがわかります。

MR コンテンツを物理世界にオーバーレイする機能は新しいものではなく、すでにあらゆるもので使用されています。ゲームから手術まで。。

Apple Vision Pro (左) を備えた手術チーム (出典: London Independent Hospital val the Daily Mail)

ホームチームのアドバンテージ

没入型のスポーツイベントというアイデアはさらに興味深いものです。コートサイドではなくテレビで試合を観戦する主な利点は、リアルタイムの統計情報、選手と試合に関する情報、専門家の解説が放送に含まれることです。

ゲームの観戦中に統計をオーバーレイすることは新しいことではありませんが、この位置認識テクノロジーにより、MR コンテンツの超正確な位置特定が可能になる可能性があります。一般化された MR 要素の代わりに、観客を正確に特定できる機能により、いくつかの興味深い可能性が可能になります。

この特許の鍵は、このアイデアを屋外環境に拡張することです。一般的な屋外スペースには複数の WiFi ポイントがないため、三角測量の可能性は限られています。低電力 Bluetooth デバイスをミックスに追加すると、位置検出を根本的に改善できます。

角度ビューデータを送信するカメラを含めると、複数のデバイスをセットアップして位置認識環境を構築できるようになります。おそらく、Apple iSpy が間もなく登場するでしょう。

今日のスポーツで使用されている最高の MR テクノロジーの 1 つは、フットボールの試合の放送で使用されている仮想ファーストダウンラインです。ダウンマーカーを直接見るのは簡単ですが、攻撃チームがファーストダウンを獲得するためにどこに到達する必要があるかをテレビで視覚化するのは困難です。

Apple Vision Pro と Meta の Quest 3 を使用してデータを現実世界に重ね合わせることができますが、その情報は場所に固有のものであってはなりません。言い換えれば、ゲームに関する一般的な統計情報をオーバーレイすることはできますが、それをユーザーの座席の位置に合わせて表示することはできません。

この例では、誰かがどこに座っていても、ファーストダウンマーカーが見える可能性があります。エンドゾーンの後ろであろうと、50ヤードラインのスタンドの上であろうと、ダウンラインはユーザーの視点に対して正確である可能性があります。

リアルタイムデータを個々のプレーヤーに簡単に重ね合わせて、誰かがどこに座っていてもフィールド全体でプレーヤーを追跡できるようになります。たとえば、野球選手の打率の統計を知りたい場合、出席者がどこに座っていても、その統計を選手の上に配置できます。

追加の WiFi デバイスやカメラなど、さらに多くの送信ポイントを追加できる会場の機能により、会場や小売店はシンプルなデバイスを追加して没入型体験を強化できるようになります。

これらの例は、テレビ番組や映画の AR コンテンツの通知を示していますが、より興味深い AR 用途に拡張できます。

近くの AR を見つける

これは、2 番目の興味深い特許、「電子デバイス上の拡張現実コンテンツの通知」に関連しています。これ自体は、MR 体験が近くにあるときに電話でアラートをトリガーする方法のように見えます。

名前が示すように、この特許と最初の特許を組み合わせると、没入型環境に入ったかどうかを誰かに知らせることができます。おそらく、通知はアップルウォッチまたは iPhone を使用します。現在、ほとんどの人は iPhone で体験しているでしょう。iPhone ではすでに複合現実感を実現できるからです。

これらの特許は、より没入型の AR 世界を指しているのは初めてではありませんが、この体験を世界に拡張することについて説明したのは初めてです。

Apple は MR ヘッドセットの精度の向上を目指しており、興味深い新しい特許出願では、屋外環境または適切な条件の屋内でユーザーの位置を追跡できる別の方法を示しています。

この特許では、3D 環境の方向を決定するのに役立つ「天体」。方向を決定するほとんどのシステムには、電子コンパスと、家具や壁などの観察対象物の認識が含まれています。この特許には、ユーザーに対する太陽と月の位置が組み込まれており、ピンポイントの精度が提供されます。

この特許では、室内の窓を通して太陽が検出されることが示されていますが、屋外での使用についても説明されています。スタジアムでの MR の例では、頭上の太陽の位置が、ユーザーがどこを見ているかについての強力な文脈上の手がかりを提供します。

もちろん、これには、デバイスが、季節だけでなくユーザーの高度に対する太陽の位置に関する非常に正確な情報にアクセスできる必要もあります。

Appleは太陽または月の位置を使用して、ARユーザーの位置精度を向上させることを計画しています

AR でのユーザーエクスペリエンスを強化し、世界や仮想要素と対話するためのより良い方法を提供するために、Apple は次のような取り組みを行っています。特許を出願したピンチジェスチャを補う追加のジェスチャについて説明します。

Apple の他の特許とは異なり、この特許では複数の AR ユーザーが物理オブジェクトと生成された 3D オブジェクトの両方を操作できる方法が説明されています。一例として、このテクノロジーを使用すると、複数の Apple Vision Pro ユーザー、さらには iPad や iPhone を使用するユーザーが環境内で仮想アイテムを操作し、それぞれが異なる視点からオブジェクトを見て、それぞれが正しい向きで表示されるようになります。

コントローラーを装着する

Appleはおそらくこれらの技術を、「ワイヤーアクチュエーターを備えたアイテム」、「ファブリック制御デバイス」、そして噂のAppleリングを含むいくつかの追加特許と組み合わせるだろう。

アンリンゴの指輪ほぼ確実に Apple Vision Pro と連携し、より正確なトラッキングと追加のコントロールサーフェスを提供する可能性があります。

Appleは少なくとも2019年のこの特許出願以来、スマートリングの開発に取り組んでいる

最初の特許は、2020年に提出されたときに取り上げました、手袋または他のデバイスをセンサーと統合できるようになります。おそらくこの特許は、Apple Vision Pro 設計の時代の初期の探求であったと思われますが、4 年前であっても Apple が非伝統的なデバイス制御方法への道を進んでいたことがわかります。

の2番目の特許は、生地を使用して電子ボタンをカバーする技術を説明しています。この特許の明らかに用途は、布地で覆われた表面にボタンを備えたホームボディのようなデバイスとなるでしょう。これを手袋の特許と組み合わせることで、より触覚的なユーザーエクスペリエンスが可能になり、Apple の AR/MR ツール使用時の触覚フィードバックが可能になる可能性があります。

私たちは、現在 Apple の Vision Pro が主導する没入型 AR/MR 世界の始まりにすぎません。 XR エクスペリエンスとポータブルハードウェアを大規模に採用してそれを強化するまでには長い道のりがありますが、XR を私たちの日常生活の一部にするために Apple がたどる道は見えます。