Apple の iOS 11 は、強力な A9、A10 Fusion、または A11 Bionic チップを搭載した 3 億 5,000 万台を超える iOS デバイスの巨大なインストール ベースに拡張現実をもたらします。しかし、同社の新しい iPhone X 専用の別の形式の AR が導入されようとしています。ここでは、Apple の大きな AR サプライズについて詳しく見ていきます。
TrueDepth カメラで顔に ARKit を適用する
iOS 11 の Apple の既存の ARKit プラットフォームは、巨大なインストール ベースをターゲットとしていますが、シングルカメラの iPhone および iPad モデル、同社はまた、短期的にはどの Android 携帯電話にも搭載されないものをリリースしようとしています。正面深度カメラより高度なAR効果を実現できます。
iPhone X では、ARKit アプリは TrueDepth カメラを利用して、3D グラフィックスが構築される表面にユーザーの顔を映すことができます。これは顔のジオメトリを使用してユーザーのポーズ、顔の形状、表情を追跡し、アニ文字 (下記) を有効にします。ポートレート照明効果、マスクとアバター。事実上、前面カメラ用の非常に洗練された新しい奥行きのある AR エフェクトです。
ARKit のフェイス トラッキングは、単に写真の上に拡張レイヤーを置くのではなく、ユーザーの顔と動きを検出し、一連のカメラと携帯電話の 6 軸モーション センサーを使用して位置を追跡します。これを使用して、仮想メイクアップやタトゥー、顔の毛、眼鏡、宝石、帽子などの「自撮り効果」を作成できます。また、リアルタイムの表情を取得してキャラクター アバターなどの 3D モデルをアニメーション化する「フェイス キャプチャ」の実行にも使用できます。
Android の ARCore が基本的なシングルカメラ AR を一部の選ばれたプレミアム価格の Android モデルに少しずつ提供しているのと同じように、Apple の新しいレベルの深度カメラベースの AR テクノロジーは、数千万人の iPhone X ユーザーのプラットフォームの構築を開始します。
Google は AR ソフトウェアの導入で数年遅れているだけではありません。 Android エコシステムは、Apple が来月以内に数百万台に展開しようとしている深度ベースの AR を提供できる深度カメラを備えた大衆向けデバイスの開発をサポートできるビジネス モデルの構築でさえ大幅に遅れています。
奇妙なことに、Google は元々は試合に先んじて実験的な Project Tango は、深度カメラを必要とする、より野心的な形式の AR です。このテクノロジーの系譜は、Apple が買収した PrimeSense と FlyBy Media での同じ取り組みに遡ります。
パフォーマンスに加えて、視覚慣性オドメトリ, Tango は、後で使用するために深度カメラ システムが「認識」したもののマップを構築する SLAM (Simultaneous Localization And Mapping) にも対応しています。あなたの家やあなたが使用する他のあらゆる場所のこの成長する地図 Tango は、地図のストリート ビューを作成する Google のカメラ カーのような、世界の広大なモデルを収集します。ARKit に SLAM を含めないのは意図的な決定でした
ARKit 1.0 は、ユーザーが使用する世界の地図を作成しようとするのではなく、AR を軽量かつ即時に使用して探索可能な 3D ビジュアルを作成することに重点を置いています。ただし、GPS または iBeacon 屋内位置システムと組み合わせて使用すると、既知の地図と組み合わせて AR を提供できます。 Apple がインテリア マッピング、特に SLAM 技術を使用する企業を買収したため、ARKit に SLAM を含めないのは意図的な決定でした。
Google が Tango で取り組んだ技術的な複雑さは、その前提条件である複雑で高価な深度カメラと相まって、一般の人が使用できる実行可能な形式ではプロジェクトとして出荷されませんでした。さらに、Google は、AR を大衆に展開するためのハードウェアおよびソフトウェア テクノロジーを構築するのではなく、自社が行っていた実験作業の応用を見つけるためにサードパーティに依存しました。
Google の Tango は間違った方向に踊りました!
Googleは長年の取り組みを経て、実験的なTangoスマートフォンとタブレットを約3,000人の好奇心旺盛な研究者に配布し、その後中国のLenovoと協力して昨年Phab 2 Pro「Tango」スマートフォンの背面に深度カメラシステムを設置し、その後同様のシステムを搭載した。 Asusが今年初めに開発したZenfone AR。
Lenovo Phab 2 Pro Tango 電話機
ただし、これらの Tango スマートフォンは両方とも、背面カメラを使用して深度 AR を実装しました。これは理にかなっているように見える設計上の決定ですが、電話機の価格が大幅に高くなるにもかかわらず、深度 AR をスタンドアロンのギミックとしてレンダリングするため、VIO を使用した単一カメラの AR よりもわずかに優れています。CNET 結論付けたPhab 2 Proは「かさばって重く、残念なハードウェアを備えた平凡な端末で、Androidのバージョンが古く、NFCも搭載されていない」と述べた。
Tango 電話とは異なり、iPhone X は正面向きTrueDepthセンサー。現状と比較すると、これは逆行しているように見えますが、深度ベースの AR をきちんとした「トリック」として実行することに加えて、深度センサーを他の価値のあることを実行できるように配置していることに気づくまでは、次のようなことになります。Face ID認証、 おなじみポートレート照明効果自撮り写真や、若い Snapchat ユーザーの間ですでに非常に人気のある高度なタイプの顔ベースのアバター フィルターです。
Apple の前面 TrueDepth カメラが、Tango の背面に取り付けられた深度カメラ システムに比べてモバイルでの大きな利点があるもう 1 つの理由は、深度カメラは多くのエネルギーを消費するため、携帯電話を店の前にかざしたときに店内を移動するために深度カメラを使用することを期待しているためです。あなた（タンゴの「」）ビジュアルポジショニングシステム「これは実際、Google がこの夏の IO で発表した機能の 1 つでした!) あまり賢明ではありません。さらに、このような深度カメラを屋外で使用すると、太陽光が IR 照明や深度カメラ システムによって投影されるドットを圧倒する可能性があるため、問題が発生する可能性があります。
Apple は、TrueDepth センサーを前面に配置することで、必要なときのみ (Face ID の短いバーストが頻繁に発生する場合、またはユーザーがアニ文字を積極的に記録している場合のみ) にのみセンサーをオンにすることができます。また、このシステムは、目に見えないように環境全体を照らすのではなく、あなたの顔を照らすだけで済みます。
Apple は、Face ID が「暗闇でも」機能すると指摘し、ユーザーが機能することを期待する場所で使用するというエンジニアリング上の意図を強調していることに注意してください。これは、想像できる限りどこでも機能するふりを野心的に装う Tango や Google の VPS とは対照的です。オープン環境や屋外環境では、有用な AR 関連の SLAM や VIO を実用的で機能的な機能として実際に提供するのがはるかに困難です。
タンゴはニュートンです。 ARKit は iPod です
新しいテクノロジー (またはアート) の展開を成功させるためには、なじみのあるものに根ざしたものを見つけることが重要です。あまりにも新しすぎると、誰もそれにどう共感していいかわかりません。ただし、それがあまりにも一般的であれば、そのテクノロジーを開発することに独自の価値はほとんどありません。 Apple は一般に、最初になることだけでなく、誰も思いつかなかった方法で実用的で価値のあるソリューションを市場に投入することを目指しています。
Apple は以前からそれほど注力してきたわけではありません。 1990 年代初頭に、同社は野心的なタブレット プロジェクトとして Newton を開発しましたが、新技術が要求する価格で明確かつ明らかに役立つものにするのに十分な作業が完了していませんでした。長年の仕事の末、Newton は実質的に Palm に盲目的にされました。Palm は、より安価で技術的にはあまり優れていませんが、より実用的で便利な Pilot PDA を出荷しました。
Google も Tango に関して同様の問題を抱えています。Google は、Apple が意図的に実装しないことを選択したテクノロジー (Tango では重要な役割を果たしますが、ARKit 1.0 には含まれていない SLAM マッピングなど) の開発に多くの労力を費やしており、その結果、複雑さと費用が発生しています。ほとんどの主流ユーザーにとっての価値が並行して増加することはありません。
学者は、Tango が理論上どれほど優れているかについてブログで書くことができますが、Tango がその野心的な約束を果たせなかったり、実装に費用がかかるために誰も使用しなかったり、そのために実際には更新も保守も完了もされなかったりするのであれば、現実の世界で使われなくても、それはあまり問題ではありません。
2010年にiPhone 4のプロトタイプを盗んだブロガーたちが、それを手にはしていたが、それがRetinaディスプレイやジャイロスコープを備えたり、FaceTimeを導入したりすることさえ知らなかったのと同じように、iPhone Xの基本デザインには、さまざまな要素が散りばめられていた。リーカーたちは、Apple の深度 AR 戦略が単に部屋の中で Ikea の家具を視覚化するだけの手段ではないことをよく理解していませんでした。
TrueDepth は、デバイスの所有者を安全に識別して認識し、自撮り写真を強化して、Anaimoji チャットやサードパーティ アバターのアニメーションの世界に引き込む方法として実装されました。Apple の iPhone X への TrueDepth の斬新な実装により、ユーザーは独自の新しい深度カメラの焦点を合わせることができます
モバイル デバイスの背面には、深度ベースの AR (ほとんどの ARKit とは異なり、実際の深度カメラが必要) 用の興味深いアプリケーションがいくつかあります。しかし、これを提供する商用ソリューションはすでに存在します (Occipital の 379 ドルの外部サービスを含む)構造センサーiPad用）、そして彼らは必ずしも世界を席巻したわけではありません。
Apple の iPhone X への TrueDepth の斬新な実装により、ユーザーは独自の新しい深度カメラの焦点になります。これは、目に見えない赤外線を反射して赤外線カメラに戻すフラッドイルミネーターと、構造センサーとして機能するランドマーク ポイントのグリッドを作成するドット プロジェクターを組み合わせたものです。
深度ベースの AR を実装するための複数のパス
このテクノロジーを実装するにはさまざまな方法があります。マイクロソフトは、ユーザーの身体を追跡するために、Xbox Kinect ゲームの前にあるリビング ルームの IR マッピングに焦点を当てました。斬新ではありますが、他の形式のモーション コントローラーよりも優れたゲームプレイを提供するわけではなく、単純すぎる欠点も数多くあります。また、このシステムは出費を増加させ、Microsoft の最新世代のコンソールが高価になりすぎて、同社がバンドル機能として Kinect を削除するまで効果的に競争できないようにする一因となっています。
同様に、大きな Android スマートフォンの背面に構造センサーを搭載した Google の Tango 実験は、部屋内のオブジェクトのマッピングに関連する新しい機能の可能性を提供しましたが、実際にできることはほとんどなく、聴衆を見つけるには費用がかかりすぎました。箱。
Apple の 2 つのアプローチにより、シングル カメラ ARKit が 3 億 8,000 万台のデバイスのインストール ベースに導入され、iOS 11 への無料アップデートでこのテクノロジーをユーザーに知らしめます。並行して、ユーザーは、正面向きの TrueDepth カメラ AR のさらに洗練された世界を選択できます。 iPhone Xでは、デバイスの背後にある外界ではなくユーザーに注目します。
また、TrueDepth カメラを使って絵文字をアニメーション化する方法をデモンストレーションする軽薄さについて Apple を揶揄しようとする人もいたが、実際にはクレイグ・フェデリギ氏が iPhone X の機能を披露するのに費やした時間は、スティーブ・ジョブズ氏が iPhone 4 のジャイロスコープを使って絵文字をアニメーション化する方法をデモンストレーションするのに費やした時間よりも短かった。ジンガブロックをアニメーション化します。賢明な観察者にとって、どちらも、ユーザーの大規模なプラットフォームに提供されたアプリ開発者が、驚くべき新テクノロジーをどのように活用できるかを示す例でした。
極秘開発でGoogleを出し抜く
TrueDepth システムの便利で魅力的な機能を見つけて、それを使って iPhone X を大量に販売しようとする Apple の努力は、今にして思えば非常に明白であり、Android メーカーは今急いでコピーしています。これは、Apple が iPhone X の販売準備がほぼ整うまで、TrueDepth AR の実装計画について自慢しなかった理由の説明になります。
さらに、iOS 11でシングルカメラARを3億8,000万人以上のユーザーに展開する一方で、深度ベースの顔追跡ARをiPhone Xの独占機能として導入するというAppleの戦略は、今となっては明らかであり、模倣するAndroidメーカーやそのプラットフォームリーダーにとっては遅すぎます。すぐに追いつくために。
Google は、最近 ARCore としてブランド名を変更した、よりシンプルな単一カメラの実装の下で、深度カメラ Tango の機能の一部を回収しようと試みました。しかし、独占的なプレミアムとして販売できるより高度なレイヤーの開発と並行して、最も価値があり導入が簡単なテクノロジーを最初に特定できなかったため、Apple の ARKit 展開には大きく遅れをとり、深度ベースでゼロからやり直す必要があります。 ARは、Appleの作品をモデルにしたプレミアム価格のTangoの2回目の試みを採用する人さえ見つけられれば可能だ。
TrueDepth テクノロジーを適用する独自の革新的な方法を開発する Apple の秘密主義は、基本的に、Google Wallet (Apple Pay によってスチームロールされる)、Android NFC Beam (Bluetooth 4 Continuity によって実行される)、および Android 指紋センサー (Touch ID によって打ち負かされる) の歴史を複製しました。実験的な新しい技術を最初に導入することは、購入者に真の価値を提供できる、より優れた実装で規模を拡大することほど価値がないことは明らかです。
Isamu 
Isamu 
Isamu