Apple と写真の未来を詳しく語る: パート 2、iPhone X

10 年前に iPhone が発売されたとき、基本的な写真は撮影できましたが、ビデオは撮影できませんでした。それ以来、Apple はモバイル写真の機能を急速に進化させ、現在では iPhone が看板サイズのアートワークで世界的に有名になり、映画公開用の長編映画の撮影にも使用されています。 iOS 11 では、Depth による新しいレベルの画像キャプチャが実現しました。次期iPhone Xの新機能に焦点を当てて、写真の未来を見てみましょう。

の前のセグメントこのシリーズでは、iPhone 7 Plus のポートレート機能と iPhone 8 Plus (および次期 iPhone X) の新機能ポートレート ライティング機能に焦点を当て、深度ベースの写真を取り上げます。このセグメントでは、iPhone X に固有の TrueDepth センシングの拡張と、iOS 11 デバイスに共通の新しいカメラ ビジョンおよび機械学習機能について説明します。

iPhone X: TrueDepth センサーを使用した自撮り深度

この夏の WWDC17 で、Apple は、iPhone 7 Plus の背面デュアル カメラでキャプチャされた差分深度データを使用するための iOS 11 の新しい Depth API を発表しました。また、iPhone 7 Plusのデュアルカメラで撮影したものよりもさらに正確な深度マップを可能にする代替技術も示唆した。

その時までに、私たちは同社が 3 億 4,500 万ドルで買収して以来 3D 構造センサーを使った取り組みをよく知っていました。プライムセンス2013 年に遡ると、Apple が、デジタル フィルムを電子的に露光するための絞りとしてだけでなく、機械の目としてカメラを利用する、さまざまな高度なイメージング機能を処理するために、Depth API を作成したことが明らかになりました。

ただし、新しい TrueDepth センサーの最初のアプリケーションの 1 つは、やはりポートレート照明であり、今回は正面を向いた「セルフィ​​ー」ショットでの使用が目的です。これは、何百万もの iPhone 7 Plus および 8 Plus ユーザーにとって、背面デュアルレンズ カメラですでに使い慣れている機能の認識可能な拡張機能を効果的に提供するものです。

背面のデュアル カメラは、2 台のカメラで撮影した 2 つの画像のさまざまな点の差分演算を使用して深度マップを計算しますが、TrueDepth センサー アレイは反射した不可視光のパターンを使用して、撮影したカラー画像と比較するためのより詳細な深度マップを提供します。カメラで。

iPhone X: TrueDepth を使用したアニ文字

デュアルレンズ 7/8 Plus モデルと同様の深度データを処理して、静止画でポートレートおよびライティング機能を実行できることに加えて、iPhone X の TrueDepth センサーは、時間の経過とともにより詳細な深度情報を追跡して、アニメーション表現を作成することもできます。ユーザーの顔の動きを模倣するアバターを作成します。 Apple はこれを、既存のおなじみの絵文字に倣った新しい「アニ文字」の形で提供し、アニメーション 3D モデルとして命を吹き込みました。

Appleは、Snapchatが買収したBitmojiや任天堂のWii Miiアバターをパターン化した、DIYの漫画風のアニメーションアバターを作成することもできたはずだ。代わりに、内部で作成した象徴的な絵文字を厳選して、iMessage で視覚的にコミュニケーションするために誰でも「着用」できる 3D マスクに変えました。Googleの最新のPixel 2は現在、昨年のポートレートモードと2年前のLive Photosをコピーしようとしているだけだ。アニ文字はおろか、ポートレート ライティングについてもまだ認識されておらず、そのような機能をサポートするための実際の深度カメラがありません。

iOS 11 では、Apple は基盤となる TrueDepth テクノロジーをサードパーティが独自のカスタム効果の作成に利用できるようにしています。これは、ユーザーにリアルタイムで詳細な密着効果を適用する Snapchat フィルターで実証されています。アプリやゲームの開発者も同様に、ユーザーの表情と同期した独自のアバターを作成できます。

Google、Samsung、その他が作成した絵文字は概してひどいものであるため、Android のライセンシーが Apple の Animoji をコピーするのは少し難しいでしょう。 Googleは奇妙な絵文字を捨てたAndroid 8「Oreo」ではiOS風のデザインが支持されているが、新しいソフトウェアが少しずつ浸透するまでには長い時間がかかるだろう。

さらに、Android には、Apple が迅速に導入できるような機能の導入に集中した取り組みがありません。ハードウェアライセンシーは皆、独自のハードウェアやソフトウェアのアイデアを試しており、Googleの「こうやってやる」PixelプロジェクトでさえAppleに大きく遅れをとっている。

Googleの最新のPixel 2は現在、昨年のポートレートモードと2年前のLive Photosをコピーしようとしているだけだ。アニ文字はおろか、ポートレート ライティングについてもまだ認識されておらず、そのような機能をサポートするための実際の深度カメラがありません。

iPhone X: TrueDepth を使用した Face ID

並行して、Apple は、Face ID をサポートするために、登録ユーザーの独自の顔プロファイルも作成しています。Touch ID に代わる最新の新しい代替品。批評家や懐疑論者は、実際に試す前から Face ID について不平を言い始めましたが、新しいシステムは、タッチしたときに指紋の一部しか調べない既存の小型 Touch ID センサーよりもさらに多くの固有の生体認証データを評価できるようになります。 。

Face ID は実際には「顔をパスワードとして使用する」わけではありません。セキュリティ パスワードは選択したパスコードのままであり、必要に応じて変更できます。リモート攻撃者は、あなたの顔の 3D 画像や指紋スキャンを提示して、リモートからあなたとしてログインすることを試みる方法はありません。実際、登録されたプレゼンターの顔に iPhone X をかざしてロックを解除しようとした最初の試みでは、たとえその人の隣に立っていてもデバイスのロックを解除できませんでした。

「距離の要素があります。他の人がそれを持っているとき、それを行うのは難しいです」とプレゼンターは電話を手に取り、自然な腕の長さですぐにロックを解除する前に指摘しました。以下のビデオ クリップでは、登録ユーザーの手に渡ってからの Face ID 認証が非常に高速だったので、スローモーションで実行しました。

Face ID (以前の Touch ID と同様) は、Apple のサービスで発見したように、偽造や他人からの強要が難しい方法でデバイスに自分であることを証明することで、パスコードの入力を都合よくスキップする、より安全な方法を提供するだけです。 9月の体験エリア。 Apple はこれを簡単に無効にできるようにしたため、盗まれた携帯電話の生体認証システムを悪用しようとする人はすぐに時間とチャンスを使い果たしてしまいます。

iOS では生体認証 ID を完全にオフにすることもできます。ただし、iPhone 5s 以降の Apple の生体認証 ID システムの結果は、一部の専門家がかつて予測したような脆弱性やデータの盗難の増加ではなく、むしろ、携帯電話の盗難が大幅に減少非常に効果的な暗号化を使用して携帯電話に保存されたコンテンツを保護する iOS の機能について、各国の法執行機関が懸念を表明するほど、ユーザーの個人データが広範かつ効果的に保護されています。

汗だくの手作業にも関わらず、iOS 上の生体認証 ID は、技術設計とエンジニアリングに綿密な配慮が払われ、正しく実装されています。

同じことは Android にも言えず、Samsung や HTC などの主要なライセンシーが先にあります。めちゃくちゃ指紋認証を独自に実装し、ギミックを急いで出しました顔写真認識スキームそれらは効果的ではなく、悪用されやすいものでした。

Apple は、iPhone X で独自のカスタム設計され、調整された TrueDepth カメラ システムを使用することで、偽物を排除し、便利で安全な生体認証を行うためにユーザーを確認するために評価すべきはるかに多くのデータを取得しています。センサー システムのコストにより、ほとんどの Android ライセンシーは同様のテクノロジーを採用できなくなります。グーグル最近気づいた今年販売されるAndroid携帯電話の3分の1は100ドル未満になると予想しているという。

劇的な対照的に、Apple は今年、1,000 ドル以上の iPhone X を新規購入者の 3 分の 1 以上、おそらく半分以上に販売すると予想されています。ユーザーが Apple の最新 iPhone にアップグレードしたい理由はたくさんありますが、すべてのユーザーが TrueDepth センサーも搭載するという事実は、すぐに数千万台という非常に大きなインストールベースを獲得し、ユーザーを引き付けるのに十分であることを意味します。サードパーティ開発者の注目を集めています。

Android ライセンシーは、機能的な 3D センシング ハードウェアを入手して新しい携帯電話に導入することに加えて、エコシステムの構築とテクノロジーの実世界アプリケーションの実証という、Apple がすでに解決した別の課題にも直面しています。

あ報告同氏は、中国のベンダーがクアルコム/ハイマックス製の3Dセンサーの調達に苦労していると述べ、「スマートフォンベンダーが3Dセンシングのパフォーマンスをサポートするために必要な、ファームウェア、ソフトウェア、アプリを含む関連アプリケーションエコシステムを確立するには、より長い時間がかかるだろう」とも指摘した。指紋認識やタッチコントロールの機能をサポートするよりも、モジュールを搭載する必要がある」とし、「これがスマートフォンに3Dセンサーを組み込む際の最大の障壁となる」と結論づけた。

Android のプラットフォームの深さは浅い

モバイルデバイス用のサードパーティ製 3D カメラセンサーを販売する他の試みは、市場にほとんど影響を与えていません。 GoogleはProject Tangoの下でPrimeSense深度ベースのイメージングに何年も取り組んできたが、価格に敏感なAndroidライセンシーに必要な技術を重要な方法で採用するよう説得できなかった。GoogleはProject Tangoの下でPrimeSense深度ベースのイメージングに何年も取り組んできたが、価格に敏感なAndroidライセンシーに必要な技術を重要な方法で採用するよう説得できなかった。

Apple が ARKit をデモンストレーションすると、Google は Apple の宣伝に便乗して Tango プラットフォームの一部を「ARCore」に名前変更しましたが、やはり AR を機能的に使用できるサポートされている Android のインストールベースは存在せず、実際の深度データを処理できる能力を備えた Android はさらに少数です。 、デュアルカメラまたは任意のタイプの深度センサーからのもの。

また、Android の非常に分散化された性質により、断片化やデバイスのキャリブレーションの問題が発生するだけでなく、高度な AR や深度を処理するために必要な特殊なカメラや高性能のローカル計算能力を備えた強力なハードウェアではなく、超安価なデバイスを構築する傾向も生じています。ベースのカメライメージング。

Google は強力なハードウェアを開発するのではなく、Android、Chrome、Pixel 製品が自社の洗練されたクラウド サービスを利用した安価なデバイスになる可能性があるという考えを長年推進してきました。このビジョンは、Google がユーザーのデータを必要としているという考えに基づいており、それが高度なテクノロジーを個人に導入する最良の方法であるという考えではありません。

Googleの最新Pixel 2はXiaomiのMi 6と同じチップを使用

Appleはますますリードを広げたこれは、iOS デバイスがクラウドへの高速ネットワーク接続を必要とせずに、より多くのことを実行できることを意味します。生体認証などの重要な機能は、より高いセキュリティでローカルに処理でき、ユーザー データや画像のその他の処理も傍受を心配することなく実行できます。Apple は、オンデバイスの洗練性と処理能力においてリードをますます広げており、これは、iOS デバイスがクラウドへの高速ネットワーク接続を必要とせずに、より多くのことを実行できることを意味します。

長年にわたり、プレミアム価格の Android デバイスでさえ、フルディスク暗号化を実行するには遅すぎるままでした。これは、Google が、より優れたハードウェアを必要とするハードウェア アクセラレーションによる暗号化の設計ではなく、Android をさまざまなデバイスで動作させることを目的とした、低速のソフトウェア ベースの実装に重点を置いていたためです。 AppleのiPhoneと同レベル。

これはユーザーにとっては悪いことだったが、Google はユーザーに高品質のハードウェアを販売しても儲からなかったので気にしなかった。代わりに、ユーザーが個人コンテンツを効果的に暗号化することから利益を得られない広範な広告プラットフォームを構築することだけに焦点を当てていました。

さらに、Android のフルディスク暗号化の実装では、セキュリティの監督がクアルコムに委任され、ディスク暗号化キーをソフトウェアに保存することで問題を解決しました。去年の夏、ダン・グッディン書きましたのためにアルス テクニカこれにより、「デバイスからキーを抜き取る可能性のあるさまざまな攻撃に対してキーが脆弱になる」と述べています。

Google が Android 上で基本的なデバイス暗号化を機能させることができないのであれば、同社のローエンド ハードウェアとパートナーに委託されたソフトウェア エンジニアリングのプラットフォームが、そのプラットフォームのカメラ機能を Apple と同等の速度で実現できるという希望はどこにあるでしょうか。実際には意味のある量が売れていない化粧品ハードウェアのリリースを時折激励するだけではなく、実質的で漸進的な進歩をもたらしてきた歴史はあるだろうか？

ディープを超えて: Vision と CoreML

Apple のモバイル デバイスには、物体、位置、動きを識別し、さらには顔や特定の人物を認識する機能を備えた大量の計算能力が搭載されているため、オンデバイス マシン ビジョンが可能になりつつあります。この技術は、Apple がすでに「写真」の静止写真に適用していました。アプリですが、現在は合成中にカメラ内でライブを行っています。

確かに、深度を意識したカメラ キャプチャだけが iOS イメージングの最前線ではありません。 Apple の iOS 11 では、デュアル カメラ Plus または新しい iPhone X TrueDepth カメラ センサーを必要とする新機能に加えて、前世代の iOS デバイスにメリットをもたらす新しいカメラ インテリジェンスも導入されています。

Apple の新しい iOS 11 Vision フレームワークは、コンピュータ ビジョン技術を使用して顔を認識し、顔の特徴を検出し、画像やビデオ内のシーンを識別する高性能画像分析を提供します。

Vision フレームワークは CoreML と併用できます。CoreML は、機械学習を使用して、トレーニングされたモデルを受信データに対して適用し、パターンを認識して関連付け、カメラが見ているものを一定の確実性で示唆します。 Appleはこの夏、CoreMLが既存のAndroidよりもすでに6倍高速であり、それはiPhone 8とiPhone Xに搭載される根本的に強化されたA11 Bionicをリリースする前のiPhone 7であったと指摘した。

Apple はすでに ML を自社のカメラ、Siri、QuickType キーボードで使用しています。現在、その機能をサードパーティの開発者にも開放しています。

CoreML は、iOS 11 の Metal 2 および Accelerate フレームワーク上に構築されているため、そのタスクは、利用可能なすべてのプロセッサで処理できるようにすでに最適化されています。また、Vision と組み合わせることで、顔検出、顔追跡 (ビデオ内)、ランドマークの検索、テキスト検出、四角形検出、バーコード検出、オブジェクト追跡、および画像登録を実行する方法をすでに認識しています。

これらの洗練された機能は、カメラの映像を収集および追跡したり、機密情報を企業ハッカーや極悪政府に公開したりする可能性のあるネットワーク サービスに公開する必要があるクラウド サービスではなく、ユーザーが個人デバイスの内部で安心して実行できるものです。

Apple が iOS 11 で導入するカメラベースのイメージング技術の別の層もあります。これについては、次の記事セグメントで説明します。