Apple の Deep Fusion の内部、iPhone 11 と Pro のコンピューテーショナルフォトグラフィー機能

Apple は、「Deep Fusion」と呼ばれるコンピューテーショナルフォトグラフィー機能を iOS 13.2 ベータ版に搭載しています。これは、iPhone 11 および iPhone 11 Pro のカメラから非常に詳細な画像を生成するのに役立ちます。 AppleInsider は、この画期的な機能がどのように機能するかを説明しています。

発売中にからかわれたiPhone11そしてiPhone 11 プロ, Deep Fusion は、複数の写真を 1 つのショットに結合する iOS カメラアプリの追加機能で、通常は長時間露光によって生成される高レベルの詳細を誇る写真です。 Apple のシステムは、写真全体のテクスチャ、ディテール、ノイズを最適化し、すべてをわずか 1 秒で実行できます。

これを行うために、Apple は写真が撮影されるまでの時間と、写真が提供する処理能力を利用します。A13 バイオニックチップのニューラルエンジンを使用して、タスクに「高度な機械学習」技術を使用します。

ステージ上の解説者

9月の特別イベントのステージ上で説明されたように、Appleのワールドワイドマーケティング担当SVPであるフィル・シラー氏は、iPhoneが1枚の画像を生成するために合計9枚の画像を撮影すると述べた。ユーザーがシャッターを押す前に、iPhone はすでに「4 つの短い画像と 4 つの二次画像」を撮影しており、実際にシャッターがトリガーされると「1 つの長時間露光」が行われます。

次に、ニューラルエンジンは長時間露光と短い画像を組み合わせ、2,400 万ピクセルを「ピクセルごとに」調べることで、コレクションから最適な組み合わせを選択します。次に、結果の画像を調べて、詳細と低ノイズを最適化します。

Appleのフィル・シラー氏がステージ上で、この技術を使って撮影された写真でセーターの細部を強調している

その結果、シラー氏が「コンピューテーショナル・フォトグラフィー・マッド・サイエンス」と呼ぶ画像が誕生し、写真プロセスからの出力を決定するためにニューラル・エンジンが初めて使用された。

HDR、ただし完全ではない

複数のショットを連続して撮影するという Apple の決定は、さまざまな理由から理にかなっています。シラーの「4 つの短い画像」と「4 つの二次画像」という説明は、8 枚の通常の写真のように聞こえますが、実際にはいくつかの異なる目的を果たします。

4 つの「ショート」ショットとは、通常使用されるよりも低い露出値で撮影された写真を指します。これにより、iPhone が後の処理の一部として使用できるシャープネス値を持つ画像を取得できるようになるため、意図的に低い値を設定しています。「セカンダリ」画像は通常の露出で撮影されますが、長時間露出はより高い露出値で行われます。

実際、これはいくつかの点で次と似ています。ハイダイナミックレンジ写真撮影では、複数の画像を同時にまたは連続して撮影し、露出不足の画像と露出の高い画像を組み合わせて、より広範囲の詳細をキャプチャします。ただし、HDR 写真は通常、長時間露光ショットと短時間露光ショットの組み合わせに依存しません。

すべてをまとめてコンパイルする

短時間露光と長時間露光の最適な組み合わせを選択した後、Deep Fusion はその 2 つをノイズ処理し、ピクセルごとに 2 つの画像を実行してショットを調整し、4 つの異なるステップを経ます。各ステップでは、空と風景、布地と肌など、画像の異なる部分を分析し、主題の種類ごとに異なるレベルの処理を行います。

この要素のランク付けは、最終的な画像を作成するために短時間露出と長時間露出を組み合わせる方法もシステムに通知します。一方の画像から色調と明度のデータを取得し、もう一方の画像から詳細を取得する場合がありますが、ランキングによって、システムが各要素の詳細またはその他のデータに対してどの程度誤差を負うべきかが決まります。

理論的には、このコンピューテーショナルフォトグラフィー手法では、肌や髪など、ユーザーが好む領域の詳細レベルが高く、被写体のエッジが通常の写真よりも鮮明なショットが得られるはずです。

説明するのは簡単だが、テストするのは難しい

Deep Fusionは現在テスト中で、水曜日にiOS 13.2の最初のベータ版が開発者コミュニティに公開される。AppleInsiderは検討を開始しましたが、これは複雑なテストであり、分離して評価する変数が多数あります。

つまり、これまでのところ、アップデートされたiPhone 11 Pro MaxとアップデートされていないiPhone 11 Pro Maxの間で、望遠レンズを使用した場合の写真の違いはほんのわずかしか見つかっていません。この機能は中程度の光量と低光量の場合にのみ機能し、ダークモードの写真にはまったく機能しません。

また、この機能がいつ有効になり、いつ無効になるのかも明確ではありません。しかし、先ほども述べたように、テストはまだ始まったばかりであり、iOS 13.2 が一般公開されるまでにはまだ少し時間がかかります。

私たちはテストを続けますが、これが日常の使用にどのような影響を与えるかについては、すぐにご連絡いたします。