Appleの特許出願がiPhone 7 Plusのポートレートモードに光を当てる

木曜日に公開された Apple の特許出願では、ステレオカメラシステムでキャプチャされたデータから編集された深度マップを使用して、写真の背景ブラーを導入するインテリジェントな方法が詳しく説明されています。この文書はiPhone 7 Plusのポートレートモードの内部動作に光を当てる可能性があるが、その詳細はまばらである。

Apple で説明されている方法論の申請「フォーカルスタックによる写真のようにリアルな浅い被写界深度のレンダリング」は、ポートレートモードについてほとんど知られていないことと一致しています。iPhone 7 プラスデジタル画像に自然な背景のぼかしを生成するハードウェア。

iOS 10.1でリリースされました10月に, ポートレートモードでは、広角および「望遠」レンズ、複雑なコンピュータービジョンアルゴリズム、深度マッピングテクノロジーを使用して、一連の画像レイヤーを作成します。このシステムは、写真の被写体を含むレイヤーなど、特定のレイヤーに選択的に焦点を合わせ、他のレイヤーの焦点を外すことができるため、ボケ味が追加された自然な背景のぼかしが得られます。

今日の特許出願は、ぼかしを導入する代わりに、提案されたシステムがすでに焦点の合っていないレイヤーまたはフレームを選択することを除いて、ほぼ同じ技術を詳述しています。

いくつかの実施形態では、本発明は、特定のシーンのプリセット数のフレームをスナップし、各フレームを異なる焦点深度でキャプチャすることを含む。各フレームは、フォーカススタック内の個別のレイヤー、つまり、最終的に最終ショットを生成するために使用される、さまざまなレベルのシャープネスまたはブラーの画像セットを表します。

次に、システムは焦点からの深度法または焦点からの深度法を使用して深度マップを生成します。結果の情報は、どのレイヤーにターゲットオブジェクトが含まれているか、どのレイヤーにシーンの背景が含まれているかを判断するために使用されます。

次に、任意の数の人為的な制約に基づいて、目標のぼかしレベルが導出されます。いくつかの実施形態では、ぼかしはカメラの絞りに基づいて決定されるが、別の例では、所定の距離で特定のサイズのオブジェクトを明確にレンダリングするためにどの程度の焦点が必要かに応じてぼやけ度が設定される。一眼レフカメラの外観を再現するためにルックアップテーブルを実装することもできます。

正しいぼかしは Apple のポートレートモード機能の秘密のソースであり、同社はそのクリーミーなボケを作成するためにどのようなモデルやぼかし方法が使用されているかについて詳しく説明していません。この特許出願では、特定の焦点距離、物体距離、絞りサイズのサイズなど、任意の数のぼかし関数の可能性が認められており、これは幅広い一眼レフ/レンズの組み合わせを模倣できることを意味します。

重要なのは、この方法では、フレーム内のピクセルが他のフレーム内の対応するピクセルと正しく並ぶように、フォーカススタックの位置を調整する必要があることです。すべてのピクセルの位置が揃っていると、特殊なイメージングアルゴリズムが、エッジ検出、シャープネスメトリック、または同様の技術を使用して焦点または焦点面を決定できます。逆に、システムはさまざまな深度で背景ピクセルを検出し、それらがターゲットのブラーと一致する場合に選択することができます。これは、背景から髪の毛などの微細なオブジェクトの詳細を解析するポートレートモードの機能を説明しています。

最終的な出力イメージは、フォーカススタック内のさまざまなフレームからさまざまなフォーカス設定でサンプリングされたピクセルのタペストリーで構成されます。あるいは、フォーカススタック内のピクセルが目標のぼかしレベルに一致しない場合は、2 つ以上の画像を結合、ブレンド、またはその他の方法で補間して、目的の効果を達成することができます。

この文書は、今日のアプリケーションが確かにポートレートモードの基礎であるという理論に信憑性を与え、シミュレートされた被写界深度をプレビューするのにはマルチカメラのセットアップが理想的であると説明しています。 Appleは、単レンズカメラシステムを使用してフォーカススタックをキャプチャできるが、iPhone 7 Plusで採用されている広角モジュールや望遠モジュールなどのマルチレンズアレイはより多様なサンプルセットを提供すると述べています。たとえば、2 つのレンズを使用すると、システムは 2 つの画像を同時にキャプチャし、ぼけを比較して深度マップデータを推定できます。

一例では、望遠鏡カメラからのライブ画像を使用して被写体に焦点を合わせ、広角カメラがフォーカススタック用のフレームを収集することができます。同一ではないにしても、非常によく似た実装がポートレートモードで使用されます。さらに、この特許は、被写体が対物レンズに近づきすぎることを iOS がどのように判断できるのかを説明するのに役立ちます (ポートレートモードには、被写体の接近を含むさまざまな警告通知が付属しています)。

興味深いことに、本発明には、iPhone 所有者がまだ利用できない機能である、背景フォーカスを手動で調整するための臨時機能が含まれています。現在の形式では、ポートレートモードはフォーカスレベルを自動的に調整して、適切な量の自然なぼかしを実現します。

今日の特許申請がポートレートモードを完全にカバーしているかどうかは不明ですが、多くの詳細が最終製品に盛り込まれたことは明らかです。文書で言及されているがまだ実装されていない技術については、Apple が将来の iOS アップデートに備えてその機能を保存している可能性があります。あるいは、手動でぼかしを調整できるような機能が将来の iPhone に登場する可能性もあります。

被写界深度効果を対象とした Apple の特許出願は 2015 年 9 月に初めて出願されており、トーマス E. ビショップ、アレクサンダーリンツコグ、クラウスモルガード、フランクドエプケの 3 名が発明者として認められており、全員が社内エンジニアです。