いわゆる、名前の悪い「ビューティーゲート」についての話を聞いたことがあるかもしれません。ユーザーは、Apple の新しい iPhone XS および XS Max がセルフィー カメラで撮影した写真に過度に攻撃的な肌スムージング アルゴリズムを適用しており、その結果、偽の写真が生成されていると主張しています。見た目や加工された画像。舞台裏で実際に何が起こっているのかについて話しましょう。
新しい iPhone XS および XS Max で、Apple は Smart HDR と呼ばれる新しい機能を導入しました。新しいカメラ モードは、基本的にカメラがキャプチャできる最も暗いトーンと最も明るいトーンの差であるダイナミック レンジを拡大するように設計されています。
iPhone X と XS Max の写真の比較では、Smart HDR が XS Max のダイナミック レンジをどれほど大幅に拡大しているかがわかります。
iPhone XとiPhone XS Maxで撮影した同様の写真を比較すると、Xの画像は被写体の顔と体が適切に露出していることがわかりますが、背景のハイライトが飛んでいます。つまり、非常に明るいため、細部が見えません。色が失われます。
XS Max では、細部や質感がすべて表示され、色が正確に再現されます。それだけでなく、影を検査すると、その領域がより明るく、より詳細に表示されます。
各画像のパンツに目を向けると、XS Max にスムージング効果が適用されているように見えます。
暗い場所で撮影した自撮り写真を見ると、その効果はさらに顕著になります。これが起こる主な理由は 2 つあり、どちらも Apple の新しい Smart HDR 機能に関連しています。
スマート HDR の仕組み
昨年の iPhone X の通常の HDR 写真では、カメラは顔用に 1 枚、ハイライト用に 1 枚、シャドウ用に 1 枚の露出で撮影した 3 枚の写真を撮影します。次に、それらの画像の最良の部分を 1 枚の写真にブレンドします。
プロの写真家がこのテクニックを再現し、Adobe Lightroom などのプログラムで画像を手動でブレンドすることで、信じられないほどのディテールとダイナミック レンジを備えた写真が得られることがあります。
Apple の新しい Smart HDR では、すべては Apple が「ゼロ シャッター ラグ」と呼ぶところから始まります。基本的に、カメラ アプリが開いているときは常に、A12 Bionic プロセッサは常に 4 フレーム バッファーを撮影します。事実上、非常に迅速に何度も写真を撮り、実際にカメラロールに保存せずに、撮影した最後の 4 フレームをシステム メモリに保持します。
実際にシャッター ボタンを押すと、バッファからフレームの 1 つが取得されるため、即座に写真が得られます。それだけでなく、A12 Bionic は、通常の HDR と同様に、さまざまな露出でさまざまなフレームを同時にキャプチャします。
次に、最適なフレームを分析して 1 枚の写真に結合します。これにより、非常に優れたダイナミック レンジが得られます。
これらすべてを非常に迅速に実行する必要があり、すべては新しい前面センサーと背面センサーにかかっています。新しいセンサーは読み出し速度が向上している可能性が高く、これらのフレームをより速くキャプチャできるようになります。
前面カメラで 1080P を 60 フレーム/秒で撮影できることは、より高速な読み出しを備えた新しいセンサーの証拠です。これが、Apple が将来のソフトウェア アップデートで iPhone X Smart HDR を提供しない可能性がある理由です。
ただし、もう 1 つの制限があります。それは、基本的にカメラのシャッターが開いて光がセンサーに入るまでの時間であるシャッター スピードです。シャッタースピードが非常に速いと、センサーに入る光が少なくなります。
Apple の新しい Smart HDR では、すべての処理が非常に迅速に行われる必要があるため、プロセスが遅くならないようにシャッター スピードを速くする必要があります。このため、センサーに入る光が少なくなり、画像の明るさが損なわれる可能性があります。
それを補うために、カメラは ISO を上げます。これは基本的に、センサーが光に対してどれだけ敏感かを決定します。システム ISO を増加すると、ノイズも増加します。
クレジット: Photography Life
Halide 開発者のセバスティアン・デ・ウィズ氏は、新しい iPhone XS カメラ システムを詳しく調べた結果、新しい iPhone は速いシャッター スピードとより高い ISO レベルを好むようであることを発見しました。同氏は、この動作は、機能が有効になっていない場合でも、スマート HDR 処理に最適なコンテンツをキャプチャすることに関連していると考えています。
明るい日光の下では、画像がすでに完全に露出している可能性があるため、ユーザーは大きな違いに気づきません。低照度のシナリオでは、ISO をかなり高くする必要があるため、多くのノイズが発生します。
これを補うために、Apple は画像にノイズ低減処理を追加します。
ノイズ リダクションの最も一般的な欠点は、細部が鮮明さを失い始め、柔らかく見えることです。これは基本的にスキン スムージングと呼ばれるものです。
前面カメラで肌のスムージング効果がより顕著になるのは、センサーが背面のセンサーよりもはるかに小さいため、取り込まれる光がさらに少なくなるからです。
つまり、Apple はビューティーフィルターを適用していません。滑らかになった領域は主に、スマート HDR 機能に関連すると考えられる新しいカメラの動作の結果として導入された追加のノイズ低減によるものです。 XS Max の低照度の写真を Galaxy Note 9 などと比較すると、Note 9 もノイズ リダクションを適用しており、同様のビューティー モード効果が得られていることがわかります。
宣告
これではビューティゲート パズル全体の半分しか説明できません。後半では、なぜその効果がさらに顕著になるのかについて説明します。
スマート HDR は、さまざまな露出でより多くのフレームを撮影し、それらを組み合わせることで、これまで以上にハイライトとローライトのディテールを表現できるようになります。ただし、これらの画像を結合すると、写真のバランスが整い、画像全体のコントラストが全体的に低下します。
プロ仕様のカメラでビデオを撮影する場合も同様に機能します。フラットプロファイルで撮影すると、最初はコントラストがかなり低くなりますが、シャドウとハイライトの両方でより多くのディテールが保持されます。
コントラストを再度追加すると、画像は以前と同じようにシャープに見え、ダイナミック レンジが向上します。
iPhone XとXS Maxの写真を見ると、iPhone Xの写真の方が鮮明であるように見えますが、よく見ると実際はそうではありません。写真がより鮮明に見えるのは、コントラストが高いためです。
コントラストは基本的に、写真内のオブジェクト間の明るさの違いであり、この例では、下半分が鮮明になっているわけではなく、コントラストが追加されているだけです。
XS Max と Samsung Galaxy Note 9 を比較したときにも同様の効果が見つかりました。XS Max の写真とビデオはコントラストが不足しており、Note 9 に比べて鮮明さが劣っています。
この自撮り写真の比較では、iPhone X の画像の方がコントラストが高く、より詳細に見えます。
iPhone XS Maxにはコントラストがないため、ある種の肌スムージング効果が適用されているように見えますが、コントラストを再び追加すると、その効果は消え始めます。
つまり、実際にはコントラストが不足しているため、明るい環境では肌が柔らかく見えるのです。
変更は可能です
技術的には、Apple が希望する場合、問題を解決するにはソフトウェアを微調整するだけで済みます。これでパズルのコントラスト部分は解決されますが、ノイズリダクションに関しては、基本的にすべての携帯電話の自撮りカメラで暗い場所で行われる現象です。
Smart HDRに関しては、Appleはこの機能を調整して動作を遅くし、シャッターを開いたままにしておく時間を少し長くすることができるが、もちろん、それによってXSとXS Maxの新しいカメラのダイナミックレンジのパフォーマンスが低下することになる。
Isamu 
Isamu 
Isamu