iPhone XS と iPhone XS Max がセルフィーに対して実際に何をしているのか

いわゆる、名前の悪い「ビューティーゲート」についての話を聞いたことがあるかもしれません。ユーザーは、Apple の新しい iPhone XS および XS Max がセルフィーカメラで撮影した写真に過度に攻撃的な肌スムージングアルゴリズムを適用しており、その結果、偽の写真が生成されていると主張しています。見た目や加工された画像。舞台裏で実際に何が起こっているのかについて話しましょう。

新しい iPhone XS および XS Max で、Apple は Smart HDR と呼ばれる新しい機能を導入しました。新しいカメラモードは、基本的にカメラがキャプチャできる最も暗いトーンと最も明るいトーンの差であるダイナミックレンジを拡大するように設計されています。

iPhone X と XS Max の写真の比較では、Smart HDR が XS Max のダイナミックレンジをどれほど大幅に拡大しているかがわかります。

iPhone XとiPhone XS Maxで撮影した同様の写真を比較すると、Xの画像は被写体の顔と体が適切に露出していることがわかりますが、背景のハイライトが飛んでいます。つまり、非常に明るいため、細部が見えません。色が失われます。

XS Max では、細部や質感がすべて表示され、色が正確に再現されます。それだけでなく、影を検査すると、その領域がより明るく、より詳細に表示されます。

各画像のパンツに目を向けると、XS Max にスムージング効果が適用されているように見えます。

暗い場所で撮影した自撮り写真を見ると、その効果はさらに顕著になります。これが起こる主な理由は 2 つあり、どちらも Apple の新しい Smart HDR 機能に関連しています。

スマート HDR の仕組み

昨年の iPhone X の通常の HDR 写真では、カメラは顔用に 1 枚、ハイライト用に 1 枚、シャドウ用に 1 枚の露出で撮影した 3 枚の写真を撮影します。次に、それらの画像の最良の部分を 1 枚の写真にブレンドします。

プロの写真家がこのテクニックを再現し、Adobe Lightroom などのプログラムで画像を手動でブレンドすることで、信じられないほどのディテールとダイナミックレンジを備えた写真が得られることがあります。

Apple の新しい Smart HDR では、すべては Apple が「ゼロシャッターラグ」と呼ぶところから始まります。基本的に、カメラアプリが開いているときは常に、A12 Bionic プロセッサは常に 4 フレームバッファーを撮影します。事実上、非常に迅速に何度も写真を撮り、実際にカメラロールに保存せずに、撮影した最後の 4 フレームをシステムメモリに保持します。

実際にシャッターボタンを押すと、バッファからフレームの 1 つが取得されるため、即座に写真が得られます。それだけでなく、A12 Bionic は、通常の HDR と同様に、さまざまな露出でさまざまなフレームを同時にキャプチャします。

次に、最適なフレームを分析して 1 枚の写真に結合します。これにより、非常に優れたダイナミックレンジが得られます。

これらすべてを非常に迅速に実行する必要があり、すべては新しい前面センサーと背面センサーにかかっています。新しいセンサーは読み出し速度が向上している可能性が高く、これらのフレームをより速くキャプチャできるようになります。

前面カメラで 1080P を 60 フレーム/秒で撮影できることは、より高速な読み出しを備えた新しいセンサーの証拠です。これが、Apple が将来のソフトウェアアップデートで iPhone X Smart HDR を提供しない可能性がある理由です。

ただし、もう 1 つの制限があります。それは、基本的にカメラのシャッターが開いて光がセンサーに入るまでの時間であるシャッタースピードです。シャッタースピードが非常に速いと、センサーに入る光が少なくなります。

Apple の新しい Smart HDR では、すべての処理が非常に迅速に行われる必要があるため、プロセスが遅くならないようにシャッタースピードを速くする必要があります。このため、センサーに入る光が少なくなり、画像の明るさが損なわれる可能性があります。

それを補うために、カメラは ISO を上げます。これは基本的に、センサーが光に対してどれだけ敏感かを決定します。システム ISO を増加すると、ノイズも増加します。

クレジット: Photography Life

Halide 開発者のセバスティアン・デ・ウィズ氏は、新しい iPhone XS カメラシステムを詳しく調べた結果、新しい iPhone は速いシャッタースピードとより高い ISO レベルを好むようであることを発見しました。同氏は、この動作は、機能が有効になっていない場合でも、スマート HDR 処理に最適なコンテンツをキャプチャすることに関連していると考えています。

明るい日光の下では、画像がすでに完全に露出している可能性があるため、ユーザーは大きな違いに気づきません。低照度のシナリオでは、ISO をかなり高くする必要があるため、多くのノイズが発生します。

これを補うために、Apple は画像にノイズ低減処理を追加します。

ノイズリダクションの最も一般的な欠点は、細部が鮮明さを失い始め、柔らかく見えることです。これは基本的にスキンスムージングと呼ばれるものです。

前面カメラで肌のスムージング効果がより顕著になるのは、センサーが背面のセンサーよりもはるかに小さいため、取り込まれる光がさらに少なくなるからです。

つまり、Apple はビューティーフィルターを適用していません。滑らかになった領域は主に、スマート HDR 機能に関連すると考えられる新しいカメラの動作の結果として導入された追加のノイズ低減によるものです。 XS Max の低照度の写真を Galaxy Note 9 などと比較すると、Note 9 もノイズリダクションを適用しており、同様のビューティーモード効果が得られていることがわかります。