人気のマニュアル写真アプリ Halide の開発者である Sebastian de With は、iPhone XS カメラ システムの開発に取り組んできました。 Apple の最新シューティングゲームを包括的に調査する中で、de With はコンピューテーショナル フォトグラフィーの概要を提供し、ノイズ リダクション テクノロジが人工的に強化されたように見える自撮り写真をどのように生成するかを説明します。
で広範囲にわたる詳細な調査, de Withは、ハードウェアの多くが昨年から引き継がれているにもかかわらず、新しいiPhoneの画像がiPhone Xで撮影された画像と大きく異なって見える理由を概説しています。特に、開発者は次のような説明を提供しています。肌を滑らかにする効果があると言われているそれは週末に見出しを飾りました。
コンピューテーショナル・フォトグラフィーは未来です
Apple はずっと前に、iPhone の将来は必ずしもハードウェアにあるわけではないことに気づいていました。そのため、同社は通常、プロセッサ速度やRAMなどの「技術仕様」の公表を避け、代わりに実際のパフォーマンスに焦点を当てています。
カメラについても同様です。 Apple は、単にカメラに毎年より多くのピクセルを詰め込むのではなく、既存のコンポーネントと、そして重要なことに、それらを駆動するソフトウェアの改善に重点を置いています。 de With 氏が指摘したように、Apple がポケットサイズのカメラ プラットフォームをどこまで実現できるかについては、純粋な物理学が急速に主な障害になりつつあります。技術をさらに推し進めるために、同社はソフトウェアを使ってチョップを作成することにますます依存しています。
ハロゲン写真アプリ
iPhone XSに大きな違いをもたらしたのはこのソフトウェアです。
先月のiPhone発表会でワールドワイドマーケティング担当上級副社長のフィル・シラー氏は、アップルが設計した画像信号プロセッサー（ISP）が写真を処理する際にどれだけの時間を費やしているかについて語った。
iPhone XS では、ユーザーがシャッター ボタンを押す前に、アプリを開くとすぐにカメラ アプリが写真の撮影を開始します。写真が撮影されると、ハンドセットは、露出アンダーおよび露出オーバーのフレームから、速いシャッタースピードで撮影されたフレームに至るまで、一連の個別の画像を収集します。画像選択プロセスでは、最適な候補フレームが選択され、それらが組み合わされて、細部を保持しながら信じられないほどダイナミック レンジの高い写真が作成されます。このプロセスには明らかに、意図しない結果がいくつかあります。
騒音をもたらす
これらすべてのコンピュテーショナル フォトグラフィーをバックアップするには、iPhone XS のカメラ アプリで大量の写真を非常に高速に撮影する必要があります。
この目標を達成するために、新しいカメラはより速いシャッタースピードとより高い ISO を優先します。シャッタースピードが速くなると、センサーが捉える光が少なくなります。光の減少を補うために、カメラ アプリは ISO を上げます。ISO はセンサーの光に対する感度を決定します。そのため、入ってくる光は少なくなりますが、カメラは光に対する感度が高く、適切な露出の画像を出力できます。
iPhone X (左上と下) と iPhone XS RAW のサンプル RAW 写真。 |出典: セバスティアン・デ・ウィズ
ただし、ISO が増加すると、写真にノイズが多く現れ始めます。このノイズは何らかの方法で除去する必要があり、そこで登場するのが Apple の Smart HDR とコンピュテーショナル フォトグラフィーです。
ノイズをさらに低減すると、画像がわずかに滑らかになります。これは、人々が報告しているセルフィーを滑らかにする「問題」に見られる問題の一部です。
2 番目の理由はコントラストに関係しています。
局所的なコントラストが低い
局所的なコントラストは、ほとんどの人が写真の鮮明さとして認識するものです。
「簡単に言えば、対照的な明るいまたは暗い形状に隣接する暗いまたは明るい輪郭のことです。その局所的なコントラストが、物事を鮮明に見せるのです」とデ・ウィズ氏は言います。
シャープ効果を写真に適用すると、実際には詳細は追加されませんが、代わりに明るいエッジと暗いエッジが強調されてコントラストが増し、画像がより鮮明になったように錯覚します。
iPhone XS および XS Max のスマート HDR は、画像の露出においてはるかに優れた機能を発揮し、局所的なコントラストが低下し、画像が他の方法よりも滑らかに見えます。
大衆向けのカメラ
この撮影方法の最大の問題はRAW撮影時に発生します。 De With は、iPhone XS は、RAW 撮影時でも、最高の Smart HDR 写真を得るために、露出時間の短縮と ISO の向上を優先しているのではないかと仮説を立てています。これでは、Smart HDR のメリットが得られません。そのため、露出過剰で、場合によっては白飛びした写真が残り、細部が切り取られ、再利用できなくなります。
RAW ショットにはノイズ リダクションも適用されず、ISO が高くなるとノイズが追加されるため、画像の見栄えが非常に悪くなります。つまり、RAW 撮影時には、しなければならないマニュアルで撮影し、画像を意図的に露出不足にします。
iPhone X（左）とiPhone XS MaxのRAW写真のサンプル。 |出典: セバスティアン・デ・ウィズ
Apple の明らかなカメラ アプリの決定は、サードパーティのアプリに影響を与えます。ハロゲン化物— これが、de With が Smart RAW と呼ばれる今後の機能に取り組んでいると述べている理由です。独自の計算魔法を少し使用して、ノイズを低減しながら RAW 写真からより詳細な情報を取得します。この新機能は、Halide の今後のアップデートに含まれる予定です。
多くの分析は重要に思えますが、Apple のアルゴリズムによって経験された問題はこれまでのところ異常値です。ほとんどの自撮り写真は非常に見栄えのしない光で撮影されており、Apple が行った変更がなければ、露出が低く、ノイズだらけになってしまうでしょう。 Apple は、ノイズを過剰に除去し、滑らかすぎる画像を作成するという慎重な側の間違いを犯した可能性がありますが、これは取り消すことができます。
さらに重要なのは、Apple には問題を解決するためにファームウェアをいじる能力があるということです。その後のアップデートを通じてそれがそう選択するなら。
最近の記事で見たように、iPhone XSとXの写真比較、Smart HDR を搭載した iPhone XS および XS Max では写真撮影機能が大幅に向上しており、大多数のユーザーがすでにそのメリットを実感しています。
Isamu 
Isamu