iPhone と Android: 2 つの異なる写真と機械学習のアプローチ

Samsung の携帯電話カメラに関する論争により、コンピュテーショナル フォトグラフィーをめぐる議論が新たになり、コンピューテーショナル フォトグラフィーと Apple の iOS におけるアプローチとの違いが浮き彫りになっています。

Apple が自社のほぼすべての機能を高度なアルゴリズムとコンピュテーショナル・フォトグラフィーに依存していることは大きな秘密ではありません。iPhoneカメラの機能。しかし、ユーザーは、これらのアルゴリズムと、キャプチャ後のピクセル変更などのより侵入的なものとの間の境界線をどこに引くべきなのかを疑問視し始めています。

この記事では、サムスンの月の写真、同社がコンピューテーショナル・フォトグラフィーにどのように取り組んでいるのか、そしてこれが今後 Apple とその競合他社にとって何を意味するのか。

コンピュテーショナルフォトグラフィー

コンピュテーショナル フォトグラフィーは新しい概念ではありません。人々が小型スマートフォンのカメラにさらなるパフォーマンスを求めたため、この機能が必要になりました。

基本的な考え方は、コンピューターがカメラのシャッターを押した後など、瞬時に何十億もの操作を実行して、基本的な編集の必要性を置き換えたり、より高度な補正を適用したりできるということです。シャッターを押した後にコンピューターが実行するようにプログラムできればできるほど、より良い写真が得られます。

これが始まりましたiPhone 7 に搭載された Apple のデュアルカメラ システム。それ以前の他の写真技術革新、ライブフォト、コンピュテーショナル フォトグラフィーと考えることもできますが、ポートレート モードは Apple にとってターニングポイントでした。

Apple は 2016 年にポートレート モードを導入しました。これは、iPhone 7 Plus の 2 つのカメラから深度データを取得して人工的なボケを作成しました。同社は、デュアルカメラシステムと、1枚の写真につき1000億回の演算を実行する高度な画像信号プロセッサのおかげでそれが可能になったと主張した。

言うまでもなく、これは完璧ではありませんでしたが、写真の未来への一歩でした。カメラ技術は引き続きスマートフォンのフォームファクターに適応し、チップは高速化し、イメージセンサーは平方インチあたりの性能が向上するでしょう。

ポートレート モードでは、コンピュテーショナル フォトグラフィーを使用して前景を分離します。

2023 年には、高度な計算エンジンを使用して映画のようにぼやけたビデオを撮影し、結果がまちまちになることは前代未聞のことではありません。コンピュテーショナルフォトグラフィーどこにでもある、フォトニック エンジンから写真スタイルまで、iPhone で撮影されたすべての写真がアルゴリズムで処理されます。はい、ProRAWでも。

これはすべて、手持ちのデバイス、つまり iPhone で自分の生活を記録したいという人々の願望によって必要とされたものです。専用カメラ大きなセンサーや巨大なレンズを備えた物理学を味方につけていますが、一般の人は専用のリグに何百ドルも何千ドルも費やしたくありません。

それで、コンピューショナルフォトグラフィーは、スマートフォンの小さなセンサーの機能を強化するために参入しました。大規模なデータベースに基づいて構築された高度なアルゴリズムは、理想的な画像をキャプチャし、ノイズを処理し、被写体を露出する方法を画像信号プロセッサに通知します。

ただし、カメラの機能を強化するためにコンピュテーショナル フォトグラフィーを使用することと、センサーが決してキャプチャしなかったデータに基づいて画像を変更することの間には大きな違いがあります。

サムスンのムーンショット

明確にしておきますが、Apple は機械学習モデル、つまり、よくできた新しい流行語を使う人にとっては「AI、人工知能」を、コンピューテーショナル フォトグラフィーに使用しています。このアルゴリズムは、最良の結果を生成したり、被写界深度プロファイルを作成したりするためのマルチ画像キャプチャの制御に関する情報を提供します。

画像プロセッサは、肌の色調、空、植物、ペットなどを分析して、ピクセルの置き換えではなく、適切な色と露出を提供します。カメラセンサーの外部の情報に基づいて特定の機能強化を提供するために、月のような物体を探しているわけではありません。

私たちがこのことを指摘しているのは、サムスンの月の写真を議論している人々が、他の企業がどのように写真の改変を行っているかの例としてアップルのコンピュテーショナル・フォトグラフィーを使っているからです。それは単に事実ではありません。

サムスンの月アルゴリズムが動作中。クレジット: Reddit の u/ibreakphotos

サムスン文書化しましたGalaxy S10 以降、サムスンの携帯電話がオブジェクトの認識と変更を使用して画像をどのように処理してきたか。シーン オプティマイザーは、Galaxy S21 で月を認識し始めました。

最近公開された資料にもあるように、「AI」が学習データから月を認識し、ディテール改善エンジン機能を適用し、マルチフレーム合成と機械学習により写真をより鮮明にします。

基本的に、Samsung デバイスは遮られていない月を認識し、月に関する他の高解像度画像とデータを使用してより良い出力を合成します。結果として得られるのは、デバイスのカメラでキャプチャされた画像ではなく、新しく作られた画像です。

全体として、月は地球上のどこから見ても同じに見えるため、このシステムは賢明です。変わるのは、月の表面から反射する光の色と、月自体の位相だけです。写真内の月を強調することは、常に簡単な計算によって行われます。

Samsung と Apple の両方のデバイスは、高度な計算のために複数の写真を露出します。どちらも、複数のキャプチャ画像を分析してそれぞれの最良の部分を抽出し、1 つの優れた画像に融合します。ただし、Samsung は、月などの認識されたオブジェクトに対して追加の手順を追加します。これは、他の高解像度の月画像からの新しいデータを導入して、最終的にキャプチャされた画像内の月を修正します。

サムスンの月のアルゴリズムについて解説。クレジット: サムスン

これは必ずしも悪いことではありません。これはサムスンが広告や製品マーケティングで明確にしていないことであり、顧客の混乱を招く可能性があります。

このプロセスの問題点、そして議論が存在する理由は、これが写真の将来にどのような影響を与えるかということです。

簡単に言えば、最終的な画像はセンサーが検出しアルゴリズムが処理したものを表していません。これは可能かもしれないものの理想的なバージョンを表していますが、カメラのセンサーとレンズが小さすぎるために実現できません。

迫り来るリアリズムの戦い

私たちの観点からすると、iPhone 写真の重要な信条は常にリアリズムと正確さです。彩度、シャープネス、露出に完全な中間があるとすれば、常に完全に一貫しているわけではないにせよ、Apple は過去 10 年間にわたって中心に近づく傾向にあります。

写真が信じられないほど主観的なものであることは承知していますが、Android、つまりサムスンの写真はリアリズムから遠ざかってしまっているようです。繰り返しますが、必ずしも否定的なものではありませんが、Samsung が独自に選択したものであり、顧客は対処する必要があります。

この議論に関して言えば、Samsung と Pixel のデバイスは、その理想的な現実的な表現の中心から徐々に離れていきました。彼らは、より高い彩度、鮮明さ、または夜間の昼間のような露出を求めて競い合っています。

上の例は、Galaxy S22 Ultra がより多くの露出と彩度を優先し、それが詳細の損失につながったことを示しています。無邪気で自分の意見に基づいた選択ですが、iPhone13プロこの場合、後で編集できる詳細な写真を持って家に帰ります。

写真の撮影方法のこの違いは、各デバイスで使用される独自のアルゴリズムによって設定されます。これらのアルゴリズムが進歩するにつれて、将来の写真撮影の決定は、後で取り消すことができない、より独断的な選択につながる可能性があります。

たとえば、ユーザーに警告することなく高度なアルゴリズムを使用して月の見え方を変更することで、その画像はサムスンが理想と考えるものに合わせて永久に変更されます。確かに、ユーザーがこの機能をオフにすることがわかっていればオフにすることもできますが、おそらくオフにしないでしょう。

私たちは写真の未来に興奮していますが、写真愛好家としては、それが目に見えないものにならないことを願っています。 Apple のポートレート モード、Live Photos、その他の処理技術と同様に、明らかな切り替えでオプトインします。また、リバーシブルにしてください。

デバイスのメイン カメラ アプリでシャッターをタップすると、センサーが捉えたものの代表的な写真が撮影されるはずです。ユーザーがさらに追加したい場合は、トグルを使用して編集前または編集後に追加することを選択できるようにします。

とりあえず、iPhoneと三脚だけを使って夜空の写真を撮ってみてください。それは動作します。

なぜこれが重要なのか

空にある醜く光る球を適切な月に置き換えることには何の問題もありませんし、写真から人物やゴミ (またはゴミ人間) を削除することにも問題はないことを強調することが重要です。ただし、制御可能で、切り替え可能で、ユーザーに見えるプロセスである必要があります。

コンピュテーショナル フォトグラフィーは良くも悪くも未来です

アルゴリズムが進歩するにつれて、Android スマートフォンからより理想的に処理された画像が表示されるようになるでしょう。最悪の犯罪者は、予告なしにオブジェクトを完全に削除または交換します。

Apple は必然的に、デバイス上の画像処理とアルゴリズムを改善することになります。しかし、同社がこれまで写真にどのように取り組んできたかを踏まえると、ユーザーのリアルさへの欲求を尊重してくれると予想されます。

テクノロジーコミュニティにおける部族主義は常にユーザー間で議論の勃発を引き起こしてきました。それらには、Mac や PC、iPhone や Android、そしてすぐに実際の写真や理想的な写真が含まれるようになります。

私たちは、Apple が今後も写真に対するリアリズムとユーザーによるコントロールを選択し続けることを願っています。ユーザーがカメラに映す内容を、理想に合わせて画像を変更するところまで完全に独断で制御できるようにすることは、私たちが参加したい未来とは思えません。