Apple と写真の未来を詳しく知る: iPhone 8 Plus

10年前にiPhoneが発売されたとき、撮影できるのは基本的な写真だけでビデオはありませんでした。それ以来、Apple はモバイル写真の機能を急速に進化させ、現在では iPhone が看板サイズのアートワークで世界的に認知され、映画公開用の長編映画の撮影にも使用されています。 iOS 11 では、Depth による新しいレベルの画像キャプチャが実現しました。 iPhone 8 Plusでデビューした新機能に焦点を当てて、写真の未来を見てみましょう。

Apple の歴史、特に iPhone の過去 10 年間において、同社は一連の新しいテクノロジーを主流に導入してきました。これらのアイデアの多くは、マルチタッチディスプレイ、電子ジャイロスコープ、加速度計モーションセンサー、深度センサーカメラなど、他の場所で最初に研究、発表され、さらには製品化されていました。

ただではなく最初に市場に投入される, Apple は、リリース前に自社の作品を改良することも理由の 1 つとして、自社が発売するテクノロジーの有用で実用的な現実世界のアプリケーションをターゲットにすることが多いため、繰り返し大衆市場での成功を先駆けて成功してきました。

マルチタッチセンシングを開発して発表した最初の研究者の 1 人である Jeff Han は、Apple の iPhone のように、何億人ものユーザーが使用するモバイルデバイスにこのテクノロジーを導入したわけではないことに注意してください。その代わりに、彼はその方針に沿ってアイデアを開発し、その結果、Microsoft に買収され、9,000 ドル以上の Surface Hub としてブランド化された後でも、数千台も売れる大きな会議室スクリーンが誕生しました。

ハン自身として注目した2007年のデビュー当時、「iPhoneは本当に素晴らしい。この種の技術を消費者市場にもたらす企業があるとしたら、それはAppleだ、と私はいつも言ってきた。」

同様に、Apple の最新の深度センシングカメラは、昨年 iPhone 7 Plus で初めて導入され、iPhone 8 Plus と次期 iPhone X に拡張されました。

リビングルーム規模の Xbox Kinect から、後頭構造センサーや Google の Project Tango に関連した特別装備のタブレットに至るまで、さまざまな製品で実験が行われてきました。

しかし、流行のゲームコントローラーや実験的なニッチツールではなく、Apple の深度キャプチャへの複数の進出により、距離を認識したイメージングの概念が数千万人のユーザーによって日常的に使用され、間もなくモバイルデバイスの使用方法が根本的に変わることになります。、認証方法から通信方法、データの視覚化、画像やビデオのキャプチャ方法まで。

ここでは、Apple の深度イメージング戦略が過去 1 年間どのように展開されてきたか、そして今後どこへ向かうのかを見てみましょう。

昨年のiPhone 7 Plusでは、独立したレンズを備えたデュアルカメラが導入されました。振り返ってみると、この機能 (Plus モデルのみ) により、より多くの iPhone 購入者がより大型で高価な Plus に引き付けられた (Apple がより多くのお金を稼ぐ) だけでなく、Apple が他の機能よりも早く新しいテクノロジーを導入できるようになりました。毎年新しい iPhone モデルが 1 つずつリリースされるため、単一の製品に組み込める機能について妥協する必要がありました。

前世代の iPhone 6/6s Plus モデルも同様に、標準サイズの通常価格の iPhone とは一線を画す独自のカメラ機能、つまり光学式手ぶれ補正を保持していました。 OIS は、レンズの周りに信じられないほど高精度のマイクロモーターのリングを使用し、手振れを防ぐためにモーションセンサーからのデータと連動してレンズの位置を急速に移動させます。

特に、OIS は、カメラの絞りをできるだけ広く、できるだけ長く開く必要があり、特に動きに敏感になる低照度の状況で、より良い写真を撮影するのに役立ちます。ただし、OIS は iPhone 7 Plus のズームに比べて機能が目立たず、実証するのが困難です。

iPhone 7 Plus のデュアルカメラは、写真を有意義に向上させる可能性をさらに開拓しました。 2 つのレンズが提示され、1 つは標準広角レンズ、もう 1 つは 2 倍ズームレンズとして指定されています。被写体に近づく写真、動画、スローモーション、タイムラプス、さらにはパノラマのいずれを撮影しても、画質を損なうことはありません。

2 つのレンズには独立したカメラセンサーが搭載されていますが、連携して動作することもできます。これにより、ユーザーがズームレベルを調整すると、標準から 2 倍の光学カメラセンサーに移行するスムーズな増分ズームが可能になります。

Appleはデビュー時に、ボケ効果を使ってこのテーマに劇的な注目を集めるように設計された次期機能も予告した。狭い被写界深度を捉えることができるレンズを備えた一眼レフカメラのスタイルで背景をぼかし、前景のポートレートの被写体に劇的な焦点を当て、背景が消えていくようにします。

この写真は、被写体が写真家に感じたのと同じくらい、写真の中で自分の子供、ペット、友人を重要に見せる方法が人々に気に入られ、大ヒットしました。 Photo Booth や Snapchat のコミカルなレンズ効果とは異なり、iOS 10 のポートレートモードは、被写体を引き立たせるだけでなく、写真家に素晴らしい写真を撮影する能力に自信を与える、ドラマチックなセンスを備えたリアルで高品質の画像を撮影しました。

Apple がこれらのポートレート画像をどのように撮影していたのかは、今夏の WWDC17 まで詳しく議論されなかったが、そのとき同社は、iPhone 7 Plus のデュアルレンズカメラができる唯一のトリックはポートレートモードではないことを概説した。 Apple は、ポートレートモードでは、2 つのレンズが両方とも同等の 2 倍画像をキャプチャするように構成され、それぞれが被写体のわずかに異なる角度を捉えると説明しました。

差分深度処理 (2 つの画像内の点の差を比較して、オブジェクトがカメラに近いか背景の遠くにあるかを判断する) を使用すると、2 つの画像ソースを使用して、一種の 3D タイポグラフィーレイヤーである深度マップを作成できます。元の写真とペアになったメタデータの。ポートレート機能は、このデータを使用して、写真のどの部分が背景の遠くにあるのかを特定し、それらの領域にぼかし効果を適用できます。

iPhone 7 Plus の画像とその深度マップをグレースケールで表示

iOS 11 の新機能により、サードパーティは Apple のパブリック Depth API を使用して、ポートレートで写真を撮影し、特定のレイヤーで独自の処理を実行できるようになりました。簡単な例: 背景の彩度を下げて、被写体のみをカラーにします。

事実上、任意の既存の写真フィルタを、任意の深さのしきい値で、画像のさまざまな深さのレイヤーに選択的に適用できます。ポートレートモードのボケ味は、深度キャプチャでできることという点では文字通り氷山の一角でした。

彼の WWDC17 で実証されたようにプレゼンテーションApple の Etienne Guerard 氏は、「深度のある画像編集」で、背面のデュアルカメラによって作成された深度マップを 3D で視覚化し、写真のさまざまな部分にフィルターやその他の効果を選択的に適用するために使用する方法を示しました。

本当にうまく機能し、見た目もクールで、一眼レフ写真の現実的で創造的な世界に基づいており、したがって iPhone ユーザーにとって明白な価値のあるポートレートモード用の特定のタイプのエフェクトを開発して強調することで、Apple はポートレートモードを説得力のある理由として効果的に宣伝しました。 iPhone 7 Plusを買うために。

もし Apple が、無数のオプションを作成するためのさまざまなコントロールの実験的なツールボックスとして Plus デュアルカメラを導入したとしたら、ほとんどのユーザーはおそらく、多くの場合、画像が改ざんされたように見えるだけの、ギミックの複雑さとしてすべてを無視したでしょう。

iPhone 8 Plus: A11 Bionic を使用したポートレートライティング

iOS 11、iPhone 8 Plus、iPhone X では、デュアル背面カメラからの深度マップがより詳細になりました。高度な新しい処理能力A11 バイオニックカメラからのセンサーデータの分析に使用される Apple のカスタム画像信号処理コアが組み込まれています。その新しいニューラルネット処理は、シーン内で移動するオブジェクト、顔、体を認識して理解するために特に使用されます。

この新しい処理能力により、最新の携帯電話のポートレート照明この機能を使用すると、ユーザーは画像をキャプチャして、背景のボケ効果を適用するだけでなく、前景にインテリジェントな照明効果を適用して、被写体の顔を強調するための見栄えの良い光バウンスカード、顎の輪郭を縁取るためのよりドラマチックな照明、または完全なブラックアウトをシミュレートすることもできます。背景をぼかし、被写体を背景の邪魔から完全に隔離し、スタジオのステージで黒い背景の前で撮影されているように見せます。

何気ない写真をドラマティックな写真に仕上げるポートレートライティング

繰り返しになりますが、Apple は、無限の深度オプションを備えた広くオープンなツールボックスを導入するのではなく、プロの写真やスタジオのポートレートからインスピレーションを得た、さまざまな状況で写真を撮影するさまざまなユーザーに役立つ一連のポートレートライティングエフェクトを見つける作業を行いました。アーティストたち。

他のベンダーは詳しくありません

他のスマートフォンでは、何年もの間、デュアル本物のカメラを実験してきました。はるか昔の 2011 年（Apple が iPhone 4s で Siri を披露した頃）、HTC と LG は、メガネを必要とせずに 3D 画像をキャプチャして画面上に 3D 表示できる立体カメラ付き携帯電話を披露していました。並行して、消費者が 3D のめまぐるしい効果にはあまり興味がないと判断するまで、3D マーケティングの誇大広告が数か月間 HDTV を襲いました。もう誰も 3D スマートフォンを作っていません。

数年後の 2014 年、HTC One M8 は、2 つの画像を撮影し、それらを混合して深度マップを計算し、これを使用して背景をぼかしたり、画像のデジタルリフォーカスを行うことができるデュアルカメラシステムをデビューさせました。ポケット糸くず 観察された、「エフェクトはかなりギミックがあり、デュアルカメラの利点はあまり影響を与えませんでした。」

昨年初めにLGはデュアルレンズを導入し、1つは広角レンズとして機能し、もう1つは写真にさらに収まるように超広角レンズとして機能します。ただし、レンズの焦点深度は固定されているため、両方を併用してハイブリッドカメラとして使用することはできません。また、広角レンズも便利ですが、一般的にはズームの方が実用的です。

広角ショットは、パノラマを撮影することでデジタル的にシミュレーションできます。 2 倍ズームパノラマを使用すると、歪みの少ないパノラマを作成できます。したがって、ズームレンズよりも広角レンズの方が機能的にシミュレートするのが簡単です (デジタルズームでは写真の品質が犠牲になりますが、パノラマでは標準の写真よりも詳細をキャプチャできます)。

ファーウェイは最近、人間の視覚を模倣してより良い写真を提供することを目的として、ライカと協力して、カラーデータ専用とモノクロ細部専用の 2 つのカメラを搭載した携帯電話を提供しました。ただし、このアプローチで本当に写真が改善されるかどうかは明らかではありません。より良いアプローチは、Apple が (まあ) 多くの努力を注いでいる領域であるフォーカスを処理するロジックを強化することのようです。繰り返しになりますが、同じレンズを備えた 2 台の同一のカメラがあるということは、ズームや広角が得られないことを意味します。

Pixel 2: 2 台のカメラよりも 1 台のカメラのほうが優れています!少なくともGoogleにとっては

Google の最新のバニティ Pixel 2 電話プロジェクトは、単一のカメラを使用してシミュレートされたボケ効果を作成する点で、Apple の iPhone 7 Plus のポートレートモードを模倣しています。CNET 州この携帯電話は「デュアルピクセル設計。つまり、すべてのピクセルが 2 つに分割され、左右の写真を撮影する左右のセンサーがある」ということです。

もちろん、物理学と幾何学により、1 台のカメラセンサーが捕捉する深度情報の精度は、離れて配置された 2 台のカメラよりも低くなります。 Google は実際には顔を認識し、髪と体のどの領域がそれに接続されているかを推定し、これらを前景として定義し、残りをぼかしているだけのようです。Apple はまた、すべての iOS 11 デバイスで動作する機械学習およびインテリジェントコンピュータビジョンツール、および次期 iPhone X に特有のさらに高度な深度画像キャプチャに関する一連の取り組みを推進しています。

レポートでは、GoogleのGM兼携帯電話担当副社長マリオ・ケイロス氏が「そのカメラの機能セットに欠けているものは何もない」と述べているが、単一の背面カメラとレンズを使用しているため、光学ズームは提供されていないと述べている。 iPhone 7/8 Plusモデルのようなレンズ、またはLGの携帯電話のような広角レンズ。また、主題の iPhone 8 Plus のポートレートライティングのような、より複雑な効果を実行しようとするものでもありません。

Pixel のポートレートモードが昨年の iPhone 7 Plus とどのように比較されるかはまだわかりません。しかし、シングルカメラ設計の本当の目的は、静止写真だけでなく、iOS 11 ができる深度処理効果でも創造的な効果を加えることができるという犠牲を払って、主に Google の携帯電話の製造コストを安くすることだけのようです。光学ズームだけでなくビデオでも実行できます。

iPhone 7 PlusとiPhone 8 Plusの背面デュアルカメラに加えて、Appleはまた、すべてのiOS 11デバイスで動作する機械学習およびインテリジェントコンピュータビジョンツール、さらにはiOS 11に特有のさらに高度な深度画像キャプチャに関する一連の取り組みを追求しています。次期iPhone X、次の記事セグメントの詳細。