木曜日に発見された文書は、AppleがiPhoneの画質を新たなレベルに引き上げるための技術開発に熱心に取り組んでいることを示しており、具体的には光学式手ぶれ補正を使用して複数のサンプルをキャプチャし、それらをつなぎ合わせて信じられないほど高解像度の画像を形成する「超解像度」画像エンジンだ。密度の高い写真。
iPhone はすでに世界の 1 つです最も人気のある消費者向けデジタルカメラにおいて、アップルは、メガピクセルを増やすことなく画像の解像度を大幅に向上させる新技術で、この分野でのリードをさらに強化しようとしている。
米国特許商標庁が木曜日に公開した特許出願によると、「光学式手ぶれ補正による超解像」 Apple は既存の OIS 技術の代替的でユニークな用途をテストしており、競合するスマートフォン メーカーとは大きく異なる道を歩んでいます。
出典: USPTO
非常に基本的な用語では、本発明は光学式画像安定化（ＯＩＳ）システムを使用して、わずかにオフセットした角度で一連の写真を素早く連続して撮影する。結果のサンプルは画像処理エンジンに供給され、パッチワークの超解像度画像が作成されます。
従来の OIS システムは、慣性センサーまたは位置センサーを使用して、不安定な手の震えなどのカメラの動きを検出します。カメラのイメージング モジュール (CCD、CMOS、または同等のセンサー)、または場合によってはレンズ要素に取り付けられたアクチュエーターは、コンポーネントを等しく反対のベクトルにシフトして、不要な動きを補償します。
物理的な安定化モードでは、通常、ソフトウェアベースのソリューションと比較して、より高品質の画像が生成されます。デジタル手ぶれ補正技術では、画像の境界線の外側のピクセルから取得したり、写真に複雑なマッチング アルゴリズムを実行したりすることで手ぶれを補正しますが、OIS はカメラ コンポーネントを物理的に動かします。
Appleの申請書では、従来のOISシステムを高度な画像処理技術と組み合わせて、同社が「超解像度」画像と呼ぶものを作成している。
一実施形態によれば、システムは、カメラ、ＯＩＳ位置決め用のアクチュエータ、位置決めセンサ、慣性センサ、ＯＩＳプロセッサ、および超解像度エンジンで構成される。 iPhone 5s の A7 システムオンチップなどの中央プロセッサがメカニズムを制御し、さまざまなコンポーネント間でデータを渡します。
実際には、基本的なカメラ アプリで超解像度オプションがユーザーに表示されることがあります。物理的なボタンまたは画面上のボタンによってシャッターがアクティブになると、iPhone 5s でサポートされている iOS 7 のバースト モードとよく似たショットがシステムによって連射されます。
連続した画像サンプルを取得する際、高精度のアクチュエータが光路に沿って、つまり水平面または画面全体にわたってサブピクセルシフトでカメラモジュールを傾けます。いくつかの実施形態では、ピッチとヨーの両方を同時にシフトするために複数のアクチュエータを専用にすることができる。あるいは、OIS システムは、イメージング モジュールの上でレンズ要素を移動させることもできます。
OIS プロセッサは既知のサブピクセル シフトでアクチュエータを制御するように校正されているため、結果のサンプルを補間して高解像度グリッドに再マッピングできます。このプロセスは、傾斜角度を示す位置決めセンサーによってサポートされており、精度がさらに向上します。
低解像度サンプルとみなされ、連続する各ショットは超解像度エンジンに転送され、すべての写真データが結合されて高密度にサンプリングされた画像が作成されます。特定の実施形態では、低解像度サンプルを高解像度グリッド上に投影することができるが、他の実施形態では、サブピクセルグリッド上への補間が必要となる。
最後に、超解像度エンジンは、ガンマ補正、アンチエイリアシング、その他の色処理方法などの追加技術を適用して、最終画像を形成できます。追加のボーナスとして、超解像メカニズムの動作中に、OIS システムに実際の安定化タスクを割り当てることもできます。
Appleの提出書類の残りの部分では、システムのキャリブレーション、最終的な画像構築の代替方法、正確な動作に必要な主要な光学閾値についてさらに詳しく説明されている。また、フィルター、ミクロンレンズなどのセンサー構造、光と色の処理に関連する仕様についても説明します。
Apple が近い将来の iPhone に超解像度システムを実装することを選択するかどうかは不明ですが、最近の噂によると、Apple はデジタル ソリューションを優先して次世代端末での物理的安定化を放棄するとのことです。 OIS システムには追加のハードウェアが必要なため、結果として得られるカメラ アレイは、ソフトウェア ベースの安定化機能を備えた通常のセンサー モジュールと比較して大きくなります。
Apple の OIS ベースの超解像度特許出願は 2012 年に初めて出願されており、その発明者として Richard L. Baer 氏と Damien J. Thivent 氏が認められています。
