Appleがライトフィールド画像編集ソフトウェアを検討、特許出願が明らかに

木曜日に米国特許商標庁に提出された特許出願は、Appleがライトフィールドカメラアプリケーションの研究を続けていることを明らかにしており、この場合、ユーザーが写真編集アプリで焦点や被写界深度を変更するために画像データをどのように操作するかを想像しています。

「Z 深度画像セグメンテーションの方法と UI」という長文タイトルで出版されました。Appleのアプリケーションライトフィールドイメージングのソフトウェア側について説明し、高度に特殊化されたイメージングセンサーによって生成されたデータを編集するアプリケーションについて説明します。最も基本的なレベルでは、ファイリングは、ライトフィールドカメラでキャプチャされた画像の焦点を合わせ、後で再度焦点を合わせるためにユーザーが実行できる手順を想像します。

Apple は、高度なリフォーカス計算に必要な画像データを生成できるハードウェアの概要を説明することから始めます。一般的な「ライトフィールドカメラ」は、光を捕捉するだけでなく、光線がシステムに入る方向に関する情報も捕捉するカメラであると説明されています。この豊富なデータセットを使用して、それぞれわずかに異なる視点を持つさまざまな画像を作成できます。

このような特殊な画像センサーは現実世界に存在しており、おそらく最も目に見えるのは民生用カメラメーカー Lytro 製の機器です。あるいは、この文書は、マイクロレンズアレイを使用して光を従来の CMOS チップに向け、それほど手間をかけずに同様の結果を達成するプレノプティックカメラについて言及している可能性があります。偶然にもアップルIPを所有していますそのような実装についても説明します。

ライトフィールドカメラの主な機能の 1 つは、被写界深度を再計算できる機能です。被写界深度とは、カメラシステムの焦点範囲として表現される絞りサイズと被写体距離の関数を表す用語です。

絞りを大きくすると被写界深度が浅くなり、狭い深度範囲内にあるオブジェクトのみに焦点が合いますが、絞りを小さくすると被写界深度がより広くなります。非常に単純化した例では、特定の焦点距離で絞り f/2 に設定されたカメラシステムから 2 ～ 4 フィート離れたオブジェクトは、写真では非常に鮮明に写る可能性があります。逆に、f/16 以下の絞りで設定された同じカメラシステムでは、2 フィートから無限遠まで鮮明な焦点でオブジェクトを再現します。

ライトフィールドシステムでは、光線の方向に関連するデータが処理されて、フレーム内のオブジェクトの深度が決定されます。 Apple の発明では、この深度情報を使用して画像をレイヤーに解析し、編集アプリケーションによって変更したり削除したりすることができます。

一実施形態では、アップルのシステムは、ライトフィールド画像データを取り込み、それを処理し、深度対撮像ピクセル数を表示するヒストグラムを生成する。ヒストグラムを分析すると、システムは画像レイヤーが形成される山と谷を決定できます。

各レイヤーは、ライトフィールド画像内の特定の深さに対応します。スライダーバーなどの UI ツールを適用すると、ユーザーは背景レイヤーを隠しながら前景レイヤーを表示するようにシステムに指示できます。深度スライダーを操作すると、特定のレイヤーに焦点が当たったり、焦点が合わなくなったりします。

別の方法には、画像内でフォーカスするオブジェクトを直接クリックまたはタップして選択することが含まれます。ライトフィールドデータを使用すると、これらのオブジェクトに割り当てられたレイヤーを、他のレイヤー (前景と背景) と関連させて、さまざまな焦点状態または計算された焦点距離で再現できます。シナリオによっては、レイヤーを完全に削除できる場合があります。

Apple の画像編集プログラムには、コントラスト、明るさ、色補正などの通常の写真調整設定も組み込まれています。 1 つのアプリにバンドルされているため、ユーザーは被写界深度、フォーカス、レイヤー選択、ライトフィールドイメージングに特有のその他の高度な機能とともに写真のプロパティを操作できます。

最近の出来事を考慮すると、今日の提出書類は特に興味深いものです。火曜日、アップルは、いつものように返答のないコメントではあるが、イスラエルに本拠を置く企業の買収を認めた。LinX Computational Imaging Ltd., 「多絞り画像技術」を専門とする会社です。この契約には約2000万ドルの価値があると見積もる人もいる。

LinXイメージセンサー。

Apple が LinX テクノロジーを使って何をしようとしているのかは不明ですが、IP をライトフィールドカメラシステムに接続するのは無理もないでしょう。しかし、短期的には、Apple は新しく買収したマルチレンズカメラソリューションを、小型フォームファクタコンポーネントを使用して高解像度で従来の写真を撮影することに適用する可能性が高くなります。

Apple のライトフィールドイメージングソフトウェアの特許出願は 2013 年 10 月に初めて申請され、アンドリュー E. ブライアントとダニエルペティグリューが発明者として認められています。ペティグリュー氏のLinkedInと思われる情報によるとプロフィール, その後、彼は Apple の画像処理スペシャリストの職を辞し、Google の同じ役職に就きました。