Appleのカメラ付きApple Watchバンドは顔認識技術を採用し、クリアなFaceTime通話を実現

Appleは、カメラハードウェアをApple Watch製品ラインアップに組み込む方法を研究しており、特に、その用途に適していないデバイスに画像キャプチャ装置を組み込むことに特有の落とし穴を回避するシステムに焦点を当てている。

火曜日に米国特許商標庁がAppleに付与した特許によると、このテクノロジー巨人は、対象物を自動的に切り取り、ユーザーの物体と同じように追跡できる斬新なカメラシステムを組み込むことで、ウェアラブルの機能セットを拡大しようとしているという。顔を調整し、FaceTime 通話用に角度調整されたアバターを生成します。

Appleの米国特許第10,129,503号「画像キャプチャウォッチ」については、カメラを搭載した Apple Watch を実現可能にするだけでなく便利にするハードウェアおよびソフトウェアのソリューションについて詳しく説明します。

宿泊施設の文言にも記載されているように、このような設計により、ユーザーは iPhone への依存度が低くなり、場合によっては状況によっては完全に携帯電話を使わなくなる可能性があります。カメラ付き Watch を使用すると、ユーザーはスポーツ、ワークアウト、またはその他の激しいアクティビティを行うときに、かさばるハンドヘルド機器を置いたままにすることができます。

実用的なスマートウォッチカメラソリューションを実行するのは困難です。 iPhone カメラのような従来のハンドヘルド画像キャプチャシステムを単に Apple Watch にグラフ化するだけでは、ユーザーエクスペリエンスは悪夢のようなものになります。所有者は、フレーミングを確認するためにプラットフォーム全体 (手首) を動かさずにカメラを被写体に向けるのは困難であり、同時にビデオの安定性から人間工学に至るまで、他の多くの懸念事項にも対処する必要があります。

予想される数多くの問題に対処するために、Apple は時計のバンドに組み込まれたセンサーに広角レンズを取り付けるシステムを提案しています。あるいは、複数のカメラで画像データを同時にキャプチャし、シームレスにつなぎ合わせて、一眼カメラよりもはるかに広い視野を持つ 1 つの連続画像を作成することもできます。

得られる広角画像により、正確な照準の必要性が軽減されます。事前に主題をフレーミングする代わりに、最終的な写真やビデオを事後的に切り取って、ターゲットや関心のある場所に焦点を合わせることができます。このプロセスは、アルゴリズム的に実行することも、ユーザーが手動で実行することもできます。

Apple は、この技術が最初の画像取得にうまく機能するだけでなく (ユーザーはターゲットの一般的な方向にレンズを向けるだけで済みます)、ポータブルカメラユーザーには通常利用できない新たなレベルの利便性も追加すると述べています。 Crop-after-capture は、たとえば、瞬間的なイベントの記録に役立ちます。

電話会議通話テクニックのイラスト。

この特許は基本的な写真撮影を超えて、テレビ会議についても深く掘り下げています。ここでも、Apple は提案されたテクノロジーに思慮深い背景を提供しています。

いくつかの実施形態では、時計は取り込んだ画像を処理し、顔認識ソフトウェアを適用してユーザーの顔を認識する。このデバイスは、識別された顔を中心にトリミングされた画像を動的に出力し、時計が動いている場合でも顔をフレーム内に保つために継続的にオンザフライ調整を行います。

おそらく最も興味深いのは、見栄えのしない「アップノーズ」角度を修正するためのオプションです。ユーザーが FaceTime 通話で Watch を使用し、Apple の自動トリミング技術で約束されているようにデバイスを顔の正面に直接保持せずに使用した場合、結果として得られる画像は低い視点からキャプチャされることがあります。

「鼻を上げた」ショットを無効にするために、Apple は真正面から撮影したように見えるユーザーの顔の表現を出力することを提案しています。

特許に記載されているように、Watch のオンボードプロセッサは、保存された顔データ (おそらく生体認証登録中に収集された情報) を編集することによって、角度補正されたユーザーの顔の画像または表現を生成する可能性があります。カメラによってキャプチャされ、時計によって処理されたモーションデータは、コンピュータで生成された表現にマッピングされ、ユーザーの顔の表情や動きをリアルタイムで模倣します。

あるいは、ソースモーションデータを使用して、Apple のアニ文字やミー文字などの人間以外のアバターの動きを知らせることもできます。

自動トリミング (上) と「アップノーズ」角度補正の図。

AppleがApple Watchのカメラバンド技術を導入するつもりかどうかはまだ不明だ。同社は2015年にApple Watchの将来モデルにFaceTimeカメラを組み込むと噂されたが、その噂は実を結ばなかった。

Apple のカメラ時計バンドの特許は 2016 年 9 月に初めて申請され、その発明者として Seung Wook Kim と Megan A. McClain が認められています。