Appleの写真アプリは将来、顔とボディランゲージで人を認識するかもしれない

Apple の写真アプリは、顔認識を使用するだけでなく、人々の個々のボディランゲージ、典型的なポーズ、胴体の識別にも取り組むことで、Faces の被写体識別機能を改善する可能性があります。

あれから十数年顔検出を導入しましたiPhoto '09 では、Apple は画像内の人物を識別する能力を向上させる方法を研究しています。 Faces 機能は賢くて便利ですが、混同されやすいため、Apple はボディランゲージなどの追加の詳細を使用して人々を分類したいと考えています。

「顔と身体の手がかりを組み合わせて人物を認識する」というのは、新たに明らかになった特許出願には、これを行うための複数の方法と、それが必要な理由が記載されています。

「カメラ付きモバイルデバイスの普及により、ユーザーはさまざまな設定や地理的場所で、任意の数の人物や物体の写真を多数撮影で​​きるようになりました」と Apple は述べています。 「しかし、それらの画像を分類して整理するのは難しい場合があります。」

「多くの場合、顔認識は画像全体で人物を識別するために使用されますが、たとえば、画像の品質や人物のポーズが低品質である場合など、顔認識は失敗する可能性があります」と続けています。カメラから目をそらしています。」

つまり、私たちの写真によって顔の検出が困難になっているのは私たちのせいなのです。 Apple が提案した解決策は、顔だけではなく、人の特徴の「クラスター」と呼ばれるものを作成することです。

「一定期間にわたって撮影された画像は、『瞬間』にグループ化できます。各瞬間は、時空間的に一貫した一連の画像を表します」と Apple は述べています。 「別の言い方をすれば、『瞬間』は、同じ一般的な場所 (例: 自宅、職場、レストラン、またはその他の重要な場所) 内で、所定の長さの同じ時間枠内で撮影された画像で構成されます。」

たとえば、ある朝自宅で撮った写真が分析され、画像内の各人物に関するデータが Apple が「多次元抽象埋め込みスペース」と呼ぶ場所に保存されます。これらの写真から収集されたその人物に関する情報のデータベースです。

顔認識を他の特性で強化するための 1 つのワークフローを概説する特許の詳細

「（これは）顔の特徴だけでなく、画像に登場する人物の身体（胴体など）に関する追加の特徴にも基づいています」とAppleは述べています。 「これらの特徴には、たとえば、形状、質感、ポーズなどが含まれる場合があります。」

ただし、これらの特性すべてが同等に扱われるわけではありません。 「（たとえば）胴体の特徴は、瞬間を超えて一貫している可能性は低いです...人々は数日、数週間、数か月などの期間で服を着替えるので」とAppleは続けます。

したがって、この検出と情報の「クラスター」のカタログ化の中心となるのは依然として顔です。 Apple は、撮影された写真の 1 つ、2 つ、または 3 つの「瞬間」でクラスターを作成することについてのみ説明していますが、より多くの画像から作業する必要があるほど精度が向上するようです。

この特許出願には 3 人の発明者が記載されています。これには、Vinay Sharma が含まれます。彼の以前の研究には、以下に関する取得済みの特許が含まれています。トレーニングシステム顔認識を向上させるため。