SiriはHomePodのように部屋をマッピングすることで精度を向上させる可能性がある

Apple とカーネギーメロン大学による新しい研究では、スマートデバイスが周囲の状況を学習し、いつ、どこで話しかけられているかを知ることでリクエストをよりよく理解できる方法について詳しく調査されています。

Apple の学者とカーネギーメロン大学のヒューマンコンピュータインタラクション研究所は、次のようなデバイスがどのように機能するかを説明した研究論文を発表しました。シリそしてホームポッド周囲の声に耳を傾けさせることで改善できる可能性があります。多くの Apple デバイスはリッスンしますが、「Hey、Siri」というフェーズを聞くのを明示的に待っており、それ以外は無視されます。

これは Alexa についても同じで、少なくとも理論上はそうなのですが、これらの研究者らは、環境の詳細、そして人々がそこで何をしているかを判断するために、スマート デバイスに積極的にリッスンさせることを提唱しています。

「聞きなさい、学びなさい」と彼らは言います。彼らの論文では、「ユーザーの負担を最小限に抑えながら、展開された環境に固有のイベントを徐々に学習するアクティビティ認識技術です。」

現在、HomePod自動的に調整するユーザーがいる環境や空間に合わせてオーディオ出力を調整できます。そして Apple は、出願済みの特許そうすれば、将来の HomePod は部屋の中の人の位置を利用して、音声をその人に向けることになるでしょう。

この論文の研究の背後にある考え方は、同様のセンサーが音を聞き、その音の発信元を検出できるというものです。その後、それらをグループ化して、たとえば、電子レンジからのピー音がどの方向に来ているかを認識できるようになります。誰かがどこに立っているのか、どの方向からどのような音が聞こえるのかというコンテキストを理解すれば、Siri はリクエストをよりよく理解したり、情報を提供したりできるようになる可能性があります。

「たとえば、システムは『あれはドアホンでしたか？』という確認の質問をすることができ、ユーザーは『はい』と答えます。」と続きます。 「ラベルが確立されると、システムはイベントが再び発生するたびにプッシュ通知やその他のアクションを提供できるようになります。このインタラクションにより、物理的領域とデジタル領域の両方がリンクされ、聴覚障害などのユーザーにとって価値のあるエクスペリエンスが可能になります。」

この論文では HomePod についてのみ繰り返し言及していますが、実際はマイクを備えたあらゆるデバイスに関係しています。これは、私たち全員が現在、聞くことができるデバイスの数が増え続けているため、音声制御を改善するツールをすでに持っていることを示唆しています。

研究者らは、論文に添付されているビデオで、このように聞くことで精度がどのように向上するのか、また、デバイスをトレーニングするこれまでの試みよりもどのように成功するのかを実証しています。

「音響活動認識のための自動クラス検出とワンショットインタラクション」という論文では、「生の音声はデバイスやクラウドに保存されない」にもかかわらず、デバイスが継続的に聞くことができることを提案しています。基本的に十分に聞こえるまで、これを繰り返し、特定のサウンドによってトリガーされるラベルまたはタグを効果的に作成します。

「最終的に、システムは、新たに出現したデータのクラスターが固有の音であると確信し、その時点で、次回それが発生したときに[ユーザー]にラベルの入力を求めるようになります」と論文では説明されています。 「システムは『それは何の音でしたか?』と尋ねます。そして[ユーザー]は『それは私の蛇口です』と答えます。時間が経つにつれて、システムはリサにラベルの入力をインテリジェントに促し続けることができるため、認識されたイベントのライブラリがゆっくりと構築されます。」

一般的な「それは何の音でしたか？」だけでなく、質問の種類は推測できるかもしれないので、より具体的な質問をしてみてください。 「システムは『あれはブレンダーだったのか？』と尋ねるかもしれない」と同紙は述べている。 「その場合、[ユーザーは]『いいえ、それは私のコーヒーマシンでした』と答えます。」

この論文は主に、このような質問をユーザーに尋ねるデバイスの有効性に関するものですが、研究者らは特定の使用例も試したと説明しています。 「私たちは、家庭内でのアクセシビリティを支援するために、Listen Learner を活用して音響イベントにラベルを付けるスマート スピーカー アプリケーションを構築しました。」と述べています。

Apple や他の企業がこのアイデアを自社のスマート スピーカーに統合する兆候はまだありません。代わりに、これは短期集中テストであり、チームはさらなる研究のための推奨事項を持っています。

ただし、このテストは「一般的なアクティビティ認識のユースケースに適した精度レベルを提供」し、「コンテキストを意識したインタラクションのビジョンを現実に近づける」と彼らが結論づけているため、このテストは有望である。

iPhone、iPad、Mac で Apple のニュースをすべてチェックしましょう。 「ねえ、Siri、AppleInsider Daily を再生して」と言う — またはこのリンクをブックマークする— そして、AppleInsider チームから直接、迅速なアップデートを受け取ることができます。