Apple、iPhone上でローカルに音声を処理できるSiriのオフラインモードを検討中

Appleは、音声認識や必要なタスクの実行を支援するためにバックエンドサーバーに依存しないオフラインモードの可能性を含め、インターネットに接続していないときにSiriがユーザーにとってより便利になることを望んでいます。ユーザーのデバイス。

道シリ通常、プロンプトが表示されたときにユーザーのコマンドをリッスンし、匿名化された受信音声データを Apple のサーバーに送信し、まず音声からプレーンテキストに変換し、次にコマンドを解釈して結果をユーザーの iPhone または iPad に送り返します。音声認識を実行するプロセスは負荷が高く、iPhone などのアイテムでは必ずしも実行できるわけではないため、デバイスから Apple のサーバーにオフロードされます。

Siri の場合、サーバーに依存しているため、何らかのインターネット接続がなければ仮想アシスタントは利用できませんが、オフラインメッセージを表示するだけであれば、「Hey Siri」プロンプトによってサービスが起動されます。。によるとアップルの特許出願木曜日に公開された「オフラインパーソナルアシスタント」に関する申請書では、状況は将来変更される可能性があります。

申請書では、Apple のサーバーに接続するのではなく、音声からテキストへの処理と検証がデバイス自体で行われる可能性があることを示唆しています。ユーザーのリクエストを聞くと、問題のデバイスはオンボードの自然言語処理によってタスクを判断し、それを聞いたときにリクエストされたタスクが有用かどうかを判断し、それを実行します。

Apple は、外部の世界に接続しないデジタルアシスタントのクエリを処理するために、モジュールのオンボードシステムを使用することを提案しています。モジュールのコレクションには、音声合成、対話処理、デフォルトの語彙とユーザー作成データに基づく表音文字変換、自然言語処理モジュールなどの要素が含まれています。

認識された単語とクエリの構造に応じて、オフラインデジタルアシスタントは、タスクフロー処理モジュールまたはサービス処理モジュールに格納されている多数の事前定義されたタスクを実行できます。これら 2 つのストアには、タイマーの設定やデバイスに保存された曲の再生など、一般的に要求されるタスクのモデルが含まれており、要求に応じて適切なタスクモデルが実行されます。

デジタルアシスタント内のモジュールを示す Apple 特許出願の図

Appleは申請書の一環として、自然言語処理を含む特定の種類のタスクを実行するために機械学習メカニズムを使用することを提案している。このようなシステムはコンテキスト情報を理解できるため、インターネットにアクセスせずに、限られた量のデバイス上のデータからユーザーが何を望んでいるのかを判断するのに非常に役立ちます。

オフラインで使用するためのオンデバイス処理を備えている場合でも、提案されたシステムは、接続が利用可能であれば引き続きオンラインに移行でき、利用可能な接続に応じて同じシステムが 2 つの異なる方法で動作します。

ローカルおよびリモートの処理にアクセスできることにより、デジタルアシスタントはユーザーの発話に対して 2 つの可能な解釈を提供できるようになります。このような場合、システムはローカルで処理された解釈の有用性スコアとオンラインで処理されたバージョンの有用性スコアを決定し、2 つのプロセスのどちらのスコアが高いかに基づいてタスクを実行します。

これにより、アシスタントにバックアップオプションが効果的に与えられ、リクエストに対してローカルで実行された処理で使用できない結果が生じた場合に、サーバーベースの処理を代替解釈として使用できるようになります。サーバーバージョンがタイムアウトするか使用できなくなった場合でも、ローカルバージョンは引き続きタスクに使用できます。

通常、Apple は毎週多くの特許を申請しており、記載されている概念は Apple が関心を持っている分野を示唆していますが、そのようなシステムが同社の将来の製品に含まれることを保証するものではありません。

オフライン Siri の場合、Apple がこの道を進むのはかなりあり得そうです。最近発売された iPhone では、A シリーズプロセッサに Neural Engine が搭載されています。これは、Face ID 認証や写真関連機能の強化など、計算量の多いタスクを実行することを目的としていますが、機械学習を使用するタスクにも使用できます。。

第二世代の実力を考えるとニューラルエンジン2018 年の iPhone リリースで使用されているように、オフライン Siri が利用可能なパワーと機械学習機能を利用してオフライン処理を実行することは完全に可能です。

Apple はデジタルアシスタントをより良くするためにさまざまなコンセプトに取り組んできたため、オフラインモードが Siri を改善できる唯一の方法ではありません。 10月のある特許では、Siriがどのように特定のユーザーを「声紋」と述べており、Apple はパーソナライズされた応答によるマルチユーザーサポートの有効化も検討しています。

Siri は、認識機能に関してすでにいくつかの改善を受けています。地理的音声モデル地域の質問や現地の言語の癖を解決するのに役立ちます。消費者にとってより目に見えるのは、SiriのショートカットiOS 12 では、ユーザーが独自の個人用 Siri コマンドを作成できるようになります。

iPhone、iPad、Mac で Apple のニュースをすべてチェックしましょう。「ねえ、Siri、AppleInsider Daily を再生して」と言う — またはこのリンクをブックマークする— そして、AppleInsider チームから直接、迅速なアップデートを受け取ることができます。