iPadOS Scribble の成功の鍵となるオンデバイス処理がヒント Apple SVP Craig Federighi

Apple の手書き認識アップルペンシルCraig Federighi へのインタビューでは、iPadOS の Scribble などの新機能は大量のオンボード機械学習処理に依存していることが、ストロークの認識に依存していることが明らかになりました。

iPadOS 14の一部として導入され、落書きユーザーは何も入力することなく、Apple Pencil を使用してテキスト フィールドやフォームに入力できるようになります。これは、クラウドベースのバージョンではなくオンボード処理を実行し、機械学習を利用して精度を向上させることでこれを実現します。

話し中に人気のメカニズム、Apple ソフトウェアエンジニアリング担当上級副社長クレイグ・フェデリギApple Pencilの手書き認識がどのようにして作られたのかを説明しています。すべては、世界中の人々に何かを書いてもらうという「データ収集」から始まりました。

「私たちは彼らに鉛筆を渡し、速く書かせたり、ゆっくり書いたり、傾けて書いたりします。このバリエーションすべてです」とフェデリギ氏は語った。 「ストロークとそのストロークがどのように下がったかを理解できれば、何が書かれているかを明確にするために使用できます。」

ストロークベースの認識と文字および単語の予測を組み合わせると、多くの処理が必要になることも意味します。スピードが重要であるため、これにより手書き認識のクラウドベースの処理の使用が排除され、代わりに Apple はオンデバイス処理を伴うシステムを余儀なくされました。

「それは、今、あなたが手に持っているデバイス上でリアルタイムで起こっていなければなりません。つまり、デバイスの計算能力は、そのレベルの処理をローカルで実行できるほどのものでなければなりません。」と Federighi 氏は主張します。

Apple のチップ設計の専門知識は、新しいiPad Air4持っているA14 バイオニック, Apple の最速の自社設計 SoC には、118 億個のトランジスタ、6 コア CPU、新しい 4 コア グラフィックス アーキテクチャ、および 1 秒あたり最大 11 兆回の演算が可能な 16 コア ニューラル エンジンが詰め込まれています。 Apple は CPU ベースの機械学習アクセラレータも追加しており、これにより機械学習タスクの実行が最大 10 倍高速になります。