何か月も噂が流れた後、アップルインテリジェンスがついに登場し、単なる生成画像以上のものをユーザーに提供することを約束します。

Appleの基調講演の終わりに向けて、WWDC2024 年、主要なオペレーティング システムの発表に続き、同社はメイン イベントに進みました。よく噂される機械学習への進出について論じた。

Apple Intelligence と名付けられたこの新しい機能は、大規模言語モデル (LLM) を使用して、テキスト、画像、アプリ内アクションを含むタスクを処理することを目的としています。

まず、システムは主要な通知を要約し、コンテキストに基づいて最も重要な項目を要約でユーザーに表示できます。各通知の重要な詳細もユーザーに表示されますが、新しい「中断を減らす」フォーカスの下には最も重要なものだけが表示されます。

iPadOS 18 のメールの Apple Intelligence テキスト オプション

システム全体のライティング ツールは、ユーザー向けにテキストを作成、校正、要約することができます。これはメッセージや短いテキストだけに使用できるように思えますが、ブログ投稿などの長い範囲にも使用できます。

ライティング ツールの書き換え機能は、ユーザーが選択できる複数のバージョンのテキストを提供し、ユーザーがすでに書いたものを調整します。これは、ユーザーが対象とする読者に応じてトーンが異なる場合があります。

これは、組み込みアプリとサードパーティ アプリ間で自動的に利用できます。

画像

Apple Intelligence は、多くの組み込みアプリ用にイメージを作成することもできます。これには、たとえば、メッセージ内の特定の連絡先との会話をパーソナライズできる機能が含まれます。

これらの画像は、スケッチ、アニメーション、リアリズムの 3 つのスタイルで作成されます。

メッセージなどのアプリでは、イメージ プレイグラウンドを使用して、ユーザーはテーマ、衣装、場所などのコンセプトを選択するか、説明を入力することで画像をすばやく作成できます。ユーザーの写真ライブラリから画像を使用して、構成に追加することもできます。

これは、メッセージ自体内で、または専用の Image Playground アプリを通じて実行できます。

iPadOS の画像プレイグラウンド

Notes では、新しい Image Wand ツールを使用して Image Playground にアクセスできます。また、現在のノート ページの要素を使用して画像を作成し、追加するのに最も適切な画像を検討することもできます。

画像生成は絵文字にまで拡張されており、Genmoji を使用するとユーザーは独自のカスタム アイコンを作成できます。説明を使用すると、Genmoji を作成し、メッセージにインラインで挿入できます。

より従来型の追加機能は写真にあり、人工知能が自然言語を使用して特定の写真やビデオ クリップを検索できます。新しいクリーンアップ ツールは、写真の背景から邪魔なオブジェクトを削除します。

アクションとコンテキスト

ユーザーに代わってアプリ内でアクションを実行することもできます。たとえば、「写真」を開いて、リクエストに基づいて特定のグループの人々の画像を表示することができます。

Apple Intelligence は幅広いアプリをサポートします

Apple はまた、Apple Intelligence はユーザーのデータ内のリクエストのコンテキストに基づいているとも述べています。たとえば、ユーザーとの関係で家族が誰であるか、会議がどのように重複または衝突する可能性があるかを把握できます。

アプリ内でアクションをトリガーできる複雑なクエリの一例は、「ジェイミーが勧めたポッドキャストを再生する」です。 Apple Intelligence は、ユーザーのすべての会話を参照してエピソードを判断し、Podcasts アプリを開いてその特定のエピソードを表示します。

メールでは、優先メッセージには、Apple Intelligence によって選択された最も緊急性の高いメールがリストの先頭に表示されます。これには各電子メールの概要が含まれており、ユーザーにその内容とその電子メールが選択された理由についてより多くの手掛かりを提供します。

メモの Apple インテリジェンス

Notes ユーザーは、Apple Intelligence のおかげで音声を録音、文字起こし、要約することができます。通話が録音される場合、通話の終了時に要約トランスクリプトが作成され、通話の開始時にすべての通話参加者に録音が自動的に通知されます。

当然、シリされていますかなりアップグレードされたApple Intelligence を使用すると、特定のコンテキストでユーザーを理解できるようになります。

この一環として、Siri は次のこともできます。クエリを参照するChatGPTに。

プライベートクラウドコンピューティング

その多くは、セキュリティとプライバシーのためのデバイス上の処理に基づいています。 A17 Pro チップiPhone15プロline は、このレベルの処理を処理できるほど強力であると言われています。

多くのモデルはデバイス上で実行されますが、場合によってはクラウド内での処理が必要になります。これはセキュリティ上の問題である可能性がありますが、Apple の方法は異なります。

プライベート クラウド コンピューティングにより、セキュリティとプライバシーを維持しながら、Apple Intelligence がクラウドで動作できるようになります。モデルは実行中のサーバー上で実行されます。アップルシリコン、Swift のセキュリティ面を使用します。

リクエストがクラウド サーバーに送信されるか、ローカルで処理できるかどうかに応じて、デバイス上のプロセスが機能します。

Appleは、サーバーは安全であり、ユーザーデータは保存せず、セキュリティを維持するために暗号化要素を使用していると主張している。これには、サーバーが独立した専門家による検査のために公的にログに記録されていない限り、決してサーバーと通信しないデバイスが含まれます。

すべてのユーザーを対象とするわけではありません

Apple Intelligence は多くのユーザーにとって有益ですが、要件により多くのユーザーがそれを楽しむことができなくなります。

iPhone では、A17 Pro チップが必要なため、iPhone 15 Pro および Pro Max ユーザーのみがベータ版で試すことができます。同様に、M シリーズ チップを搭載した iPad と実行中の Macアップルシリコンそれも使えます。

「今秋」に米国英語のみでベータ版が提供される予定です。