ARKit

ARKit は、開発者が拡張現実ゲームやツールを作成するために使用する Apple のフレームワークおよびソフトウェア開発キットです。 ARKit は、次の期間に開発者に発表されました。WWDC2017 年には、アプリの AR エクスペリエンスを作成する方法を開発者にデモで示しました。

Apple は、たとえそれが今日でもほとんどのユーザーに影響を与える機能ではないとしても、拡張現実に大きく舵を切りました。 AR 体験はどこでも利用できますが、実際にはそれを探している人だけが利用できます。

AR が一気に世界を席巻したわけではありませんが、Apple の AR 機能とハードウェアの推進により、最終的には「」と呼ばれる AR メガネのセットが誕生する兆しがあります。アップルグラスそれまでは、「ポケモン GO」などのゲームや Amazon などのショッピング アプリによって提供される体験が、今の AR の使い方になっています。

拡張現実とは何ですか?

拡張現実 (AR として定型化されることが多い) は、通常はスマートフォンのカメラと画面を介して、コンピューターで生成された画像を「現実世界」に重ね合わせる行為です。人々はよく AR を VR、つまり仮想現実と比較します。しかし、仮想現実は、ユーザーが「足を踏み入れる」ことができる完全にシミュレートされた環境を作成する行為です。

たとえば、ARKit は iOS アプリを強化するフレームワークです。測定。ユーザーは、デバイスのカメラを使用して部屋や物体の測定を行うことができます。

現在、AR は主にスマートフォンとタブレットに限定されていますが、多くの業界専門家は AR メガネやヘッドセットの将来について強気です。 Microsoft HoloLens と Magic Leap One は、AR テクノロジーを使用する今日の 2 つのヘッドマウント製品の例です。

ARKitの機能

ARKit は Visual Inertial Odometry (VIO) を使用して世界を正確に追跡し、カメラ センサー データと CoreMotion データを組み合わせます。これらの入力により、iOS デバイスは室内での動きを正確に感知できるため、追加のキャリブレーションが不要になります。

AR を使用して仮想オブジェクトを現実世界に配置する

どちらのカメラも周囲のライブ フィードをキャプチャするために使用され、iOS デバイスの角度が変わったときの写真の違いを追跡します。 CoreMotion データ内で検出された動きと組み合わせて、ARKit は環境に対する iOS デバイスの動きと視野角を認識します。

LiDAR により、ARKit 4 で部屋の深度データをキャプチャできるようになります

ARKit は、テーブルや床など、部屋内の水平面を見つけることができ、デジタル オブジェクトを配置するために使用できます。また、一時的にフレーム外に移動した場合でも、その位置を追跡します。

このシステムは、カメラ センサーを使用して環境の光を推定します。このデータは、仮想オブジェクトに照明効果を適用する際に役立ち、現実世界のシーンと厳密に一致させるのに役立ち、仮想アイテムが実際に現実世界に存在するかのような錯覚を促進します。

ARKit は、次の方法でユーザーの顔を追跡できます。iPhoneTrueDepth カメラ。 TrueDepth カメラからのデータに基づいて顔メッシュを作成することで、自撮り写真に仮想メイクやその他の要素を適用するなど、リアルタイムでユーザーの顔に効果を追加することができます。アニ文字機能もこのシステムを使用しています。

Apple の ARKit ドキュメントには、開発者にとって初めての AR エクスペリエンスを構築する方法、AR での 3D インタラクションと UI コントロールの処理、AR でのオーディオの処理、顔ベースの AR エクスペリエンスの作成方法に関するガイドが含まれています。

Apple は、Swift Playgrounds アプリにレッスンを追加し、若い開発者や経験の浅い開発者にフレームワークの入門を提供しています。 「拡張現実」チャレンジでは、飛行機が検出されたときに iPad のカメラが処理できるようにし、キャラクターを飛行機上に配置し、シーンをインタラクティブにするためのコマンドをユーザーに教えます。

Metal と SceneKit では最適化が行われていますが、ARKit をサードパーティ ツールに組み込むことも可能です。

ARKit 6

Apple は、シーンのレンダリング、記録、エクスポートを改善し、AR シーンに 4K HDR ビデオを導入しました。その他の更新は、モーション キャプチャやロケーション アンカーなど、以前に導入された機能を強化するために行われました。

ARKit 5

2021 年のアップデートは、ロケーション アンカーや顔追跡などの既存の機能の改善に重点が置かれています。 Apple はまた、AR 中に App Clip 画像を検出してインタラクティブなオブジェクトやシーンを作成する機能も導入しました。

ARKit 4

iOS14Appleが2020年9月にリリースした、いくつかの機能が含まれていますこれにより、新しい Apple ハードウェアでの AR エクスペリエンスの向上への道が開かれます。

地図データにより、ARKit は建物の形状を使用して正確な位置を特定できるようになります

ロケーション アンカーを使用すると、開発者とユーザーは拡張現実オブジェクトを現実世界の場所に接続できます。デバイスで AR を使用する場合、ユーザーはカメラをパンして適切な AR サーフェスを見つけます。これが行われている間、カメラは周囲のアーキテクチャを使用して、正確な地理位置情報を特定します。

これはすべてデバイス上で処理され、によって生成された既存のマップ データが使用されます。アップルマップそしてそのLook Around機能。

新しい Depth API は、第 4 世代の LiDAR システムを活用するために作成されました。iPad Pro、iPhone12プロ、 そしてiPhone 12プロマックス。取得した深度データと特定のアンカー ポイントを使用して、ユーザーは部屋全体の 3D マップを数秒で作成できます。

この機能により、より没入型の AR エクスペリエンスが可能になり、アプリケーションはオブジェクトの配置とオクルージョンの環境をより深く理解できるようになります。

ARKit 4 は顔と手の追跡を可能にします

ARKit 4 では顔と手のトラッキングも追加されており、ボディ トラッキングを利用したより高度な AR ゲームやフィルターが可能になります。 Snapchat フィルターやビデオ チャット環境など、特定のエクスペリエンスへの入力としてユーザーが自分の顔や手を簡単に使用できるようにすることで、アプリケーションにメリットが得られます。

LiDAR と ARKit 3.5

第 4 世代 iPad Pro および iPhone 12 Pro シリーズには、それぞれデバイスの背面に LiDAR センサーが搭載されています。 iOS 13.4 向け ARKit へのアップデート以降、Apple のソフトウェアは LiDAR システムをサポートし、最新のハードウェアを利用できるようになりました。

ARKit 3.5を使用する場合により、開発者は新しいシーン ジオメトリ API を使用して、仮想オブジェクトのオブジェクト オクルージョンと現実世界の物理を使用した拡張現実エクスペリエンスを作成できるようになります。具体的には、Scene Geometry を使用すると、ARKit アプリで環境のトポロジー マップを作成できるようになり、開発者向けに新しい AR 機能や追加の洞察と情報が得られます。

LiDARは次の目的で使用されます。3D環境マッピングこれにより AR が大幅に改善されるでしょう。スキャナーは最大 5 メートル離れた場所からでも動作し、結果を即座に取得できるため、AR アプリがはるかに使いやすく、より正確になります。

飛行時間センサーにより、ARKit の環境マッピングがより高速かつ正確になる可能性があります。

LiDAR センサーを使用すると、AR マッピング時間と物体や人物の検出能力が急速に向上します。これにより、すべての画像で 3D マップを使用できるため、ポートレート モードと写真全般が向上します。

ARKit 3

ARKit 3機械学習と改善された 3D オブジェクト検出を採用して、システムにかなりの微調整を加えました。複雑な環境をより正確に追跡して画像の配置と測定を行うことができるようになりました。

現実世界のオブジェクトは、オクルージョンを使用して仮想オブジェクトを隠すことができます

ARKit 3 の登場により、ピープル オクルージョンが追加されました。これにより、デバイスが人物を追跡し、必要に応じてデジタル オブジェクトが人物の背後または前をシームレスに通過できるようになります。

また、モーション キャプチャも導入され、体の位置や動きなどをデバイスに理解できるようになりました。これにより、開発者はモーションとポーズを AR アプリへの入力として使用できるようになります。

ARKit 3 では、フロントカメラとバックカメラの同時追跡が可能です。ユーザーは、顔の表情や頭の位置を使用して、背面カメラから AR コンテンツを操作できるようになりました。

ARKit Face Tracking では、TrueDepth カメラを使用して最大 3 つの顔を追跡できます。

開発者の反応と初期対応

ARKit のツールに対する開発者の反応は「信じられないほど」であると、Apple のワールドワイド iPod、iPhone、iOS 製品マーケティング担当副社長の Greg Joswiak 氏は 2019 年 6 月下旬のインタビューで述べています。ジョズウィアック氏は、仮想メジャーからイケアのショッピング アプリに至るまで、迅速にプロジェクトが開発されたことに注目し、「人々がこれほど短い時間でやっていることは本当に信じられないほどだ」と語った。

「iPhone と iPad には巨大な滑走路があると思います。これらのデバイスが 10 億台も世の中にあるという事実は、開発者にとっては大きなチャンスです」と Joswiak 氏は述べました。 「今後どのようなことが起こるかは誰にもわかりませんが、それが何であれ、私たちはゼロからスタートするつもりです。」

ARKitの互換性

ARKit は iOS 11 と同時にリリースされたため、iOS 11 を実行できるデバイスであれば AR 機能を利用できることになります。

ARKit 4 には iOS 11 を実行しているデバイスと互換性のある機能がまだありますが、より高度な機能は A12 Bionic チップ以上を搭載したデバイスに制限されます。最新の機能と深度センシングを利用するには、デバイスに LiDAR が必要です。これは iPad Pro および iPhone 12 Pro シリーズ以降のみです。