古いXgridの日を思い起こさせると、新しいプロジェクトがつながりますMac StudiosThunderboltケーブルと一緒に、それらをタンデムで使用して、大規模な並行コンピューティングタスクを使用します。
非常に昔、私はクラスターコンピューティングに関与し、バージニア州のいくつかのMAC中心のクラスタービルドを支援していました。 AppleからのXgridの可用性の終わり近くに、Beige G3マザーボードを使用してXgridクラスターも構築しました。私ができたからといって、あなたは知っています。
企業と連邦政府が資金提供したXgridはかなり優れていましたが、セルフビルドプロジェクトはかなりヤンキで、脆弱なハックでした。 AppleのXgridは非常に特定の状況で非常にうまく機能しましたが、これらのシナリオ以外では非常に貧弱でした。
Mac Studioクラスターは、問題のサイズとして本当に輝いています。組み合わせたGPUを活用するには、思考をシフトします。賢明なバッチサイズを選択し、データセットの分割（ブロックvsインターリーブ）を選択します。同じ精度で2ミリ秒で大量のMLPをトレーニングする2倍のスピードアップトレーニングを受けました@awnhannun @Angeloskath pic.twitter.com/p8npprt6tg
-Stavros Kassinos（@kassinoss）2024年6月15日
しかし、新しいMLXと呼ばれるプロジェクトそれはMacを使用しており、Thunderboltネットワーキングはそれよりもはるかにスムーズに見えます。さらに良いことに、それはを使用します標準のMPI分散コンピューティング方法論。
プロジェクトのインストールはかなり複雑ですが、Xgridも同様です。新しいプロジェクトには1つのマスターマシンがあり、Sunderbolt 4ケーブルを使用して、多くのワーカーMacがマスターマシンに直接接続されています。これにより、ホストマシンとワーカー間の非常に高速通信が提供されます。
ワーカーマシンは、スクリーン共有も有効になっていると仮定して、自動ログインを選択してヘッドレスにすることができます。ネットワークは手動で構成されています。
計算ソフトウェアがインストールされていますOpen-MPIHomebrewを通して。次に、MLXプロジェクトリポジトリがインストールされます。完全なトラブルシューティングと構成は、この記事の範囲を超えていますが、それは開始するために必要なことの概要です。
他の並列計算と同様に、デバイス全体のスケーリングはまったく線形ではありません。 1つのテストクラスターには、単一の問題を実行する3つのノードがありました2.9倍高速単一のMacスタジオよりも。
大規模な並列システムを構成する私の日々は長いです。私が今やらなければならない仕事、私を助けてくれた人々の何人かとハイエンドのプロフェッショナルハードウェアレビューそれは今、彼らが既存のグリッド上にあることを必要としています。それらはすべて、他の人によって決定されたパラメーターと構成事項を持っています。
MPIでの私の最後の仕事は、正しく思い出せば、バージョン2で約20年前でした。 MPIフォーラムのメンバーは現在、バージョン4.2と5を評価しているため、私の時間は長いです。
そのため、私はこれの研究と実行のほとんどを読者に残しています。ただし、Macスタジオのクラスターを簡単に輸送できます。ダッフルバッグのような小さなパッケージで、電力と熱効率が高く、使用できます。iPad画面として。
また、隣接する机の上にすでに近くにあるワーカーマシンを構成して、アドホッククラスターを作成するのに十分簡単に見えます。 6まで接続できますアップルシリコンMac WorkersからaM1ウルトラまたはM2あなたがそんなに傾いているなら、サンダーボルト付きのウルトラマックスタジオホストマシン。
明らかに、Mac Studioは、サイズとパワーの観点からこれに最適な選択肢です。予算の観点からはおそらく最高ではないでしょう。
このプロジェクトに従います。多分それはこのようなことに戻る時です。
Isamu 
Isamu 
Isamu