サイロ化したGPUサーバーのローカルストレージを、AIトレーニングとチェックポイント処理のための新しいTier 0ストレージへ
AIトレーニング用のインフラを構築するための投資は膨大です。- 大規模なGPUコンピューティングクラスター、高速ネットワーク、そしてGPUにデータを供給するための膨大なストレージシステム。これらのすべてがコスト制約、電力制約、そして貴重なGPU資産が使われずに眠っていることにつながります。
- 従来のストレージシステムは、AIトレーニングの大規模展開に対して高価で複雑、非効率です
- GPUの稼働を維持するパフォーマンスを提供できません
- タを管理するのが難しいため、通常は使われません。
一方、GPUサーバーには高速なローカルストレージが存在しますが、それはクラスター内のすべてのGPUで利用できず、保護もされておらず、データユーザーが手動でデータを管理するのが難しいため、通常は使われません。
すでにGPUサーバーに、数百テラバイト、場合によっては数ペタバイトの高速NVMeストレージが眠っているかもしれません。そのストレージをHammerspaceを使って数分で活用し、データパイプラインを加速し、より多くのモデルを、より速く構築・トレーニングできます。
“What Hammerspace does is pure magic.”
– Principal Engineer, Meta
Hammerspaceはインフラコストを削減し、消費電力を抑え、GPUの利用率を向上させます。
Hammerspaceのグローバルデータプラットフォームは、標準ベースの並列ファイルシステムアーキテクチャを使用してGPUコンピューティングインフラを変革します。独自のファイルシステムクライアントの複雑さを排除し、低遅延で高スループットのパフォーマンスを提供し、数千台のGPUサーバーにデータを並列で提供するスケーラビリティを実現します。
さらに、Hammerspaceは、GPUサーバー内にすでに存在するローカルストレージを含む、あらゆるLinuxストレージサーバーをストレージクラスターの一部として使用できる点が最大の魅力です。
Hammerspace、MLPerf 1.0 ベンチマークでTier 0ストレージによる新記録を達成
MLCommonsのMLPerfストレージベンチマークは、さまざまなストレージシステムのパフォーマンスをシミュレートされた機械学習ワークロードで示すことを目的としており、技術担当者や意思決定者が機械学習、深層学習、その他のGPUコンピューティングにおけるストレージシステムのパフォーマンスを評価する際の基準となります。
ネットワークの制約を排除し、パフォーマンスをリニアにスケールさせ、比類のないコストメリットを提供することで、Tier 0はAIおよびHPCワークロードの新たな標準を打ち立てました。
何よりも、Tier 0はGPUローカルストレージ上でデータを直接処理し、従来のボトルネックを回避することで、リニアなパフォーマンススケーリングを実現しています。Hammerspaceのデータオーケストレーションを使用することで、Tier 0はデータをローカルのNVMeドライブに提供し、保護し、チェックポイントや計算結果をシームレスにオフロードします。
*Open Division results, not verified by MLCommons Association
データ駆動型の先進的な組織はAIトレーニングインフラのためにHammerspaceを選んでいます
Meta社やロスアラモス国立研究所のような組織は、Hammerspaceの独自のアーキテクチャ上の利点からAIトレーニングインフラにHammerspaceを選んでいます：
- ハイパースケールNASアーキテクチャ：すべての現在主流のLinux OSに組み込まれた標準NFS接続を使用して、スケールで高スループット・低遅延のパフォーマンスを提供します。
- Hammerspace Tier 0：すでに存在しているGPUサーバーのローカルストレージを、超高速な共有ストレージの新しいTier 0に構成します。
- データオーケストレーション：オンプレミスとクラウド環境間でデータをシームレスに移動でき、GPUリソースを自社のデータセンターでもクラウドでも利用可能にします。
- MLPerfによる検証済みパフォーマンス結果：Lustreのような並列ファイルシステムと同等のパフォーマンスとスケールを実現し、独自のクライアントソフトウェアの複雑さを解消します。
Tier 0は外部ストレージの使用量を削減します
Hammerspaceは、GPUサーバー内のストレージを活用することで、外部ストレージの使用量を削減します。
見積ツールに、ご利用可能なTier 0の容量を入力すると、コスト、消費電力（キロワット時）、およびラックスペースの予想される削減見積が計算されます。
お客様の環境に合わせた個別見積もりをご希望の場合は、下のボタンをクリックしてください。
Tier 0 Hardware Cost and Energy Savings Estimate
External Storage Hardware Cost Savings
$ 0
Power Consumption Savings (3 years)
0 KwH
Power Cost Savings (3 years)
$ 0
Rack Space Savings
0 Racks
大幅なコスト削減
サーバー、NVMeドライブ、外部スイッチを含む外部フラッシュストレージシステムのコストを削減します。
チェックポイントの速度と頻度の向上
チェックポイントを10倍～100倍速く完了させ、チェックポイント時間を短縮するとともに、チェックポイントの頻度を増加させ、貴重なGPU計算サイクルを解放します。
消費電力の削減
外部フラッシュストレージシステムの代わりに、ローカルのGPUサーバーのストレージを使用することで、年間数百万キロワット時の電力を節約できます。
迅速な導入効果
Hammerspaceは30分以内に接続可能で、数日でペタバイト単位のTier 0容量をオンラインにして、すぐに利用を開始できます。