AWS Trainium

Trn3 UltraServer は、スケールアップ UltraServer テクノロジーにおける最新のイノベーションを採用しており、最大 144 個の Trainium3 チップ間でより高速なオールツーオールコレクティブを実現するために NeuronSwitch-v1 を搭載しています。Trn3 UltraServer は、最大 20.7 TB の HBM3e メモリ、706 TB/秒のメモリ帯域幅、362 MXFP8 PFLOPs を提供し、Trn2 UltraServers と比較して最大 4.4 倍向上したパフォーマンスと 4 倍超のエネルギー効率を実現します。Trn3 は、最新の 1T+ パラメータ MoE および reasoningtype モデルを用いたトレーニングと推論において、最低コストで最高のパフォーマンスを提供し、Trainium2 ベースのインスタンスと比較して、GPT-OSS の大規模な提供において大幅に高いスループットを実現します。

Trn2 UltraServers は、最大 1 T パラメータのモデルの生成 AI トレーニングおよび推論において、高性能かつコスト効率に優れたオプションとして引き続き提供されます。Trn2 インスタンスには最大 16 個の Trainium2 チップが搭載され、Trn2 UltraServer には当社独自のチップ間相互接続である NeuronLink で接続された最大 64 個の Trainium2 チップが搭載されています。

Trn1 インスタンスは、最大 16 個の Trainium チップを搭載し、最大 3 FP8 PFLOPs、512 GB の HBM メモリ (メモリ帯域幅 9.8 TB/秒)、最大 1.6 Tbps の EFA ネットワーキングを提供します。

AWS Neuron SDK は、Trn3 インスタンス、Trn2 インスタンスと Trn1 インスタンスから最大限のパフォーマンスを引き出すのに役立つため、モデルの構築とデプロイに集中し、市場投入までの時間を短縮できます。AWS Neuron は、PyTorch、Jax、および Hugging Face、vLLM、PyTorch Lightning などの重要なライブラリとネイティブに統合されています。プロファイリングとデバッグのための深いインサイトを提供しながら、すぐに分散型トレーニングと推論用にモデルを最適化します。AWS Neuron は、Amazon SageMaker、Amazon SageMaker Hyerpod、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS ParallelCluster、AWS Batch などのサービスのほか、Ray (Anyscale)、Domino Data Lab、Datadog などのサードパーティーサービスと統合されています。

精度の目標を達成しながら高いパフォーマンスを実現するために、AWS Trainium は
BF16、FP16、FP8、MXFP8、MXFP4 などのさまざまな混合精度データタイプをサポートしています。生成 AI による急速なイノベーションを支援するために、
Trainium2 と Trainium3 は、4 倍のスパース性 (16:4)、マイクロスケーリング、確率的丸め、専用の集合エンジン向けの
ハードウェア最適化を実現しています。

Neuron を使用すると、デベロッパーはカーネル開発に Neuron Kernel Interface (NKI) を使用してワークロードを最適化できます。NKI は完全な Trainium ISA を公開しているため、命令レベルのプログラミング、メモリ割り当て、実行スケジューリングを完全に制御できます。デベロッパーは、独自のカーネルを構築するほかに、最適化されたカーネルをすぐにデプロイできるオープンソースの Neuron Kernel Library を利用できます。そして最後に、Neuron Explore はスタック全体を可視化し、デベロッパーのコードからハードウェアのエンジンに至るまで接続します。