Amazon SageMaker HyperPod がフレキシブルインスタンスグループのサポートを開始
Amazon SageMaker HyperPod は、フレキシブルインスタンスグループをサポートするようになりました。これにより、お客様は単一のインスタンスグループ内で複数のインスタンスタイプと複数のサブネットを指定できるようになりました。HyperPod でトレーニングワークロードや推論ワークロードを実行するお客様は、容量の回復性、コストの最適化、サブネットの有効活用のために、複数のインスタンスタイプとアベイラビリティーゾーンにまたがって構成する必要がよくあります。しかし、これまでは、インスタンスタイプとアベイラビリティーゾーンの組み合わせごとに個別のインスタンスグループを作成して管理する必要があったため、クラスター構成、スケーリング、パッチ適用、モニタリングにおける運用上のオーバーヘッドが発生していました。
フレキシブルインスタンスグループでは、新しい InstanceRequirements パラメータを使用して順序付きのインスタンスタイプリストを定義し、1 つのインスタンスグループ内でアベイラビリティーゾーンにまたがる複数のサブネットを指定できます。HyperPod では、優先順位が最も高いタイプから順にインスタンスがプロビジョニングされ、容量を確保できなくなった場合は優先度の低いタイプに自動的にフォールバックされます。そのため、お客様が個別のインスタンスグループ間で手動で再試行する必要がなくなります。トレーニング用途では、1 つのアベイラビリティーゾーン内で複数のサブネットに分散することで、サブネットの枯渇を防ぐことができます。手動でスケーリングする推論用途では、インスタンスグループを個別に再試行しなくても、インスタンスタイプ間で優先度に基づく自動フォールバックを利用できます。一方、Karpenter 自動スケーリングを使用する場合は、1 つのフレキシブルインスタンスグループを参照できます。Karpenter は、サポートされているインスタンスタイプをフレキシブルインスタンスグループから自動的に検出し、ポッドの要件に基づいて最適なタイプとアベイラビリティーゾーンをプロビジョニングします。フレキシブルインスタンスグループは、CreateCluster API と UpdateCluster API、AWS CLI、AWS マネジメントコンソールのいずれかを使用して作成できます。
フレキシブルインスタンスグループは、EKS オーケストレーターを使用する SageMaker HyperPod クラスター向けに、SageMaker HyperPod がサポートされているすべての AWS リージョンでご利用いただけます。詳細については、Flexible instance groups をご覧ください。