Amazon SageMaker HyperPod unterstützt jetzt die AMI-basierte Knoten-Lebenszyklus-Konfiguration für Slurm-Cluster
Amazon SageMaker HyperPod unterstützt jetzt eine AMI-basierte Konfiguration, die Slurm-Clusterknoten mit der Software und den Konfigurationen ausstattet, die für eine produktionsbereite Umgebung zur Ausführung von KI/ML-Trainingsworkloads erforderlich sind. Dadurch entfällt die Notwendigkeit, Lebenszyklus-Konfigurationsskripts auf Amazon S3 herunterzuladen, zu konfigurieren oder hochzuladen. Da weniger betriebliche Schritte zur Vorbereitung eines Clusters erforderlich sind und während der Knotenbereitstellung keine Lebenszyklus-Konfigurationsskripts ausgeführt werden, wird die Clustererstellungszeit erheblich reduziert, sodass Sie früher mit der Ausführung von Jobs beginnen können.
Die AMI-basierte Konfiguration umfasst die erforderliche Software wie Docker, Enroot und Pyxis sowie Konfigurationen wie Slurm-Buchhaltung, SSH-Schlüsselgenerierung, Slurm-Log-Rotation und die Einrichtung des Benutzer-Home-Verzeichnisses. Um die AMI-basierte Konfiguration zu aktivieren, lassen Sie den LifecycleConfig-Block in der Instanzgruppenkonfiguration weg, wenn Sie Cluster mit der CreateCluster-API erstellen, oder wenn Sie die SageMaker AI-Konsole verwenden, wählen Sie unter „Lifecycle Scripts“ (Lebenszyklus-Skripts) unter „Custom Setup“ (Benutzerdefiniertes Setup) die Option „None“ (Keine) aus. Für zusätzliche Anpassungen zusätzlich zur AMI-basierten Konfigurationsbasis kann ein Erweiterungsskript bereitgestellt werden, sodass Sie sich nur darauf konzentrieren können, welche Funktionen und Software hinzugefügt werden müssen, z. B. Benutzerkonfiguration, Beobachtbarkeit oder LDAP-Integration.
Erweiterungsskripte können konfiguriert werden, wenn Cluster sowohl über die API als auch über die SageMaker AI-Konsole erstellt werden. Geben Sie mithilfe der CreateCluster-API den neuen OnInitComplete-Parameter und Sources3URI im LifeCycleConfig-Block an. Geben Sie über die Konsole die S3-URI für das Erweiterungsskript im Feld „Extension script file in S3“ (Erweiterungsskriptdatei in S3) unter „Custom Setup“ (Benutzerdefinierte Konfiguration) ein. Für fortgeschrittene Anwendungsfälle, die die vollständige Kontrolle über die Bereitstellung erfordern, werden benutzerdefinierte Lifecycle-Konfigurationsskripts weiterhin sowohl über die API als auch über die SageMaker AI-Konsole vollständig unterstützt.
Dieses Feature ist in allen AWS-Regionen verfügbar, in denen SageMaker HyperPod unterstützt wird. Informationen zum Erstellen von HyperPod Slurm-Clustern mit AMI-basierter Knoten-Lifecycle-Konfiguration finden Sie unter Erste Schritte mit SageMaker HyperPod mit der AWS-CLI oder Erste Schritte mit SageMaker HyperPod mit der SageMaker AI-Konsole im SageMaker AI-Entwicklerhandbuch.