Amazon SageMaker HyperPod hiện hỗ trợ cấu hình vòng đời nút dựa trên AMI cho các cụm Slurm
Amazon SageMaker HyperPod hiện hỗ trợ cấu hình dựa trên AMI, cho phép cung cấp các nút cụm Slurm với phần mềm và cấu hình cần thiết cho môi trường sẵn sàng sản xuất để chạy khối lượng công việc đào tạo AI/ML. Nhờ đó, bạn sẽ không cần tải xuống, cấu hình hoặc tải tập lệnh cấu hình vòng đời lên Amazon S3. Khi giảm được bước vận hành để chuẩn bị cụm và không cần thực thi tập lệnh cấu hình vòng đời trong quá trình cung cấp nút, thời gian tạo cụm được giảm đáng kể, nhờ đó bạn có thể bắt đầu chạy công việc sớm hơn.
Cấu hình dựa trên AMI bao gồm phần mềm cần thiết như Docker, Enroot và Pyxis, cùng các cấu hình như kế toán Slurm, tạo khóa SSH, luân phiên bản ghi Slurm và thiết lập thư mục gốc của người dùng. Để bật cấu hình dựa trên AMI, hãy bỏ qua khối LifeCycleConfig trong cấu hình nhóm phiên bản khi tạo cụm bằng API CreateCluster hoặc khi sử dụng bảng điều khiển SageMaker AI, chọn “Không có” trong phần Tập lệnh vòng đời ở Thiết lập tùy chỉnh. Để tùy chỉnh bổ sung trên cơ sở cấu hình dựa trên AMI, bạn có thể cung cấp một tập lệnh mở rộng, cho phép bạn chỉ tập trung vào các khả năng và phần mềm cần thêm, chẳng hạn như cấu hình người dùng, khả năng quan sát nội trạng hoặc tích hợp LDAP.
Có thể cấu hình tập lệnh mở rộng khi tạo cụm thông qua cả API và bảng điều khiển SageMaker AI. Khi sử dụng API CreateCluster, hãy chỉ định tham số OnInitComplete mới và SourceS3Uri trong khối LifeCycleConfig. Thông qua bảng điều khiển, cung cấp URI S3 cho tập lệnh mở rộng trong trường “Tệp tập lệnh mở rộng trong S3” trong Thiết lập tùy chỉnh. Đối với các trường hợp sử dụng nâng cao yêu cầu toàn quyền kiểm soát quá trình cung cấp, các tập lệnh cấu hình vòng đời tùy chỉnh vẫn được hỗ trợ đầy đủ thông qua cả API và bảng điều khiển SageMaker AI.
Tính năng này có sẵn ở tất cả các Khu vực AWS hỗ trợ SageMaker HyperPod. Để bắt đầu tạo cụm HyperPod Slurm với cấu hình vòng đời nút dựa trên AMI, hãy xem Bắt đầu sử dụng SageMaker HyperPod bằng AWS CLI hoặc Bắt đầu sử dụng SageMaker HyperPod bằng bảng điều khiển SageMaker AI trong hướng dẫn dành cho nhà phát triển về SageMaker AI.