O Amazon SageMaker HyperPod agora oferece suporte à configuração do ciclo de vida dos nós baseada em AMI para clusters Slurm
O Amazon SageMaker HyperPod agora oferece suporte à configuração baseada em AMI que provisiona os nós do cluster Slurm com o software e as configurações necessários para um ambiente pronto para produção para executar cargas de trabalho de treinamento de AI/ML. Isso elimina a necessidade de baixar, configurar ou fazer upload de scripts de configuração do ciclo de vida para o Amazon S3. Com menos etapas operacionais para preparar um cluster e nenhum script de configuração do ciclo de vida em execução durante o provisionamento do nó, o tempo de criação do cluster é reduzido significativamente, para que você possa começar a executar trabalhos mais cedo.
A configuração baseada em AMI inclui o software necessário, como Docker, Enroot e Pyxis, e configurações como contabilidade do Slurm, geração de chaves SSH, rotação de registros do Slurm e configuração do diretório inicial do usuário. Para ativar a configuração baseada em AMI, omita o bloco LifecycleConfig da configuração do grupo de instâncias ao criar clusters usando a API CreateCluster ou ao usar o console do SageMaker AI, selecione “Nenhum” em Scripts de ciclo de vida na Configuração personalizada. Para uma personalização adicional além da linha de base de configuração baseada em AMI, um script de extensão pode ser fornecido, permitindo que você se concentre somente em quais recursos e software adicionar, como configuração do usuário, observabilidade ou integração LDAP.
Os scripts de extensão podem ser configurados ao criar clusters por meio da API e do console do SageMaker AI. Usando a API CreateCluster, especifique o novo parâmetro OnInitComplete e sources3URI no bloco LifeCycleConfig. Por meio do console, forneça o URI do S3 para o script de extensão no campo “Arquivo de script de extensão no S3" na Configuração personalizada. Para casos de uso avançados que exigem controle total sobre o provisionamento, os scripts personalizados de configuração do ciclo de vida permanecem totalmente suportados pela API e pelo console do SageMaker AI.
Esse atributo está disponível em todas as regiões da AWS que oferecem o SageMaker HyperPod. Para começar a criar clusters HyperPod Slurm com configuração de ciclo de vida de nós baseada em AMI, consulte Introdução ao SageMaker HyperPod usando a CLI da AWS ou Introdução ao SageMaker HyperPod usando o console de IA do SageMaker no guia do desenvolvedor de IA do SageMaker.