Sessões interativas do AWS Glue agora oferecem suporte ao Spark Connect para workloads interativas
As sessões interativas do AWS Glue agora oferecem suporte ao Apache Spark Connect, com o qual agora você pode desenvolver e executar aplicações Apache Spark a partir do ambiente de sua preferência, incluindo cadernos gerenciados no Estúdio Unificado Amazon SageMaker, ou seus ambientes de caderno e IDEs preferidos, como Jupyter e Visual Studio Code, enquanto tudo é executado na infraestrutura sem servidor do AWS Glue, sem precisar gerenciar clusters.
Com o Spark Connect, você envia trabalhos do Spark para as sessões interativas do AWS Glue usando uma arquitetura thin client, que desacopla sua aplicação cliente do ambiente de execução do Spark. Isso viabiliza fluxos de trabalho como exploração ad hoc de dados, depuração iterativa passo a passo e desenvolvimento incremental de trabalhos do PySpark antes da implantação em produção, tudo a partir das ferramentas que você já usa. O Spark Connect também simplifica as atualizações e melhora a estabilidade ao isolar as dependências do cliente do runtime do Spark no servidor. Para maior observabilidade, você obtém monitoramento de sessão em tempo real por meio da interface do usuário do Spark, rastreamento de histórico por meio do Spark History Server e gerenciamento de sessões pela API, CLI ou SDK do AWS Glue.
As sessões interativas do AWS Glue com o Spark Connect estão disponíveis na Ásia-Pacífico (Mumbai, Seul, Singapura, Sydney, Tóquio), Canadá (Central), Europa (Frankfurt, Irlanda, Londres, Paris, Estocolmo), América do Sul (São Paulo), Leste dos EUA (Ohio, Norte da Virgínia) e Oeste dos EUA (Oregon).
Para começar a usá-las, conecte-se às sessões interativas do Glue usando o Spark Connect a partir de cadernos no Estúdio Unificado Amazon SageMaker, do seu IDE favorito com um intérprete de Python, ou por meio da API, SDK e CLI da AWS. Para saber mais, acesse a documentação das sessões interativas do AWS Glue.