Les sessions interactives AWS Glue prennent désormais en charge Spark Connect pour les charges de travail interactives
Les sessions interactives AWS Glue prennent désormais en charge Apache Spark Connect, grâce auquel vous pouvez désormais développer et exécuter des applications Apache Spark depuis votre environnement préféré, y compris des blocs-notes gérés dans Amazon SageMaker Unified Studio, ou vos environnements de blocs-notes et IDE préférés tels que Jupyter, Visual Studio Code, tout en les exécutant sur l’infrastructure sans serveur d’AWS Glue sans gérer de clusters.
Avec Spark Connect, vous soumettez des tâches Spark aux sessions interactives AWS Glue à l’aide d’une architecture client léger, qui dissocie votre application cliente de l’environnement d’exécution Spark. Cela permet de débloquer des flux de travail tels que l’exploration de données ad hoc, le débogage itératif étape par étape et le développement incrémentiel de tâches PySpark avant le déploiement en production, le tout à partir des outils que vous utilisez déjà. Spark Connect simplifie également les mises à niveau et améliore la stabilité en isolant les dépendances des clients par rapport à l’environnement d’exécution Spark côté serveur. Pour des raisons d’observabilité, vous bénéficiez d’une surveillance des sessions en temps réel via l’interface utilisateur Spark, d’un suivi de l’historique via le serveur d’historique Spark et d’une gestion des sessions à l’aide de la CLI, du kit SDK ou de l’API AWS Glue.
Les sessions interactives AWS Glue avec Spark Connect sont disponibles dans les régions suivantes : Asie-Pacifique (Mumbai, Séoul, Singapour, Sydney, Tokyo), Canada (Centre), Europe (Francfort, Irlande, Londres, Paris, Stockholm), Amérique du Sud (São Paulo), USA Est (Ohio, Virginie du Nord) et USA Ouest (Oregon).
Pour commencer, connectez-vous aux sessions interactives AWS Glue à l’aide de Spark Connect depuis des blocs-notes dans Amazon SageMaker Unified Studio, votre IDE préféré avec un interpréteur Python ou l’API, le kit SDK et la CLI AWS. Pour en savoir plus, consultez la documentation relative aux sessions interactives AWS Glue.