Interaktive AWS-Glue-Sitzungen unterstützen jetzt Spark Connect für interaktive Workloads
Interaktive AWS-Glue-Sitzungen unterstützen jetzt Apache Spark Connect. Damit können Sie Apache-Spark-Anwendungen aus Ihrer bevorzugten Umgebung entwickeln und ausführen, darunter verwaltete Notebooks in Amazon SageMaker Unified Studio oder Ihre bevorzugten Notebook-Umgebungen und IDEs wie Jupyter und Visual Studio Code. Die Ausführung erfolgt auf der serverlosen Infrastruktur von AWS Glue, ohne Cluster verwalten zu müssen.
Mit Spark Connect übermitteln Sie Spark-Jobs an interaktive AWS-Glue-Sitzungen über eine Thin-Client-Architektur, die Ihre Client-Anwendung von der Spark-Ausführungsumgebung entkoppelt. Dadurch werden Workflows wie Ad-hoc-Datenexploration, iteratives schrittweises Debugging und inkrementelle PySpark-Jobentwicklung vor der Bereitstellung in Produktion möglich, und zwar mit den Tools, die Sie bereits verwenden. Spark Connect vereinfacht außerdem Upgrades und verbessert die Stabilität, indem Client-Abhängigkeiten von der serverseitigen Spark-Laufzeit isoliert werden. Für die Beobachtbarkeit stehen Ihnen eine Echtzeitüberwachung der Sitzungen über die Spark UI, die Nachverfolgung über den Spark History Server sowie die Sitzungsverwaltung über die AWS-Glue-API, -CLI oder -SDK zur Verfügung.
Interaktive AWS-Glue-Sitzungen mit Spark Connect sind in Asien-Pazifik (Mumbai, Seoul, Singapur, Sydney, Tokio), Kanada (Zentral), Europa (Frankfurt, Irland, London, Paris, Stockholm), Südamerika (São Paulo), USA Ost (Ohio, Nord-Virginia) und USA West (Oregon) verfügbar.
Zum Einstieg stellen Sie eine Verbindung zu interaktiven AWS-Glue-Sitzungen mit Spark Connect aus Notebooks in Amazon SageMaker Unified Studio, Ihrer bevorzugten IDE mit Python-Interpreter oder über die AWS API, das SDK und die CLI her. Weitere Informationen finden Sie in der Dokumentation zu interaktiven AWS-Glue-Sitzungen.