AWS Glue Interactive Sessions kini mendukung Spark Connect untuk beban kerja interaktif
AWS Glue Interactive Sessions kini mendukung Apache Spark Connect, yang memungkinkan Anda mengembangkan dan menjalankan aplikasi Apache Spark dari lingkungan pilihan Anda, termasuk notebook terkelola di Studio Terpadu Amazon SageMaker, atau lingkungan notebook dan IDE pilihan Anda seperti Jupyter, Visual Studio Code, sambil menjalankannya di infrastruktur nirserver AWS Glue tanpa perlu mengelola klaster.
Dengan Spark Connect, Anda mengirimkan pekerjaan Spark ke AWS Glue Interactive Sessions menggunakan arsitektur klien tipis yang memisahkan aplikasi klien Anda dari lingkungan pelaksanaan Spark. Ini membuka alur kerja seperti eksplorasi data ad hoc, debugging langkah demi langkah secara iteratif, dan pengembangan pekerjaan PySpark secara bertahap sebelum diterapkan ke produksi, semuanya dari tool yang sudah Anda gunakan. Spark Connect juga menyederhanakan peningkatan versi dan meningkatkan stabilitas dengan mengisolasi dependensi klien dari runtime Spark sisi server. Untuk observabilitas, Anda mendapatkan pemantauan sesi secara real-time melalui Spark UI, pelacakan riwayat melalui Spark History Server, dan manajemen sesi menggunakan AWS Glue API, CLI, atau SDK.
AWS Glue Interactive Sessions with Spark Connect tersedia di Asia Pasifik (Mumbai, Seoul, Singapura, Sydney, Tokyo), Kanada (Pusat), Eropa (Frankfurt, Irlandia, London, Paris, Stockholm), Amerika Selatan (Sao Paulo), AS Timur (Ohio, Virginia Utara), dan AS Barat (Oregon).
Untuk memulai, hubungkan ke Glue Interactive Sessions menggunakan Spark Connect dari notebook di Studio Terpadu Amazon SageMaker, IDE favorit Anda dengan interpreter Python, atau AWS API, SDK, dan CLI. Untuk mempelajari lebih lanjut, kunjungi dokumentasi Sesi Interaktif AWS Glue.