AWS Glue Etkileşimli Oturumlar artık etkileşimli iş yükleri için Spark Connect'i destekliyor
AWS Glue Etkileşimli Oturumlar artık Apache Spark Connect'i destekliyor. Bu uygulamayı kullanarak Amazon SageMaker Birleşik Stüdyosu'ndaki yönetilen not defterleri veya tercih ettiğiniz not defteri ortamları ve Jupyter, Visual Studio Code gibi IDE'ler dahil olmak üzere tercih ettiğiniz ortamdan Apache Spark uygulamaları geliştirip çalıştırabilirsiniz. Bunları AWS Glue'nun sunucusuz altyapısında kümeleri yönetmeden çalıştırabilirsiniz.
Spark Connect ile, istemci uygulamanızı Spark yürütme ortamından ayıran ince istemci mimarisini kullanarak Spark işlerini AWS Glue Etkileşimli Oturumlar'ına gönderirsiniz. Bu, kullandığınız araçlardan üretime dağıtmadan önce geçici veri keşfi, yinelemeli adım adım hata ayıklama ve artımlı PySpark iş geliştirme gibi iş akışlarına olanak tanır. Spark Connect ayrıca istemci bağımlılıklarını sunucu taraflı Spark çalışma zamanından izole ederek yükseltmeleri basitleştirir ve kararlılığı artırır. Gözlemlenebilirlik için, Spark UI aracılığıyla gerçek zamanlı oturum izleme, Spark Geçmiş Sunucusu üzerinden geçmiş izleme ve AWS Glue API/CLI/SDK'den oturum yönetimi elde edersiniz.
Spark Connect ile AWS Glue Etkileşimli Oturumlar, Asya Pasifik (Mumbai, Seul, Singapur, Sidney, Tokyo), Kanada (Orta), Avrupa (Frankfurt, İrlanda, Londra, Paris, Stokholm), Güney Amerika (São Paulo), ABD Doğu (Ohio, Kuzey Virginia) ve ABD Batı (Oregon) bölgelerinde kullanılabilir.
Başlamak için Amazon SageMaker Birleşik Stüdyosu'ndaki not defterlerinden, Python yorumlayıcılı favori IDE'nizden veya AWS API, SDK ve CLI'den Spark Connect'i kullanarak Glue Etkileşimli Oturumlar'a bağlanın. Daha fazla bilgi edinmek için AWS Glue Etkileşimli Oturumlar belgelerini ziyaret edin.