AWS Glue Interactive Sessions รองรับ Spark Connect สำหรับเวิร์กโหลดแบบอินเทอร์แอ็กทีฟแล้ว
ขณะนี้ AWS Glue Interactive Sessions รองรับ Apache Spark Connect แล้ว ซึ่งช่วยให้คุณสามารถพัฒนาและเรียกใช้แอปพลิเคชัน Apache Spark จากสภาพแวดล้อมที่คุณต้องการได้ รวมถึงโน้ตบุ๊กแบบจัดการในสตูดิโอแบบครบวงจรของ Amazon SageMaker หรือสภาพแวดล้อมของโน้ตบุ๊กและ IDE ที่คุณต้องการ เช่น Jupyter, Visual Studio Code ในขณะที่เรียกใช้บนโครงสร้างพื้นฐานแบบไม่ต้องใช้เซิร์ฟเวอร์ของ AWS Glue โดยไม่ต้องจัดการคลัสเตอร์
ด้วย Spark Connect คุณสามารถส่งงาน Spark ไปยัง AWS Glue Interactive Sessions โดยใช้สถาปัตยกรรมธินไคลเอ็นต์ ซึ่งแยกแอปพลิเคชันไคลเอ็นต์ของคุณออกจากสภาพแวดล้อมการดำเนินการของ Spark การดำเนินการนี้รองรับเวิร์กโฟลว์ต่าง ๆ เช่น การสำรวจข้อมูลเฉพาะกิจ การแก้ไขข้อบกพร่องแบบทำซ้ำทีละขั้นตอน และการพัฒนางาน PySpark แบบค่อยเป็นค่อยไปก่อนติดตั้งใช้งานในการใช้งานจริง ทั้งหมดนี้มาจากเครื่องมือที่คุณใช้อยู่แล้ว Spark Connect ยังช่วยลดความซับซ้อนในการอัปเกรดและเพิ่มเสถียรภาพโดยการแยกการพึ่งพาของไคลเอ็นต์ออกจากรันไทม์ Spark ฝั่งเซิร์ฟเวอร์ สำหรับข้อมูลการสังเกต คุณจะได้รับการติดตามตรวจสอบเซสชันแบบเรียลไทม์ผ่าน Spark UI, การติดตามประวัติผ่าน Spark History Server และการจัดการเซสชันโดยใช้ AWS Glue API, CLI หรือ SDK
AWS Glue Interactive Sessions ที่มี Spark Connect พร้อมให้บริการแล้วในเอเชียแปซิฟิก (มุมไบ, โซล, สิงคโปร์, ซิดนีย์, โตเกียว), แคนาดา (ภาคกลาง), ยุโรป (แฟรงก์เฟิร์ต, ไอร์แลนด์, ลอนดอน, ปารีส, สตอกโฮล์ม), อเมริกาใต้ (เซาเปาลู), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ, เวอร์จิเนียตอนเหนือ) และสหรัฐอเมริกาฝั่งตะวันตก (ออริกอน)
เริ่มต้นใช้งานโดยเชื่อมต่อกับ Glue Interactive Sessions โดยใช้ Spark Connect จากโน้ตบุ๊กในสตูดิโอแบบครบวงจรของ Amazon SageMaker IDE ที่คุณชื่นชอบพร้อมตัวแปลภาษา Python หรือ AWS API, SDK และ CLI ก็ได้ หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่เอกสารประกอบ AWS Glue Interactive Sessions