Phiên tương tác AWS Glue hiện hỗ trợ Spark Connect cho các khối lượng công việc tương tác
Phiên tương tác AWS Glue hiện hỗ trợ Apache Spark Connect, cho phép bạn phát triển và chạy các ứng dụng Apache Spark từ môi trường ưu tiên của bạn, bao gồm các sổ tay được quản lý trong Studio hợp nhất của Amazon SageMaker, hoặc các môi trường sổ tay và IDE ưu tiên của bạn như Jupyter, Visual Studio Code, trong khi vẫn chạy trên cơ sở hạ tầng phi máy chủ của AWS Glue mà không cần quản lý các cụm.
Với Spark Connect, bạn gửi các công việc Spark đến Phiên tương tác của AWS Glue thông qua kiến trúc máy khách phụ thuộc phần lớn vào máy chủ nhằm giúp tách rời ứng dụng máy khách của bạn khỏi môi trường thực thi Spark. Điều này mở ra khả năng sử dụng các quy trình công việc như khám phá dữ liệu tùy biến, gỡ lỗi từng bước có thể lặp đi lặp lại và phát triển từng phần công việc PySpark trước khi triển khai vào sản xuất, tất cả đều từ các công cụ bạn đã sử dụng. Spark Connect cũng giúp đơn giản hóa việc nâng cấp và cải thiện độ ổn định bằng cách tách biệt các phần phụ thuộc phía máy khách khỏi thời gian hoạt động Spark phía máy chủ. Đối với khả năng quan sát, bạn có được khả năng giám sát phiên theo thời gian thực thông qua giao diện người dùng Spark, theo dõi lịch sử thông qua Máy chủ lịch sử Spark và quản lý phiên từ API, CLI hoặc SDK của AWS Glue.
Phiên tương tác AWS Glue với Spark Connect hiện được cung cấp tại Châu Á Thái Bình Dương (Mumbai, Seoul, Singapore, Sydney, Tokyo), Canada (Miền Trung), Châu Âu (Frankfurt, Ireland, London, Paris, Stockholm), Nam Mỹ (São Paulo), Miền Đông Hoa Kỳ (Ohio, Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon).
Để bắt đầu, hãy kết nối tới Phiên tương tác Glue bằng Spark Connect từ các sổ tay trong Studio hợp nhất của Amazon SageMaker, IDE yêu thích của bạn có tích hợp trình thông dịch Python hoặc thông qua API, SDK và CLI của AWS. Để tìm hiểu thêm, hãy truy cập tài liệu về Phiên tương tác AWS Glue.