AWS Glue インタラクティブセッションでインタラクティブワークロードの Spark Connect がサポートされるようになりました
AWS Glue インタラクティブセッションで Apache Spark Connect がサポートされるようになりました。これにより、クラスターを管理せずに AWS Glue のサーバーレスインフラストラクチャで実行しながら、Amazon SageMaker Unified Studio のマネージドノートブックや Jupyter、Visual Studio Code などのお好みのノートブック環境や IDE など、お好みの環境から Apache Spark アプリケーションを開発して実行できるようになりました。
Spark Connect を使用する場合、クライアントアプリケーションを Spark 実行環境から切り離すシンクライアントアーキテクチャを使用して Spark ジョブを AWS Glue インタラクティブセッションに送信します。これにより、アドホックデータ探索、反復的なステップバイステップのデバッグ、本番環境へのデプロイ前の段階的な PySpark ジョブ開発などのワークフローを、すべて既に使用しているツールから利用できるようになります。Spark Connect では、クライアントの依存関係がサーバー側の Spark ランタイムから分離されることで、アップグレードが簡素化され、安定性が向上します。オブザーバビリティについては、Spark UI によるリアルタイムのセッションモニタリング、Spark History Server による履歴追跡、AWS Glue API、CLI、SDK を使用したセッション管理を利用できます。
Spark Connect を備えた AWS Glue インタラクティブセッションは、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京)、カナダ (中部)、欧州 (フランクフルト、アイルランド、ロンドン、パリ、ストックホルム)、南米 (サンパウロ)、米国東部 (オハイオ、バージニア北部)、米国西部 (オレゴン) でご利用いただけます。
開始するには、Amazon SageMaker Unified Studio のノートブック、Python インタープリターを備えたお好みの IDE、または AWS API、SDK、CLI から Spark Connect を使用して Glue インタラクティブセッションに接続してください。詳細については、AWS Glue インタラクティブセッションのドキュメントをご覧ください。