Le sessioni interattive di AWS Glue ora supportano Spark Connect per i carichi di lavoro interattivi
Le sessioni interattive di AWS Glue ora supportano Apache Spark Connect; grazie a questa funzionalità ora puoi sviluppare ed eseguire applicazioni Apache Spark dal tuo ambiente preferito, inclusi i notebook gestiti in Amazon SageMaker Unified Studio o i tuoi ambienti notebook e IDE preferiti come Jupyter e Visual Studio Code, eseguendoli al contempo sull'infrastruttura serverless di AWS Glue senza dover gestire i cluster.
Con Spark Connect, invii i processi Spark alle sessioni interattive di AWS Glue utilizzando un'architettura thin client che separa l'applicazione client dall'ambiente di esecuzione Spark. Questo sblocca flussi di lavoro come l'esplorazione dei dati ad hoc, il debug iterativo passo dopo passo e lo sviluppo incrementale dei processi PySpark prima della distribuzione in produzione, il tutto dagli strumenti che già utilizzi. Spark Connect semplifica inoltre gli aggiornamenti e migliora la stabilità isolando le dipendenze del client dal runtime Spark lato server. Per l'osservabilità, ottieni il monitoraggio delle sessioni in tempo reale tramite la Spark UI, il tracciamento della cronologia mediante lo Spark History Server e la gestione delle sessioni tramite l'API, la CLI o l'SDK di AWS Glue.
Le sessioni interattive di AWS Glue con Spark Connect è disponibile in Asia Pacifico (Mumbai, Seul, Singapore, Sydney, Tokyo), Canada (Centrale), Europa (Francoforte, Irlanda, Londra, Parigi, Stoccolma), America del Sud (San Paolo), Stati Uniti orientali (Ohio, Virginia settentrionale) e Stati Uniti occidentali (Oregon).
Per iniziare, connettiti alle sessioni interattive di Glue utilizzando Spark Connect dai notebook in Amazon SageMaker Unified Studio, dal tuo IDE preferito provvisto di interprete Python o tramite l'API, l'SDK e la CLI di AWS. Per saperne di più, consulta la documentazione delle sessioni interattive di AWS Glue.