Amazon EMR en EKS ahora es compatible con el agente de solución de problemas Apache Spark
Amazon EMR en EKS ahora es compatible con el agente de solución de problemas de Apache Spark. Los ingenieros de datos ahora pueden diagnosticar la EMR en los errores de trabajo de EKS a través del lenguaje natural y recibir análisis automatizados de la causa raíz y recomendaciones de código de PySpark sin tener que navegar manualmente por los registros distribuidos y los datos del Spark History Server.
El agente analiza los datos de Spark History Server, los registros de ejecutores distribuidos y las configuraciones de clústeres para identificar problemas como errores de memoria, sesgo de datos, contención de recursos y fallas de conectividad. Con este lanzamiento, el agente de solución de problemas de Spark ahora cubre todas las opciones de implementación de EMR: EMR en EC2, EMR sin servidor y EMR en EKS. Se puede acceder al agente directamente desde la consola EMR de EKS mediante la opción “Solucionar problemas con IA” en los trabajos fallidos. Además, el agente está disponible a través del MCP (Model Context Protocol [Protocolo de contexto de modelos]) utilizando cualquier agente de codificación de IA compatible, incluidos Kiro, Claude Code y Cursor. Todas las operaciones son de solo lectura, se autentican con funciones de IAM y se registran en AWS CloudTrail.
El agente de solución de problemas de Spark para Amazon EMR en EKS está disponible en todas las regiones de AWS en las que está disponible SageMaker Unified Studio. Para empezar, vaya a EMR en la consola EKS o configure el servidor MCP en su agente de codificación de IA preferido. Para obtener instrucciones detalladas, consulte la documentación del agente de solución de problemas de EMR.