Apache Spark в Amazon EMR

Оптимизированное по производительности время выполнения Apache Spark в Amazon EMR ускоряет обработку задач в озерах данных, обеспечивая скорость до 4,5 раза быстрее по сравнению с аналогами с открытым исходным кодом при полной совместимости с API. Эта оптимизация также распространяется на операции Apache Iceberg, повышая скорость записи в 2,7 раза для транзакционных озер данных, где важны как скорость, так и надежность.

Поддержка Apache Iceberg версии 3 и Spark 4.0 (предварительной версии) позволяет использовать расширенные возможности, включая ACID-транзакции, эволюцию схем, тип данных VARIANT для обработки полуструктурированных данных, а также соответствие стандарту ANSI SQL.

Время выполнения Amazon EMR для Spark оптимизирует планы запросов, обеспечивая их полное исполнение в оперативной памяти и максимально эффективно используя аппаратные ресурсы. За счет оптимизации обработки промежуточных данных EMR сокращает время получения результата для наиболее ресурсоемких рабочих нагрузок машинного обучения, позволяя быстрее переходить к новым итерациям.

Современные рабочие процессы можно модернизировать с помощью Единой студии SageMaker и Студии EMR, которые предоставляют интегрированные среды для SQL, Python и Scala. Используйте Amazon Q для разработчиков с целью генерации оптимизированного кода PySpark и устранения неполадок в сложных планах выполнения (DAG) в режиме реального времени. В отличие от стандартного Spark, EMR предоставляет постоянный интерфейс Spark UI, позволяющий анализировать и отлаживать журналы заданий даже после завершения работы бессерверных приложений или временных кластеров. Такая сохранность данных критически важна для аудита и непрерывной оптимизации производительности в производственных средах.

Бессерверная конфигурация EMR устраняет операционные сложности, предоставляя мгновенно готовую к работе среду для блокнотов. Вам больше не нужно создавать, масштабировать или управлять кластерами. Вы подключаете предпочитаемую среду разработки, такую как Единая студия Amazon SageMaker или JupyterLab, к бессерверному приложению EMR и начинаете выполнять запросы. Время выполнения EMR для Spark обеспечивает такую же производительность корпоративного уровня для интерактивного кода, как и для производственных конвейеров обработки данных. Независимо от того, выполняете ли вы разовый анализ данных в петабайтах информации в S3 или запускаете сложные задачи конструирования признаков, Amazon EMR предоставляет простую высокопроизводительную среду, необходимую для ускорения наиболее критичных рабочих процессов в области анализа данных.

Агент обновления Apache Spark автоматически выявляет изменения в API и принципах работы приложений PySpark и Scala. Инженеры могут запускать обновления непосредственно из Единой студии SageMaker или выбранной интегрированной среды разработки (IDE) за счет совместимости с протоколом контекста модели (MCP). В процессе обновления агент анализирует существующий код и предлагает определенные изменения, а инженеры могут проверить и утвердить их перед внедрением. Агент подтверждает корректность функций с помощью проверок качества данных. В настоящее время этот агент поддерживает обновления со Spark 2.4 до 3.5 и обеспечивает точную обработку данных на протяжении всего процесса обновления.

Собирайте и обрабатывайте данные в режиме реального времени из Amazon Kinesis, Apache Kafka и других потоков данных с помощью расширения Spark Streaming в EMR. Используйте отказоустойчивые методы аналитики потоковых данных и записывайте результаты в S3 или файловую систему HDFS на кластере.

Apache Spark в EMR включает библиотеку MLlib с множеством масштабируемых алгоритмов машинного обучения, а также позволяет использовать собственные библиотеки. Сохраняя наборы данных в памяти во время выполнения заданий, Spark повышает производительность итерационных запросов, типичных для рабочих нагрузок машинного обучения. Расширить возможности Amazon SageMaker можно за счет подключения инстанса блокнота к кластеру Apache Spark, выполняемому в сервисе Amazon EMR, с помощью Amazon SageMaker Spark для легко обучаемых моделей и моделей размещения.

Используйте Spark SQL для отправки интерактивных запросов SQL или HiveQL с низкой задержкой. Spark в EMR может использовать файловую систему EMRFS, обеспечивая возможность спонтанного доступа к пакетам данных в сервисе S3. Кроме того, можно использовать EMR Studio, Ноутбуки EMR, блокноты Zeppelin или инструменты бизнес‑аналитики (BI) через подключения ODBC или JDBC.