Интеграция Amazon Aurora с Amazon Redshift с нулевым использованием ETL
Обеспечьте анализ петабайтов транзакционных данных и машинное обучение по ним в режиме, близком к реальному времени
Преимущества интеграции Aurora с нулевым использованием ETL с Amazon Redshift
Преимущества
Получите доступ к транзакционным данным от Aurora в Amazon Redshift за считанные секунды, чтобы выполнять аналитику и машинное обучение на основе петабайтов данных практически в реальном времени.
Быстро анализируйте транзакционные данные практически в реальном времени без необходимости создавать конвейеры ETL и управлять ими для передачи транзакционных данных в аналитические системы.
Консолидируйте несколько таблиц из разных кластеров баз данных Aurora и выполняйте репликацию данных в одно хранилище данных Amazon Redshift для получения унифицированной аналитики по нескольким приложениям и источникам данных.
Создавайте аналитику транзакционных данных в режиме, близком к реальному времени, без необходимости управлять инфраструктурой конвейеров данных при использовании бессерверной конфигурации Amazon Aurora, версия 2 и бессерверного Amazon Redshift.
Примеры использования
Используйте аналитику Amazon Redshift и возможности машинного обучения для получения аналитической информации режиме, близком к реального времени, из транзакционных и других данных и эффективного реагирования на критические события, требующие срочного решения. Аналитика, близкая к реальному времени, поможет вам получить более точную и своевременную информацию о таких сценариях использования, как таргетинг контента, оптимизированный игровой процесс, мониторинг качества данных, обнаружение мошенничества и анализ поведения клиентов.
Благодаря интеграции с нулевым использованием ETL Aurora с Amazon Redshift вы можете использовать возможности Amazon Redshift для анализа петабайтов транзакционных данных, консолидированных из нескольких кластеров баз данных Aurora. Вы можете воспользоваться комплексными аналитическими возможностями Amazon Redshift, такими как встроенное машинное обучение, материализованные представления, совместное использование данных и федеративный доступ к нескольким хранилищам данных и озерам данных. Машинное обучение Amazon Redshift позволяет выполнять миллиарды прогнозов с помощью простых SQL-команд и встроенной интеграции в Amazon SageMaker.
Перемещение данных из транзакционной базы данных в центральное хранилище данных часто требует создания, организации управления и эксплуатации сложного решения ETL для конвейера данных. Благодаря интеграции с нулевым использованием ETL вы можете легко реплицировать схему, существующие данные и изменения данных из базы данных Aurora в новый или существующий кластер Amazon Redshift. Интеграция с нулевым использованием ETL устраняет необходимость в сложном управлении конвейером данных.
Клиенты
Infosys
Проверка грузов имеет решающее значение для поддержания целостности цепочки поставок для клиентов компании Infosys в сфере производства, розничной торговли и логистики. Чтобы обеспечить этот процесс, необходим сбор данных отслеживания грузов в реальном времени для их аналитики и мониторинга отправлений.
«Компания Infosys использовала возможности интеграции с нулевым использованием ETL для сбора данных в режиме реального времени, что позволяет отслеживать доставку грузов и получать информацию об их местоположении, статусе и предполагаемом времени прибытия. Это позволяет оптимизировать грузовые перевозки и значительно снизить затраты. Благодаря комплексной отчетности и аналитике с нулевым использованием ETL, а также отраслевым чертежам Infosys Cobalt и Topaz теперь мы можем принимать решения на основе данных».
Сунил Сенан, старший вице-президент и директор по глобальному развитию данных, аналитики и ИИ в компании Infosys
Intuit
Intui – это глобальная платформа финансовых технологий, которая обеспечивает успех 100 млн потребителей и клиентов малого бизнеса с помощью TurboTax, Credit Karma, QuickBooks и Mailchimp. Учитывая сложность предстоящей миграции, в компании Intuit ожидали, что ее скорость будет ошеломляющей и составит 10 млн профилей в день. Компания Intuit обратилась к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс получения данных и устранить необходимость в сложных инженерных работах.
«Огромный объем данных и необходимость беспрепятственной миграции стали для нас серьезной проблемой. Кроме того, необходимо было решение, которое позволило бы нам мгновенно анализировать процесс миграции и принимать быстрые решения на основе данных. Для решения этой проблемы мы обратились к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс приема данных и устранить необходимость в сложных инженерных работах. Благодаря интеграции с нулевым использованием ETL мы смогли отправлять огромные объемы данных в Amazon Redshift без сбора данных или отдельных заданий по их обработке, что позволило быстро получать аналитическую информацию для принятия важных технических и деловых решений, сэкономив месяцы усилий, которые могли потребоваться в противном случае. Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift помогла нам изучить новые модели компании Intuit для крупномасштабной миграции данных и аналитики в режиме, близком к реальному времени».
Аруна Гиваре, руководитель отдела по разработке продукции в компании Intuit
KINTO Technologies Corporation
KINTO Technologies Corporation является ведущим игроком в индустрии мобильных платформ и технологической компанией, отвечающей за развитие сервиса KINTO и предоставления финансовых услуг корпорации Toyota. С помощью интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift компания KINTO Technologies смогла создать более устойчивый конвейер данных и теперь может применять расширенные аналитические функции Amazon Redshift к своим эксплуатационным данным практически в реальном времени.
«До появления интеграции с нулевым использованием ETL мы применяли специально разработанное решение. Оно непрерывно передавало изменения из наших основных баз данных в последующие приложения, но мы постоянно сталкивались с проблемами производительности, которые влияли на нашу рабочую нагрузку. Для уменьшения этого влияния нам пришлось вручную настраивать конвейеры, чтобы реже отправлять обновления и довольствоваться старыми данными в Amazon Redshift. Благодаря интеграции Amazon Aurora с нулевым использованием ETL с Amazon Redshift мы можем всегда иметь доступ к данным в Amazon Redshift практически в реальном времени, что позволяет разработчикам ускорить ручное управление конвейерами данных для операций ETL или решение проблем, влияющих на производительность рабочих нагрузок, снижая тем самым операционные затраты».
Хитоши Кагеяма, исполнительный вице-президент в корпорации KINTO Technologies
MassPay
MassPay – ведущий поставщик глобальных решений по оркестрации платежей, позволяющих осуществлять платежи B2B и B2C без проблем, безопасно и в соответствии с законодательством в любой стране, любой валютой и любыми способами оплаты.
«Мы полагаемся на Amazon Redshift, совместимый с Amazon Aurora MySQL в создании масштабируемой и высокопроизводительной инфраструктуры для обработки транзакций и аналитики. Aurora MySQL служит основой нашей операционной базы данных, поддерживая критически важные рабочие процессы транзакций на миллиарды долларов. Amazon Redshift обеспечивает хранение данных и расширенную аналитику, предоставляя информацию об эффективности выплат, тенденциях клиентов и операционной эффективности практически в реальном времени. Благодаря интеграции Aurora MySQL с нулевым использованием ETL с Amazon Redshift мы устранили задержки между получением данных и составлением отчетов. Это привело к снижению задержки доступности данных на 90 %, а данные MySQL теперь доступны в Redshift в 1,5 раза быстрее. В результате мы улучшили процесс принятия внутренних решений, повысили внутреннюю эффективность на 75 % и стали полагаться на Amazon Redshift в качестве основного источника отчетности».
Йосси Шломо, директор по архитектуре платежных систем компании MassPay
Money Forward i
Компания Money Forward i стремится повысить производительность и творческий потенциал ИТ-команд в организациях благодаря оптимизации повторяющихся задач, сокращению расходов и укреплению безопасности с помощью Admina, интуитивно понятной платформы управления SaaS.
«До выхода интеграции Amazon Aurora с нулевым использованием ETL с Amazon Redshift задача внедрения и поддержки наших операций ETL по анализу данных продуктов из Amazon Aurora MySQL в Amazon Redshift была непростой. Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift обеспечивает синхронизацию данных между нашими базами данных Aurora MySQL и Amazon Redshift практически в реальном времени, сокращая срок создания аналитической среды с месяца до трех часов. Помимо снижения первоначальной нагрузки на этапе разработки, интеграция с нулевым использованием ETL уменьшает влияние на производственную среду, что позволяет создать среду анализа с минимальными затратами и максимальной скоростью».
Кацутоси Мураками, руководитель и директор по разработке программных продуктов, Money Forward i
Цены
AWS не взимает дополнительную плату за интеграция с нулевым использованием ETL Aurora с Amazon Redshift. Вы платите за существующие ресурсы Aurora и Amazon Redshift, используемые для создания и обработки данных об изменениях, созданных в рамках интеграции с нулевым использованием ETL. Эти ресурсы могут включать:
- Дополнительные возможности ввода-вывода и хранилища, используемые для сбора данных об изменениях
- Затраты на экспорт снимков при первоначальном экспорте данных для заполнения баз данных Amazon Redshift
- Дополнительное хранилище Amazon Redshift для хранения реплицированных данных
- Дополнительные вычислительные ресурсы Amazon Redshift для обработки и репликации данных
- Затраты на передачу данных между зонами доступности при перемещении данных от источника к целевому объекту.
Непрерывная обработка изменений данных посредством интеграции с нулевым использованием ETL доступна бесплатно. Дополнительную информацию см. на странице цен на Aurora.
Начало работы
Чтобы создать интеграцию с нулевым использованием ETL между Aurora и Amazon Redshift, вы указываете кластер БД Aurora в качестве источника данных и хранилище данных Amazon Redshift в качестве цели. Интеграция реплицирует данные из исходной базы данных в целевое хранилище данных. Данные становятся доступными в Amazon Redshift через несколько секунд, что позволяет исследователям начать использовать аналитику и функции машинного обучения Amazon Redshift для обработки данных. Подробные сведения см. в руководствах по началу работы с Aurora и Amazon Redshift.