Integração ETL zero do Amazon Aurora com o Amazon Redshift
Habilite a analytics quase em tempo real em petabytes de dados transacionais
Por que usar a Integração ETL zero do Aurora com o Amazon Redshift?
Benefícios
Acesse dados transacionais do Aurora no Amazon Redshift em poucos segundos para executar analytics e ML quase em tempo real em petabytes de dados.
Analise rapidamente seus dados transacionais quase em tempo real sem precisar criar e gerenciar pipelines de ETL para mover dados transacionais para sistemas de analytics.
Consolide várias tabelas de diversos clusters de banco de dados do Aurora e replique seus dados em um data warehouse do Amazon Redshift para executar analytics unificadas em várias aplicações e fontes de dados.
Execute analytics quase em tempo real de dados transacionais sem precisar gerenciar nenhuma infraestrutura ao usar o Amazon Aurora Sem Servidor v2 e o Amazon Redshift sem servidor.
Casos de uso
Use os recursos de analytics e ML do Amazon Redshift para obter insights quase em tempo real com base em dados transacionais e outros dados para responder com eficácia a eventos críticos e urgentes. A analytics quase em tempo real pode ajudar você a obter insights mais precisos e oportunos para casos de uso como segmentação de conteúdo, experiência otimizada de jogo, monitoramento da qualidade dos dados, detecção de fraudes e análise do comportamento do cliente.
Com a Integração ETL zero do Aurora com o Amazon Redshift, você pode usar os recursos do Amazon Redshift para analisar petabytes dos seus dados transacionais consolidados de vários clusters de banco de dados do Aurora. Você pode aproveitar os recursos analíticos abrangentes do Amazon Redshift, como ML incorporada, visões materializadas, compartilhamento de dados e acesso federado a vários datastores e data lakes. Com o ML no Amazon Redshift, você pode executar bilhões de previsões com comandos SQL simples e integração nativa com o Amazon SageMaker.
Mover dados de um banco de dados transacional para um data warehouse central costuma exigir a criação, o gerenciamento e a operação de uma solução de ETL complexa de pipeline de dados. Com uma integração ETL zero, você pode replicar facilmente o esquema, os dados existentes e as alterações de dados do seu banco de dados Aurora em um cluster do Amazon Redshift novo ou existente. A Integração ETL zero elimina a necessidade de gerenciamento complexo do pipeline de dados.
Clientes
Infosys
A verificação de frete é crucial para manter a integridade da cadeia de suprimentos dos clientes de manufatura, varejo e logística da Infosys. Para conseguir isso, a ingestão em tempo real de dados de rastreamento de frete é necessária para rastrear remessas e análises de frete.
“A Infosys utilizou os recursos do Zero-ETL para ingerir dados em tempo real, permitindo o rastreamento de remessas de carga e fornecendo visibilidade da localização, status e hora estimada de chegada. Isso permite a otimização das operações de frete e uma redução significativa de custos. Com relatórios e análises abrangentes do Zero-ETL, juntamente com os esquemas industriais da Infosys Cobalt e Topaz, a tomada de decisões baseada em dados agora é possível.”
Sunil Senan, vice-presidente sênior e chefe global de dados, analytics e IA, Infosys
Intuit
A Intuit é a plataforma global de tecnologia financeira que impulsiona a prosperidade de 100 milhões de consumidores e clientes de pequenas empresas com TurboTax, Credit Karma, QuickBooks e Mailchimp. Com a complexidade de uma migração futura, a Intuit estava observando uma taxa impressionante de mais de 10 milhões de migrações de perfil por dia. A Intuit recorreu à integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift para simplificar seu processo de ingestão de dados e eliminar a necessidade de trabalhos complexos de engenharia.
“O grande volume de dados e a necessidade de uma migração perfeita representaram um desafio significativo para nós. Além disso, precisávamos de uma solução que nos permitisse analisar o processo de migração rapidamente, permitindo tomar decisões rápidas e baseadas em dados. Para enfrentar esses desafios, recorremos à integração ETL zero do Amazon Aurora com o Amazon Redshift para simplificar nosso processo de ingestão de dados e eliminar a necessidade de trabalhos complexos de engenharia. Com o Zero-ETL, conseguimos enviar grandes quantidades de dados para o Amazon Redshift sem a necessidade de captura de dados ou trabalhos de ingestão separados. Isso permitiu insights rápidos para impulsionar decisões técnicas e comerciais críticas, economizando meses de esforços que, de outra forma, seriam necessários. A utilização da integração ETL zero do Aurora com o Amazon Redshift nos ajudou a explorar novos padrões na Intuit para migrações de dados em grande escala e análises quase em tempo real.”
Aruna Ghiware, gerente de desenvolvimento de produtos, Intuit
KINTO Technologies Corporation
A KINTO Technologies Corporation é líder no setor de plataformas de mobilidade e é a empresa de tecnologia responsável pelo desenvolvimento do serviço KINTO como empresa de serviços financeiros da Toyota. Aproveitando a integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift, a KINTO Technologies conseguiu alcançar um pipeline de dados mais resiliente e agora pode aplicar os atributos de análise avançada do Amazon Redshift aos seus dados operacionais quase em tempo real.
“Antes da integração ETL zero estar disponível, usávamos uma solução personalizada que transmitia continuamente mudanças de nossos bancos de dados principais para aplicativos posteriores, mas enfrentávamos desafios persistentes de desempenho e impactos em nossa workload de produção. Para lidar com o impacto sobre a performance na workload de produção, tivemos que ajustar manualmente os pipelines para enviar atualizações com menos frequência e nos contentar com dados antigos no Amazon Redshift. Usando a Integração ETL zero do Aurora MySQL com o Amazon Redshift, podemos sempre ter dados quase em tempo real disponíveis no Amazon Redshift, eliminando as horas de desenvolvimento gastas gerenciando manualmente pipelines de dados para operações de ETL ou lidando com impactos de performance nas workloads, o que ajuda a reduzir nossa carga operacional.”
Hitoshi Kageyama, vice-presidente executivo, KINTO Technologies Corporation
MassPay
A MassPay é uma fornecedora líder de soluções globais de orquestração de pagamentos, permitindo que os pagamentos B2B e B2C sejam tranquilos, seguros e compatíveis em qualquer país, moeda ou método de pagamento.
“Confiamos na edição do Amazon Aurora compatível com MySQL e no Amazon Redshift para oferecer uma infraestrutura escalável e de alta performance para processamento e analytics de transações. O Aurora MySQL serve como a espinha dorsal da nossa camada de banco de dados operacional, oferecendo suporte a fluxos de trabalho de pagamento essenciais com bilhões de dólares em processamento. O Amazon Redshift potencializa nosso armazenamento de dados e analytics avançada, fornecendo insights quase em tempo real sobre a performance dos pagamentos, as tendências dos clientes e a eficiência operacional. Com a Integração ETL zero do Aurora MySQL aliada ao Amazon Redshift, eliminamos a latência entre a ingestão de dados e a emissão de relatórios. Isso levou a uma redução de 90% na latência de disponibilidade de dados, com os dados do MySQL agora acessíveis no Redshift 1,5 vezes mais rápido. O resultado é uma melhoria na tomada de decisões internas e uma melhoria de 75% na utilização interna e na dependência do Amazon Redshift como nossa principal fonte de relatórios.”
Yossi Shlomo, diretor de arquitetura de sistemas de pagamento, MassPay
Money Forward i
A Money Forward i se esforça para aumentar a produtividade e o potencial criativo das equipes de TI nas organizações, simplificando tarefas repetitivas, cortando custos e fortalecendo a segurança por meio da Admina, sua plataforma intuitiva de gerenciamento de SaaS.
“Antes do lançamento da Integração ETL zero do Amazon Aurora com o Amazon Redshift, a carga de implementar e manter nossas operações de ETL para analisar dados de produtos do MySQL do Amazon Aurora no Amazon Redshift era desafiadora. A Integração ETL zero do Aurora MySQL com o Amazon Redshift permite a sincronização de dados quase em tempo real entre nossos bancos de dados Aurora MySQL e o Amazon Redshift, reduzindo o tempo de criação de um ambiente de análise de um mês para apenas três horas. Além de reduzir a carga inicial na hora do desenvolvimento, com a Integração ETL zero, há menos impacto nos ambientes de produção, possibilitando a criação do ambiente de análise com custo mínimo e velocidade máxima.”
Katsutoshi Murakami, diretor e CPO, Money Forward i
Preços
A AWS não cobra uma taxa adicional pela Integração ETL zero do Aurora com o Amazon Redshift. Você paga pelos recursos existentes do Aurora e do Amazon Redshift usados para criar e processar os dados de alterações gerados como parte de uma Integração ETL zero. Esses recursos podem incluir:
- E/S e armazenamento adicionais usados ao habilitar a captura de dados de alterações
- Custos de exportação de snapshots para a exportação inicial de dados a fim de propagar seus bancos de dados do Amazon Redshift
- Armazenamento adicional do Amazon Redshift para armazenar dados replicados
- Computação adicional do Amazon Redshift para processar a replicação de dados
- Custos de transferência de dados entre AZs para mover dados da origem para o destino.
O processamento contínuo de alterações de dados pela Integração ETL zero é oferecido sem custo adicional. Para obter mais informações, acesse a página de preços do Aurora.
Como começar a usar
Para criar sua Integração ETL zero entre o Aurora e o Amazon Redshift, você especifica um cluster de banco de dados Aurora como fonte de dados e um data warehouse do Amazon Redshift como destino. A integração replica os dados do banco de dados de origem no data warehouse de destino. Os dados ficam disponíveis no Amazon Redshift em poucos segundos, permitindo que os analistas de dados comecem a usar analytics do Amazon Redshift e a funcionalidade de ML nos dados. Para saber mais, acesse os guias de introdução ao Aurora e ao Amazon Redshift.