Integrazione Zero-ETL di Amazon Aurora con Amazon Redshift
Abilita l’analisi e il machine learning quasi in tempo reale su petabyte di dati transazionali
Perché scegliere l’integrazione Zero-ETL di Aurora con Amazon Redshift?
Vantaggi
Accedi ai dati transazionali di Aurora su Amazon Redshift in pochi secondi per eseguire analisi e ML quasi in tempo reale su petabyte di dati.
Analizza rapidamente i dati transazionali quasi in tempo reale senza la necessità di creare e gestire pipeline ETL per spostare i dati transazionali nei sistemi di analisi.
Consolida diverse tabelle da più cluster di database Aurora e replicali in un data warehouse Amazon Redshift per eseguire analisi unificate su più applicazioni e origini dati.
Esegui analisi quasi in tempo reale su dati transazionali senza la necessità di gestire alcuna infrastruttura durante l’utilizzo sia di Amazon Aurora Serverless v2 che di Amazon Redshift Serverless.
Casi d’uso
Utilizza le capacità di analisi e ML di Amazon Redshift per ricavare informazioni quasi in tempo reale da dati transazionali e di altro tipo per rispondere efficacemente a eventi critici e urgenti. L’analisi quasi in tempo reale può aiutarti a ottenere informazioni più accurate e tempestive per casi d’uso come contenuti mirati, esperienza di gioco ottimizzata, monitoraggio della qualità dei dati, rilevamento delle frodi e analisi del comportamento dei clienti.
Con l’integrazione Zero-ETL di Aurora con Amazon Redshift, è possibile utilizzare le funzionalità di Amazon Redshift per analizzare petabyte di dati transazionali consolidati da più cluster di database Aurora. È possibile sfruttare le capacità analitiche complete di Amazon Redshift, come ML integrato, viste materializzate, condivisione dei dati e accesso federato a più datastore e data lake. Con il ML di Amazon Redshift, è possibile eseguire miliardi di previsioni con semplici comandi SQL con integrazione nativa su Amazon SageMaker.
Spesso, lo spostamento dei dati da un database transazionale a un data warehouse centrale richiede la creazione, la gestione e il funzionamento di una soluzione ETL per pipeline di dati complesse. Con un'integrazione Zero-ETL è possibile replicare senza problemi lo schema, i dati esistenti e le modifiche ai dati dal database Aurora a un cluster Amazon Redshift nuovo o esistente. L’integrazione Zero-ETL elimina la necessità di gestire pipeline di dati complesse.
Clienti
Infosys
La verifica del trasporto è fondamentale per mantenere l’integrità della catena di fornitura per i clienti di produzione, vendita al dettaglio e logistica di Infosys. A tal fine, è necessaria l'acquisizione in tempo reale dei dati di tracciamento delle merci per il monitoraggio delle spedizioni e l'analisi delle merci.
"Infosys ha utilizzato le funzionalità di Zero-ETL per acquisire dati in tempo reale, consentendo il monitoraggio delle spedizioni di merci e fornendo visibilità su posizione, stato e orario di arrivo stimato. Ciò consente l'ottimizzazione delle operazioni di trasporto e una significativa riduzione dei costi. Con report e analisi completi Zero-ETL, insieme agli schemi di settore di Infosys Cobalt e Topaz, è ora possibile prendere decisioni basate sui dati".
Sunil Senan, SVP and Global Head of Data, Analytics and AI, Infosys
Intuit
Intuit è la piattaforma tecnologica finanziaria globale che favorisce la prosperità di 100 milioni di clienti consumer e piccole imprese con TurboTax, Credit Karma, QuickBooks e Mailchimp. Data la complessità di una migrazione imminente, Intuit prevedeva un tasso impressionante di oltre 10 milioni di migrazioni di profili al giorno. Intuit si è rivolta all'integrazione Zero-ETL MySQL di Amazon Aurora con Amazon Redshift per semplificare il processo di importazione dei dati ed eliminare la necessità di complessi lavori di progettazione.
"L'enorme volume di dati e la necessità di una migrazione senza interruzioni hanno rappresentato una sfida significativa per noi. Inoltre, avevamo bisogno di una soluzione che ci consentisse di analizzare rapidamente il processo di migrazione, consentendoci di prendere decisioni rapide e basate sui dati. Per affrontare queste sfide, ci siamo rivolti all'integrazione Zero-ETL di Amazon Aurora con Amazon Redshift per semplificare il nostro processo di importazione dei dati ed eliminare la necessità di complessi lavori di progettazione. Con Zero-ETL, siamo stati in grado di inviare enormi quantità di dati ad Amazon Redshift senza la necessità di acquisirli o di inserirli separatamente. Ciò ha consentito di ottenere approfondimenti rapidi per guidare decisioni tecniche e aziendali critiche, risparmiando mesi di sforzi che altrimenti sarebbero stati necessari. L'utilizzo dell'integrazione Zero-ETL Aurora con Amazon Redshift ci ha aiutato a esplorare nuovi modelli in Intuit per migrazioni di dati su larga scala e analisi quasi in tempo reale".
Aruna Ghiware, Product Development Manager, Intuit
KINTO Technologies Corporation
KINTO Technologies Corporation è un attore leader nel settore delle piattaforme di mobilità ed è la società tecnologica responsabile dello sviluppo del servizio KINTO come società di servizi finanziari di Toyota. Sfruttando l'integrazione Zero-ETL MySQL di Amazon Aurora con Amazon Redshift, KINTO Technologies è stata in grado di ottenere una pipeline di dati più resiliente e ora può applicare le funzionalità di analisi avanzate di Amazon Redshift ai suoi dati operativi quasi in tempo reale.
"Prima che fosse disponibile l'integrazione Zero-ETL, utilizzavamo una soluzione personalizzata che trasmetteva continuamente le modifiche dai nostri database principali alle applicazioni downstream, ma dovevamo affrontare sfide e impatti persistenti sulle prestazioni sul nostro carico di lavoro di produzione. Per far fronte all’impatto delle prestazioni sul carico di lavoro di produzione, abbiamo dovuto ottimizzare manualmente le pipeline per inviare aggiornamenti meno frequentemente e accontentarci dei vecchi dati in Amazon Redshift. Grazie all’integrazione Zero-ETL di Aurora MySQL con Amazon Redshift, abbiamo sempre dati disponibili in Amazon Redshift quasi in tempo reale, eliminando le ore di sviluppo impiegate nella gestione manuale delle pipeline di dati per le operazioni ETL o nella gestione degli impatti sulle prestazioni dei nostri carichi di lavoro, il che ci aiuta a ridurre il carico operativo.”
Hitoshi Kageyama, Executive Vice President - KINTO Technologies Corporation
MassPay
MassPay è un fornitore leader di soluzioni globali di orchestrazione dei pagamenti che consentono ai pagamenti B2B e B2C di essere fluidi, sicuri e conformi in qualsiasi paese, valuta o metodo di pagamento.
“Facciamo affidamento su Amazon Aurora MySQL-Compatible Edition e Amazon Redshift per fornire un’infrastruttura scalabile e ad alte prestazioni sia per l’elaborazione che per l’analisi delle transazioni. Aurora MySQL funge da spina dorsale del nostro livello di database operativo, supportando flussi di lavoro di pagamento mission-critical con miliardi di dollari di elaborazione. Amazon Redshift potenzia il nostro data warehousing e l’analisi avanzata, fornendo informazioni quasi in tempo reale sulle prestazioni dei pagamenti, sulle tendenze dei clienti e sull’efficienza operativa. Con l’integrazione Zero-ETL di Aurora MySQL con Amazon Redshift, abbiamo eliminato la latenza tra l’acquisizione dei dati e il reporting. Ciò ha portato a una riduzione del 90% della latenza di disponibilità dei dati, con i dati MySQL ora accessibili in Redshift 1,5 volte più velocemente. Il risultato è un miglioramento del processo decisionale interno e un miglioramento del 75% nell’utilizzo interno e nella dipendenza da Amazon Redshift come nostra principale fonte di reporting.”
Yossi Shlomo, Director of Payment Systems Architecture - MassPay
Money Forward i
Money Forward i si impegna a incrementare la produttività e il potenziale creativo dei team IT nelle organizzazioni semplificando le attività ripetitive, tagliando i costi e rafforzando la sicurezza tramite Admina, la loro intuitiva piattaforma di gestione SaaS.
“Prima del rilascio dell’integrazione Zero-ETL di Amazon Aurora con Amazon Redshift, l’onere di implementare e mantenere le nostre operazioni ETL per analizzare i dati di prodotto di Amazon Aurora MySQL in Amazon Redshift era impegnativo. L’integrazione Zero-ETL MySQL di Aurora con Amazon Redshift consente la sincronizzazione dei dati quasi in tempo reale tra i nostri database Aurora MySQL e Amazon Redshift, riducendo il tempo necessario per creare un ambiente di analisi da un mese a sole tre ore. Oltre a ridurre l’onere iniziale al momento dello sviluppo, l’integrazione Zero-ETL riduce l’impatto sugli ambienti di produzione, rendendo possibile la creazione dell’ambiente di analisi al minimo costo e alla massima velocità.”
Katsutoshi Murakami, direttore e Chief Product Officer presso Money Forward, Inc.
Prezzi
AWS non addebita costi aggiuntivi per l'integrazione Zero-ETL di Aurora con Amazon Redshift. Si pagano solo le risorse Aurora e Amazon Redshift esistenti utilizzate per creare ed elaborare i dati di modifica generati nell'ambito di un'integrazione Zero-ETL. Queste risorse potrebbero includere:
- I/O e archiviazione aggiuntivi utilizzati abilitando l'acquisizione dei dati delle modifiche
- Costi di esportazione degli snapshot per l'esportazione iniziale dei dati per il seeding dei database Amazon Redshift
- Archiviazione Amazon Redshift aggiuntiva per i dati replicati
- Calcolo Amazon Redshift aggiuntivo per l'elaborazione della replica dei dati
- Costi di trasferimento dei dati tra zone di disponibilità per lo spostamento dei dati dall'origine alla destinazione.
L’elaborazione continua delle modifiche ai dati mediante l’integrazione Zero-ETL è offerta senza costi aggiuntivi. Per ulteriori informazioni, visita la pagina dei prezzi di Aurora.
Come iniziare
Per creare l'integrazione Zero-ETL tra Aurora e Amazon Redshift, è necessario specificare un cluster DB Aurora come origine dati e un data warehouse Amazon Redshift come destinazione. L'integrazione replica i dati dal database di origine nel data warehouse di destinazione. Questi vengono resi disponibili su Amazon Redshift in pochi secondi, consentendo agli analisti di dati di iniziare a utilizzare le funzionalità di analisi e ML di Amazon Redshift sui dati. Per ulteriori informazioni, consulta le guide introduttive di Aurora e Amazon Redshift.