Null-ETL-Integration von Amazon Aurora in Amazon Redshift
Ermöglichen Sie Analytik und ML von Petabyte an Transaktionsdaten in nahezu Echtzeit
Warum Aurora-Null-ETL-Integration mit Amazon Redshift?
Vorteile
Greifen Sie in Amazon Redshift innerhalb von Sekunden auf Transaktionsdaten von Aurora zu, um Analytics und ML für Petabyte an Daten nahezu in Echtzeit durchzuführen.
Analysieren Sie Ihre Transaktionsdaten schnell und nahezu in Echtzeit, ohne ETL-Pipelines erstellen und verwalten zu müssen, um Transaktionsdaten in Analytics-Systeme zu übertragen.
Konsolidieren Sie mehrere Tabellen aus verschiedenen Aurora-Datenbankclustern und replizieren Sie Ihre Daten in ein Data Warehouse von Amazon Redshift, um einheitliche Analytiken für mehrere Anwendungen und Datenquellen durchzuführen.
Führen Sie Analytics von Transaktionsdaten nahezu in Echtzeit durch, ohne eine Infrastruktur verwalten zu müssen, wenn Sie sowohl Amazon Aurora Serverless v2 als auch Amazon Redshift Serverless verwenden.
Anwendungsfälle
Nutzen Sie die Analytics- und ML-Funktionen von Amazon Redshift, um nahezu in Echtzeit Erkenntnisse aus Transaktions- und anderen Daten abzuleiten, um effektiv auf wichtige, zeitkritische Ereignisse zu reagieren. Mithilfe von Analytics nahezu in Echtzeit können Sie genauere und zeitnahe Erkenntnisse für Anwendungsfälle wie Content-Targeting, optimiertes Spielerlebnis, Überwachung der Datenqualität, Betrugserkennung und Analyse des Kundenverhaltens erhalten.
Mit der Aurora-Null-ETL-Integration in Amazon Redshift können Sie Amazon-Redshift-Funktionen nutzen, um Petabyte Ihrer Transaktionsdaten zu analysieren, die aus mehreren Aurora-Datenbankclustern konsolidiert wurden. Sie können die umfassenden Analytics-Funktionen von Amazon Redshift nutzen, z. B. integriertes ML, materialisierte Ansichten, Datenaustausch und Verbundzugriff auf mehrere Datenspeicher und Data Lakes. Mit Amazon Redshift ML können Sie Milliarden von Prognosen mit einfachen SQL-Befehlen mit nativer Integration in Amazon SageMaker ausführen.
Das Verschieben von Daten aus einer Transaktionsdatenbank in ein zentrales Data Warehouse erfordert häufig die Erstellung, Verwaltung und den Betrieb einer komplexen ETL-Lösung für die Datenpipeline. Mit einer Null-ETL-Integration können Sie das Schema, vorhandene Daten und Datenänderungen aus Ihrer Aurora-Datenbank nahtlos in einen neuen oder bestehenden Amazon-Redshift-Cluster replizieren. Die Null-ETL-Integration macht ein komplexes Datenpipeline-Management überflüssig.
Kunden
Infosys
Die Frachtverifizierung ist für die Aufrechterhaltung der Integrität der Lieferkette für die Produktions-, Einzelhandels- und Logistikkunden von Infosys von entscheidender Bedeutung. Um dies zu erreichen, ist die Erfassung von Frachtverfolgungsdaten in Echtzeit für die Sendungsverfolgung und Frachtanalytik erforderlich.
„Infosys hat die Funktionen von Null-ETL genutzt, um Daten in Echtzeit zu erfassen und so die Nachverfolgung von Frachtsendungen zu ermöglichen und Einblick in Standort, Status und geschätzte Ankunftszeit zu bieten. Dies ermöglicht eine Optimierung des Frachtbetriebs und eine erhebliche Kostensenkung. Mit umfassender Null-ETL-Berichten und -Analytik sowie Branchenvorlagen von Infosys Cobalt und Topaz ist jetzt eine datengesteuerte Entscheidungsfindung möglich.“
Sunil Senan, SVP and Global Head of Data, Analytics and AI – Infosys
Intuit
Intuit ist die globale Finanztechnologieplattform, die mit TurboTax, Credit Karma, QuickBooks und Mailchimp den Wohlstand von 100 Millionen Verbrauchern und Kleinunternehmenskunden fördert. Angesichts der Komplexität einer bevorstehenden Migration rechnete Intuit mit einer erstaunlichen Rate von mehr als 10 Millionen Profilmigrationen pro Tag. Intuit entschied sich für die Null-ETL-Integration von Amazon Aurora MySQL in Amazon Redshift, um den Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden.
„Das schiere Datenvolumen und die Notwendigkeit einer nahtlosen Migration stellten uns vor eine große Herausforderung. Darüber hinaus benötigten wir eine Lösung, mit der wir den Migrationsprozess schnell analysieren und schnelle, datengesteuerte Entscheidungen treffen konnten. Um diesen Herausforderungen zu begegnen, haben wir uns für die Null-ETL-Integration von Amazon Aurora in Amazon Redshift entschieden, um unseren Datenerfassungsprozess zu optimieren und komplexe technische Arbeiten zu vermeiden. Mit Null-ETL konnten wir riesige Datenmengen an Amazon Redshift senden, ohne dass Daten erfasst oder separat aufgenommen werden mussten. Dies ermöglichte schnelle Einblicke für wichtige technische und geschäftliche Entscheidungen und sparte monatelangen Aufwand ein, der sonst erforderlich gewesen wäre. Durch die Null-ETL-Integration von Aurora in Amazon Redshift konnten wir bei Intuit neue Muster für umfangreiche Datenmigrationen und Analytik nahezu in Echtzeit erkunden.“
Aruna Ghiware, Product Development Manager – Intuit
KINTO Technologies Corporation
Die KINTO Technologies Corporation ist ein führender Anbieter der Mobilitätsplattformbranche und das Technologieunternehmen, das für die Entwicklung des KINTO-Service als Finanzdienstleistungsunternehmen von Toyota verantwortlich ist. Durch die Null-ETL-Integration von Amazon Aurora MySQL in Amazon Redshift konnte KINTO Technologies eine robustere Datenpipeline aufbauen und kann nun die fortschrittlichen Analytik-Features von Amazon Redshift nahezu in Echtzeit auf seine Betriebsdaten anwenden.
„Bevor die Null-ETL-Integration verfügbar war, haben wir eine maßgeschneiderte Lösung verwendet, die kontinuierlich Änderungen von unseren Kerndatenbanken an Downstream-Anwendungen streamt, aber wir sahen uns mit anhaltenden Leistungsproblemen und Auswirkungen auf unseren Produktionsworkload konfrontiert. Um die Auswirkungen auf die Leistung den Produktionsworkload zu bewältigen, mussten wir die Pipelines manuell anpassen, um Updates seltener zu senden und uns mit alten Daten in Amazon Redshift zufrieden zu geben. Durch die Null-ETL-Integration von Aurora MySQL in Amazon Redshift sind wir in der Lage, Daten fast in Echtzeit in Amazon Redshift verfügbar zu haben. Dadurch entfällt der Zeitaufwand für Entwickler, die Daten-Pipelines für ETL-Prozesse manuell verwalten oder sich mit Leistungseinbußen bei unseren Workloads befassen müssen. Das trägt dazu bei, unseren betrieblichen Aufwand zu reduzieren.“
Hitoshi Kageyama, Executive Vice President – KINTO Technologies Corporation
MassPay
MassPay ist ein führender Anbieter von Lösungen für die globale Zahlungsabwicklung, die nahtlose, sichere und konforme B2B- und B2C-Zahlungen in jedem Land, jeder Währung und mit jeder Zahlungsmethode ermöglichen.
„Wir setzen auf Amazon Aurora MySQL-Compatible Edition und Amazon Redshift, um eine skalierbare, leistungsstarke Infrastruktur sowohl für die Transaktionsverarbeitung als auch für Analytik bereitzustellen. Aurora MySQL bildet das Rückgrat unserer operativen Datenbankschicht und unterstützt geschäftskritische Workflows mit einem Verarbeitungsvolumen von mehreren Milliarden Dollar. Amazon Redshift bildet die Grundlage für unser Data Warehousing und unsere erweiterte Analytik und liefert nahezu in Echtzeit Einblicke in die Auszahlungsleistung, Kundentrends und die betriebliche Effizienz. Dank der Zero-ETL-Integration von Aurora MySQL mit Amazon Redshift haben wir die Verzögerung zwischen Datenerfassung und Berichterstellung beseitigt. Dies hat zu einer Verkürzung der Latenz bei der Datenverfügbarkeit um 90 % geführt, sodass auf MySQL-Daten in Redshift nun 1,5-mal schneller zugegriffen werden kann. Das Ergebnis ist eine verbesserte interne Entscheidungsfindung sowie eine Steigerung der internen Nutzung und des Einsatzes von Amazon Redshift als unserer primären Quelle für die Berichterstellung um 75 %.“
Yossi Shlomo, Director of Payment Systems Architecture – MassPay
Money Forward i
Money Forward i ist bestrebt, die Produktivität und das kreative Potenzial von IT-Teams in Unternehmen zu steigern, indem es sich wiederholende Aufgaben rationalisiert, Kosten senkt und die Sicherheit durch Admina, ihre intuitive SaaS-Managementplattform, erhöht.
Vor der Veröffentlichung der Null-ETL-Integration von Amazon Aurora in Amazon Redshift war die Implementierung und Wartung unserer ETL-Prozesse zur Analyse von Produktdaten aus Amazon Aurora MySQL in Amazon Redshift eine Herausforderung. Die Null-ETL-Integration von Aurora MySQL in Amazon Redshift ermöglicht eine Datensynchronisierung zwischen unseren Aurora-MySQL-Datenbanken und Amazon Redshift nahezu in Echtzeit. Dadurch wird die Zeit für den Aufbau einer Analyseumgebung von einem Monat auf nur drei Stunden reduziert. Die Null-ETL-Integration reduziert nicht nur den anfänglichen Aufwand bei der Entwicklung. Es werden auch weniger Auswirkungen auf die Produktionsumgebungen verursacht, sodass die Analyseumgebung mit minimalen Kosten und maximaler Geschwindigkeit erstellt werden kann.
Katsutoshi Murakami, Director and CPO – Money Forward i
Preise
AWS erhebt keine zusätzliche Gebühr für die Aurora-Null-ETL-Integration in Amazon Redshift. Sie zahlen für vorhandene Aurora- und Amazon-Redshift-Ressourcen, die zur Erstellung und Verarbeitung der im Rahmen einer Null-ETL-Integration generierten Änderungsdaten verwendet werden. Zu diesen Ressourcen könnten gehören:
- Zusätzliche E/A- und Speicherkapazität werden genutzt, um die Erfassung von Änderungsdaten zu aktivieren
- Snapshot-Exportkosten für den ersten Datenexport zum Seed Ihrer Amazon-Redshift-Datenbanken
- Zusätzlicher Amazon-Redshift-Speicher zum Speichern replizierter Daten
- Zusätzliche Amazon-Redshift-Rechenleistung für die Verarbeitung der Datenreplikation
- AZ-übergreifende Datenübertragungskosten für die Übertragung von Daten von der Quelle zum Ziel.
Die fortlaufende Verarbeitung von Datenänderungen durch die Null-ETL-Integration wird ohne zusätzliche Kosten angeboten. Weitere Informationen finden Sie auf der Seite mit den Aurora-Preisen.
Erste Schritte
Um Ihre Null-ETL-Integration zwischen Aurora und Amazon Redshift zu erstellen, geben Sie einen Aurora-DB-Cluster als Datenquelle und ein Amazon Redshift Data Warehouse als Ziel an. Die Integration repliziert Daten aus der Quelldatenbank in das Ziel-Data-Warehouse. Die Daten sind innerhalb von Sekunden in Amazon Redshift verfügbar, sodass Datenanalysten beginnen können, die Analytics- und ML-Funktionen von Amazon Redshift für die Daten zu verwenden. Weitere Informationen finden Sie in den Anleitungen für die ersten Schritte für Aurora und Amazon Redshift.