Amazon Redshift との Amazon Aurora ゼロ ETL 統合
ペタバイトレベルのトランザクションデータでリアルタイム分析と ML を実現
Amazon Redshift との Aurora ゼロ ETL 統合を行う理由
メリット
Amazon Redshift で Aurora のトランザクションデータに数秒でアクセスして、ペタバイト規模のデータでほぼリアルタイムの分析と ML を実行できます。
トランザクションデータを分析システムに移動するための ETL パイプラインを構築して管理する必要なく、トランザクションデータをほぼリアルタイムで迅速に分析できます。
さまざまな Aurora データベースクラスターの複数のテーブルを統合し、データを 1 つの Amazon Redshift データウェアハウスにレプリケートして、複数のアプリケーションとデータソースにわたって統合分析を実行します。
Amazon Aurora Serverless v2 と Amazon Redshift Serverless の両方を使用すると、インフラストラクチャを管理することなく、トランザクションデータでほぼリアルタイムの分析を実行できます。
ユースケース
Amazon Redshift の分析と ML 機能を使用して、トランザクションデータやその他のデータからほぼリアルタイムでインサイトを引き出し、時間的制約のある重要なイベントに効果的に対応できます。ほぼリアルタイムの分析により、コンテンツターゲティング、最適化されたゲーム体験、データ品質監視、不正検出、顧客行動分析などのユースケースについて、より正確でタイムリーな洞察を得ることができます。
Amazon Redshift との Aurora ゼロ ETL 統合により、Amazon Redshift の機能を使用して、複数の Aurora データベースクラスターから統合されたペタバイトのトランザクションデータを分析できます。組み込み ML、マテリアライズドビュー、データ共有、複数のデータストアやデータレイクへのフェデレーションアクセスなど、Amazon Redshift の包括的な分析機能を活用できます。Amazon Redshift ML を使用すると、Amazon SageMaker にネイティブに統合されているため、簡単な SQL コマンドで何十億もの予測を実行できます。
トランザクションデータベースから中央データウェアハウスにデータを移動するには、多くの場合、複雑なデータパイプライン ETL ソリューションの構築、管理、運用が必要です。ゼロ ETL 統合により、スキーマ、既存のデータ、データ変更を Aurora データベースから新規または既存の Amazon Redshift クラスターにシームレスにレプリケートできます。ゼロ ETL 統合により、複雑なデータパイプライン管理が不要になります。
お客様
Infosys
インフォシスの製造、小売、物流の顧客にとって、サプライチェーンの完全性を維持するには、貨物の検証が不可欠です。そのためには、貨物の追跡と貨物分析のために貨物追跡データをリアルタイムで取り込む必要があります。
「インフォシスは、Zero-ETL 機能を活用してリアルタイムでデータを取り込むことで、貨物貨物の追跡が可能になり、場所、ステータス、到着予定時刻を可視化できるようになりました。これにより、運送業務の最適化と大幅なコスト削減が可能になります。ゼロ ETL の包括的なレポーティングと分析、そしてインフォシスの Cobalt と Topaz インダストリーブループリントにより、データ主導の意思決定が可能になりました」。
Sunil Senan 氏、データ、アナリティクス、AI 担当上級副社長兼グローバルヘッド、インフォシス
Intuit
Intuit は、TurboTax、Credit Karma、QuickBooks、Mailchimp を通じて、1 億人の消費者および中小企業の顧客の繁栄を促進するグローバルな金融テクノロジープラットフォームです。今後の移行が複雑になる中、Intuit 社では 1 日あたり 1,000 万件を超えるプロファイル移行という驚異的な速度を見込んでいました。Intuit は、データインジェストプロセスを合理化し、複雑なエンジニアリング作業の必要性をなくすために、Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合を利用しました。
「膨大な量のデータとシームレスな移行の必要性は、私たちにとって大きな課題でした。さらに、移行プロセスを迅速に分析し、データ主導の意思決定を迅速に行えるソリューションが必要でした。これらの課題に対処するために、Amazon Aurora と Amazon Redshift のゼロ ETL 統合を採用しました。これにより、データインジェストのプロセスを合理化し、複雑なエンジニアリング作業が不要になりました。Zero-ETL を使用すれば、データキャプチャや個別の取り込みジョブを必要とせずに、大量のデータを Amazon Redshift に送信できました。これにより、重要な技術的およびビジネス上の意思決定に役立つ迅速な洞察が得られ、そうでなければ何ヶ月もかかっていた労力を節約できました。Aurora と Amazon Redshift のゼロ ETL 統合を利用することで、大規模なデータ移行とほぼリアルタイムの分析のための新しいパターンを Intuit で探求することができました」。
Aruna Ghiware 氏、プロダクト開発マネージャー、Intuit
KINTO Technologies Corporation
KINTO テクノロジーズ株式会社は、モビリティプラットフォーム業界のリーディングプレーヤーであり、トヨタの金融サービス企業として KINTO サービスの開発を担当するテクノロジー企業です。Amazon Aurora MySQL zero-ETL Integration with Amazon Redshift を活用することで、KINTO テクノロジーズはより回復力の高いデータパイプラインを実現し、Amazon Redshift の高度な分析機能をほぼリアルタイムで運用データに適用できるようになりました。
「Zero-ETL 統合が利用可能になる前は、コアデータベースからダウンストリームのアプリケーションに変更を継続的にストリーミングするカスタムビルドのソリューションを使用していましたが、パフォーマンス上の課題と本番ワークロードへの影響に常に直面していました。本番環境のワークロードへのパフォーマンス影響に対処するため、更新の送信頻度を減らすようパイプラインを調整する必要があり、Amazon Redshift で古いデータを使用しなければなりませんでした。Amazon Redshift との Aurora MySQL ゼロ ETL 統合を使用することで、Amazon Redshift でいつでもほぼリアルタイムのデータを利用できるようになり、開発者が手動で ETL 運用のデータパイプラインを管理したり、ワークロードのパフォーマンスへの影響に対処したりする必要がなくなり、運用上の負担を軽減できます」
KINTO テクノロジーズ株式会社、取締役副社長、景山均氏
MassPay
MassPay は、B2B および B2C 決済をどの国、通貨、支払い方法でもシームレスで安全かつ規制に準拠した方法で行うことを可能にするグローバルな支払いオーケストレーションソリューションの大手プロバイダーです。
「当社は、トランザクション処理と分析の両方のためのスケーラブルで高性能なインフラストラクチャを提供するために、Amazon Aurora MySQL 互換エディションと Amazon Redshift に頼っています。Aurora MySQL は運用データベースレイヤーのバックボーンとして機能し、数十億 USD の処理を伴うミッションクリティカルな決済ワークフローをサポートします。Amazon Redshift は当社のデータウェアハウスと高度な分析を強化し、支払い実績、顧客動向、業務効率に関するインサイトをほぼリアルタイムで提供します。Aurora MySQL ゼロ ETL を Amazon Redshift と統合することで、データの取り込みとレポートの間のレイテンシーがなくなりました。これにより、データ可用性レイテンシーが 90% 削減され、MySQL データに Redshift で 1.5 倍速くアクセスできるようになりました。その結果、社内の意思決定が強化され、社内の利用率が 75% 向上し、Amazon Redshift を主要なレポートソースとして利用できるようになりました」
MassPay、Director of Payment Systems Architecture、Yossi Shlomo 氏
Money Forward i
Money Forward i は、直感的な SaaS 管理プラットフォームである Admina を通じて、反復作業を合理化し、コストを削減し、セキュリティを強化することにより、組織内の IT チームの生産性と創造力を高めるよう努めています。
「Amazon Aurora との Amazon Redshift ゼロ ETL 統合がリリースされる前は、Amazon Redshift で Amazon Aurora MySQL の製品データを分析するための ETL オペレーションの実装とメンテナンスの負担は大変でした。Aurora MySQL を Amazon Redshift とゼロ ETL 統合することで、当社の Aurora MySQL データベースと Amazon Redshift の間でほぼリアルタイムのデータ同期が可能になり、分析環境の構築にかかる時間が 1 か月からわずか 3 時間に短縮されました。開発時の初期負担が軽減されるだけでなく、ゼロ ETL 統合により本番環境への影響が少なく、最小限のコストと最大速度で分析環境を構築できます」
Money Forward i、取締役兼最高執行責任者、村上勝俊氏
料金
AWS は、Amazon Redshift との Aurora ゼロ ETL 統合に追加料金を請求しません。ゼロ ETL 統合の一環として作成された変更データの作成と処理に使用された既存の Aurora および Amazon Redshift リソースには課金されます。これらのリソースには次のものが含まれます。
- 変更データキャプチャを有効にすることで追加の I/O とストレージが使用される
- Amazon Redshift データベースをシードするための初期データエクスポートのスナップショットエクスポートコスト
- レプリケートされたデータを保存するための追加の Amazon Redshift ストレージ
- データレプリケーションを処理するための追加の Amazon Redshift コンピューティング
- ソースからターゲットへのデータ移動にかかる AZ 間のデータ転送コスト。
ゼロ ETL 統合によるデータ変更の継続的な処理は、追加料金なしで利用いただけます。詳しくは、「Aurora の料金ページ」をご覧ください。
開始方法
Aurora と Amazon Redshift 間のゼロ ETL 統合を作成するには、データソースとして Aurora DB クラスターを指定し、ターゲットとして Amazon Redshift データウェアハウスを指定します。統合により、ソースデータベースからターゲットデータウェアハウスにデータが複製されます。データは数秒で Amazon Redshift で利用できるようになり、データアナリストはデータの Amazon Redshift 分析と ML 機能を使い始めることができます。詳細については、Aurora と Amazon Redshift のスタートガイドをご覧ください。