Amazon Web Services ブログ

Amazon Redshift で Apache Iceberg データをクエリするためのベストプラクティス

Amazon Redshift で Apache Iceberg データをクエリする際のベストプラクティスを紹介します。テーブル設計、パーティション化、列選択、統計生成、メンテナンス戦略、マテリアライズドビュー、レイトバインディングビューの活用方法について詳しく説明します。

【寄稿】障害原因分析AIエージェントの開発とガバメントクラウド運用業務への導入

株式会社アイネスでは、自治体システムのガバメントクラウド移行義務化によって、100 を超える AWS アカウントの管理が必要になったことを背景に、Amazon Bedrock AgentsでAIエージェントを実装し、障害調査の効率化を図っています。

Amazon Bedrock で TwelveLabs Marengo を使用した動画理解の実現

TwelveLabs Marengo 埋め込みモデルが Amazon Bedrock で利用可能になりました。このモデルはマルチベクトルアーキテクチャにより、動画の視覚、音声、テキスト要素を個別に捉え、従来の単一ベクトルアプローチでは失われていたニュアンスを保持します。Amazon OpenSearch Serverless と組み合わせることで、テキスト、画像、音声を使用したクロスモーダルセマンティック検索が可能になり、インテリジェントな動画コンテンツ発見を実現します。

Amazon S3 クライアントを使用した ML トレーニングにおけるデータ読み込みベストプラクティスの適用

この記事では、Amazon S3 汎用バケットから直接データを読み取る ML トレーニングワークロードのスループットを最適化するための実用的な技術と推奨事項を紹介します。ここで説明するデータ読み込み最適化技術の多くは、さまざまなストレージ基盤に広く適用できます。

AWS Systems Manager for SAPの新機能でSAP運用を強化：拡張構成管理、AI支援運用、およびスケジューリング

SAPアプリケーションは、財務からサプライチェーンまで、企業の中核となるビジネスプロセスを支える重要なシステムです。当社の構成チェックは当初SAP HANAデータベースをサポートしていましたが、お客様からSAP ABAPベースのアプリケーションを自動的に検証できる機能のご要望をいただいておりました。今回のリリースにより、自動検証をSAP ABAPベースのアプリケーションにも拡張いたします。この拡張により、データベース層とアプリケーション層の両方をカバーする、SAPシステム全体にわたる一貫したベストプラクティス検証が保証されます。

TROCCO の CDC 機能をつかった RDB と Apache Iceberg on AWS の連携

データベースの変更をリアルタイムに分析基盤へ反映したいというニーズに高まりを感じています。実際に多くのお客様から相談をいただいております。またデータベースの差分をもとに連携することが望まれる場面も多くあります。そういう場合の選択肢の一つが CDC（Change Data Capture）と呼ばれる MySQL の binlogなどの変更履歴をもとにデータを連携する手法になります。しかし、CDC での実装は、データ取得・キャッシュレイヤー・コンシューマーの実装とコンポーネントが多くなる場合も多く技術的なハードルが高く、ソースデータベースのスキーマの変更をターゲットの分析基盤に滞りなく連携する必要があるなど運用負荷も大きいワークロードになります。

CDC のターゲットの選択肢の１つとして、Iceberg を利用することで多様なエンジンから利用することができ、ソーススキーマの変更にも柔軟に対応ができるコスト効率の良い、DB のデータをソースにしたデータレイクハウスを構築することができます。

本記事では、AWS パートナーである primeNumber 社が提供するデータ統合プラットフォーム「TROCCO」の CDC 機能を使って、MySQL から AWS 上の Apache Iceberg テーブルへのリアルタイムレプリケーションを実現する方法をご紹介します。実際に検証した内容をもとに、セットアップから運用まで詳しく解説していきます。

← Older posts
Newer posts →