Author: Takayuki Enomoto

この記事では、Apache Flink の高度なストリーミング機能を活用するために、Kinesis Data Analytics for SQL アプリケーションから Amazon Managed Service for Apache Flink への移行を AWS が推奨する理由について説明します。また、Amazon Managed Service for Apache Flink Studio を使用して、移行したアプリケーションをデプロイする前に分析アプリケーションをテスト・チューニングする方法も紹介します。Kinesis Data Analytics for SQL アプリケーションを利用されていないお客様に対しても、この記事はデータ分析の過程で遭遇する多くのユースケースと、Amazon Managed Service for Apache Flink がどのように目標達成を支援できるかについて、背景となる情報を提供します。

Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納されたオープンテーブルおよびファイル形式のデータを簡単に分析できます。この投稿では、クエリのパフォーマンスを向上させるためのヒントのトップ10を紹介します。Amazon S3 へのデータ保存とクエリ特有のチューニングに関連する側面に焦点を当てます。

OpenSearch Foundation 創設の一環として、AWS は OpenSearch の所有権を Linux Foundation に移管しました。 2021 年 4 月のプロジェクトの立ち上げ時、OpenSearch の紹介にあたり、私たちは「ユーザーが安全で高品質な、完全にオープンソースの検索および分析スイートを、新しい革新的な機能の豊富なロードマップとともに継続して利用できることを確実にする」という希望について話しました。私たちはその願いとコミットメントを維持しており、今回の移管によりそのコミットメントを深め、オープンなガバナンスを備えたより広範なコミュニティを取り込んで、その目標を支援します。

ポピュラーなオープンソース、Apache 2.0 ライセンスの検索・分析スイートである OpenSearch が、重要な節目を迎えました。OpenSearch を Linux Foundation 傘下のコミュニティ主導イニシアチブである OpenSearch Software Foundation に移管したのです。この発表は、今年初めに共有されたプロジェクトのリーダーシップ拡大に続くもので、プロジェクトの将来を導く決定に AWS 外の利害関係者を含めることになりました。

OpenSearch プロジェクトは 2023 年 12 月に初の OpenSearch リーダーシップ委員会を立ち上げ、新たなマイルストーンを達成しました。この委員会は、オープンソースプロジェクトの方向性を決定する公開された可視的かつアクセス可能なプロセスに、幅広いユーザー、貢献者、コミッターのコミュニティを含めるオープンガバナンスに向けた新たな一歩です。オープンガバナンスは、リーダーシップへの明確に定義された道筋を作り出し、誰もが参加してプロジェクトにアイデアと変更をもたらすことができるようにします。プロジェクトの参加者が広範囲かつ多様であるほど、イノベーションは加速し、より安全で回復力が高くなり、特定の個人や組織への依存度が低くなるため、より持続可能になります。

Solr から OpenSearch への移行は、検索ソリューションを OpenSearch 向けに最適化するために完全なリファクタリングを行うアプローチをお勧めします。Solr と OpenSearch はどちらも Apache Lucene をコアのインデックス作成とクエリ処理に使用していますが、システムの特性は異なります。計画を立て、実証実験を行うことで、OpenSearch から最良の結果を得ることができます。このブログ記事では、Solr から OpenSearch への移行に関わる戦略的考慮事項と手順について詳しく説明します。

AWS では、常に顧客の変化するニーズに応えるためにサービスを革新し進化させています。この記事では、Amazon CloudSearch と Amazon OpenSearch Service の違いを理解し、OpenSearch Service への移行方法を説明します。

本投稿では、生成 AI アプリケーションのデータベース選択において鍵となる要素について解説します。解説にあたっては、現在 AWS で利用可能なベクトル検索機能を備えたフルマネージドデータベースに関連する、高レベルの考慮事項とサービス特性に焦点を当てています。各データベースにおける動作とパフォーマンス面の差異を確認し、特定の要件に基づいて情報に基づいた決定を行う方法についてのガイダンスを提供していきます。

Amazon MSK を使用したマルチテナントストリーミングアプリケーションの設計パターンを紹介します。プール、ブリッジ、サイロの 3 つのモデルについて、データ分離、パフォーマンスの公平性、テナント分離の観点からトレードオフを解説します。

Apache Flink は、ストリームおよびバッチ処理向けの、パワフルなプログラミングインターフェースを提供するオープンソースの分散処理エンジンです。ステートフルな処理やイベントタイムセマンティクスをサポートしています。
Amazon Managed Service for Apache Flink は、Apache Flink アプリケーションをフルマネージド、サーバーレスで実行可能なサービスです。このたび、Apache Flink 1.18.1 がサポートされたことをお知らせします。
本投稿では、直近のメジャーリリース 1.16、1.17、1.18 で導入され、かつ Managed Service for Apache Flink でサポートされた、Apache Flink の興味深い機能の一部について説明していきます。