AWS Lake Formation で、Amazon S3 の基盤データへのアクセスにテーブルのアクセス許可を適用可能に
AWS Lake Formation では、AWS Glue データカタログに登録されたテーブルに対応する Amazon S3 のデータファイルを読み書きできるようになりました。これにより、既存の Lake Formation のテーブルアクセス許可を利用して、SQL クエリとデータファイルへの直接アクセスの両方を一元的に制御できます。
今回のリリースにより、Lake Formation のテーブル権限に基づき、登録済みの S3 ロケーションに対して、範囲が限定された一時的な認証情報が提供されます。SELECT 権限は、そのロケーションにあるデータの読み取りアクセスを付与します。SUPER 権限は、そのロケーションにあるデータの読み取りおよび書き込みの両方のアクセスを付与します。この機能は Amazon EMR 7.13 以降に組み込まれています。そのため、モデルトレーニング、特徴量エンジニアリング、データ品質の問題のデバッグなど、ファイルレベルでのアクセスが必要な処理では、Spark ジョブからデータファイルに直接アクセスできます。
また、AWS が提供する API またはオープンソースプラグインを利用して、Apache Spark アプリケーションや Trino アプリケーションと統合することもできます。さらに、すべてのアクセスログは AWS CloudTrail に記録されるため、テーブルに対する SQL 操作とファイルベースの操作を統合された監査証跡として確認できます。
この機能は、AWS Lake Formation が提供されているすべての AWS リージョンにおいて、追加料金なしでご利用いただけます。詳細については、Lake Formation ドキュメント、EMR ドキュメント、API リファレンス、オープンソースプラグインを参照してください。