Amazon SageMaker AI が推論エンドポイント向けの OpenAI 互換 API をサポートするようになりました
Amazon SageMaker Inference が OpenAI 互換 API をサポートするようになったため、OpenAI SDK、LangChain、Strands Agents などの使い慣れたツールやフレームワークを使用して、SageMaker エンドポイントに直接接続できるようになりました。切り替えに必要なのはエンドポイント URL の変更のみで、カスタム統合コード、SDK ラッパー、書き換えは不要です。
今回のリリースにより、異なる API 形式を採用したり、認証方法を変更したりする必要がなくなりました。エンドポイント URL を変更するだけで、既存の SDK 呼び出し、ストリーミングロジック、フレームワーク統合をそのまま利用できます。独自の GPU インスタンスの選択、独自の VPC でのデータ保持、任意のオープンソースモデルやファインチューニングされたモデルの実行、ワークロードに合わせて調整された自動スケーリングポリシーによるスケーリングをすぐに実現できます。認証には既存の AWS 認証情報が使用され、トークンの自動更新も行われるため、本番環境でその他のものを追加管理する必要はありません。
この機能は現在、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、欧州 (アイルランド)、欧州 (フランクフルト)、南米 (サンパウロ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、欧州 (ロンドン)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、カナダ (中部) でご利用いただけます。詳細情報と開始方法については、リリースブログまたは SageMaker Inference のドキュメントを参照してください。