AWS Transform hiện hỗ trợ đánh giá di chuyển từ mô hình này sang mô hình khác cho khối lượng công việc AI tạo sinh
AWS Transform hiện cung cấp biến đổi tùy chỉnh đối với quá trình di chuyển từ mô hình này sang mô hình khác để đánh giá khối lượng công việc AI tạo sinh của bạn và lập kế hoạch di chuyển toàn diện để chuyển từ nhà cung cấp bên thứ ba sang Amazon Bedrock. Tác tử hỗ trợ AI sẽ quét cơ sở mã của bạn, xác định tất cả SDK và mô hình AI đang được sử dụng, thu thập các yêu cầu di chuyển của bạn thông qua câu hỏi tương tác, và ánh xạ mô hình thành các mô hình tương đương trong Bedrock với thông tin so sánh chi phí minh bạch và các thay đổi mã sẵn sàng cho môi trường sản xuất. Biến đổi tùy chỉnh được quản lý này giúp các tổ chức hợp nhất khối lượng công việc AI trên AWS để đạt được khả năng bảo mật dựa trên IAM, cách ly điểm cuối VPC, lưu câu lệnh vào bộ nhớ đệm, quy tắc bảo vệ Amazon Bedrock và bộ công cụ vận hành thống nhất thông qua Amazon CloudWatch. Tính năng biến đổi hỗ trợ di chuyển từ OpenAI, Google Gemini, sử dụng trực tiếp SDK Anthropic và các mô hình nguồn mở thông qua LiteLLM hoặc Ollama. Tính năng này xử lý các tích hợp SDK trực tiếp, các mẫu được bao bọc bởi khung như LangChain và LlamaIndex, kiến trúc tác tử bao gồm CrewAI và LangGraph và các lớp định tuyến nhiều nhà cung cấp – giúp bảo tồn kiến trúc ứng dụng của bạn trong khi chỉ hoán đổi lớp mô hình. Tác tử bao gồm tối ưu hóa chi phí thông minh với các đề xuất định tuyến mô hình theo bậc, phân tích lưu câu lệnh vào bộ nhớ đệm và nhận thức về vòng đời mô hình, trong đó loại trừ các mô hình sắp hết vòng đời trong vòng 90 ngày khỏi tất cả các đề xuất. Đối với một số khối lượng công việc, tính năng này đề xuất các điểm cuối tương thích với OpenAI của Amazon Bedrock dưới dạng lộ trình di chuyển không cần thay đổi mã.
Di chuyển từ mô hình này sang mô hình khác của AWS Transform được cung cấp ở tất cả các Khu vực AWS có cung cấp AWS Transform mà không phát sinh thêm phí ngoài mức giá AWS Transform tiêu chuẩn. Để bắt đầu, hãy cài đặt CLI ATX và chạy biến đổi tùy chỉnh mke-genai-model-migration trên cơ sở mã của bạn. Để tìm hiểu thêm, hãy xem tài liệu về Biến đổi tùy chỉnh của AWS Transform và blog thông báo.