Amazon SageMaker AI công bố khả năng quan sát mới cho Điểm cuối suy luận
Khả năng quan sát mới của Amazon SageMaker AI cho phép khách hàng vận hành khối lượng công việc suy luận AI tạo sinh trong môi trường sản xuất một cách tự tin, bằng cách cung cấp khả năng hiển thị toàn diện hiệu suất token, trạng thái GPU, vị trí đặt thành phần suy luận và hành vi tự động điều chỉnh quy mô. Khả năng này giúp loại bỏ công việc thủ công khi tìm kiếm các chỉ số cho mỗi điểm cuối trong CloudWatch, tạo tương quan các đợt tăng đột biến độ trễ với độ bão hòa GPU hoặc tình trạng cạn kiệt bộ nhớ đệm KV, cũng như chẩn đoán tình trạng chậm thao tác điều chỉnh quy mô. Khả năng này theo dõi các chỉ số hiệu năng suy luận theo thời gian thực, bao gồm Thời gian đến token đầu tiên, độ trễ giữa các token, độ sâu hàng đợi và số lượng token mỗi giây, đồng thời hiển thị các chỉ số này cùng với trạng thái cơ sở hạ tầng để khách hàng có thể xác định và giải quyết sự cố trong vài phút thay vì hàng giờ.
Khả năng quan sát chi tiết của SageMaker AI thay đổi cách khách hàng giám sát và tối ưu hóa nhóm suy luận của mình. Bảng điều khiển Thông tin chuyên sâu SageMaker AI mới được xây dựng sẵn trong Amazon CloudWatch cung cấp cho khách hàng độ trễ token, mức sử dụng GPU, số lượng bản sao thành phần suy luận, sự kiện điều chỉnh quy mô và sự cố khởi động nguội trong một chế độ xem duy nhất, với các chỉ số gốc OpenTelemetry được phát hành tự động mà không cần công cụ đo lường. Điều này cho phép các đội ngũ nhanh chóng chẩn đoán tình trạng xuống cấp TTFT, xác minh tuân thủ vùng sẵn sàng và điều chỉnh các chính sách tự động điều chỉnh quy mô. Khách hàng đã chuẩn hóa trên các công cụ quan sát như Grafana có thể kết nối trực tiếp bằng cách sử dụng điểm cuối PromQL theo khu vực và nhập mẫu bảng điều khiển được cấu hình sẵn. Khả năng này giúp khách hàng tự xử lý các sự cố vận hành và tối đa hóa hiệu năng của các khoản đầu tư AI.
Khả năng quan sát Suy luận của SageMaker AI có sẵn ở các Khu vực AWS sau: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Miền Tây Hoa Kỳ (Bắc California), Canada (Miền Trung), Nam Mỹ (São Paulo), Châu Âu (Ireland), Châu Âu (Frankfurt), Châu Âu (London), Châu Âu (Stockholm), Châu Âu (Zurich), Châu Á Thái Bình Dương (Mumbai), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Seoul) và Châu Á Thái Bình Dương (Jakarta). Để tìm hiểu thêm, hãy truy cập Tài liệu và trang web Amazon SageMaker AI.