Amazon SageMaker AI, Çıkarım Uç Noktaları İçin Yeni Gözlemlenebilirlik Özelliğini Duyurdu
Amazon SageMaker AI'ın yeni gözlemlenebilirlik özelliği, belirteç performansı, GPU durumu, çıkarım bileşeni yerleşimi ve otomatik ölçeklendirme davranışı hakkında kapsamlı görünürlük sağlayarak müşterilerin üretim üretken yapay zeka çıkarımı iş yüklerini güvenle çalıştırmasına olanak tanır. CloudWatch'ta uç noktası başına ölçümler için arama yapmak, gecikme artışlarını GPU doygunluğu veya KV önbellek tükenmesi ile ilişkilendirmek ve ölçeklendirme işlemlerinin neden yavaş olduğunu teşhis etmek gibi manuel işleri ortadan kaldırır. Bu özellik, İlk Belirteç Süresi, belirteçler arası gecikme süresi, kuyruk derinliği ve saniye başına belirteçler dahil olmak üzere çıkarım performansı ölçümlerini gerçek zamanlı olarak izler ve müşterilerin sorunları saatler yerine dakikalar içinde tespit edip çözebilmeleri için bunları altyapı durumuyla birlikte gösterir.
SageMaker AI detaylı gözlemlenebilirliği, müşterilerin çıkarım filolarını izleme ve optimize etme şeklini değiştirir. Amazon CloudWatch'taki önceden oluşturulmuş yeni SageMaker AI Öngörüleri panosu, müşterilere belirteç gecikmesi, GPU kullanımı, çıkarım bileşeni kopya sayımları, ölçeklendirme olayları ve hazırlıksız başlangıç arızalarını tek bir görünümde OpenTelemetry yerel ölçümleri ile araç gerektirmeden otomatik olarak yayınlar. Bu, ekiplerin TTFT bozulmasını hızlı bir şekilde teşhis etmesine, erişilebilirlik alanı uyumluluğunu doğrulamasına ve otomatik ölçeklendirme politikalarını ayarlamasına olanak tanır. Grafana gibi gözlemlenebilirlik araçlarını standartlaştıran müşteriler, bölgesel PromQL uç noktasını kullanarak doğrudan bağlantı kurabilir ve önceden yapılandırılmış bir gösterge tablosu şablonunu içe aktarabilir. Bu özellik, müşterilerin operasyonel sorunlarını kendileri çözmelerine ve yapay zeka yatırımlarının performansını en üst düzeye çıkarmalarına yardımcı olur.
SageMaker AI Çıkarımı gözlemlenebilirliği aşağıdaki AWS Bölgelerinde mevcuttur: ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), ABD Batı (K. Kaliforniya), Kanada (Orta), Güney Amerika (São Paulo), Avrupa (İrlanda), Avrupa (Frankfurt), Avrupa (Londra), Avrupa (Stokholm), Avrupa (Zürih), Asya Pasifik (Mumbai), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Asya Pasifik (Seul) ve Asya Pasifik (Cakarta). Daha fazla bilgi edinmek için Belgeleri ve Amazon SageMaker AI web sayfasını ziyaret edin.