Amazon SageMaker AI ประกาศความสามารถใหม่ด้านข้อมูลการสังเกตสำหรับตำแหน่งข้อมูลการอนุมาน
ความสามารถใหม่ด้านข้อมูลการสังเกตของ Amazon SageMaker AI ช่วยให้ลูกค้าสามารถดำเนินงานเวิร์กโหลดการอนุมานของ AI ช่วยสร้างในสภาพแวดล้อมการใช้งานจริงได้อย่างมั่นใจ โดยมอบการมองเห็นข้อมูลอย่างครอบคลุมเกี่ยวกับประสิทธิภาพของโทเค็น สถานะของ GPU การจัดวางองค์ประกอบการอนุมาน และพฤติกรรมการปรับขนาดอัตโนมัติ โดยจะช่วยลดงานที่ต้องทำด้วยตนเองในการค้นหาเมตริกรายตำแหน่งข้อมูลจาก CloudWatch, การหาความสัมพันธ์ระหว่างการเพิ่มขึ้นของเวลาแฝงกับการใช้งาน GPU จนถึงขีดจำกัดหรือการใช้ KV Cache จนหมด และการวิเคราะห์สาเหตุที่การดำเนินการปรับขนาดทำงานได้ช้า ความสามารถนี้จะติดตามเมตริกด้านประสิทธิภาพการอนุมานแบบเรียลไทม์ ซึ่งรวมถึงระยะเวลาจนถึงโทเค็นแรก เวลาแฝงระหว่างโทเค็น ความลึกของคิว และจำนวนโทเค็นต่อวินาที รวมถึงแสดงข้อมูลเหล่านี้ควบคู่ไปกับสถานะของโครงสร้างพื้นฐาน เพื่อให้ลูกค้าสามารถระบุและแก้ไขปัญหาได้ภายในไม่กี่นาทีแทนที่จะใช้เวลาหลายชั่วโมง
ข้อมูลการสังเกตแบบละเอียดของ SageMaker AI ช่วยเปลี่ยนรูปแบบการตรวจติดตามและการปรับประสิทธิภาพของกลุ่มอินสแตนซ์การอนุมานของลูกค้า แดชบอร์ด SageMaker AI Insights แบบสำเร็จรูปใหม่ใน Amazon CloudWatch ช่วยให้ลูกค้าสามารถดูเวลาแฝงของโทเค็น การใช้งาน GPU จำนวนสำเนาขององค์ประกอบการอนุมาน เหตุการณ์การปรับขนาด และรายละเอียดการแยกย่อยของการเริ่มต้นแบบ Cold Start ได้ในมุมมองเดียว โดยมีการเผยแพร่เมตริกแบบเนทีฟของ OpenTelemetry โดยอัตโนมัติ และไม่จำเป็นต้องติดตั้งเครื่องมือสำหรับเก็บรวบรวมข้อมูลเพิ่มเติมแต่อย่างใด ความสามารถนี้ช่วยให้ทีมงานสามารถวิเคราะห์สาเหตุของการเสื่อมลงของระยะเวลาจนถึงโทเค็นแรก (TTFT) ได้อย่างรวดเร็ว ตรวจสอบการปฏิบัติตามข้อกำหนดด้าน Availability Zone และปรับแต่งนโยบายการปรับขนาดอัตโนมัติได้อย่างเหมาะสม ลูกค้าที่มีการใช้งานเครื่องมือด้านข้อมูลการสังเกต เช่น Grafana เป็นมาตรฐานอยู่แล้ว สามารถเชื่อมต่อได้โดยตรงผ่านตำแหน่งข้อมูล PromQL ประจำรีเจี้ยน และนำเข้าเทมเพลตแดชบอร์ดที่กำหนดค่าไว้ล่วงหน้าได้ ความสามารถนี้ช่วยให้ลูกค้าสามารถจัดการและแก้ไขปัญหาด้านการดำเนินงานได้ด้วยตนเอง และเพิ่มประสิทธิภาพของการลงทุนด้าน AI ได้สูงสุด
ข้อมูลการสังเกตสำหรับ SageMaker AI Inference พร้อมใช้งานใน AWS Region ต่อไปนี้ ได้แก่ สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), สหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียฝั่งเหนือ), แคนาดา (ภาคกลาง), อเมริกาใต้ (เซาเปาลู), ยุโรป (ไอร์แลนด์), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (ลอนดอน), ยุโรป (สตอกโฮล์ม), ยุโรป (ซูริก), เอเชียแปซิฟิก (มุมไบ), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์), เอเชียแปซิฟิก (โตเกียว), เอเชียแปซิฟิก (โซล) และเอเชียแปซิฟิก (จาการ์ตา) หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่เอกสารประกอบ และหน้าเว็บ Amazon SageMaker AI