Amazon Bedrock AgentCore นำเสนอความสามารถในการเพิ่มประสิทธิภาพใหม่เพื่อปรับปรุง Agent ในสภาพแวดล้อมการใช้งานจริงอย่างต่อเนื่อง
วันนี้ AWS ประกาศความสามารถในการเพิ่มประสิทธิภาพใหม่ใน AgentCore ซึ่งจะเปลี่ยนข้อมูลการติดตามการทำงานจริงให้เป็นการปรับปรุงอย่างต่อเนื่องสำหรับ Agent ความล้มเหลวของ Agent ที่อันตรายที่สุดไม่ใช่ความล้มเหลวที่ทำให้เกิดข้อผิดพลาด แต่คือความล้มเหลวที่ดูปกติดีในหน้าแดชบอร์ด และไม่ส่งสัญญาณเตือนใด ๆ ออกมา ความล้มเหลวเหล่านี้ไม่แสดงสัญญาณเตือนใด ๆ และมักปรากฏให้เห็นในรูปแบบของการร้องเรียนจากลูกค้าในอีกหลายสัปดาห์ต่อมา AgentCore อุดช่องว่างนั้นด้วยลูปเพื่อทำความเข้าใจว่า Agent กำลังทำอะไร สร้างการแก้ไขที่อิงตามข้อมูล และพิสูจน์ว่าการแก้ไขนั้นได้ผล
เพื่อให้เข้าใจพฤติกรรมของ Agent, AgentCore จะแสดงข้อมูลเชิงลึกเกี่ยวกับความล้มเหลว เจตนา และเส้นทางการดำเนินการจากเซสชันนับร้อย ซึ่งเผยให้เห็นรูปแบบที่แดชบอร์ดหรือการตรวจสอบการติดตามทีละรายการไม่สามารถตรวจจับได้ การวิเคราะห์ความล้มเหลวจะช่วยค้นพบรูปแบบความล้มเหลวที่เกิดขึ้นซ้ำ ๆ รวมถึงความล้มเหลวเชิงพฤติกรรมที่มองไม่เห็น อธิบายสาเหตุที่แท้จริงของแต่ละกรณี และจัดลำดับตามความแพร่หลาย เพื่อให้ทีมสามารถแก้ไขปัญหาที่ส่งผลกระทบต่อผู้ใช้มากที่สุดก่อน Intent Insights จะจัดกลุ่มคำขอตามสิ่งที่ผู้ใช้พยายามทำ ขณะที่ Trajectory Insights จะจัดกลุ่มเส้นทางที่ Agent ใช้ในการดำเนิน Task โดยแสดงให้เห็นทั้งรูปแบบที่พบได้บ่อยและค่าที่แตกต่างจากรูปแบบทั่วไป ลูกค้าสามารถเปิดใช้งานการติดตามตรวจสอบอย่างต่อเนื่องหรือทำการตรวจสอบเฉพาะเจาะจงได้ภายในไม่กี่นาที เพื่อแก้ไขปัญหาอย่างมั่นใจ ระบบจะวิเคราะห์ร่องรอยและเอาต์พุตการประเมินเพื่อเสนอแนะการปรับปรุงเฉพาะเจาะจงสำหรับพร้อมท์ของระบบและคำอธิบายเครื่องมือ โดยอิงจากพฤติกรรมจริงของ Agent ข้อเสนอแนะแต่ละข้อมีเหตุผลที่ชัดเจนซึ่งเชื่อมโยงกับความล้มเหลวที่พบเห็น และพร้อมสำหรับการตรวจสอบ ไม่ใช่เพียงคำแนะนำทั่วไป แต่เป็นการเปลี่ยนแปลงที่ตรงเป้าหมายซึ่งได้มาจากข้อมูลในสภาพแวดล้อมการใช้งานจริง ก่อนที่การเปลี่ยนแปลงจะส่งผลถึงผู้ใช้ ระบบจะทำการประเมินแบบกลุ่มเพื่อทดสอบคำแนะนำกับชุดข้อมูลทดสอบที่กำหนดไว้ และรายงานคะแนนรวมจากผู้ประเมินหลายราย ทำให้สามารถตรวจจับรีเกรสชันได้ตั้งแต่เนิ่น ๆ ลูกค้าเป็นผู้กำหนดว่า "ดี" มีลักษณะอย่างไร และการประเมินเป็นชุดจะวัดการเปลี่ยนแปลงของผู้สมัครแต่ละคนโดยเทียบกับแถบนั้นในระดับขนาดใหญ่ จากนั้นการทดสอบ A/B จะยืนยันว่าการปรับปรุงดังกล่าวยังคงให้ผลลัพธ์ที่ดีภายใต้สภาวะการใช้งานจริง โดยดำเนินการเปรียบเทียบแบบควบคุมระหว่าง Agent แต่ละเวอร์ชัน ผ่านการแบ่งการรับส่งข้อมูลจริงในสภาพแวดล้อมการใช้งานจริง และวัดผลลัพธ์ไปพร้อมกัน สิ่งนี้ช่วยให้มีหลักฐานทางสถิติยืนยันว่าการเปลี่ยนแปลงนั้นได้ผลจริงในสภาพแวดล้อมการใช้งานจริง ไม่ใช่เพียงบนข้อมูลทดสอบ ก่อนที่ลูกค้าจะตัดสินใจนำการเปลี่ยนแปลงดังกล่าวไปใช้งานกับระบบทั้งหมด ความสามารถเหล่านี้ทำงานได้โดยไม่คำนึงถึงที่ Agent ทำงานอยู่: บน AgentCore Runtime, AWS Lambda, Amazon EKS หรือสภาพแวดล้อมที่ไม่ใช่ AWS
ข้อมูลเชิงลึกเกี่ยวกับความล้มเหลว เจตนา และเส้นทางสามารถดูตัวอย่างได้แล้ววันนี้ใน AWS Region 13 แห่ง การประเมินผลแบบกลุ่ม คำแนะนำ และการทดสอบ A/B สามารถทำได้โดยทั่วไปใน AWS Region 14 แห่ง หากต้องการเรียนรู้เพิ่มเติม โปรดดู Amazon Bedrock AgentCore หรือดูได้ในเอกสารประกอบ