Amazon Bedrock AgentCore memperkenalkan kemampuan optimasi baru untuk terus meningkatkan kinerja agen di lingkungan produksi
Hari ini, AWS mengumumkan kemampuan optimasi baru di AgentCore yang mengubah jejak produksi menjadi peningkatan berkelanjutan untuk agen. Kegagalan agen yang paling berbahaya bukanlah kegagalan yang menimbulkan kesalahan. Mereka adalah yang diam yang terlihat bagus di dasbor. Kegagalan ini tidak menghasilkan sinyal kesalahan dan seringkali baru terungkap melalui keluhan pelanggan beberapa minggu kemudian. AgentCore menutup kesenjangan itu dengan sebuah siklus untuk memahami apa yang dilakukan agen, menghasilkan perbaikan berdasarkan data, dan membuktikan bahwa perbaikan tersebut berhasil.
Untuk memahami perilaku agen, AgentCore menampilkan wawasan tentang kegagalan, niat, dan lintasan di ratusan sesi, mengungkap pola yang tidak akan terdeteksi oleh dasbor atau tinjauan jejak satu per satu. Analisis kegagalan menemukan pola kegagalan yang berulang, termasuk kegagalan perilaku yang tidak terlihat, menjelaskan akar penyebab masing-masing, dan mengurutkannya berdasarkan seberapa luas penyebarannya, sehingga tim dapat memperbaiki masalah yang paling merugikan pengguna terlebih dahulu. Maksud wawasan mengelompokkan permintaan berdasarkan apa yang coba dilakukan pengguna, dan wawasan lintasan mengelompokkan jalur yang ditempuh agen melalui suatu tugas, mengungkap pola umum dan outlier. Pelanggan dapat mengaktifkan pemantauan berkelanjutan atau menjalankan investigasi yang ditargetkan dalam hitungan menit. Untuk memperbaiki masalah dengan percaya diri, rekomendasi menganalisis jejak dan output evaluasi untuk menyarankan perbaikan spesifik pada prompt sistem dan deskripsi tool, berdasarkan bagaimana agen tersebut benar-benar berperilaku. Setiap rekomendasi mencakup alasan yang jelas yang terkait dengan kegagalan yang diamati dan siap untuk divalidasi, bukan saran umum tetapi perubahan yang ditargetkan yang berasal dari data produksi. Sebelum perubahan mencapai pengguna, evaluasi batch menguji rekomendasi terhadap set data uji yang telah ditentukan dan melaporkan skor agregat di berbagai evaluator, sehingga dapat mendeteksi regresi sejak dini. Pelanggan menentukan seperti apa "yang baik" itu, dan evaluasi batch mengukur setiap perubahan kandidat terhadap standar tersebut dalam skala besar. Pengujian A/B kemudian mengkonfirmasi bahwa peningkatan tersebut berlaku dalam kondisi nyata, dengan menjalankan perbandingan terkontrol antara versi agen dengan membagi lalu lintas produksi langsung dan mengukur hasilnya secara berdampingan. Ini memberikan bukti statistik bahwa suatu perubahan benar-benar berhasil dalam produksi, bukan hanya pada data uji, sebelum pelanggan berkomitmen untuk menerapkannya di seluruh armada. Kemampuan ini berfungsi terlepas dari di mana agen dijalankan: pada runtime AgentCore, AWS Lambda, Amazon EKS, atau lingkungan non-AWS.
Wawasan tentang kegagalan, niat, dan lintasan tersedia dalam pratinjau hari ini di 13 AWS Region. Evaluasi batch, rekomendasi, dan pengujian A/B umumnya tersedia saat ini di 14 AWS Region. Untuk mempelajari lebih lanjut, kunjungi Amazon Bedrock AgentCore atau jelajahi dokumentasi.