Amazon Bedrock AgentCore führt neue Optimierungsfunktionen ein, um Agenten in der Produktion kontinuierlich zu verbessern
Heute kündigt AWS neue Optimierungsfunktionen in AgentCore an, die Produktionstraces in kontinuierliche Verbesserungen für Agenten umwandeln. Die gefährlichsten Agentenfehler sind nicht diejenigen, die Fehlermeldungen auslösen. Es sind die stillen Fehler, die auf Dashboards unauffällig aussehen. Diese Fehler erzeugen kein Fehlersignal und werden oft erst Wochen später durch Kundenbeschwerden sichtbar. AgentCore schließt diese Lücke mit einer Schleife, die versteht, was Agenten tun, datenbasierte Fixes generiert und nachweist, dass sie funktionieren.
Um Agentenverhalten zu verstehen, macht AgentCore Failure-, Intent- und Trajectory-Insights über Hunderte von Sitzungen hinweg sichtbar und zeigt Muster auf, die kein Dashboard und keine Einzelprüfung von Traces erkennen würde. Failure Insights entdecken wiederkehrende Fehlermuster, einschließlich stiller Verhaltensfehler, erklären die Ursache jedes Fehlers und ordnen sie danach, wie weit verbreitet sie sind. So können Teams zuerst die Probleme beheben, die die meisten Nutzenden betreffen. Intent Insights gruppieren Anfragen danach, was Nutzer erreichen wollten, und Trajectory Insights gruppieren die Wege, die Agenten durch eine Aufgabe nehmen. Dadurch werden häufige Muster und Ausreißer sichtbar. Kundinnen und Kunden können kontinuierliche Überwachung aktivieren oder innerhalb weniger Minuten eine gezielte Untersuchung durchführen. Um Probleme mit Vertrauen zu beheben, analysieren Empfehlungen Traces und Evaluationsergebnisse und schlagen konkrete Verbesserungen an System-Prompts und Tool-Beschreibungen vor, basierend darauf, wie sich der Agent tatsächlich verhält. Jede Empfehlung enthält eine klare Begründung, die mit beobachteten Fehlern verknüpft ist, und ist bereit zur Validierung. Es handelt sich nicht um einen generischen Vorschlag, sondern um eine gezielte Änderung, die aus Produktionsdaten abgeleitet wurde. Bevor eine Änderung Nutzende erreicht, testet Batch Evaluation Empfehlungen gegen einen definierten Test-Datensatz und berichtet aggregierte Scores über mehrere Evaluatoren hinweg, um Regressionen frühzeitig zu erkennen. Kundinnen und Kunden definieren, was „gut“ bedeutet, und Batch Evaluation misst jede mögliche Änderung in großem Maßstab an diesem Maßstab. A/B-Tests bestätigen anschließend, dass Verbesserungen unter realen Bedingungen Bestand haben, indem sie einen kontrollierten Vergleich zwischen Agentenversionen durchführen, Live-Produktionsverkehr aufteilen und Ergebnisse nebeneinander messen. Dies liefert statistische Evidenz dafür, dass eine Änderung tatsächlich in der Produktion funktioniert und nicht nur auf Testdaten, bevor sie flächendeckend ausgerollt wir. Diese Funktionen funktionieren unabhängig davon, wo Agenten ausgeführt werden: auf der AgentCore Runtime, AWS Lambda, Amazon EKS oder in Nicht-AWS-Umgebungen.
Failure-, Intent- und Trajectory-Insights sind ab heute als Vorschau in 13 AWS-Regionen verfügbar. Batch Evaluations, Recommendations und A/B Tests sind ab heute allgemein in 14 AWS-Regionen verfügbar. Weitere Informationen finden Sie unter Amazon Bedrock AgentCore oder in der Dokumentation.