Amazon Bedrock Değerlendirmeleri

Amazon Bedrock, üretken yapay zeka uygulamalarının benimsenmesini hızlandırmanız için değerlendirme araçları sağlar. Model Değerlendirmesi ile kullanım örneğiniz için altyapı modeli değerlendirmesi, karşılaştırması ve seçimi yapın. Alma ya da alma ve oluşturma işlevlerini değerlendirerek Amazon Bedrock Bilgi Tabanları veya özel RAG sistemleriniz üzerinde oluşturulan RAG uygulamalarınızı üretime hazırlayın.

Uygulamanızın uçtan uca almayla artırılmış üretim (RAG) yeteneğini değerlendirmek için alma ve oluşturma değerlendirmelerini kullanın. Üretilen içeriğin doğru ve eksiksiz olduğundan, halüsinasyonları sınırladığından ve sorumlu yapay zeka ilkelerine bağlı kaldığından emin olun. Bir Bedrock Bilgi Tabanının performansını değerlendirin veya özel RAG sisteminizden kendi çıkarım yanıtlarınızı getirin. Amazon Bedrock Bilgi Tabanlarınızda veya özel RAG çıktılarınızda yargıç olarak kullanmak üzere bir LLM seçin, veri kümenizi yükleyin ve değerlendirmeniz için en önemli ölçümleri seçin.

Amazon Bedrock Bilgi Tabanlarınızın veya özel RAG sisteminizin depolama ve alma ayarlarını değerlendirmek için RAG alma değerlendirmelerini kullanın. Alınan içeriklerin alakalı olduğundan ve kullanıcı sorgusunun tamamını kapsadığından emin olun. Yargıç olarak kullanmak için bir LLM seçin, özel RAG sistemi alımlarınızı istem veri kümenize dahil etmek veya değerlendirmek için bir Bedrock Bilgi Tabanı ve ölçümlerinizi seçin.

Amazon Bedrock Model Değerlendirmesi, belirli bir kullanım örneği için altyapı modellerini seçmek üzere hem otomatik hem de insan tarafından yapılmış değerlendirmeler kullanmanıza olanak tanır. Otomatik (Programlı) model değerlendirmesi, seçilmiş ve özel veri kümelerini kullanarak doğruluk, sağlamlık ve toksisite dahil olmak üzere önceden tanımlanmış ölçümler sağlar. Öznel ölçümler için Amazon Bedrock'ı kullanarak birkaç basit adımla insan değerlendirmesi iş akışı oluşturabilirsiniz. İnsan değerlendirmelerinde kendi veri kümelerinizi getirebilir ve alaka düzeyi, stil ve marka sesine uyum gibi özel ölçümler tanımlayabilirsiniz. İnsan değerlendirmesi iş akışlarında, inceleyici olarak kendi çalışanlarınızı kullanabilir veya insan değerlendirmesini gerçekleştirmesi için AWS tarafından yönetilen bir ekibi görevlendirebilirsiniz. Bu seçenekte AWS, yetenekli değerlendiricileri işe alır ve tüm iş akışını sizin adınıza yönetir. Ayrıca veri kümenizde doğruluk, eksiksizlik, sadakat (halüsinasyon) gibi ölçümlerin yanı sıra yanıt reddetme ve zararlılık gibi sorumlu yapay zeka ölçümleriyle yüksek kaliteli değerlendirmeler sağlamak için bir Yargıç Olarak LLM kullanabilirsiniz. Giriş istemi veri kümenize kendi çıkarım yanıtlarınızı getirerek Bedrock modellerini veya herhangi bir modeli herhangi bir yerde değerlendirebilirsiniz.

İstemlerinizde, değerlendirilen modellerde, özel RAG sistemlerinizde veya Bedrock Bilgi Tabanlarında yaptığınız değişikliklerin sonuçlarını görmek için değerlendirmelerde karşılaştırma özelliğini kullanın.