亚马逊AWS官方博客

LLM Inference on Amazon EKS

LLM on AWS EKS 方案主要关注客户在自有账号部署大语言模型的需求,基于云原生 K8S 的解决方案,兼具了大语言模型推理的功能完备性、服务的扩展性和应用层面的可观测性等,帮助客户快速打造大语言模型在 AWS 平台上的推理能力。

Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

在 Claude 3 发布之后,其强大的多模态推理、视觉能力、翻译、总结、写作、编码等能力,再次激发生成式 AI 的热潮。Amazon Bedrock 也是首个 Claude 3 全托管且正式可用的服务。如何通过 API Key 调用 Bedrock Claude,如何多模型接入,多租户计费等需求,一直是很多人关注的问题。为此我们开发了 Bedrock Connector 并开源,供大家测试使用和代码参考。