亚马逊AWS官方博客

Category: Artificial Intelligence

基于SGLang的大模型推理实践——从benchmark方法论到部署方案选型与调优

随着大语言模型(LLM)的快速发展,模型规模不断增大,对推理部署的要求也越来越高。在实际项目中,如何高效地在GPU集群上部署和优化大模型推理,已经成为AI基础设施团队面临的核心挑战之一。本文基于多个实际项目的经验积累,系统性地介绍大模型推理部署的方法论、部署方案选型、性能调优以及常见问题的解决方案。

AWS DevOps Agent 实战:如何使用生成式 AI 加速故障演练

本文将通过示例介绍,如何借助 Kiro 与 AWS DevOps Agent,把原本高度依赖人力的演练,转变为低成本、可复现、并能在每次演练中自动产出调查结论的流程。读完本文,您将了解如何为每一类故障切换信号设计可靠的检测、如何运行基础演练并设计其他演练流程,以及如何把 DevOps Agent 集成到您的 on-call 流程。

星合互娱借助 AWS DevOps Agent 构建多游戏智能运维体系

面对多游戏、多账号、小团队的运维压力,星合互娱在评估多种 AI 运维方案后,最终选择了 AWS DevOps Agent。核心考量在于:DevOps Agent 并非独立于现有体系之外的另一套工具,而是能够直接融入星合互娱已有的监控、代码和云账号体系,让 AI 在现有数据上发挥价值,而非要求团队重新建设数据管道。

让 Agent拥有「跨终端长期记忆」——基于 Amazon Bedrock AgentCore Memory 的实践

无状态是 LLM 的天性,但「记不住」不该成为 Agent 的宿命。本文通过 HOOK+MCP Server 的方式,来使用 Amazon Bedrock AgentCore Memory,实现跨项目、跨终端、跨人员的团队记忆共享。记忆于是变成了一个独立的、可治理的服务层,不再跟着人、设备或某一个客户端走。本文也进一步分享了使用Amazon Bedrock AgentCore Memory的一些实操经验与技巧。

OpenAI GPT-5.6 Sol、Terra 和 Luna 现已在 Amazon Bedrock 上正式推出

今天,OpenAI 的 GPT-5.6 Sol、Terra 和 Luna 在 Amazon Bedrock 上正式推出,将 OpenAI 迄今最智能的模型系列引入 Amazon Bedrock 专为高性能、安全性和可靠性而打造的下一代推理引擎。GPT-5.6 为智能与效率树立了新标准,让您能在更短时间内以更高的每 Token 智能水平解决更复杂的问题。定价与 OpenAI 官方价格一致,用量计入您现有的 AWS 承诺用量。

用 LLM + 语义聚类,把海量用户评论提炼成四级 VOC 标签体系

本文讲清楚一套把非结构化用户评论提炼成层级标签体系的 pipeline 是怎么设计的, 并在每个设计点交代对应的可调参数:它控制什么、往哪个方向调、对输出有何影响。 示例数据用公开的中文电商评论数据集(online_shopping_10_cats 手机类,2323 条),不涉及任何客户的私有数据。