AWS 开源 UAEF 统一 AI Agent 评测框架

时间：2026年11月10日，AWS 在官方机器学习博客发布 Universal Agent Evaluation Framework（UAEF），同步在 GitHub 以 Apache 2.0 许可证开源。 地点：美国 人物：AWS 机器学习团队 事件详情：UAEF 是一个框架无关的 AI Agent 评测系统，支持 LangGraph、LangChain、AWS Bedrock、Langfuse、Strands、AgentCore 及自定义 JSON 框架。它提供 36 个内置评测指标，覆盖工具调用、响应质量、负责任 AI、性能、多轮对话、多 Agent 协作和推理 7 个维度。用户可通过 Python 库在代码、Jupyter Notebook 或 CI/CD 流水线中直接调用 evaluate() 完成评测，结果可持久化到 Amazon DynamoDB 和 S3。UAEF 还提供可部署到 AWS 的 Web 界面（Cognito + API Gateway + Lambda + Step Functions + DynamoDB + S3 + CloudFront），以及基于 Amazon Bedrock 的 LLM-as-judge 机制，用于主观指标的自动化评分。 背景：此前面向 AI Agent 的评测工具多为单一框架或单一指标设计，跨框架对比缺乏统一标准。AWS 在 2026 年 10 月的 re:Invent 前推出 UAEF，填补了框架无关、端到端评测的空白。项目包含可直接运行的 Notebook、CDK 部署脚本和 PII 检测模块，定位从实验验证到生产监控的全链路闭环。 影响：对开发者而言，UAEF 降低了多框架 Agent 的对比门槛，一次 evaluate() 调用即可获得跨框架一致评分；对平台方，DynamoDB + S3 的实验持久化设计支持版本回归检测和趋势分析。12 家来自电信、医疗和金融服务领域的客户在公开前已参与测试。分析人士指出，Agent 评测正从「单点性能测试」转向「全链路可观测」，UAEF 的开源可能加速行业对评测维度的共识。 总结：AWS 开源 UAEF 为 AI Agent 评测提供了首个框架无关、指标全面的开源方案。36 个内置指标、7 大维度、主流框架适配和 AWS 原生持久化，使其成为开发者选型和平台回归检测的实用工具。目前项目处于早期公开阶段，社区贡献和插件生态仍需时间积累。 常见问题： 问：UAEF 支持哪些 Agent 框架？ 答：已官方适配 LangGraph、LangChain、AWS Bedrock、Langfuse、Strands、AgentCore，其余框架可通过 GenericJSONAdapter 自定义映射。 问：UAEF 是免费的吗？ 答：核心库和指标完全开源（Apache 2.0），AWS 部署模式的底层资源消耗按实际使用计费。 参考来源： AWS 官方机器学习博客 https://aws.amazon.com/cn/blogs/machine-learning/uaef-a-framework-agnostic-system-for-closed-loop-evaluation-of-ai-agents/ The Next Web 报道 https://thenextweb.com/news/aws-uaef-open-source-ai-agent-evaluation GitHub 开源仓库 https://github.com/awslabs/uaef AWS News Feed https://aws-news.com/article/2026-11-11-uaef-a-framework-agnostic-system-for-closed-loop-evaluation-of-ai-agents explainx.ai 技术解读 https://explainx.ai/blog/aws-uaef-universal-agent-evaluation-framework-2026