Bedrock AgentCore接入决策模型评估

时间：2026年11月4日 地点：美国（AWS官方博客发布） 人物：AWS机器学习博客团队（Sungyeon Kim、Bharathi Srinivasan、Haibo Ding、Jonathan Buck） 事件详情：Amazon Bedrock AgentCore Evaluations 于11月4日宣布支持决策模型（decision models）接入。开发者现在可以通过代码型评估器（code-based evaluator）将两类决策模型——TypeSafe 托管的 Jev 和 Strands 团队开源的 Strands Decider 2B——接入 AgentCore 评估流程。与传统的 LLM-as-a-judge 评估器不同，决策模型接收结构化状态和固定答案集合，返回校准后的概率分布而非自由形式的文本评分。Jev 和 Strands Decider 2B 均支持是否判断、多选（最多255个选项）和打分（2到10个有序等级）三类问题。AWS 展示了如何通过 AWS Lambda 将决策模型包装为 AgentCore 评估器，接收 OpenTelemetry spans 并返回标准化评估结果。 背景：AgentCore Evaluations 此前已内置 15 个评估器，并支持用户以 LLM-as-a-judge 或代码型评估器的方式定义自定义评估器。决策模型是一种小型专用模型，针对从固定选项中进行选择的场景训练，输出带置信度的概率分布。博客以一个人力资源助理 agent 为例，该系统用 Strands Agents 构建、部署在 AgentCore Runtime 上，通过五个工具返回固定模拟数据（带薪休假余额、福利、工资单等）。博客强调，决策模型不是要替换内置 LLM 评估器，而是作为筛查层与它们配合使用。 影响：开发者可以先用决策模型对每一轮对话做快速 pass/fail 筛查，只在信号低于阈值时才触发完整的 LLM 评估。这种分层策略能在保证评估覆盖率的前提下显著降低延迟和成本。博客还提供了五步验证流程：构建标注样本、获取人工参考标签、运行两种评估器、通过一致性/校准度/分歧模式三个维度解读结果，以及在模型版本或问题措辞变化时重复检查。完整代码样本已上传至 GitHub 的 agentcore-samples 仓库。 总结：AWS 将决策模型引入 Bedrock AgentCore Evaluations，为 agent 质量保证提供了一种新的可编程、可阈值化的筛查手段。对正在构建多智能体系统的团队来说，这套组合提供了一条从快速筛查到深度评估的分层路径，让 agent 输出的可靠性可以像传统软件测试一样被量化和监控。 参考来源： AWS官方博客 https://aws.amazon.com/blogs/machine-learning/use-decision-models-with-amazon-bedrock-agentcore-evaluations/ AWS News Feed https://aws-news.com/article/2026-11-04-use-decision-models-with-amazon-bedrock-agentcore-evaluations explainx.ai分析 https://explainx.ai/blog/amazon-bedrock-agentcore-evaluations-decision-models-jev-strands-decider-screening-layer-guide-2026 GitHub代码样本 https://github.com/awslabs/agentcore-samples/tree/main/01-features/06-observe-evaluate-optimize-your-agent/02-evaluate/custom-code-based-evaluation AWS Builder Center基准测试 https://builder.aws.com/content/3KRx3G8JMf1G06ZFu2dDEdE2DLw/benchmarking-strands-decider-llm-classifiers-and-bedrock-routing-for-model-routing