AWS 蒸馏 4B 模型 追平 GLM-5.3 老师

时间：2026年11月2日（AWS 机器学习博客发布当天；Tech & Business 在同日美东时间中午前后转述了这组数字） 地点：美国华盛顿州西雅图（AWS 总部）；Amazon SageMaker AI 与 Amazon Bedrock 两项托管服务 人物：AWS 机器学习博客作者 Giuseppe Zappia、Ankita Agarwal、Amin Dashti 与 Michael Oguike；示例中的教师模型是 Amazon Bedrock 上的 GLM-5.3，学生模型是 Qwen3.5-4B，评测用的是 ShoppingBench 购物基准 事件详情：AWS 在机器学习博客给出了一条完整的智能体降本路径，用序列级知识蒸馏（SeqKD）在 Amazon SageMaker AI 上把一个购物智能体从大模型蒸馏成 4B 小模型。出发点是智能体不是一次模型调用而是一个循环，搜索、读结果、修正、验证、决定，每一步都要单独计费，规模上去后单任务成本不断累积；换小模型更快更便宜，但质量通常掉档。SeqKD 的做法是用教师模型的文本输出把行为迁移给学生模型，既不需要教师权重也不需要 logits 或强化学习基础设施，因此对只能通过 API 访问的闭源前沿模型同样适用。 具体流程是：教师模型 GLM-5.3 在 Amazon Bedrock 上充当 ShoppingBench 购物智能体，针对 750 道合成购物题中的 426 道训练题各采样两次、温度设为 1.0，生成 850 条包含推理、工具调用与观测结果的完整轨迹；用基准自带的程序化评分器只保留真正完成任务的轨迹，再把这些轨迹逐条编码成聊天消息，展开为约 2600 条训练行和 130 条验证行，然后在 SageMaker AI 的无服务器监督微调上训练 Qwen3.5-4B 学生模型，超参为 LoRA rank 64、alpha 256、3 个 epoch、序列长度上限 16384。训练完成后，学生模型作为一个 LoRA 适配器推理组件挂在基座模型的同一个实时端点上，两者并排可对比调用。 结果是在留出的 324 道评测题上衡量（其中 product 103 题、shop 105 题、voucher 116 题），指标是绝对成功率：未微调的 Qwen3.5-4B 平均 0.297，蒸馏后的学生模型 0.541，GLM-5.3 教师在贪心解码下 0.540、在采样设置下 0.511，一个中型前沿模型 0.546。学生模型由此基本追平了生成它训练数据的老师。文章还给出两个对照：把训练目标里的推理过程剥掉、只留工具调用，平均成功率从 0.541 掉到 0.415；而通用指令跟随能力要付代价，IFEval 的 prompt-strict 从 0.819 降到 0.741，instruction-strict 从 0.872 降到 0.813。 背景：ShoppingBench 是面向智能体的端到端购物基准，用一个包含约 270 万件商品的交互式沙箱来评测，覆盖 Products Finder、Knowledge、Multi-products seller、Coupon & Budget 等意图类型，其论文指出即便是 GPT-4.1 这样的先进智能体，绝对成功率也不到 50%。SeqKD 这条路线本身不新：DeepSeek-R1 的蒸馏模型就是把大模型的推理轨迹拿来做监督微调、训进更小的 Qwen 与 Llama 学生模型，这篇文章把同一思路推进到智能体这种多步工具调用场景，对智能体来说被复制的序列不是一段散文，而是推理、工具调用与观测构成的完整轨迹。配套的能力也在 AWS 的托管服务里：SageMaker AI 的无服务器模型定制支持对 Qwen3.5 系列做监督微调，模型评估可以挂自定义评分器做低成本门禁，再把 LoRA 适配器作为第二个推理组件挂在同一端点上做基座与学生的并排对比。 影响：对做智能体的团队，这是一套可以照着复刻的降本路径，一次性的教师推理成本换掉此后每一步的前沿模型调用费用，且自托管端点按小时计费，流量涨上去不再等比抬高单价。但作者明确没有公布单任务成本和延迟数字，因为摊销后的成本取决于流量模式、序列长度与并发量，需要在自己的负载上实测。能力边界同样清楚：SeqKD 抬升的是中低难度题目，最难的尾部题目上学生模型会进入自己没见过的错误状态而停滞，需要再用 on-policy 方法补一段；此外存在容量墙，教师 GLM-5.3 是约 400 亿激活参数的混合专家模型，约为 4B 学生的十倍，任务本身落在 4B 能力圈内时蒸馏才有效，超出这个圈只会学来更长但仍然错误的轨迹。 总结：这篇文章的价值不在于提出新算法，而在于把一条流传已久的蒸馏思路完整落到云上托管的组件里，并给出可核对的数字，4B 学生模型在 ShoppingBench 留出集上从 0.297 做到 0.541，追平了给它当教师的 GLM-5.3。对读者最实际的含义是：如果智能体的成本压力主要来自每一步的前沿模型调用，这条教师生成轨迹、评分器过滤、无服务器监督微调、同端点挂适配器的流水线是能落地的；同时别忽略两个被量化出来的代价，去掉推理过程大约要掉 13 分，通用指令跟随会退 6 到 8 分。 参考来源： AWS 机器学习博客原文，含完整流程、超参与结果表 https://aws.amazon.com/blogs/machine-learning/build-efficient-agents-with-knowledge-distillation-on-amazon-sagemaker-ai/ Tech & Business 独立转述，交叉核对 0.541、0.297、0.540、0.415 与 IFEval 分数 https://techandbusiness.org/newswire/TR_wrruwtITdU6VLM3AkLw PivotNews 报道，交叉核对 426 道训练题与 SageMaker AI 无服务器模型定制流程 https://pivotnews.ai/five/aws-engineers-report-a-distilled-4b-shopping-agent AiBoss 中文快讯，记录 SeqKD 流程与教师模型为 Bedrock 上的 GLM-5.3 https://www.aiboss88.com/news/sagemaker-ai-knowledge-distillation-agents 奇点 AI 索引中文编译，本文的中文转述与要点摘要 https://ai.qidiandaohang.com/news/11567933/ ShoppingBench 官方仓库，基准与沙箱说明 https://github.com/yjwjy/ShoppingBench ShoppingBench 论文页，含超过 250 万件真实商品的沙箱与基线结论 https://arxiv.org/abs/2508.04266 AWS 官方公告，SageMaker AI 支持 Qwen3.5 系列的无服务器模型定制 https://aws.amazon.com/about-aws/whats-new/2026/04/amazon-sagemaker-ft-qwen3-5/