AutoSynthData：让企业Agent用失败刷经验

时间：2026 年 10 月 2 日 地点：美国加利福尼亚州圣克拉拉（ServiceNow 总部） 人物：ServiceNow CoreAI 团队 事件详情：ServiceNow CoreAI 在 Hugging Face 博客发布 AutoSynthData 系统，可将企业级 AI 智能体的能力短板自动转化为可执行、可验证的合成训练任务。流水线先用诊断任务评估目标模型在企业环境中的失败模式，由更强"教师"模型演示成功轨迹，提炼为脱敏的能力规格卡，再据此生成覆盖工具调用、工作流编排与权限约束的多样化训练题。每条样本由系统规范、用户提示与验证器三部分组成，必须同时满足"可行、真实、有难度"三项硬指标，并先后通过求解器执行与正负样本双重校验。 背景：ServiceNow 同步披露其 EnterpriseOps Gym 基准测试结果。在覆盖八个业务部门、模拟数据库状态与权限规则的 14 个前沿模型评测中，最强模型 Pass@1 仅约 33%，意味着每三次企业真实任务中就有两次会失败。研究还发现，只要给模型附带一份人类规划脚本，成功率可提升 14–35 个百分点，说明规划能力是当前企业 Agent 落地的最大瓶颈。 影响：AutoSynthData 让企业把"失败轨迹"快速转化为定向训练集，把模型微调从依赖人工标注转为自动化、按需迭代的闭环。ServiceNow 已开源 EnterpriseOps Gym 数据集，实验中以 Gemma-4-26B-A4B-it 为目标模型、Qwen3.8-27B 与 DeepSeek-V4.1-Flash 为教师，Hybrid 域 18 小时生成约 2000 样本、Pass@1 相对提升 35%、绝对提升 7.2 个百分点，ITSM 域则从 18.77% 升至 27.18%。该框架有望成为企业 Agent 从演示走向生产部署的关键拼图。 总结：ServiceNow 用 AutoSynthData 把模型在企业环境中的具体失败转成可量产的训练任务，让企业级智能体训练摆脱对人工标注与爬取数据的依赖，标志着企业 Agent 从"通用模型+提示词"迈入"专属失败驱动训练"的新阶段。 参考来源： - Hugging Face Blog（ServiceNow 官方）：https://huggingface.co/blog/ServiceNow-AI/autosynthdata - AI News Bunrin：https://ainews.bunrin.work/en/news/autosynthdata-generating-training-data-for-enterpr-457817 - HyperAI：https://beta.hyper.ai/en/stories/87e5762e958351b0eac259f23df72c04 - AI Breaking Wire：https://www.aibreakingwire.com/news/servicenow-unveils-autosynthdata-pipeline-to-train-enterprise-agents - Mango Developer：https://mangodeveloper.com/articles/servicenows-autosynthdata-turns-agent-failures-into-training-curriculum - AI2Day：https://ai2day.live/story/the-best-ai-agents-still-fail-at-most-real-office-work-servicenow-built-a-tool - World Programming：https://www.worldprogramming.org/posts/autosynthdata-generating-training-data-for-enterprise-agents-ywnhpj - OpenAI Hub：https://openai-hub.com/news/2253 - Auto-Blogging：https://auto-blogging.com/ai-tools-software/autosynthdata-generating-training-data-for-enterprise-agents