TDQS
MCP 工具定义质量评分规范,让 AI Agent 更准确地选择和使用工具
技能简介 TDQS(Tool Definition Quality Score,MCP 工具定义质量评分)是一个开源规范,用于评估 MCP 工具定义的描述质量,帮助 MCP 服务器维护者了解自己的工具能否被 AI Agent 正确理解和调用。该规范由 Glama 团队发起,已对超过 22.8 万个工具和 1.5 万个 MCP 服务器进行了评分,是目前最全面的 MCP 工具质量评估框架。
核心能力 六维质量评估:从描述清晰度、参数覆盖、行为说明、使用时机、输出结构、调用成本六个维度对工具定义进行评分。 确定性阶段 + LLM 评判:schema 和注解可读的内容由代码自动提取,仅描述部分交由模型评判,确保结果可复现。 分级阈值体系:A(≥3.5)、B(≥3.0,合格线)、C(≥2.0)、D(≥1.0)、F 五级打分,可直接作为发布门槛。 详细改进建议:每个评分维度都附带具体理由说明,告诉维护者哪里需要改、怎么改。 Badge 徽章系统:每个评分报告有永久 URL 和 SVG 徽章,可嵌入 README 或发布页面。 三种评分入口:在线 Playground(浏览器)、CLI(终端 / CI)、Hosting API(HTTP),同一评分在不同入口结果一致。 大规模数据支撑:228,369 个工具已评分,73.5% 越过合格线,97% 的描述仍携带至少一个缺陷。
安装配置 npm 安装 CLI:npx tdqs score --url https://mcp.example.com/mcp --fail-under B。 Python 安装:pip install tdqs,然后运行 tdqs score --help。 在线 Playground:访问 https://tdqs.dev/playground,用 GitHub 登录后粘贴 tools/list 结果即可评分。
使用步骤 获取工具列表:调用 MCP 服务器的 tools/list 接口,获取 JSON 格式的工具定义。 提交评分:将 JSON 结果粘贴到 Playground,或用 CLI 传入服务器 URL。 查看报告:获得每个工具的六维评分、总体等级和改进建议。 嵌入 Badge:将报告页面的 SVG 徽章嵌入项目 README。 集成到 CI:在持续集成流程中加入 --fail-under B 参数,不合格则构建失败。
适用场景 MCP 服务器开发者自测:上线前检查工具定义是否描述清晰。 AI Agent 开发者选型:通过评分判断哪个 MCP 服务器的工具质量更高。 Registry 平台质量筛选:Glama 用 TDQS 对 1.5 万个 MCP 服务器进行排序推荐。 CI/CD 质量门禁:自动化检查每次提交是否降低了工具描述质量。
工作原理 评分分四个阶段:上下文信号读取(代码自动读取 schema、注解、参数覆盖等)、硬性门槛过滤(无描述等退化定义直接标记给定最低分)、LLM 评分(根据六个维度公开锚点评分)、后处理(应用覆盖规则汇总为最终分数和等级)。
适用人群 MCP 服务器维护者、AI Agent 框架开发者、AI Infra 工程师、想要评估 MCP 生态工具质量的技术人员。
评论与建议
登录 后参与评论或提建议