decimalai Skill 技能

面向 AI Agent 的结构化回归检测、Skill 路由、HuggingFace 微调一站式 SDK

技能简介

DecimalAI Python SDK 是面向 AI Agent 的结构化回归检测与 Skill 路由开源 SDK,提供「manifest-aware 版本化」能力,自动捕获 agent 的工具、prompt、模型与 skill 结构,并对每次改动与已记录的生产 trace 做结构化回归对比,避免下次 agent 改动悄悄破坏线上行为。同时内置 Skill 路由、Skills 公共注册表、安全扫描与 A/B lift 测量规范,是打造可观测、可治理的 AI Agent 工程化平台的底层工具。

核心能力

  1. 零代码 Auto-tracing:通过 decimalai.init(langchain=True) 一行开启 LangChain / LangGraph / OpenAI Agents SDK 等 32+ agent 运行时的全链路 trace 自动采集
  2. Agent Versioning 清单:自动检测工具 schema、prompt、模型与图拓扑,生成可 diff 的 manifest
  3. 结构化回归检测:把每次 manifest 变更对照已记录 trace 给出高/中/低 blast radius 报告,比纯输出质量评测更早发现「改动会破坏哪些对话」
  4. Skills 公共注册表与路由:自动发现本地 SKILL.md 文件并同步到平台,支持 SkillRouter.search / use / fork / export 全流程
  5. Skills 运行时注入:开启 enable_skill_loader 后自动把候选 skill 菜单或全文注入到 prompt,并按 adapter 注册 load_skill 工具供模型按需加载
  6. 预发布安全扫描:deterministic 扫描会在不安全 skill 发布前阻断(已实测可拦截反向 shell)
  7. 数据集与微调:从 DecimalAI 一键拉取训练数据到本地,一键推送到 HuggingFace Hub(兼容 Axolotl/Unsloth/TRL),可发起 OpenAI / Together / Gemini 微调任务
  8. 开箱即用的内联评测:支持 @decimalai.evals.eval 装饰器与 completion、tool_compliance、latency 等确定性内置评分

安装配置

  1. 安装核心包:pip install decimalai 或 uv pip install decimalai,要求 Python 3.10+
  2. 按框架安装 extras:pip install "decimalai[langchain]" / "decimalai[openai-agents]" / "decimalai[claude-agent-sdk]" / "decimalai[pydantic-ai]" / "decimalai[adk]" / "decimalai[llamaindex]" / "decimalai[evals]" 或 "decimalai[all]" 全家桶
  3. 注册 DecimalAI 免费 API key:export DECIMAL_API_KEY=dai_sk_...(在 app.decimal.ai/settings 申请)
  4. 启用自动 trace:设置 DECIMAL_AUTO_TRACE=langchain(或 openai-agents 等),导入即激活
  5. 可选安装官方 GitHub Action regression-check 在 CI 中跑 PR 级别回归检测

使用步骤

  1. pip install decimalai 并配置 DECIMAL_API_KEY 环境变量
  2. 在应用入口调用 decimalai.init(langchain=True) 或 decimalai.init(openai_agents=True) 启动自动 trace
  3. (可选)调用 from decimalai.openai_agents import instrument; instrument(enable_skill_loader=True) 启用 skill 路由
  4. 跑一次 decimalai demo regression 看回归报告样例,或直接接入自己的 LangChain / OpenAI Agents 应用
  5. (可选)使用 SkillRouter 搜索、安装、fork、export 公共注册表中的 skill
  6. 在 DecimalAI Web 平台查看 trace、impact report、skill leaderboard 与微调任务进度

适用场景

  • LLM Agent 上线前/上线后做结构化回归检测,避免 prompt、tool、model 变更悄悄破坏线上行为
  • 团队内统一管理 Claude Code、Cursor、OpenAI Agents SDK 等多个 agent 运行时的 skill 资产
  • 评测和优化本地 SKILL.md 文件的真实效果(lift 测量)
  • 把生产 trace 自动转成 HuggingFace 数据集,驱动 SFT/RLHF 微调
  • 在 CI 里跑 PR 级别的 manifest diff + 回归检查,把 agent 工程化质量门禁纳入研发流程

适用人群

构建 AI Agent / Copilot / Coding Assistant 的工程师、Agent 平台架构师、LLM 应用 SRE / 评测工程师、AI 工程化团队 Lead。

工作原理

SDK 是托管平台 DecimalAI 的客户端,也是两个开源规范(agentversion 清单规范、skillevaluation A/B lift 测量规范)的参考实现。它通过装饰器与框架 patcher 拦截 LangChain、OpenAI Agents、Anthropic Claude Agent SDK、Pydantic AI、LlamaIndex、CrewAI、Google ADK 等 32+ agent 运行时的 tool call、LLM call 与 graph 步骤,序列化为可 diff 的 manifest,并把 trace 上报到托管平台。PR 检查是无 LLM 调用的结构化 diff,跑在 GitHub Action 容器中。

官方链接

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论