Runtape Vibe 项目

Runtape 是一款开源的 AI Agent 反事实调试与回归测试工具，由 RehanMohammed985 开发并维护，通过 pip 安装即可使用，专为解决 AI Agent 生产环境中行为不稳定这一痛点而设计。

在大模型应用落地过程中，开发者经常遇到这样的困境：Agent 在某次运行中做出了错误决策，比如把发票转发给了外部人员、错误地给用户退款、或者误删了数据库记录，但同样的输入再次运行时 Agent 却不一定会犯同样的错。这种行为不一致让问题极难复现和修复——因为每次运行大模型的输出都有随机性，开发者无法确认到底是哪段上下文让模型做出了错误判断。

Runtape 的核心思路是把「反事实调试」这一传统软件工程的成熟方法引入 AI Agent 领域。它的使用流程分为三个阶段：首先，用 runtape.record() 包装你的模型客户端，自动记录每一次模型调用和工具执行的完整上下文，生成 JSONL 格式的轨迹文件；其次，运行 runtape why 指定一个失败事件，工具会逐一移除上下文中的一段内容（系统提示词、消息历史、工具返回结果），然后重新让模型做同样的决策，通过统计显著性检验（Fisher 精确检验）找出导致错误的那段具体文本；最后，运行 runtape fix 尝试不同的修复方案，工具会在真实失败上下文上逐一验证每种方案是否有效，并将通过验证的方案自动写成 pytest 回归测试文件，确保这个错误不会再现。

Runtape 的技术实现有几个关键亮点。第一，它采用「逐句删除 + 统计检验」的方式精确定位罪魁祸首，不是简单地将整个上下文块作为嫌疑人，而是逐段甚至逐句地探测，修正了多重比较带来的假阳性问题。第二，它只重新运行涉及的那一次模型调用，不触发 Agent 的其他工具，不会产生真实的退款、邮件发送或数据库操作等副作用。第三，它支持 OpenAI SDK、Anthropic SDK、LangChain、LangGraph，以及 Ollama、LM Studio、vLLM 等本地模型接口，适配大多数主流 Agent 开发框架。第四，内置的 examples/ 目录提供了三个真实场景的完整示例 Agent，分别演示了邮件助手误转发发票、客服 Agent 错误退款、以及运维 Agent 误删数据库三种典型失败类型，开发者 clone 仓库后可以直接运行体验。

快速上手步骤如下：第一步，在终端执行 pip install runtape 安装工具；第二步，执行 git clone https://github.com/RehanMohammed985/runtape && cd runtape && pip install . openai anthropic 克隆仓库并安装依赖；第三步，运行 python examples/inbox_agent.py 启动自带的邮件助手示例 Agent；第四步，执行 runtape why last tool:forward_email 让工具分析最近一次邮件转发失败的原因；第五步，执行 runtape fix last tool:forward_email --write-test tests/test_inbox.py 生成回归测试，然后用 pytest tests/test_inbox.py 验证修复有效。

Runtape 适用于以下人群：使用 LangChain、LangGraph 或自研 Agent 框架的开发者，需要对生产环境中的 Agent 行为有可靠性保障；QA 工程师，需要为关键业务场景编写自动化回归测试用例；AI 研究者，需要深入理解特定模型在特定上下文下的行为依赖；以及任何在生产环境中运行 AI Agent、且无法承受 Agent 随机犯错带来代价的工程团队。该项目使用 MIT 许可证，代码开源，社区持续活跃。