让你的AI编程助手自己跑实验：pi-autoresearch自动优化实战

你的 AI 编程助手，每次运行都在”试”——但试完就完了，不会自动记住哪个改动真的变快了，哪个反而更慢了。

pi-autoresearch 就是来解决这个问题的。它是给 pi（一个终端 AI 编程 agent）装上的自动实验循环扩展——灵感直接来自 Karpathy 的 autoresearch，核心理念一句话：Try an idea, measure it, keep what works, discard what doesn’t, repeat forever.

它是怎么工作的？

装上之后，你的命令行会多出一个 /autoresearch 命令。跑之前，先告诉它你要优化什么、怎么测、往哪个方向：

/autoresearch optimize unit test runtime, monitor correctness

然后它会：自动写好实验配置 → 反复跑实验 → 记录每次的结果 → 自动 commit → 实时更新 Dashboard。每一个 commit 都是一个可回溯的数据点。

三个配套 Skill，各管一段

autoresearch-create — 问几个问题（或者从上下文推断），然后写出两个文件 + 直接启动循环：.auto/prompt.md（目标描述）+ .auto/log.jsonl（实验记录）。

autoresearch-finalize — 当你跑完一轮分支后，把它整理成干净、独立的分支，一个改动一个分支，可以单独 review 和 merge。

autoresearch-hooks — 可选钩子，附带了 10 个参考脚本（外部搜索、学习笔记、通知、防浪费、点子轮换等），你选一个它来处理合同，你负责 inspiration。

用在哪些场景？

• 测试速度优化：单元测试从 8s 降到 5s，AI 自动跑 20 次验证是否真实
• LLM 训练：跑 5 分钟 train.py，记录 loss 曲线，AI 判断改进是否显著
• Build 时间：对比 webpack 配置改动前后的构建耗时
• Lighthouse 分数：自动跑性能审计，记录分数变化

关键是那个 Confidence score——跑 3 次以上，AI 会告诉你这个改进是”真实信号”还是”噪声”（≥2.0× 是真的，1.0–2.0× 是边缘）。

安装方式

pi install npm:pi-autoresearch

支持完整 Dashboard：/autoresearch export 在浏览器打开，实时刷新；Ctrl+Shift+F 是全屏覆盖模式，键盘导航（j/k 上下，g/G 跳顶底，q 退出）。

7.5k stars 的项目，背后是 Karpathy 的方法论 + pi 的终端集成。这个组合让”AI 自己跑实验、自己总结规律”从研究论文走进了每个开发者的日常。

GitHub：davebcn87/pi-autoresearch

GitHub: https://github.com/davebcn87/pi-autoresearch