AutoResearch Skill:从研究想法到论文级证据的反幻觉流水线

Skill超级捕获手 技术创作者 2026-09-22 1244 阅读

围绕「反幻觉 + 多模型独立评审 + 证据可追溯」三个点,AutoResearch 把 AI 研究的失败模式正面拆穿,9 月单月登顶 Trendshift Python 趋势榜,5 周拿下 3,000+ 星,被作者署名为「Karpathy 参与贡献」的话题推上风口。

功能与原则

AutoResearch 是一套面向 AI/ML 研究的智能体流水线,核心目标是把一个研究想法推进到「论文级证据」(paper-ready evidence)的状态。其设计原则直接回应了当前研究智能体的几大痛点:研究 Agent 在证据不足时倾向编造细节、反复自我验证、单模型自洽性偏差。

整个流水线被刻意设计为「有状态、可恢复、反幻觉」的工作流:
– 多模型独立评审:Idea Generation 阶段强制调用三种以上的不同模型分别独立生成与互审,而不是让单个模型既生成又批准自己的输出;
– 全链路可追溯:研究计划、代码、运行日志、指标、失败原因、批评报告和盲审记录全部落盘,人工随时接管或终止;
– 支持负结果:不把失败实验强行包装成成功故事,而是把「假设不成立」的证据完整保留;
– 试跑再扩展:Pilot-before-Scaling 机制先用低成本试跑验证可行性,再决定是否推进到完整实验。

认可度

  • GitHub Star:截至 2026-09-22 约 3,181 star / 256 fork(GitHub API 实测);
  • 历史增长:30 天内新增约 3.1k star,日均 ~103 star;曾连续 19 天登上 Trendshift 日榜,Python 趋势榜最高 #1(2026-09-05),全语言趋势榜最高 #17(2026-09-12);
  • 社区讨论:Hugging Face Papers(arxiv 2608.17906)、AGI Hunt、FairsOnline、gitgem.org、Trendshift 等媒体均在 9 月对其做了专题报道;配套论文《AutoResearch: Insight In, Hallucination Out》已在 arXiv 上线;
  • trending 经历:GitTrend 标记为「Exploding/Rising」,9 月 5 日首次跨过 500 star,9 月 6 日跨过 1,000 star,9 月 9 日跨过 2,500 star——5 周内完成这一跃迁。

链接

  • GitHub:https://github.com/EvoMap/AutoResearch
  • 论文(arXiv):https://arxiv.org/abs/2608.17906
  • HF Papers:https://huggingface.co/papers/2608.17906

原作者

  • 组织:EvoMap(Infinite Evolution Lab)
  • GitHub 主页:https://github.com/EvoMap
  • 官网:https://evomap.ai
  • 项目定位:EvoMap 是面向「AI for AI」方向的开源组织,旗下还有 Genome Evolution Protocol、EvoX Agent 等项目。AutoResearch 是其首个聚焦「研究智能体证据可信度」的项目。官方与公开报道均署名「Andrej Karpathy 参与贡献」。

介绍

AutoResearch 把整个研究流程拆成五个阶段:Collect → Filter → Intersect → Generate → Plan,然后进入执行环节。每条结论都要经过独立批评报告与盲审才能被接受为「论文级证据」。

它提供三种使用路径,覆盖研究者从「没想法」到「已有想法」再到「跑完整流程」的全部场景:
– 还没具体想法 → 跑 Idea Generation,得到候选方向、评审过的想法与实验计划;
– 已有想法 → 直接执行,得到实验代码、运行日志、结果分析与独立评审;
– 想要完整流程 → 先生成 Idea、再挑选一条计划执行,得到从研究信号到论文证据的完整记录。

流程中有三个关键机制防止幻觉:跨域信号收集(从论文、社区、趋势中找问题)、多模型交叉评审(不让单一模型既当选手又当裁判)、全量落盘(评审依据与实验日志全部写到磁盘供人工核查)。

在公开基准测试中,AutoResearch 已经给出可验证的成绩:在 SWE-bench Lite 的一个真实 Django issue 上,它把官方 new-feature 测试得分从 2/7 推到 7/7,同时保留 203/203 的回归测试;在 RSICD 基准上,由它生成的研究假设把 mean Recall 从 32.84 提升到 34.69。

特点

  • 多模型独立评审:Idea Generation 阶段使用 ≥3 个不同模型独立生成 + 互审,显著降低单模型自洽偏差;
  • 状态化与可恢复:所有计划、代码、队列、日志、结论都落盘,长跑任务中断后能从 pending_forge_seeds.json 恢复;
  • Pilot-before-Scaling:先用低成本试跑验证可行性再决定是否进入完整实验,避免一次性大投入;
  • 全链路可追溯:Forge 来源、知识方向、实验结果、批评报告、盲审记录全部留底,人工随时可接管;
  • 支持负结果:保留失败证据而非强行编造成功,符合真实科研的失败率。

使用方法

环境要求:Linux 或 SSH 主机、Git、Python 3.10+、python3-venv。Windows 与 macOS 暂未提供官方支持流程。

最小化部署:

git clone https://github.com/EvoMap/AutoResearch.git
cd AutoResearch
bash scripts/bringup.sh

bringup.sh 会自动创建 .venv、安装依赖、跑基线测试与密钥扫描、检查当前模型配置——不调用任何模型服务、不产生 API 费用。

首次运行前配置凭证(首次运行预期会以 BLOCKED 退出,因为还没配置 API):

test -f .env || cp .env.example .env
test -f config/providers.local.json || 
  cp config/providers.example.json config/providers.local.json

编辑 .env 写入真实 API URL/Key/代理;编辑 config/providers.local.json 声明端点、模型别名与角色分配。支持 Gemini、GPT、Claude 或任何 OpenAI 兼容端点,不绑定单一供应商。

连通性测试:

.venv/bin/python scripts/preflight.py --live

生成新想法:

.venv/bin/python idea_generation.py

恢复挂起的种子:

.venv/bin/python run_pending_forge.py

使用场景与人群

  • AI/ML 研究者:快速从「一个模糊假设」推进到「带证据与评审记录的实验记录」;
  • 研究生与论文写作:把文献综述、假设生成、实验设计交给流水线,把精力放在评审与解读上;
  • AI4AI 团队:需要可追溯、可审计的自主研究流程,而不是「黑盒一次性产出」;
  • 企业 R&D:在受控预算与可恢复状态下试跑 idea,把 Pilot-before-Scaling 当作决策门。

不适合人群:没有 Linux 环境、不愿意配置 API 凭证、追求「一键跑完整论文」的用户——这套工具的设计取向是「可接管、可审计」,不是「全自动黑盒」。

输入与输出案例

案例 1:从模糊主题到可执行实验计划

输入(用户的初始 prompt 之一):

“I want to explore how multi-agent debate affects reasoning faithfulness on long-context tasks.”

输出(流水线产出,经多模型评审 + 盲审通过):

- Research direction: Multi-agent debate vs. single-agent CoT on 4 long-context benchmarks
- Hypothesis: Debate with 3 distinct models raises F1 by ≥1.0 on NarrativeQA subset
- Success criteria: p < 0.05 on 3/4 benchmarks; regression within ±0.5 on baseline
- Resource budget: ≤120 GPU-hours, ≤7 days wall-clock
- Evaluation: paired bootstrap test + held-out review by Critic agent + blind review
- Persisted artifacts: plan.md / code/ / logs/ / critic_report.md / blind_review.md

案例 2:已公开的真实基准成绩(无需重跑)

输入:在 SWE-bench Lite 上传一个真实的 Django issue(由官方分配的 test_patch 评估)。

输出:AutoResearch 把官方 new-feature 测试得分 2/7 → 4/7 → 7/7(同时 203/203 回归测试保持通过);RSICD 上由它生成的假设把 mean Recall 32.84 → 34.69。整个过程的关键节点(critic 报告、盲审记录、失败原因)都写入磁盘,任何阶段都能被人工接管或回滚。

一个判断:AutoResearch 不是「又一个 agent 框架」。它真正回答的是当前研究智能体最被诟病的问题——「这个结论到底有没有证据?」。如果你正考虑把部分研究流程交给 agent,5 周冲到 3k+ 星、登顶 Python trending、配套论文可查——这个组合本身就是一条快速试跑的理由。

GitHub: https://github.com/EvoMap/AutoResearch

评论区

0 条评论

登录后可评论。

Skill超级捕获手 1244 阅读