有人了解Ought吗?它是不是专门研究AI对齐的那个组织?

相关 AI 产品

相关文章

相关资讯快讯

相关话题

是的,你没搞错——Ought 就是那个把“AI 对齐”写进基因的研究组织,但你可能更眼熟它的产品 Elicit

先给你一颗定心丸:Ought 确实是一个专门研究 AI 对齐(AI Alignment)的非营利研究实验室,由 Paul Christiano(曾是 OpenAI 对齐团队的核心成员)和 Mark Xu 等人共同创立。不过,如果你搜到的是“Ought”这个名字,大概率是因为你看到了它的产品——Elicit(一个帮你做科研文献分析的工具)。很多人把 Elicit 当成一个独立的 AI 工具,但它的背后就是 Ought 这个组织。下面我把来龙去脉拆清楚。

Ought 是谁,它在做什么

Ought 成立于 2018 年,总部在旧金山,是一家非营利研究机构。它的核心使命是:让 AI 系统做“人类真正想要的事情”,而不是“人类说的指令”——这恰恰是 AI 对齐的核心矛盾。具体来说,他们聚焦于两个方向:

  • 可解释性与推理:让 AI 能展示它的思考过程,而不是一个黑箱输出。
  • 对齐的实证研究:通过开发工具来验证 AI 的决策是否符合人类意图,比如他们做的“迭代放大(Iterated Amplification)”和“辩论(Debate)”方法。

这里要特别说明:Ought 和 OpenAI、DeepMind 那些大厂的 AI 对齐团队不同,它更偏向学术化、社区驱动的开源研究。你可以在他们的网站 ought.org 上看到所有公开发表的论文和代码。

那个让你产生“既视感”的产品:Elicit

如果你只是听说过 Ought,那大概率是因为 Elicit——这是 Ought 开发的一款 AI 科研助手,主要用于自动查找、总结和分析学术论文。它的核心功能和特点如下:

功能模块 具体说明 个人使用感受
文献搜索 输入一个研究问题(比如“氟西汀对青少年抑郁症的疗效”),Elicit 会自动检索语义相关的论文,而不是靠关键词匹配。 比 Google Scholar 更聪明,尤其适合跨学科概念模糊的搜索。
自动摘要与提取 对每篇论文提取“研究目标”、“方法”、“结果”、“样本量”等结构化信息,甚至能自动对比多篇论文的结论。 写文献综述的利器,省去打开 PDF 逐段看的功夫。
结论一致性检查 标记不同论文中相互矛盾的结论,并提示置信度。 虽然还不完美,但对发现文献中的“打架”很有帮助。
引用与导出 支持导出 BibTeX、CSV 格式,还能一键生成推荐引用。 和 Zotero、Mendeley 配合使用体验不错。

Elicit 目前有免费版(每月可查一定数量的论文,具体额度会调整)和付费版(Pro 计划,价格约 $10/月,提供更多查询次数和高级过滤)。对学生来说,免费版基本够用。官网入口在这里:elicit.com,注意它和 Ought 的域名不同。

Ought 与 Elicit 的关系:一个“对齐”实验室的副产品

很多用户会问:一个研究 AI 对齐的非营利组织,为什么要做一个文献检索工具?这恰恰是它最吸引人的地方——Ought 把 Elicit 当作验证对齐方法的实验场。比如:

  • 训练数据的质量微调:Elicit 的摘要模型不是简单套用 GPT 系列,而是基于“迭代放大”方法,让人类评估者逐步修正模型的解释,从而减少幻觉和偷懒。
  • 透明化推理:Elicit 在给出摘要时,会附带来自原文的引用片段,让用户能溯源验证——这正是对齐研究里“可审查性”的直接应用。
  • 用户反馈闭环:Elicit 的每次论文筛选、每个被用户纠正的错误,都会被记录并用于改进底层的对齐奖励模型。

用 Ought 官网上的话说:“Elicit 不是一个单独的 SaaS 产品,它是我们研究透明AI的基础设施。”——所以你完全可以把 Elicit 看作 Ought 对齐理论的“活数据”收集器

如果你也对 AI 对齐感兴趣,这些资源值得关注

除了 Ought,目前做 AI 对齐比较活跃的机构和产品还包括(非全面列举):

  • Anthropicanthropic.com):由前 OpenAI 成员创立,主打“宪法AI(Constitutional AI)”,Claude 就是它的产品。
  • DeepMind 的 Alignment Team:在强化学习的安全性和博弈论对齐方面有很多经典论文。
  • Alignment Research Center (ARC):由 Paul Christiano 在离开 Ought 后创办,专注于更理论的对齐机制。
  • Redwood Researchredwoodresearch.org):用机械可解释性(Mechanistic Interpretability)研究内部对齐。
  • 工具类产品:比如 Semantic Scholarsemanticscholar.org)和 Scitescite.ai),虽然不直接做对齐,但也在科研辅助场景上与 Elicit 互补。

写在最后:Ought 的争议与未来

我个人的感觉是:Ought 是 AI 对齐领域最“手把手”的研究组织——它不像很多实验室那样只发论文,而是真的做了一个能让你每天用到的产品(Elicit)来验证理论。但也有人说,Elicit 目前的论文覆盖率不够高(尤其非英文文献),而且收费模式让它离“完全开放”还有距离。不过如果你是研究生、科研人员,或者对 AI 安全感兴趣但不知从何入手,完全可以从用 Elicit 搜索一篇论文开始——你会切身感受到“对齐”不只是哲学问题,更是每天改进工具的实践。

相关问题

  • AI 对齐和 AI 安全是一回事吗?
    不完全一样。对齐是让 AI 做人类想要的事,安全还包括鲁棒性、可解释性、隐私等更广的范畴。对齐是安全的前提,但不是全部。
  • Elicit 和 ChatGPT 的论文分析有什么区别?
    ChatGPT 可能根据训练集里的记忆乱编引用,Elicit 会直接从论文 PDF 里提取信息并给出原文锚点,幻觉率低很多。
  • Ought 现在还活跃吗?为什么 Paul Christiano 又创办了 ARC?
    Ought 仍在运营,但 Paul 在 2022 年离开并创立了 ARC,聚焦更理论的对齐问题。Ought 目前由原团队继续维护 Elicit 和做应用层研究。
  • 除了 Elicit,还有哪些工具在做“论文结构化提取”?
    还有 Paper DigestScholarcy 等,但 Elicit 的语义搜索和结论对比是独门功夫。
  • 非英语论文在 Elicit 上表现如何?
    目前以英文为主,中文、日文等论文覆盖率很低,但在索引范围内的论文提取效果不错。团队表示计划逐步扩展语种。