LessWrong作者称AI连贯性论证混了两类现象

时间：2026 年 11 月 2 日（LessWrong 平台时间 14:13 UTC，北京时间 11 月 2 日 22:13） 地点：线上，LessWrong 前页首发，AI Alignment Forum 上有同一篇的同步版本 人物：Steven Byrnes（AI 安全研究者，本文作者）、Rohin Shah（2018 年同名文章作者）、habryka 与 Eliezer Yudkowsky（文中讨论其连贯性论证表述）、Alexander Gietelink Oldenziel（本文首位评论者） 事件详情：11 月 2 日，Steven Byrnes 在 LessWrong 发表长文《Some "coherence arguments" are two different things in a trenchcoat》，文章进入 LessWrong 前页，AI Alignment Forum 上以相同帖子标识同步发布，播客聚合站 Podscan 同日收录，给出全文音频转写与分节提纲，并标注首次发布时间为 2026 年 11 月 2 日。 作者逐条拆解了三类连贯性论证（coherence arguments）：一是基于市场竞争的论证，二是基于 AI 自我反思与自我修改的内部竞争论证，三是基于 AI 训练算法（例如 RLVR）的训练论证。 他的核心主张是，这些论证本身没有错，但常被当成一件事来用，实际混合了两种不同现象。一类人是在无意中损失财富或资源，作者称为 Thing A；另一类人是有意用财富或资源去换取别的东西，作者称为 Thing B。前者对按自己的标准行事有很强的推力，后者对只关心长期最终结果、对其他一切冷酷无情只有较弱且依赖条件的推力。 在 AI 语境下，作者认为权力寻求、不屈不挠、工具性趋同等风险论证真正依赖的是那个较弱的推力，因此把强推力与弱推力混为一谈容易导致误判。他建议把 Thing B 一侧的三种论证分别改名为纯粹长期后果主义的外部竞争论证、内部竞争论证与训练论证。 作者也交代了写作缘起：他与 habryka 就 Rohin Shah 2018 年文章《Coherence arguments do not entail goal-directed behavior》的标题是否恰当争论了很久，最终表示接受对方的立场。 背景：连贯性论证是 AI 风险讨论中被反复引用的一类推理。从自相矛盾的行为会让主体吃亏出发，推出理性主体最终会表现得像一个目标一致的优化者。最常见的例子是股市里的循环偏好套利：如果一个人的每笔交易单看都划算，加总起来却构成一个完整的套利组合，那么市场上更连贯的行为者会逐渐拿走更多财富。 Rohin Shah 于 2018 年 12 月 3 日发表的《Coherence arguments do not entail goal-directed behavior》正是针对这一推理的常见误用。Steven Byrnes 本人 2026 年 2 月发表的《Why we should expect ruthless sociopath ASI》与 2025 年 6 月发表的《Foom & Doom 2: Technical alignment is hard》第 2.8.2 节，是本文引用与延续的长期后果主义讨论。 本文发布后不到一小时，LessWrong 上出现了第一条评论，来自 Alexander Gietelink Oldenziel。 影响：这篇文章的意义在于给一类被反复使用却很少被拆开讨论的论证做了切分。它没有推翻任何一条连贯性论证，而是指出我们说的到底是哪一条。 对读者最直接的影响是阅读 AI 失控风险材料时的判断标准。看到连贯性论证被用来支撑未来 AI 会追求权力时，需要分辨被引用的是强版本，还是弱版本。作者强调在 AI 风险语境下真正起作用的是弱版本，而弱版本在不同论证里成立与否差别很大。市场竞争论证里它是其他条件相同的推论，但未必决定性，可能存在超级智能 AI 独存的情形；训练算法论证里它取决于未来开发者是否长期使用长程强化学习类方法，而作者认为可能存在更好的训练方法。 作者同时明确表示自己并未因此改变风险判断。他在结尾写道自己仍然预计未来 AI 会是冷酷的长期后果主义者，只是认为这不是一个轻松的问题，仍然有希望。 总结：这是一篇 AI 安全社区内部的方法论辨析，不是模型发布，也不是研究结论。它的价值在于把连贯性论证里一个强推力与一个弱推力拆开命名，并指出一旦混用，就容易把弱结论当成强结论来引用。 对中文读者来说，这篇原文与 LessWrong、AI 对齐这类关键词的搜索需求有一定重合度，文中对连贯性论证本身的展开，也可以直接回答 AI 里的 coherence 是什么意思这类问题。 如果关心 AI 失控风险讨论，值得知道的是，作者本人并不认为风险被夸大，他反对的只是把两类强度不同的推力用同一个名字打包。 常见问题： 问：AI 里的 coherence（连贯性）是什么意思？ 答：文中说的连贯性论证是一类推理，从自相矛盾的行为会让主体吃亏出发，推出理性主体最终会表现得像目标一致的优化者，股市里的循环偏好套利是最常见的例子。 问：这是不是说 AI 失控风险被夸大了？ 答：不是，作者在结尾明确表示自己仍预计未来 AI 会是冷酷的长期后果主义者，他反对的只是把强推力和弱推力用同一个名字打包。 参考来源： LessWrong 首发原文，作者 Steven Byrnes，平台时间 2026 年 11 月 2 日 14:13 UTC https://www.lesswrong.com/posts/5a4tuSNDNodPsiS26/some-coherence-arguments-are-two-different-things-in-a AI Alignment Forum 同一篇文章的同步版本，帖子标识与首发一致 https://www.alignmentforum.org/posts/5a4tuSNDNodPsiS26/some-coherence-arguments-are-two-different-things-in-a Podscan 播客聚合页，标注首次发布时间为 2026 年 11 月 2 日，含全文音频转写与分节提纲 https://podscan.fm/podcasts/lesswrong-30-karma/episodes/some-coherence-arguments-are-two-different-things-in-a-trenchcoat-by-steven-byrnes Rohin Shah 2018 年 12 月 3 日文章，本文争论的起点 https://www.lesswrong.com/posts/NxF5G6CJiof6cemTw/coherence-arguments-do-not-entail-goal-directed-behavior Rohin Shah 2018 年文章的 AI Alignment Forum 版 https://www.alignmentforum.org/posts/NxF5G6CJiof6cemTw/coherence-arguments-do-not-entail-goal-directed-behavior Steven Byrnes 2026 年 2 月《Why we should expect ruthless sociopath ASI》，本文结论延续的长期后果主义论述 https://www.lesswrong.com/posts/ZJZZEuPFKeEdkrRyf/why-we-should-expect-ruthless-sociopath-asi Steven Byrnes 2025 年 6 月《Foom & Doom 2: Technical alignment is hard》，本文引用的第 2.8.2 节 https://www.lesswrong.com/posts/bnnKGSCHJghAvqPjS/foom-and-doom-2-technical-alignment-is-hard 本文首条评论，Alexander Gietelink Oldenziel，2026 年 11 月 2 日 https://www.lesswrong.com/posts/5a4tuSNDNodPsiS26/some-coherence-arguments-are-two-different-things-in-a/comment/WrkqZeA3k2Evt56wp