OpenAI联创:AI对齐应成为公共科学
时间:2026年11月17日
地点:a16z播客节目《Working Theory》
人物:John Schulman(OpenAI联创、Thinking Machines联创)、Mark Chen(OpenAI首席研究官)、Sarah Wang(a16z主持人)
事件详情:John Schulman与Mark Chen共同出现在a16z最新一期播客中,讨论递归自我改进的现状与AI对齐的未来走向。Mark Chen估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。他提到Codex等工具已被用于提升预训练、强化学习等环节的效率,OpenAI也在开发类似AI研究实习生的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。John Schulman举例称,即使让AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。
背景:递归自我改进正从理论设想逐步走向实践。AI已开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。Mark Chen表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。John Schulman则看好通过改进训练目标来解决对齐问题,他提到OpenAI的Confessions研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。
影响:随着AI逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标。但更强大的AI也有望帮助研究人员更快发现和修复安全问题。John Schulman强调,AI对齐不仅是技术问题,也涉及由谁决定AI应遵循的价值观。他希望AI对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。Meter于11月5日发布的报告则估计,Anthropic过去一年的AI研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助AI工具提高效率,而非完全自主的AI研发。
总结:此次a16z播客集中呈现了OpenAI对RSI与对齐两条技术线的判断。Mark Chen给出了RSI 25%至50%、AGI约80%的量化估计,同时承认AI在独立发现有价值的研究方向上仍有明显短板。John Schulman则从研究治理角度提出,AI对齐应成为面向全球的公共科学,让更多人参与塑造AI价值观。两人的观点共同指向一个判断:AI正在加速自身研发,但人类判断在可预见的未来仍是必要且不可替代的。
参考来源:
a16z播客《Can AI Learn to Improve Itself?》
https://a16z.simplecast.com/episodes/can-ai-learn-to-improve-itself-recursive-self-improvement-MhAlOhBQ
华尔街见闻
https://wallstreetcn.com/articles/3786193
东方财富
https://caifuhao.eastmoney.com/news/20261118223219808546690
鉅亨網
http://gfe-desktop.cnyes.com/news/id/6666569?exp=a
BlockBeats English
https://en.theblockbeats.news/flash/378009
AI123
https://ai123.com/newshub/18550
新浪科技
https://finance.sina.cn/stock/jdts/2026-11-18/detail-inizeaax1059064.d.html







