OpenAI公布内部困惑度数据提议行业共享标准
时间:2026年11月22日
地点:OpenAI官方博客
人物:OpenAI首席科学家Jakub Pachocki
事件详情:OpenAI首席科学家Jakub Pachocki于11月22日在公司官方博客发表文章《Perplexity and Intelligence》,提议将困惑度(perplexity,即交叉熵损失 per token)作为衡量AI预训练进度的通用指标,并推动建立行业共享安全标准。OpenAI同时公开了内部模型困惑度测量数据,展示从GPT-3.5到最新模型的演进路径。文章指出,GPT-3.5的log-perplexity约为0.99,GPT-4约为0.91,而当前模型已降至0.8以下。当log-perplexity达到约0.76时,模型在数学和网络安全领域出现突破性能力;进一步降至0.68至0.7区间,预计将带来更多涌现能力。Pachocki强调,这些能力出现的时间点并非事先可知,它们是随着这一单一指标进步而出现的涌现特性。
背景:当前AI实验室普遍使用各自独立的基准测试来宣传模型能力,横向对比困难。Pachocki在文中解释说,虽然AI技术路径多样,但核心都可归结为训练一个"压缩器/预测器"在大规模数据上的表现。跟踪这一基础进度是理解AI发展轨迹的关键。他提到AI正越来越多地参与自身开发,特别是在预训练算法研究领域,可能出现"递归式自我改进"的拐点,届时整个开发过程将完全自动化,不再需要人类监督。
影响:OpenAI CEO Sam Altman公开支持这一倡议,称OpenAI主动提高预训练透明度对于建立行业评估和安全规范至关重要。Altman在官方推文中进一步提议,前沿模型开发者应共同建立共享评估规范,并在模型首次使用前完成红队测试。他呼吁基于困惑度等指标设定共同限制,开发者在AI行为理解和监控能力达到具体里程碑(如开发出思维链监控的继任者)之前,承诺不越过这些限制。
总结:OpenAI此次主动公开内部预训练困惑度数据,是行业首次有头部实验室尝试建立跨机构可比的技术进度指标。若其他实验室采纳,模型对比将从"各说各话的基准测试"转向"可验证的共同标准"。但文章也强调,0.76等阈值是基于历史数据的推论,而非确定性产品路线图,其作为行业标准的前提是各实验室以可比较的方式披露数据。OpenAI希望这一举措能推动建立共享的科学基础,为未来的AI发展节奏管控提供依据。
参考来源:
OpenAI官方博客《Perplexity and Intelligence》
https://openai.com/index/perplexity-and-intelligence/
DigiNews技术摘要《Perplexity and Intelligence》
https://diginews.johandenoyer.fr/article.php?id=52302
Jakub Pachocki官方X账号推文
https://x.com/merettm/status/2124549218995949967
Sam Altman官方X账号推文(预训练透明度)
https://x.com/sama/status/2124551594691932405
Sam Altman官方X账号推文(共同限制提案)
https://x.com/sama/status/2124551883130114403
AI情报局中文编译
https://rss.bz/zh/post/openai-pretraining-transparency-safety-limits?source=telegram







