万亿参数反被百分之一超：数据的锅

国内大模型开始集体返工预训练了。最有节目效果的是前两年的 Scaling 叙事：参数往万亿堆、GPU 一车一车买、token 烧得像不要钱——最后效果不对。据雷峰网引的匿名案例：有家公司花近一年训了个万亿参数模型，被参数量只有它 1% 的小模型反超；排查下来问题主要在数据——网页垃圾、重复语料、低质标注全进了训练集。原帖那句拟人梗很传神：万亿模型"收到，这就认真学习"。 返工名单已经摆出来了。腾讯混元算公开返过的：今年 2 月起重建预训练与强化学习基础设施、重定数据标准、清洗旧语料，此前它被曝过打榜数据混入训练集、标注规则混乱。阿里和百度没承认，但动作很诚实：Qwen3 拿 Qwen2.5 系列清洗文档、再补大量数学与代码合成数据；文心 4.5 上了去重、低质量过滤、数据地图和人工复核。 过去行业默认：模型够大、数据够多、算力够用，能力总能硬堆出来。现在这一课补上了——Scaling Law 既帮你放大能力，也帮你高效率地学习互联网垃圾。参数决定天花板，数据决定你在天花板之下学到的是什么。 这一步还能解释一个新现象：数据工程开始变成可以披露的竞争力。参数量能写进 PPT，数据质量难量化——脏不脏，往往训练完才知道。于是"谁敢公开讲数据工程"成了新的信任测试。对选模型的人，二手信号其实比榜单名次更能预示长期稳定：它说不说得清洗料来源、去重流程、合成数据配比。 动手参考：挑开源模型，先看它讲不讲得清数据；准备自己训的话，先把一周预算给数据审计，再谈算力——小模型反超万亿那家公司，省下的就是一整年的学费；读厂商通稿时，把"万亿参数"和"数据投入"并排放，一个负责好听，一个负责好用。 参数量还能往 PPT 上写，数据里到底掺了什么，只有模型知道。