预训练不止喂数据跑训练，数据工程到分布式并行都是坑

最近在整理模型预训练的知识体系，发现很多人对这块的理解还停留在喂数据、跑训练的阶段。实际上预训练涉及的技术栈非常深，从数据清洗到分布式并行，每个环节都有不少坑。 先说数据工程。预训练数据的质量直接决定模型效果，但原始数据往往很脏。清洗流程通常包括去重（常用MinHash算法）、质量过滤、多语言与代码配比调整。特别是去重，如果训练数据里有大量重复内容，模型很容易过拟合到这些模式上，生成的文本也会变得单调。 混合精度训练是另一个关键点。现在主流方案是用BF16而不是FP16，因为BF16的动态范围更大，不容易出现溢出。FP8则是更激进的方案，能在保持精度的同时进一步降低显存占用，但需要硬件支持。 分布式并行这块，初学者建议先搞懂ZeRO。DeepSpeed的ZeRO优化通过将优化器状态、梯度和参数分片到不同GPU上，大幅降低了单卡显存需求。等ZeRO搞明白了，再去看张量并行（TP）和流水线并行（PP），这些是更大规模训练时必须用的技术。 Chinchilla法则也很重要——它告诉我们参数量和数据量之间存在最优比例。简单说就是，给定计算预算，模型不是越大越好，而是要和数据量匹配。这个原则直接影响了后续很多模型的设计决策。 训练稳定性方面，loss spike是常见问题。监控梯度范数、合理设置warmup，能有效避免训练崩溃。建议用DeepSpeed先在单机多卡上跑小规模预训练，手工估算显存和算力需求，确认流程没问题后再上大规模集群。 这些知识点看起来零散，但串起来就是一条完整的预训练技术路线。对于想深入理解大模型底层原理的人来说，搞清楚这些比调API有价值得多。