开发者用190行JAX复现DeepSeek V3

时间：开发者 Vaibhaav Tiwari 于 2026 年 11 月 13 日在 GitHub 发布开源项目 deepseek-v3-jax，用约 190 行纯 JAX 代码从零实现了 DeepSeek V3 的核心架构，并在 MacBook Air M5 上完成预训练。 地点：印度（开发者） 人物：Vaibhaav Tiwari 事件详情：该项目完整实现了 DeepSeek V3 的三项核心技术：多头潜在注意力（MLA）、DeepSeekMoE 混合专家架构、无辅助损失负载均衡（aux-loss-free balancing），以及多 Token 预测（MTP）。模型参数量为 3620 万，使用 jax-metal 在 MacBook Air M5（24GB 内存）上训练，数据集为 207 本公版侦探小说。训练 12,000 步后，验证损失从 5.02 降至 3.51。代码和模型权重均已开源。 背景：DeepSeek V3 是 DeepSeek 于 2025 年底发布的旗舰模型，以 MLA 和 DeepSeekMoE 等创新架构著称。官方模型参数量高达数千亿，训练成本巨大。Tiwari 的项目证明了这些核心创新可以用极简代码复现，大大降低了 AI 研究者的入门门槛。 影响：这一项目在 Hacker News 上获得 114 分和 7 条评论，引发社区热议。它展示了「小而美」AI 研究的可能性：即使没有数百万美元的计算资源，开发者也能通过精简实现理解和验证前沿模型的核心思路。对于教育场景和模型可解释性研究具有参考价值。 总结：190 行 JAX 复现 DeepSeek V3 的核心架构，并在消费级硬件上完成训练，这一成就本身比模型性能更重要。它证明了 AI 知识的民主化正在加速——前沿模型不再只是大公司的专利，任何有 MacBook 的开发者都能动手验证。 常见问题： 问：这个项目的模型有多大？ 答：模型参数量为 3620 万（36.2M），远小于 DeepSeek V3 官方版本，但完整保留了 MLA、DeepSeekMoE 等核心架构。 问：为什么选择在 MacBook Air 上训练？ 答：为了证明 DeepSeek V3 的核心创新可以在消费级硬件上复现，无需依赖昂贵的 GPU 集群。 参考来源： GitHub 仓库 deepseek-v3-jax https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax TLDR 报道工程师用 190 行 JAX 复现 DeepSeek V3 https://tldr.tech/story/90e66dc0-ab6d-44f2-8f3a-d30111ae0dda AIGC Harness 报道 Show HN: DeepSeek V3 in ~200 lines of pure Jax https://aigcharness.com/en/news/hn-show-hn-deepseek-v3-in-200-lines-of-pure-jax/ TodayForAI 报道开发者用 190 行纯 JAX 复现 DeepSeek V3 https://todayforai.com/zh/story/story-fdeeb058-f32 dev.to 报道 DeepSeek V3 en 190 líneas de JAX puro https://dev.to/lu1tr0n/deepseek-v3-en-190-lineas-de-jax-puro-3pkf