64GB CPU运行284B DeepSeek无需GPU

时间：2026年11月8日 地点：全球/线上 人物：synchopate（开发者） 事件详情：开源项目llama-modchip发布更新，宣称可在配备64GB内存、无独立显卡的纯CPU系统上运行284B参数的DeepSeek-V4-Flash模型。项目开发者synchopate通过模型压缩和计算优化，将DeepSeek-V4-Flash的显存需求从76.87 GiB降至56.56 GiB，支持256K上下文长度。在AMD Ryzen 9 9955HX处理器上，prefill速度达44.4 tok/s，decode速度9.1-14.7 tok/s。 背景：DeepSeek-V4-Flash是DeepSeek于2026年4月发布的284B参数MoE模型，总参数量284B但每次仅激活13B参数。llama-modchip项目提供了定制模型文件和修补后的可执行文件，采用自定义张量格式，标准llama.cpp、Ollama和LM Studio无法直接加载。项目在GitHub发布后迅速获得社区关注，Hacker News上引发关于量化质量和实用性的热烈讨论。 影响：该项目使前沿大模型的门槛大幅降低，用户无需购买昂贵GPU即可本地运行284B模型。不过，custom tensor格式意味着用户必须使用项目提供的修补软件，兼容性受限。社区评论指出，该模型可能采用2-bit量化，输出质量可能受到影响，但仍有开发者表示在Ryzen 7 5700U/64GB DDR4上能保持12-14 TPS的稳定速度。 总结：llama-modchip通过压缩和定制格式实现了64GB纯CPU运行284B DeepSeek模型，但兼容性和输出质量仍需进一步验证。这一进展反映了开源社区在降低大模型运行门槛方面的持续创新，同时也引发了对极端量化下模型实用性边界的讨论。 参考来源： GitHub https://github.com/synchopate/llama-modchip techandbusiness.org https://techandbusiness.org/newswire/HEX8fXwEEAI5xEa9oFWb2H Hacker News https://hn.nuxt.dev/item/50411961 DeepSeek API Docs https://api-docs.deepseek.com/news/news260424 WaveSpeedAI https://wavespeed.ai/llm/deepseek/deepseek-v4-flash