https://huggingface.co/beamster/Qwen3.8-…

huggingface.co/beamster/Qwen3… Qwen3.8 Flash Sushi 的 2bpw 量化版到了,四十八 GB 的苹果芯片就能跑。 规格三句话说完。2bpw 这档压到了 Apple Silicon 四十八 GB 可行的体量,上下文留足一百二十八 k,作者挂了 2D pagoda 的质量样张,外加五十道难题的评测基准。风格一如既往,先把质量对体积的比值调到位,再谈别的。 能塞进笔记本这半句我看重。前面成本那几篇讲的都是云上的账,这条把账翻成了硬件一次买断,本地跑长上下文,上下文那部分不再按 token 计钱。跟前面私有部署那几篇也是一个方向,数据不出门,额度不受人管。 2bpw 的另一面也得认。压到这个档,权重精度是有代价的,难题评测能给个大致印象,但真实任务的手感还得自己试,样张好看不等于长活稳。 我留的疑问在基准口径。五十道题怎么选的没写,跨题库对比容易高估,先看它怎么出题再决定信几分。 想本地跑长活的,先拿自己手头最长的那篇文档过一遍,看一百二十八 k 里模型还记不记得开头。
话题来源 @Beamsters1 2.2K阅读 ❤️38 x.com/…↗ 已改写,非原文转载
106 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单