重磅消息,Qwen3.8-27B本地部署大模型再降配置。 PrismML基于Qw…

成吉思鸡 @xiaoben
重磅消息,Qwen3.8-27B本地部署大模型再降配置。 PrismML基于Qwen3.8-27B做成了真三值模型Ternary Bonsai 2 27B,27B参数只剩5.9GB,性能还能保留约98.2%。 核心亮点: 27B模型压到约5.9GB,相比FP16的约54GB缩小约9倍 权重只有1、0、+1三种值,平均1.72 bit/weight 官方称可保留约98.2%的原模型综合性能,代码、数学能力损失较小 支持262K上下文 RTX 5090生成速度约120–143 tok/s,Apple M5 Max约47 tok/s 支持CUDA、Metal、CPU,可通过llama.cpp本地运行 适合本地AI、隐私敏感场景、低显存设备 最后附上链接,有兴趣的冲哈:huggingface.co/collections/pr… 这个压缩版挺有意思的。Qwen3.8-27B压缩版说明AI模型正在向轻量化方向发展。 对于想用AI辅助开发的团队来说,这个压缩版值得试试。特别是那些需要在短时间内完成大量开发任务的项目,这个压缩版能帮他们省不少时间。 它的作用是: 轻量化:支持5.9GB运行。 高效:性能保留约98.2%。 这个压缩版能帮那些需要大量使用AI工具的人省不少时间。特别是那些需要在短时间内完成大量开发任务的项目,这个压缩版能帮他们省不少时间。
话题来源 @aehyok 114.7K阅读 ❤️515 x.com/…↗ 已改写,非原文转载
18 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单