二十七亿参数的小个子被拉去跟两个旗舰对表,居然对上了。这强化版我看完先记那笔代码账再掂砍半的思考长度。记的掂的点在下面一层层摆,摆好了看四百万,万在下面摆着,摆好了自己乘。
账是这样摆的。本体只有二十七亿参数,专项后训练吃进三百九十万条代码。对表的成绩是 LiveCodeBench 小集从八十三涨到九十,涨的第二层是它对齐了四个对象。旗舰两个。国产强手两个,对齐之外还带着一套压缩空转推理的招式。
配方是监督微调加两种强化再挂一层投机解码,四件套凑齐之后自测的 GPQA、MMLU、LCB 三张卷子都过了九十档。同步的第四层是那个最实在的数字。推理词元的中位数砍掉四成四到五成三,砍掉的部分全是废话,废话少了同样的问题腰斩的延迟和费用就省出来了。
部署那半段给了四步。先拉权重再用 llama.cpp 起服务。四量子的 Q4LynnStyle-MTP.gguf 配上启动参数就能跑。要看图加一个投影参数。求极速就换 SGLang 加那层投机解码二选一。
四步走完的 AICoding 环境就算搭好了。搭好的第六层是我的观察。点评两句。第一句是小模型今年的胜负手已经从卷参数转成卷后训练数据的成色,成色好二十七亿也能上桌。第二句是把旗舰当老师的蒸馏路线今年被反复验证,验证到老师自己也该紧张了,紧张的回来点赞,句号。
权重 huggingface.co/nerkyor/Qwen3.… 基座 github.com/QwenLM/Qwen3.8 。本地卡跑得动的去试试,试完回来报数,报得动的点赞,句号。
128 浏览 0 评论
0 反应













