判断模型落地的最后一公里,被 Unsloth 用一个桌面应用铺平了。开源决策模型 Laya,也就是 Jev 的平替,现在能直接跑在自己电脑上。默认的多语言模型只有 678MB,最低 4GB 内存,CPU 就能跑,Windows、Mac、Linux 通吃,数据一步都不出本机。
规格读下来有四处值得记。首包加载后,多数 CPU 一秒内出结果。一次请求能同时问六十四个问题,是与否、选择、评分全带校准概率。端口开在 Jev 兼容的 API 上,已有集成改个地址就切换。装法三步,配置页打开 Serve requests、下载模型、请求打到本地 8888 端口。
本地化的分量比看起来重。工单路由、退款识别、安全告警分级这类活,最怕的不是算不准,是把内容发出去。数据不出本机这一条,直接解掉了一大批过不了合规审查的场景。以前要向安全团队解释半天,现在一句跑在你自己的机器上就完事。
它还把"要结论不要散文"这个定位又推远了一步。4GB 意味着一台普通办公电脑就能当判断层,不用申请 GPU,也不用等排队。判断和生成的分工落到采购清单上,就是便宜的那部分可以人手一台。
链接我按用途分开存:Mac 和 Linux 用 `curl -fsSL unsloth.ai/install.sh | sh` 一条装完,Windows 装法在 unsloth.ai/install.ps1 ,文档在 unsloth.ai/docs/models/de… ,仓库在 github.com/unslothai/unsl… 。
下一步就看 64 连发的校准概率成色如何,主打 #DecisionModel 和 #4GBRAM 这两张牌的组合。
141 浏览 0 评论
0 反应















