用大模型做决策和分流,其实不需要它写出一段话。
给足上下文,只要求它返回 1、0,或者一个置信度数字就够了 —— 这是最省 token 的用法。作者之前就在这么干,昨天又换了个思路:拿 7B 模型在本地跑,用提示词把输出死死约束成纯粹的决策结果,再和 Jev 做对比。
几个用例跑下来,结论是两条相反的线:
- 速度上,Jev 明显领先
- 准确度上,7B 略胜一筹
把这两条放一起看才有意思。快和准,在这里不是一个模型能同时拿满的两个指标。链路里判断动作每秒要跑很多次的,速度就是硬指标;一次判断错了要返工整条流程的,那点准确度更值钱。
本地跑 7B 还有两个附带好处:数据不出机器,按次调用不花钱,代价是硬件自己扛。这部分是我的推断,原文没展开。
作者对 Jev 的判断落在生态位置上。他拿电力时代做类比:我们先发明了发电机和灯泡,但一个成熟的生态里,必然还需要变压器、配电箱这些东西,输配和应用体系才补得全。按这个类比,未来会出现更多专用模型和基础设施,把 AI 生态一点点补完整。
顺着他的说法往下想一层:发电机、灯泡刚出来的时候,没人觉得变压器是个大生意,但没有它,电就只能待在实验室里。专用模型的价值大概也在这个位置上 —— 它不解决"能不能做",解决的是"这件事值不值得每次都动用最贵的那套"。
有两点得说清楚。这是几个用例的对比,不是基准测试;"略胜"也取决于提示词怎么写、本地硬件是什么,换一批任务结论未必一样。真要选型,拿自己链路里最高频的那几类判断,各跑上两百次再看,比看一条推文靠谱。
21 浏览 0 评论
0 反应












