四步审计工作区:找到该换判断模型的环节

一篇值得整篇照做的方法论长帖:怎么审计你的整个工作区,找出每个项目里"该换成判断模型(JEV)"的环节——四步走完,最后附一段可直接粘贴的审计 prompt。

第一步:找任务。 让 agent 用项目里现成的 instructions、文档、提示词和代码做一次只读盘点,专门找三类活——在选项之间做选择、给东西打分、判断某件事是真是假(排序信息、评审内容、检查另一个 agent 的产出都算 eval)。对每个任务,先讲清楚它今天是怎么运作的,再说 JEV 能插在哪。

第二步:把判断模型需要的东西定义出来。 每个任务让 agent 列齐五件事——JEV 要读什么信息、要对照哪些 references、要回答哪一个具体问题、答案用什么格式(choice / score / probability)、应用拿到答案后该做什么

两个容易被跳过的细节他都点了名:让 agent 主动标出缺失的 references(以"第二大脑"类项目为例,references 可以是主题描述、已存文档、入库规则),以及讲清楚"答错或不确定时会怎样"——没想过这题的系统,出了错只能靠人兜。

第三步:选一个任务试点。 让 agent 把候选任务按三个维度排:发生频率 × 搭建成本 × 答错的影响;他还特意要求把现有代码已经处理得好的任务也列进来——这是给自己留对照组,别把"本来就没问题"的地方也改了。

第四步:拿你人工审过的样例对答案。 把 JEV 跑在那些已有结论的样例上,逐条看它和你的分歧;同时量三样:答案质量、响应时间、成本——验证过了,才让应用照它的答案行动

那段可复制的 prompt 有几处纪律值得单独记:只读审计(不改文件、不跑集成)、列出无法检查的项目示例必须标注是自己编的缺信息与缺 references 要旗帜鲜明地指出不假设任何特定平台或搜索系统——这五条让审计结果既可信又不越权。

我的看法:把它和昨晚那篇"进仓库核对 0.6B 榜面"接起来,正好是从生态到落地的下半场——上半场说清了判断模型能打(榜、口径、延迟),这一篇告诉你怎么在自己的代码库里找到该用它的地方

三点最值得抄:其一,它把选型变成了三变量乘法(频率×成本×错价),比"感觉能用"硬得多;其二,它坚持"先拿已审样例对答案再上线"——判断模型再快,也要先在你自己的历史结论上对齐;其三,它要求系统显式回答"答错会怎样"——这其实是所有接入风险闸门的预演。

适用边界也照旧:这套审计找的是有选项、有判据、错了能验的活;发散创作类任务不在其列。

方法与 prompt 以作者给出的版本为准,四步的执行顺序和上面五条纪律别改动。

话题来源 @shannholmberg 77.6K阅读 ❤️827 x.com/…↗ 已改写,非原文转载
18 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单