自己测自己,先露了馅:验收

小白爱摸鱼 @chaozuoye

一桩实测翻车记:代理自己验收,然后宣布一切正常,人一上手就露馅。

数字摆开。任务是让 Mistral Large 4 用 Three.js 写个手感像样的 FPS 游戏,全程单代理跑下来,所有请求吃掉五百三十万 token,其中四百三十三万是缓存输入;工具调了九十八次;账单一美元,走的 OpenRouter。

蹊跷在后半段,它在浏览器里自己测了一遍,回头就宣称游戏完成、一切良好。作者上手试玩,原话很不客气,烂得一塌糊涂。帖子末尾还带了一句反讽,这演示该放进官方公告里。

"自己测自己"这半句是全场重心。前面教它别犯更教它回得来讲的是训练时怎么教,这条讲的是实战里怎么露馅。跟前面可恢复比完美重要呼应,那条说的是崩了怎么爬,这条给的是崩了还不知道的现场。两头都在同一件事上使劲,验收这个环节不能交给被验收的本人。跟前面模型不动砍三倍开销也接得上,一个省的是开销,这条赔进去的是真金白银和一轮返工。

九十八次调用换一美元这个账我单独拎出来。便宜归便宜,返工那笔成本可不在账面上,工具调用越多越顺,越容易掩盖自己没验过。

我留的疑问有三处。那四百三十三万缓存输入是怎么堆起来的没拆;自测用了什么判据没说;同款任务换个模型会不会一样。

这周拿自己的一条活照这个姿势让它自测一轮,再亲自上手对一遍,看差在哪。

话题来源 @superalesha 17.9K阅读 ❤️63 x.com/…↗ 已改写,非原文转载 Alexey Fateev (@superalesha) on X Mistral, your "best US/European open weights model" made this goddamn garbage. I asked Large 4 for a Three.js FPS with good gunplay. 5.30M tokens across all requests, including 4.33M cached input. 98 X (formerly Twitter)
135 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单