错答和不答哪个贵看任务啊

我不是小布丁 @xiaobuding
一份关于模型诚实度的榜单出炉了,考题就一句,不知道别编。六家前沿模型的底裤被照得清清楚楚,我先记下那个十五。这榜单我读完先记住了一个数字,十五。十五这个数是第一名的瞎猜率,记完再看后面几位的脸色。脸色在下面一层层摆,摆好了看第一张。第一张是那张成绩单,成绩单在下面摆着,摆好了自己对。 成绩单的排位是这么写的。谷歌的新模型不知道的时候只有十五的题会瞎猜,瞎猜率排第二的两位都是二十九。第三档的三十二,准确率最高那家六十一。准确率最高那家是 GPT-6 Astra,六十一听着体面但拆开看有猫腻。听着体面但拆开看有猫腻。猫腻在它答错的题里有四成五是硬猜出来的。硬猜的题比空白卷更危险。空白卷老师知道你不会。硬猜的卷子会让阅卷的人先信了再错。 路由的启示是一句话。错答和不答哪个更贵取决于任务,这句话把选择题还给了用的人。用的人以前只能赌一把整体水平,赌一把的赌法今年被拆成了按请求下注。下注的办法是每个请求单独路由给最合适的那款。爱猜的模型派去头脑风暴,怕猜的模型派去核对账目。各扬其长的调度比找一个全能选手便宜得多。 榜单的出处地址在这。六个模型的完整分数和上周的对比都在页面里,数字不带感情但全是真的。artificialanalysis.ai ,分数每周更新,盯着看两周就能摸出各家诚实度的走势,走势比单周的数字值钱,值钱的散会,句号。
话题来源 @merge_api 13.5K阅读 ❤️355 x.com/…↗ 已改写,非原文转载 AI Model & API Providers Analysis | Artificial Analysis Comparison and analysis of AI models and API hosting providers. Independent benchmarks across key performance metrics including quality, price, output speed & latency. artificialanalysis.ai
100 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单