DeepSeek V4.1 Flash 出了 1017 版本,SWE 测评完爆所有模型。
要点照录。Deepseek 发布了 V4.1 Flash 1017 版本。DeepSeek SWE V1.1 测评,这个基准上这张图有点离谱,完爆了所有模型。整体能力再上一个台阶的同时,任务跑完的时间和吐出来的长度都缩了,同样的活儿成本更低。
这一版着重强调的,是从零开始把整个项目干完。人工干预不用上,提示词给一句就够,跟 OpenAI 5.5 那种一句话做个视频或一句话做个游戏一个路数。这版还有一手:自研的搜索 API 放开了。
Deepseek 在国内信息数据的检索上出名的准和强,这口井接过来能干不少活,给 Harness 装上正合适。
"可以给你的 Harness 配上"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是能力真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在测评里看产品怎么被重新定位。两头都在提醒同一件事,模型敢把搜索 API 放出来,是对自己那套检索真有信心。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是别被一张测评图带节奏。完爆所有模型这话摆着,但 SWE V1.1 只是其中一把尺子;一句话做视频做游戏那套说法,也得等真跑起来才知道顺不顺。测评这东西,看的是图,验的是手。
我留的疑问有三处。SWE V1.1 的具体评测口径没给;搜索 API 的定价和限流没说;一句话做项目的真实成功率也没测,这些都在官方页里才看得到。
这周把 1017 版本接进 Harness,拿一个真实的小项目跑一遍,看看是不是真不用人工干预。
兄弟们挖到一个超牛网红网站,看完我惊呆了。
它把全球城市和生活成本直接摊在一张地图上。想旅居、长期住,或者带电脑换个地方干活,可以先拿它筛一轮。
往下看,反而被住客评论留住了。有人夸深圳公园多、街道干净,紧接着就吐槽房租和停车。比一句宜居天堂有用多了。
挑几个心动城市,建议按这个顺序核对:
风景决定想不想去,余额决定能待几天。这个顺序可别搞反了。
网站地址:livabble.com
蚂蚁百灵 Ling-3.1 Flash 开源了,560B MoE 本地 4 卡就能跑。
要点照录。蚂蚁百灵 Ling-3.1 Flash 正式开源,560B MoE,1M 上下文,本地 4 卡可跑。关键要点:总参 560B,激活仅 25B;量化一压,权重从 534GB 掉到 292GB,Hopper 也从 8 卡减到 4 卡;AA 智能指数 41,速度约 210 tok/s,混合价约 $0.19/M tokens;办公、长周期编码与复杂 AI Agent 场景是它的主战场,MIT 开源。
Hugging Face:huggingface.co/inclusionAI/Li… ,cookbook:github.com/inclusionAI/li… 。
引帖那半同样留着,同一套 10 项评测里,Ling-3.1 Flash 拿 41 分,跟 GLM-5.3-Flash 的 42 分基本同级,跟 Gemini 3.8 Flash 的 41 分打平,反超 DeepSeek V4.1 Flash 的 39 分,Mistral Large 5 的 38 分被甩出一条街。开源、可本地部署,成本和前沿闭源基本同档,智能却已经贴上第一梯队。
"开源模型把综合智能打到和 Gemini Flash、GLM Flash 同一水平线,这才是真正的变量"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是变量真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在榜单里看变量从哪冒出来。两头都在提醒同一件事,开源打平闭源这一步迈出去,后面的账才刚开始算。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是别被一分两分的差距带偏。42 分和 41 分之间隔着的,是误差范围本身;本地 4 卡能跑、292GB 量化权重这俩数字才是硬货。差距这东西,看的是能不能落地,不是纸面谁高一分。
我留的疑问有三处。AA 那 10 项评测具体测了什么没给;210 tok/s 能不能稳住没说;4 卡跑满量化的实际效果也没测,这些都在 cookbook 里才看得到。
这周把 Ling-3.1 Flash 拉下来装一遍,看看 4 卡是不是真能压住。
Codex 里的 GPT 6.1 Sol 被打到排名垫底,用过的人说像把前额叶摘了。
要点照录。一份在 Codex 里跑的排名摆在这:Opus 5.5 > Sonnet 5.5 > Haiku 5.5 > Grok 4.7 > GPT 6.1 Sol。
想磨磨心气的去 Codex 里试试 6.1 Sol,全程不骂人的都能开班卖课了。引帖那半同样留着,原话是没有任何理由来维护 Codex 和 GPT Sol 了,太垃圾了,智商不如几个月前的 GPT 5.5。
6.1 Sol 其实在用,但只在 Droid 和 Devin 用,没用过的去试试就知道,体验完全天上地下。天知道 OpenAI 到底对 Codex 里的 Sol 做了啥,已经不是降智了,感觉像是把前额叶摘了一样。
"感觉像是把前额叶摘了一样",这半句是场重心。
我倒不这么看。6.1 Sol 在 Codex 里挨骂,在 Droid 和 Devin 里却能用,说明差距不一定出在模型本身。宿主怎么接、怎么调,才是那截落差的来源。降智这词,有时候冤枉了模型,便宜了宿主。冤枉谁,都不如自己试。
这周各跑一遍同样的活,看落差是真是假。
一个只有两百七十亿参数的模型。在 Agents 的 LastExam 计算与数学子集上打平了 GPT-6 Astra 和 Claude Opus 5 两个旗舰。这件事本身不稀奇。稀奇的是他们怎么训出来的。
先把难处说清楚。长任务智能体现在能连着干好几个小时,可怎么用强化学习把这种能力训出来一直很麻烦。第一层麻烦是任务难造。够复杂的长任务想大规模生成不容易;第二层更头疼。就算造出来了模型也难学,因为一个任务要连走几十步。最后一步崩了。老一套只看结局的打分方式会直接判零。前面九成的活干得再漂亮也拿不到有效信号。等于说,辛苦干一小时,评卷的人只看结局。
UCLA 和 Adobe Research 的解法叫 Tev,思路其实挺反直觉:先造一个完全正确的世界。里面把工作流、标准答案。每个阶段该有的状态都标好;然后倒过来捏一个带毛病的环境出来。
让智能体自己进去修。这么一来,训练系统就知道它每一步到底干对了多少,哪怕最后任务没收尾,也能按中间进度发奖励。照这个路子,他们一共捏出了一千一百七十个能验证的长任务场景,软件工程、数据工程、数学、安全、基础设施七个门类都有。
更值得记的是这套方法能搬家。RSI 这条线上他们拿 GLM-5.3-Flash 接着训。长出一个叫 Tev-320B 的模型,在 Terminal-Bench 4.0 的计算与数学子集上,Pass@1 从百分之二十九提到了百分之三十七。同一套环境换个底座就能用,这比单点成绩值钱得多。
我唯一拿不准的是规模。这套构造办法在一千多个环境上验证过。可真要铺到几万个任务。标注成本和反向生成的质量能不能撑住。还得看后面有没有人把这条线接着拉长。
可解释性可能是当下最重要的科学问题,而好消息是它大概率会被解决。
要点照录。interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. 后面这几段我用中文讲。
早年在 OpenAI 参与 mechanistic interpretability 的合作研究时,作者其实挺悲观,因为神经网络看起来会卷成任意缠绕的结。几年之后,他启动了 OpenAI 第一个大规模自动化可解释性项目,用当时原始的工具只找到约 2% 的神经元可读。
换成现代的 agentic 工具、盯得更紧,图景完全变了:在多达 trillions 参数的模型里,绝大多数都能读,而且它们的电路很漂亮。许多著名的缠绕神经元例子,其实是被误解了;原本预期的那些拦路虎,大部分并不在。
现在的判断是,雄心勃勃的可解释性工程,会在我们最需要它的时候被解决,甚至可能很快,因为 automated scientists 一直在进步。这或许是可解释性领域的苦涩教训:简单的东西,在荒谬的规模下,管用。链接:already-clean.goodfire.com 。
"简单的东西,在荒谬的规模下,管用"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是尺度真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在神经元里看产品怎么被读懂。两头都在提醒同一件事,当年以为解不开的结,规模够大反而看清了。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是别拿几年前的悲观当定论。2% 可读到绝大多数可读,中间隔着的是自动化科学家这层工具;当年那些缠绕神经元的著名例子,如今看是误解。悲观这东西,会被工具的进步改写。
我留的疑问有三处。trillions 参数模型的可读比例具体是多少没给;自动化科学家的进度怎么衡量没说;那 2% 到绝大多数之间走了几年也没讲,这些都在链接里才看得到。
这周把链接打开,看看 automated scientists 到底干到哪一步了。真到了那一步,可解释性这门学问就得换个活法。
Android 官方出了个新 Skill,让 Agent 帮你静态分析 JetpackCompose 代码找性能问题。
要点照录。We've just released a new official Android skill that can be used to statically analyse your #JetpackCompose code for performance improvements. Install it, and ask your agent to run the skill on your code. We've seen some good results running it internally - give it a try and let us know any feedback!
仓库地址:github.com/android/skills… 。
"give it a try"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是官方背书真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在官方仓库里看产品怎么被平台收编。两头都在提醒同一件事,平台亲自下场做 Skill,说明这条路子走通了。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把性能分析这件事交给 Agent。JetpackCompose 的性能问题藏得深,人眼盯半天未必看得出,静态分析跑一遍就出来了;官方愿意开源,说明他们内部先吃过了。反馈这东西,官方愿意听,才敢让人提。
我留的疑问有三处。Skill 具体检查哪些性能项没给;内部好结果是什么样没说;对老版本 Compose 兼容不兼容也没讲,这些都在仓库里才看得到。
这周把仓库里的 Skill 装上,让 Agent 跑一遍手头那个最复杂的 Compose 页面。
Anthropic 工程师说:别再自己写 prompt 了,去搭一个自己会写 prompt 的系统。
要点照录。Anthropic engineer 说了句挺扎心的:"You're not supposed to prompt Opus 5.5. You're supposed to build a system that prompts itself. At Anthropic, 90% of our engineers have already built such systems." 30 分钟里,她把 Anthropic 怎么造 agents 讲得明明白白,这些 agent 记得住事、自己修错、每跑一次都变聪明。
引帖那半同样留着,beamnxw 提到 Loop engineering + Jev engineering 这套 setup,说 Claude loops 可能一边烧钱一边什么都没变,用 Jev 过滤任务、砍决策成本,先把触发器修好再谈通宵跑。
"先把触发器修好"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是路子真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在循环里看产品怎么被自己喂大。两头都在提醒同一件事,喂 prompt 的人迟早会被系统替代。
"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把 prompt 这活儿交给系统。90% 的工程师已经搭了这种系统,说明写 prompt 这件事正在从手艺变成基建;谁还在手写,谁就是在跟基建抢饭碗。Loop engineering 这套东西,装上容易,跑顺靠的是把触发器和成本这两头都摁住。
我留的疑问有三处。那 30 分钟的具体步骤没给;90% 这个比例的口径没说;Jev 过滤任务的实际效果没测,这些都在引文里才看得到。
这周搭一个最简单的自 prompt 循环,跑一周看看它自己修对了几个错。
OpenAI 半年模型没变强,只变贵,用户被逼着开第二家救场。
要点照录。跟半年前比,模型能力没觉得变强,价钱倒是一个劲往上走。当初肯掏 $200 开会员,图的是能同时跑五个 session;现在连一个 session 都撑不住周额度。如今为了所谓的 long horizon,把 TPS 压到 20,速度拖慢,用户拿到手的就是这样的模型。
Claude Code 额度见了底,让 GPT 接了个 refactor 活儿,删影响功能的代码、改 naming convention,10 个小时没交差。没法子,再开个 opencode go,让 ds v4..1 flash 顶上救场。上个月还能退钱,这个月政策就变脸了。
"只能再开个 opencode go 救场"这半句是场重心。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在账单里看产品怎么被用户用脚投票。模型贵不贵,得跟它干的活儿对上。
"我不这么认为"这半句我单独拎出来。20 TPS 这个数字摆在这,用户能感知的就是变慢;周额度从够用变不够,用户能感知的就是变少。能力有没有变强,跑分说了不算,得用户手里的活儿说了算。refactor 这种没难度的任务都做10个小时,就是最直接的证据。
中美国情差异很大,Token 消耗这组数据摆得清清楚楚。
要点照录。国内所有 Token 消耗份额中,AI 短剧与视频生成占了头名,拿走百分之五十五。电商和营销又占了百分之二十四。在美国列 Token 消耗第一的软件开发,在中国只有百分之十五的份额。
二零二六年前八个月,中国上线了大约四十三万部微短剧,是去年全年的十三倍,其中超过九成使用了 AI 技术。全国微短剧用户已超过八亿,二零二五年市场规模突破一千亿元。大西洋对岸美国的数据是这样的,百分之五十八的 Token 灌进了编程开发和企业自动化这两块地。
中国这边在拍短剧做广告卖东西,美国那边在写代码搞自动化。有人把这件事比作把火药做成烟花,技术是同一个,用途却分了岔。分岔的原因,写在下面那段里。技术的用途从来都是被市场喂出来的。市场往哪边拽,技术就往哪边长。
数据不说谎,它只把两边的偏好摆在桌面上。摆上桌面的,从来都不只是数字。数字背后,是无数个具体的选择在叠加。叠加起来,就是两边的差距。差距摆在眼前,躲也躲不开。
"火药做烟花"这半句是场重心。前面那份基准尺讲的是量要真,这条讲的是用途分岔。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在数据里看产品往哪流。两头都在提醒同一件事,同一个技术落在不同的土壤里,长出来的东西完全不同。
跟前面那份 Agent 教材也接得上,教材在讲模型能干什么,数据在讲人们拿它去干了什么,两头合起来才是这波浪潮的全貌。用途这东西,从来都是被市场喂出来的,市场需要什么,技术就往哪儿长。
技术不挑活儿,挑活儿的是市场。市场往哪边拽,技术就往哪边长。拽着技术跑的,从来不是技术本身。是需求,是钱,是无数双看不见的手在投票。投票这东西,从来不看技术的面子,只看用户的屁股往哪坐。
"但我不这么认为"这半句我单独拎出来。核心原因说得也直白,美国那边做 coding 能赚到实打实的钱,企业软件生态早就成型,所以 OpenAI 放着那么多 C 端用户不培养也要去和 Anthropic 争 coding 市场;但中国从头到尾都没长出像样的企业软件生态,B 端靠 coding 单打独斗很难挣到钱,指望纯 coding 在中国变现根本不现实。
再看国内的 C 端娱乐,AI 生成视频这一块尤其突出,创意视频天生传播力强,用户盘子又大,于是繁荣之下竞争也格外激烈。两边的土壤不同,长出来的东西自然不同,这组数据把这件事说透了。
土壤这东西,是长年累月堆出来的,不是一朝一夕能改的。改不了的土壤,只能就着它的性子来。就着性子长出来的货色,才是自己的。自己的货色,才配叫特色。特色这两个字,从来都是熬出来的。熬出来的东西,才站得住脚。
站得住脚的货,才轮得到被模仿。模仿的人多了,也就成了路。路多了,也就成了风景。风景看多了,人也就不慌了。不慌的人,才敢继续往前走。往前走的人,路才会越走越宽。越走越宽的路,才是自己的路。自己的路,才配叫人生。人生这条路,从来都是自己走出来的。风景看多了,人也就不慌了。
我留的疑问有三处。那组数据的统计口径没给;美国之外的对比样本没拆;AI 短剧那百分之五十五里开源模型占多少也没数,这些都在披露里才看得到。
这周把两边的用途清单并排放一排,看看自己手上的活儿落在哪一栏。