三家模型做同一份设计案,谁更强

有人拿一个真实工程任务考了三家模型:给 OpenCLI 做 MCP 模式的基础重构设计案。

参赛的是 Step 5 Preview(阶跃星辰这次的新模型)、Fable,和 GPT-5.6 Sol。

先说三家一致的地方

大方向没分歧:保留原有 core,外面包一层轻量的壳,同时支持 CLI 和 MCP。三家都选了这条路,说明这个解法已经收敛了 —— 差异全在细节深度上。

分歧在哪

Fable 最完整:证据最密、方案最具体、路线最可验证。它主动往更深处钻研,敢于给前瞻性的实践。还有一点作者专门拎出来讲 —— Fable 会主动否证自己的任务,他说这是很少有模型做的事,接近批判性思维。

Step 5 Preview 分层理得很清:把"CLI 形态已有的资产"和"MCP 带来的纯新增能力"拆成两块分别处理。它还主动拆解了 OpenCLI 底层 session → tab → target 的运行时动态树状结构,以及这套结构怎么映射进 MCP。作者的评价是:工程上够用,但设计上不够有前瞻性。

GPT-5.6 Sol 工程边界卡得极好,约束条件写得非常完整,还主动分析了异步和并发环境可能带来的问题。短板在于没把 CLI 和 MCP 的差距分析透 —— MCP 其实能带更多高级功能,而它的演进路径也不够清晰。

打分

  • 可执行工程决策文档:Fable 9 > Sol 7 = Step 5 Preview 7
  • 洞察与上限:Fable 9 > Step 5 Preview 7 > GPT-5.6 Sol 6.5

另一个测试

作者还让 Step 5 Preview 一次成型做了个横版卷轴射击游戏,过程一气呵成,前端像素风格也好看。他的结论是:它在前端 Coding 的长程任务上表现不错。

我的看法

这种考法比刷榜有用:给同一个设计任务、各自出方案,再按"可执行性"和"洞察力"两个维度打分。产物是一份能读的文档,好坏一眼能看出来,不像跑分那样只剩一个数字。

但要提醒两点。这套评分是作者一个人打的,样本量是 1;Fable"主动否证自己"这类表现很值得留意,可别当成稳定结论。另外原帖没有可点的链接,想做同样测试得自己搭题。

话题来源 @jakevin7 17.8K阅读 ❤️23 x.com/…↗ 已改写,非原文转载
269 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单