营销视频榜Opus领先九十三分贵十倍

营销视频榜 Opus 领先九十三分,代价是十倍的价钱。

要点照录。Code2Video-AA 上线,这是 ArtificialAnlys 对 HeyGen 的 Code2Video Bench 做的独立实现,考的是模型怎么用代码做出产品和品牌营销视频。

题量和做法摆开:114 条 design briefs,每条要求把营销需求变成一份 @HyperFrames_ 的 HTML 组合,再渲染成视频;输出之间两两比较,五个轴打分,Engagement、Prompt Intent、Composition、Temporal Consistency、Craft,各自算 Elo 再平均,得出头条那个 Code2Video-AA Elo;这活是和 @HeyGen 合作搭的。

成绩那几条:Claude Opus 5.5(max with fallback,1536)领先 93 分,但每题 $3.08,比 GPT-6.1 Sol(max,1369)贵约十倍,Sol 落后 167 分;Opus 5.5 把五个评审轴全拿下,Claude Sonnet 5.5(1443)和 GPT-6 Astra(1427)统计上并列第二;单题成本的跨度超过 300 倍,从 $0.01 到 $3.89,第四名的 GPT-6.1 Sol 每题 $0.31,比 Opus 的 $3.08 低约九成;开源权重那档落后至少 483 分,头三名是 DeepSeek V4.1 Flash(1053)、MiMo-V2.6-Flash(1052)和 MiMo-V2.6-Pro(1052),每题只要 $0.01 到 $0.08。

细节也留着:模型单次作答不带工具,HyperFrames 渲染时断网;评审是 Gemini 4 Argon(high),两两比对五个轴,总分由各轴 Elo 组合算出;超过 35,000 次裁决把 27 个模型排出 Elo,带 95% 置信区间。更多结果和示例视频在 thread 里,链接没展开。

"九十三分的领先,十倍的价钱"这半句是场重心。前面那份基准尺讲的是量是真,这条讲的是账真。跟前面那场酒吧访谈呼应,那条在小桌上谈模型即产品,这条在榜单边上看产品把质量和成本摆上了同一根轴。两头都在提醒同一件事,视频生成这行的榜单从来不能只看名次,Opus 拿满五轴是本事,一题三块和一题三毛的选择题留给了用的人。

"我不这么认为"这半句我单独拎出来。前面那份专用模型路线讲的是把自己那摊事做好,这条讲的是把"Opus 全面领先"当定论放一放。114 条营销 brief 是一条窄赛道,不代表叙事视频;Gemini 4 Argon 当裁判自己也有偏好;开源那档落后 483 分看着惨,可每题一分钱的价钱根本不在一个赛场。榜单这东西,名次是一维的,把成本那维加进去才见真章。

我留的疑问有三处。五轴的权重怎么配没在这条列出;35,000 次裁决的裁判一致性没说;HyperFrames 断网渲染会不会削弱复杂场景也没讲,这些都在 thread 里才看得到。

这周把开源那三个一分钱模型拉出来,看 483 分的差距在自己那条 brief 上差多少。

话题来源 @ArtificialAnlys 34.4K阅读 ❤️326 x.com/…↗ 已改写,非原文转载 Artificial Analysis (@ArtificialAnlys) on X Introducing Code2Video-AA, our independent implementation of HeyGen’s Code2Video Bench, which evaluates how well models create product and brand marketing videos in code Code2Video-AA tests models ac X (formerly Twitter)
32 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单