一张公共答卷比跑分帖都硬

我不是小布丁 @xiaobuding
视频模型的好坏,终于有了大规模真人打分的公开依据。开源的人类视频偏好数据集发布。三十多万条标注,全部出自真人之手。数据资助同步翻倍到两百万美元,手笔不小。 规模够看。十五个当红的 SOTA 视频模型,在同一把尺子下排了座次。风头正劲的几家在,老牌选手也在。类目切了八块,广告、运镜、物理规律各占一席。数据集、基准和前沿图一起放出,拿来就能用。 这补的是视频线一直缺的那块底座。此前聊角色一致性、聊情绪板,说的都是怎么做出来。谁做得好,各说各话,跑分帖满天飞,却没有一张公共答卷。真人偏好量化不了,就得靠大量真人投票。三十万这个量级,才勉强够用。 我的看法是公开数据集对小团队是实打实的利好。自家评测烧钱又不专业。直接引用公共基准,省下的时间和信誉都是实的。被质疑时甩个链接,比什么解释都硬,这句我信。 想追视频模型动向的,先把这份榜存下来,下个月再看座次变化,比追单条演示视频有效得多,模型迭代快,榜单更新才是真行情。
话题来源 @datapointai 9.1K阅读 ❤️97 x.com/…↗ 已改写,非原文转载
128 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单