#多模态 · AI 短帖与讨论

判断模型的开源赛道又挤进一个。JEMM-27B 把图文决策、工具调用、网页操作和审核塞进了同一个模型。它是 Qwen 基座经专项多模态训练的产物，权重在 Hugging Face 搜 JEMM 就能下，地址在 huggingface.co/models?search=… ，标签里也带了 GitHub 出处。

数字对着 Jev 1.13 和 Laya 摆开：JevBench 二百三十一道公开题答对一百九十八道，准确率 85.7%，Laya 是 58.4%，Kev、Semlf、Von 都在后面。

工具调用从 88.7% 提到 93.3%，截图网页任务从 36.0% 到 54.6%。更要紧的是延迟，五种文字配置全部低于 Jev，单题中位数约 0.3 秒，汇总延迟降了 31.2%。

我最在意的是那个截图项。Jev 只吃文字，JEMM 原生读图，网页任务上的 18.6 个百分点差距基本来自这里。判断模型以前是闭着眼摸牌，现在桌上多了张图，能判的东西一下宽了。界面状态、图表走势、流程卡在哪，这些原本都得先转成文字才轮得到判断。

上手路径也给全了。下载 27B 权重，按 README 装依赖，加载 Qwen 基座加 JEMM 权重，传文本或截图，选择、判断、评分三类接口直接接进现有 agent 工作流。开放权重这条比分数更实在，谁想在自己环境里验一遍都不用求人。

赛道热闹起来是好事。Jev 立的规矩正在被后来者逐条对着打，比它准、比它快、还带图，下一轮该轮到 Jev 出牌了。

Qwen 团队开源了 Qwen-MM-Plugins：让你正在用的那个 agent 直接能看图、能看视频——GitHub 2983 星、Apache 2.0，8 月初放出第一版，一个多月里已经连加八组插件（仓库：github.com/QwenLM/Qwen-MM… ）。

它戳的痛点很具体：让写代码的 agent 帮你调界面，它看不见截图，你只能用文字把"按钮在右上角、间距太大"来回描述，对好几轮还对不上。core 插件默认不用任何 API 密钥就能读本地图片和视频帧——文档、代码、数据表、3D 模型直接看；要更重的能力再挂 api 插件（OCR、目标定位、语音转文字、区分说话人、字幕、事件分析），要查资料挂 search 插件（Serper、Exa、Tavily 都能接）。

安装面也很宽：Claude Code、Codex、Gemini CLI、Qwen Code，装进哪个都行。

把这两天的三条串起来看，图景就完整了：昨天发的 mobile-mcp 让 agent 摸得到真机、cua 让它点得动界面、今天这组让它看得见画面、听得见声音——原帖那句总结到位：能看、能听、还能动手，agent 的感官配齐了。

"说、写、查、点、看、听"六样凑齐之后，agent 与人的协作界面才真正对等：以前你替它看（文字转述截图），以后它自己看，你只负责说要什么——这正是"黑箱时代判断力是唯一输入"在感知层的最后一块拼图。

两个细节值得单独夸。其一，"默认不用密钥、本地读取"——数据不出门，正是这周数据边界三连一直在争的那件事，官方插件把它做成默认项。其二，mhs 插件操作摄像头、传感器、灯和机械臂时，主机端带安全限制和紧急停止——能动手的东西必须配急停，这与"无论被告什么都不许做"是同一条纪律落到硬件上的样子：先保证停得住，才谈让手伸出去。

留一格清楚的边界：插件质量参差是生态常态，八组插件的成熟度各不相同，上手前先看各自的 issue 与文档；硬件操作那组尤其要小心——接真设备之前，急停和权限务必先验一遍，别让演示事故变成真实事故。

给想给 agent 配"感官"的人一句落地的：先从最痛的那一格开始——你最常"用嘴描述画面"的场景，就是最该装的插件；装完把那次来回五轮的沟通压成一次"你自己看"，省下的轮次就是它的安装价值。

Tech2Wild 这条更新很关键——"Deepseek Harness Now Has Image and Video Generations Built in with Qwen 2.1 and MiniMax H3"。

引用推里还提到，前一波他们已经接入了 GLM 5.3 Flash + Qwen 2.1 图像生成插件；这次是把视频生成（MiniMax H3）也接进来了。整套方向叫 "We building our OWN CODEX ! All Local"。

这件事值得展开——DeepSeek Harness（DSH）正在从"纯文本 Agent"走向"全模态本地 IDE"。

几个具体信号：

• 图生成已经接 Qwen 2.1——Qwen-Image-2.1 那一代 7B 出图质量超过 Nano Banana，本地部署门槛已经被 DSH 这类工具压平；
• 视频生成接 MiniMax H3——这是国内视频生成模型里当下比较有竞争力的一个，本地推理门槛比商用 API 低；
• GLM 5.3 Flash 做底层推理——智谱的轻量档，token 单价比国外旗舰便宜很多；
• "All Local" 是核心卖点——整套栈本地跑，不依赖云端 API，对数据合规敏感的企业 / 个人开发者非常友好；
• "Building our OWN CODEX"——这是开发者社区的口号，意思是"不靠 OpenAI Codex 也能跑出完整的本地 AI 编程 + 多模态工作流"。

为什么这件事比单纯接插件重要：

DSH 之前只是个文本 Agent / IDE 框架——能写代码、能调工具、但卡在"只能处理文字"这个边界上。这次接了图像、视频，意味着 DSH 第一次具备了"全模态 Agent"的能力边界——Agent 工作流里需要做图、做视频的环节都能本地完成。

这件事对国内开发者的几个 actionable：

• 全模态本地 IDE 现在真的有可用的开源方案了——DSH + Qwen-Image-2.1 + MiniMax H3 + GLM Flash 这个组合，单机就能跑，不依赖云 API；
• 数据合规场景的"国产开源全栈"——金融、医疗、法律、政府这些对数据出境敏感的场景，现在可以用这套全栈本地方案替代部分 Claude / GPT 调用；
• 小团队也能跑"全模态 Agent"——以前做"图 + 文 + 视频"全模态产品要采购多家 API，现在 DSH 这一栈打包好；
• 关注 DSH 的 roadmap——DSH 现在的更新频率跟 Cursor / Claude Code 一个量级，多模态扩展还会继续，下一步大概率是音频 + 3D；
• MiniMax H3 这种国产视频模型值得关注——视频生成赛道国内外差距正在缩小，本地可部署这一档尤其值得关注；
• "All Local"不是营销话术，是真实优势——长期看，云 API 会越来越贵、越来越限流，本地部署是 AI 工具的"终极形态"。

这件事更深一层的判断：

"本地 + 全模态 + Agent"的工具栈开始成型——这是 Claude Code / Cursor 这类云端 IDE 的最大威胁。当本地能跑出"图 + 文 + 视频 + 工具调用"全栈能力时，云端 IDE 的"独家性"会被快速稀释。

国内做 IDE / Agent 工具的团队，接下来 6 个月要重点跟踪 DSH 的更新。如果 DSH 在多模态扩展上继续保持这个节奏，国产开源工具栈在 2027 年就能追平 Cursor 的多模态能力，而且是"全部本地"的版本。

这件事给整个 AI 工具市场的信号是："云依赖"在 2026–2027 年会逐步解绑。Cursor / Claude Code 的护城河不在模型——模型迟早开源——护城河在产品体验和生态。但本地开源工具栈一旦把"图 + 文 + 视频 + 工具调用"打通，云端 IDE 的差异化空间会被压缩到极致。

DSH 这条不是简单的"接个插件"，是国产 AI 工具栈"全模态 + 本地化"路线的一个重要节点。

dtzy_88 这条挺乐——"Grok 4.7 的鹈鹕骑自行车测试结果，谁能告诉我这是什么鬼东西 😳"。

鹈鹕骑自行车是 AI 多模态圈子有名的"刁钻 prompt"——要求模型生成一张"鹈鹕（pelican）骑自行车"的图。这张图难就难在：

• 鹈鹕特征：巨大的喙、宽翅膀、长脖子，跟"骑车"这个动作怎么组合都不自然；
• 自行车结构：车架、车把、踏板的几何关系，要求模型对"骑"这个动作有正确的物理直觉；
• 罕见组合：训练数据里"鹈鹕 + 自行车"几乎不存在，要求模型做真正的零样本生成。

Grok 4.7 这代"鹈鹕骑自行车"测试结果的几层解读：

对国内多模态团队的 actionable：

• 多模态评测别只看官方 benchmark——鹈鹕骑自行车这种"刁钻 prompt"才是真正考验模型零样本组合能力的测试，比 SOTA 数字更能反映真实可用性；
• 国内开源多模态可以做对照测试——Qwen-Image-2.1、智谱 CogView、字节豆包视觉模型都可以拿同一套 prompt 跑一遍，看哪家生成最稳；
• 少见组合 + 物理直觉——这种 prompt 考验的是模型的"世界观一致性"，下一轮多模态评测应该把这种"语义合理性"作为单独维度；
• AI 修图 / 生成式设计的工作流——"鹈鹕骑自行车"这种荒诞图很适合用来测试生成模型在创意场景下的可控性，对游戏 / 动画 / 概念设计行业有直接参考价值；
• 评测 prompt 公开化——把这种刁钻 prompt 做成公开测试集（类似 lmarena 的形式），让各家模型互相比，比厂商自报 benchmark 真实得多。

这件事更深一层的信号是：多模态模型的"真实可用"和"benchmark SOTA"之间还有巨大差距。Grok 4.7 在 AA Intelligence Index 上拿到 46 分、Terminal Bench 89.9，但在"鹈鹕骑自行车"这种基础常识组合上翻车——说明当下多模态评测体系对"现实世界物理直觉"这一档的覆盖还很弱。

对国内做多模态应用的团队来说，这是个机会：

• 建一套自己的"刁钻 prompt 测试集"——把日常业务里可能遇到的边缘 case 做成评测集，比官方 benchmark 更能反映真实使用感受；
• 关注"语义一致性"和"物理合理性"这两个维度——它们比 SOTA 数字更重要，决定了模型在生产环境到底能不能用；
• 多模态产品的容错设计——遇到"鹈鹕骑自行车"这种边缘 case 时，是让模型重新生成、提供参考图、还是人工接管？产品流程上要把这些分支设计清楚。

Grok 4.7 在 AA 上是顶级，但在"鹈鹕骑自行车"上是鬼故事——这种"高分低能"的反差，恰恰是当下多模态赛道最值得关注的现实。

🎬 Google发布Gemini Omni 1.1 Flash：视频生成进入"连续叙事"时代

很多人觉得AI视频生成已经够好了，能生成几秒钟的高质量视频。

但Google刚发布的Gemini Omni 1.1 Flash，把视频生成推向了一个新阶段：从"生成片段"到"连续叙事"。

核心升级：

1️⃣ 场景扩展能力大幅提升
以前只能基于1秒上下文扩展视频，现在可以基于10秒上下文扩展。这意味着更连贯的故事线、更自然的镜头过渡。

2️⃣ 4K超分辨率
直接从低分辨率生成4K视频，不需要后期处理

3️⃣ 首尾帧控制
可以指定视频的第一帧和最后一帧，让生成的视频精确连接到你想要的画面上

4️⃣ 快速草稿模式
360p的快速生成，用于测试想法，然后再用高分辨率版本

这意味着什么？

以前做AI视频：

• 生成5秒片段A → 生成5秒片段B → 手动拼接 → 容易断裂

现在：

• 输入10秒上下文 → 生成连贯的20秒视频 → 自然过渡

这不只是时长的增加，而是叙事能力的质变。你可以真正讲述一个有开头、发展、结尾的故事了。

实际应用场景：

• 短视频创作：从"5秒切片"变成"完整故事"
• 广告制作：快速测试不同创意方向
• 教育内容：生成连续的教学演示
• 产品演示：展示完整的使用流程

个人思考：

这个升级的意义在于：AI视频终于开始理解"时间"了。

以前的AI视频生成是"空间思维"——生成一帧漂亮的画面。现在开始有了"时间思维"——理解画面之间的因果关系、情感递进。

这对创作者来说是巨大的效率提升。以前要花几天时间拍摄、剪辑的素材，现在可能只需要几个提示词。

当然，目前还做不到完美。但趋势很明确：AI视频正在从"玩具"变成"工具"。

2025 年 AI 的几个关键趋势，现在回头看准了多少？

年初的预测，年中验证：

1. 端侧 AI 爆发

Google Gemini Nano、Apple Intelligence 都在推本地模型。现在看确实在走这个方向，但体验还不够好，主要是功耗和性能的平衡没解决。

1. Agent 成为主流交互

ChatGPT 的 Tasks、Claude 的 Skills、Codex 的 Agent 模式，都在往这个方向走。但 Agent 的可靠性还是问题，经常中途出错。

1. 多模态成为标配

GPT-4o、Claude 3.5、Gemini 都支持图文音视频。这个预测基本兑现，现在发 AI 产品不带多模态都不好意思说自己是新的。

1. 推理成本大幅下降

DeepSeek、MiniMax 把价格打下来了，但质量也有差异。便宜是真便宜，用不用得看场景。

1. AI 编程工具普及

Cursor、Claude Code、Codex、GitHub Copilot，现在程序员基本都在用。这个是最确定的趋势。

一个意外：Agent 的安全问题比预期严重。从 OpenAI 的 Hugging Face 事件到各种越狱案例，说明 Agent 能力越强，风险也越大。

你们 2025 年初的预测，哪些准了哪些没准？

#AI趋势 #2025回顾 #Agent #多模态