谷歌等团队发布StreamVibe 视频助手主动开口

时间：2026年11月1日 地点：美国，谷歌主导，联合加州大学圣塔芭芭拉分校、加州大学圣克鲁兹分校、斯坦福大学、牛津大学、埃默里大学与哥伦比亚大学 人物：论文第一作者 Chengzhi Liu（刘成志）与团队共 16 位作者；报道方为德国科技媒体 The Decoder 记者 Matthias Bastian 事件详情：研究团队发布论文《StreamVibe: Proactive Video Agents for Evolving User Intent》，并同步上线项目主页。论文提出基准 StreamVibe-Bench，包含 4,100 条评测样本与 8.5 万条训练样本，覆盖显式、隐式、动态三类用户意图、共 10 个意图子类；项目主页另标注 2.05 万个标注帮助点、183.4 小时视频素材。团队据此训练主动式视频模型 StreamVibe-VL，它每秒判断一次该保持沉默还是开口，并配一套 StreamVibe-Harness 分层记忆系统，把用户意图与任务进度保存为带生命周期的持久状态。论文报告 StreamVibe-VL 在响应时机与回答质量上较现有基线提升 10.7%，StreamVibe-Harness 让主动交互表现再提升 12.3%。据 The Decoder 报道，基准标注由 Gemini 2.5 Flash 提议何时该帮忙、该说什么，再由 4 名人工评审一致通过；StreamVibe-VL 看起来建立在阿里的 Qwen3.5-9B 之上，第二阶段用强化学习让模型更克制、不频繁打断。 背景：现在的流式视频助手大多按明确指令工作，用户说水开了叫我，助手才行动。现实里用户常常只给目标，比如帮我做这些迷你果酱卷，中途还会改需求。论文把这类需求拆成三层意图：显式意图，点明触发条件；隐式意图，只给目标、助手自己判断何时介入；动态意图，执行途中新增、替换或打断要求。作者指出，现有助手有两个通病：读不出没说出口的意图，以及跟踪不住任务进度，于是重复建议、给过时建议或干脆错过节点。 影响：这是把主动式交互从演示做成可评测基准的一次尝试，过去这类产品往往只给案例视频，StreamVibe 则给出了可复现的评测集与三层意图分类，对做 Computer Use、陪伴类助手和端侧多模态的团队有直接参考价值。基准同时暴露了现役模型的短板：据 The Decoder 转述论文，视频越长，模型越难把回复时机踩准；而在若干测试上谷歌自有的 Gemini 3.8 Flash 仍高于 StreamVibe-VL，说明主动交互的难点不只在模型能力，还在记忆与调度机制。项目主页显示，代码与 Hugging Face 模型仍在内部审批中，将在 7 天内发布。 总结：StreamVibe 把 AI 什么时候该开口当成一个可测量的问题，给出了基准、模型和记忆框架三件套。10.7% 与 12.3% 两个提升数字来自论文自身实验，基线与配置不同结论可能变化。目前代码尚未放出，想复现的团队还得再等几天。对开发者而言，这套三层意图划分，以及让模型学会保持克制的训练方式，或许比分数本身更值得借鉴。 常见问题： 问：StreamVibe 是什么？ 答：谷歌等团队提出的主动式视频智能体方案，包含评测基准 StreamVibe-Bench、模型 StreamVibe-VL 和记忆框架 StreamVibe-Harness。 问：代码和模型开源了吗？ 答：项目主页显示代码与 Hugging Face 模型仍在内部审批中，将在 7 天内发布。 参考来源： 论文摘要页 arXiv 2610.34662 https://arxiv.org/abs/2610.34662 论文全文 HTML https://arxiv.org/html/2610.34662v2 项目主页 StreamVibe（作者团队官方） https://stream-vibe.github.io/ The Decoder 报道（2026年11月1日） https://the-decoder.com/google-wants-video-ai-to-understand-what-people-need-as-they-workgoogle-researchers-are-teaching-a-video-assistant-when-to-offer-help/ Hugging Face 论文页 https://huggingface.co/papers/2610.34662 alphaXiv 论文解读页 https://www.alphaxiv.org/abs/2610.34662 Papers with Code 条目 https://paperswithcode.com/paper/streamvibe-proactive-video-agents-for-evolving