Sparrow-2

项目简介

Sparrow-2 是由 DeepMind 开发的对话式 AI 轮转模型（turn-taking model）的在线演示项目，专注于解决"实时对话中谁该说话"的判断问题。与传统针对背景噪声的语音增强方案不同，Sparrow-2 的核心假设是：对话中的轮转信号——包括语音、停顿、背景声、他人插话——比降噪更能提升语音助手在真实场景中的表现。Sparrow-2 在 TurnBench 榜单上排名第一，用户可以直接在网页上与一个 PAL（Practical AI Listener）对话，观察模型如何实时理解对话状态。

核心功能

• 实时轮转检测：模型在对话进行中持续分析对方说话状态（仍在说、已停止、等待中、插话中），并根据自身状态决定是继续说话还是保持沉默。
• 多维度信号融合：同时处理语音活动检测（VAD）、双讲检测（double-talk）、背景噪声估计和房间声学特征，综合判断当前是否适合发言。
• 可观测的决策过程：网页演示界面实时显示模型对每一帧音频的判断结果，包括声道状态（安静/说话中/双讲）、房间噪声等级、轮转计时器状态等，用户可以清晰看到模型"在想什么"。
• PAL 可视化：Practical AI Listener 以可视化形式展示其对对话的理解层级，包括"等待语音信号""检测到语音""正在处理""等待 PAL 回复"等状态。
• 低延迟设计：轮转决策延迟控制在 2 秒以内，保证对话流畅性和自然感。

技术实现

Sparrow-2 的技术架构围绕"对话状态机"设计：每个时刻模型维护一套对话状态（谁在说话、是否有人想插话、当前沉默多久、房间内是否有其他人声），输入音频帧后更新状态并决定输出动作（继续沉默、开始说话、发出 backchannel 如"嗯""啊"、或主动插话）。轮转策略通过大规模对话数据微调，训练目标是最小化"不该说话时说话"和"该说话时沉默"两类错误的加权损失。

模型的语音处理管道为：麦克风输入 → 短时傅里叶变换 → 频带能量特征 → VAD → 双讲检测 → 房间估计 → 轮转状态更新 → 动作输出。每一步延迟均控制在语音感知的可接受范围内（< 200ms），整体端到端延迟 < 2s。

快速上手

1. 打开演示页面：访问 https://sparrow2.tavuslabs.org/，点击"Start"按钮授权麦克风权限。
2. 开始对话：对着麦克风说话或保持沉默，观察页面中央的 PAL 可视化区域如何实时更新对话状态。
3. 观察轮转信号：注意当用户停止说话后，Sparrow-2 如何判断"对方已说完"并进入等待状态；当用户沉默时，PAL 如何决定是继续等待还是发出 backchannel。
4. 测试插话场景：尝试在对方还在说话时开始说话，观察模型是否识别出双讲（double-talk）并做出相应处理。
5. 查看技术指标：页面底部实时显示 backchannel 次数、插话次数、噪声估计值等数据，供技术研究人员分析模型行为。

适用人群

• 语音 AI 研究人员，关注对话轮转和语音活动检测的最新进展。
• 语音助手开发者，评估 Sparrow-2 作为轮转模块接入现有系统的可行性。
• 对人机对话自然度感兴趣的技术爱好者，体验"真正听懂对方说话"的 AI 与传统基于 VAD 的方案有何不同。