ElevenLabs发布实时语音模型 首音570毫秒

时间：2026年10月20日（美东时间，美国媒体当晚集中报道） 地点：英国伦敦（ElevenLabs 总部） 人物：ElevenLabs 创始人兼 CEO Mati Staniszewski；The Decoder 作者 Matthias Bastian 事件详情： ElevenLabs 正式发布 Eleven Realtime 语音模型系列，共两款端到端语音到语音（speech-to-speech）模型：v1 Mini 与 v1 Max。 与过去几年主流做法不同，Eleven Realtime 不再采用「语音识别 → 大模型 → 语音合成」的串联管线，而是把语音识别、语音活动检测（VAD）、轮次切换（turn-taking）、大语言模型与语音合成整体端到端联合调优。官方描述其能力为边听、边想、边答，支持 90 多种语言，可调用 ElevenLabs 语音库中超过 17000 条声音，并针对停顿、打断、轮次切换等人类对话动态做了专门训练。 延迟方面，官方产品页给出的首音（time to first audio）平均时延为 v1 Max 570 毫秒、v1 Mini 620 毫秒，该口径为 Big Bench Audio 上的平均值；另有报道引用约 470 毫秒（Max）与 500 毫秒（Mini）的数字，两组口径并不一致，均属厂商侧公布。 基准分数方面，官方援引 Artificial Analysis 榜单：Big Bench Audio 语音推理得分上，v1 Max 为 98.8%，略高于 Grok Voice 3.0 的 98.5% 与 Gemini 3.8 Live Extended Thinking 的 97.7%；v1 Mini 为 75.9%。工具调用成功率方面，v1 Max 为 87.1%，v1 Mini 为 60.3%，两者相差 27 个百分点。对话动态（conversational dynamics）得分 v1 Mini 为 95.8%、v1 Max 为 94.1%，与 OpenAI 的 GPT-Realtime 2.1 大致相当；盲测的 Speech Agent Arena 中，Max 得 998 分、Mini 得 988 分。 产品定位上，v1 Mini 面向高并发、低成本的自然对话场景，例如 AI 助手、教育导师和互动角色，官方特别强调它能分辨「说完了」与「嗯嗯」这类填充音；v1 Max 则面向客服、线索筛选等需要多步推理、需在对话中途调用工具的任务。 接入方式有两条且彼此独立。一条是 ElevenLabs 平台侧的 ElevenAgents，可使用电话、网页挂件、WhatsApp 与呼叫中心等渠道，并附带知识库、护栏、测试与监控能力；另一条是独立的 Eleven Realtime API，官方称其兼容 OpenAI Realtime 的事件格式，已有集成的开发者通常只需替换 endpoint 与模型名即可迁移，但发布时仅支持 WebSocket，不支持 WebRTC，现网使用 WebRTC 的接入方需先改造传输层。计费方式为按分钟加 token 双重计费，Max 单价高于 Mini，不过官方未在发布材料中给出具体价格。 背景： 语音智能体长期受制于多段式管线在每一跳累积的延迟与错误。GPT-Live-1.1 与 xAI 的 Grok Voice 3.0 走的是同一条原生语音模型路线，ElevenLabs 此前的强项则集中在语音合成与声音克隆领域，并通过一条让 AI 克隆声音在英国上议院发言的演示展示合成质量。Realtime 补齐的正是另一半问题：声音再逼真，如果回答太慢或答错，对方仍会挂断电话。 官方称在 Artificial Analysis 的语音到语音榜单上，没有任何模型能同时做到更快且更准，v1 Max 位于图表左上角的高准确度低延迟区域。其 FAQ 表示这两款模型由 Artificial Analysis 独立评测，但整体图表与结论仍由厂商提供。 值得留意的是官方口径中的细微落差：公司发布宣传称 Eleven Realtime「半秒内开口」，而产品页列出的两个平均值 570 毫秒与 620 毫秒实际上都高于半秒。 影响： 对做语音客服与电话智能体的团队来说，最大价值其实是那 27 个百分点的工具调用差距——一次错误下单或错误改期的代价，远高于几十毫秒的延迟差异；而 OpenAI 兼容接口则把迁移成本压到了最低。相比之下，追求极致低延迟的自然对话场景，Mini 的性价比更合适。 风险提示同样明确：目前所有头部数字均来自厂商自测与单一基准，官方未披露参数量、上下文长度、训练截止时间、v1 Mini 的完整成绩与具体价格，噪声环境、口音、打断与工具调用上的第三方独立复现仍然缺位。在把真实流量切过去之前，先用自身最常见的 50 个真实问题做盲测，并记录高分位首音延迟与工具调用成功率，比看榜单更可靠。 从产业层面看，语音模型的首音时延压进半秒区间，等于让低成本实时语音交互进入直接比价的竞争阶段，OpenAI、xAI、Google 与 ElevenLabs 之间的差距被进一步抹平。 总结： ElevenLabs 用「端到端语音模型 + 双档分层」把实时语音智能体从拼装式管线推向原生模型，并在同一天把准确率与速度两条线同时摆到了桌面之上。 对开发者而言，当前最该做的不是急着换模型，而是先补齐价格与基准盲区，再决定选 Mini 还是 Max——87.1% 与 60.3% 的工具调用差距，比 50 毫秒的延迟差更值得写进选型报告。 参考来源： The Decoder 首发报道：https://the-decoder.com/elevenlabs-releases-two-new-speech-to-speech-models-designed-for-real-time-ai-conversations/ SyncAI 摘要：https://syncai.news/article/elevenlabs-releases-two-new-speech-to-speech-models-designed-for-real-time-ai-co-65b5f9 AI Digest 整理：https://www.ai-digest-1.com/news/elevenlabs-launches-eleven-realtime-speech-to-speech-models-with-sub-second-late-18495 TPS 规格与模型卡：https://tpsreport.news/news/eleven-realtime-v1-max-mini-speech-to-speech SplitFeed 独立分析：https://www.splitfeed.ai/story/elevenlabs-releases-two-new-speech-to-speech-models-designed-for-real-time-ai-co 工具导航基准对比：https://toolnavs.com/article/2725-elevenlabs-launches-eleven-realtime-470ms-to-first-response-988-on-voice-reasoni ExplainX 技术分析：https://www.explainx.ai/blog/elevenlabs-eleven-realtime-v1-mini-max-speech-to-speech-openai-compatible-api-2026 Digg 聚合与产品细节：https://digg.com/ai/p5dp4uid The Magnifier 当日汇总：https://themagnifier.ai/today