LiveKit Agents

LiveKit Agents 是一个开源的实时语音 AI Agent 开发框架，专为构建多模态对话代理而设计。项目脱胎于 LiveKit 旗下的 WebRTC 基础设施，后者支撑着 ChatGPT 高级语音模式等数亿次年度通话。Agents 框架让你用纯 Python 代码编写有感知能力的语音代理——它们能看、能听、能理解，并在实时对话中保持上下文。

核心功能

多模态实时对话：支持语音、视频和数据通道，Agent 可同时处理音频、视频帧与结构化数据。

300+ AI 模型集成：内置 LiveKit Inference 网关，一键接入 50+ 主流 STT / LLM / TTS 模型；通过插件体系还能额外支持 200+ 模型，包括 OpenAI 全系列、DeepGram、Cartesia 等。

原生 MCP 支持：一行代码即可将 MCP 服务器提供的工具接入 Agent 逻辑，实现 function calling 与外部工具的无缝衔接。

语义打断检测：内置基于 Transformer 的 VAD（语音活动检测）模型，精准判断用户何时说完，无需手动配置。

电话与 SIP 集成：内置电信堆栈，支持绑定电话号码接收来电，也可主动外呼，真正连接电话网络与 AI 代理。

内置调度与分发：Dispatch API 支持将终端用户路由到对应 Agent 队列，配合 autoscaling 实现生产级弹性。

全链路可观测性：每次对话的延迟、质量、Token 消耗全程记录，支持与外部监控平台集成。

技术实现

LiveKit Agents 底层基于 WebRTC 协议实现实时媒体传输，框架核心抽象为三个概念：

Agent：定义指令（instructions）和工具（tools）的业务逻辑单元，类似传统 Web 开发中的 Handler。

AgentSession：管理一次完整会话生命周期，包含 VAD、STT、LLM、TTS 的流水线编排与状态维护。

AgentServer：进程级调度器，对接 LiveKit Cloud 或自托管的 LiveKit Server，完成任务分发与 Agent 生命周期管理。

整个框架使用 Python 异步编程（asyncio），安装方式：pip install livekit-agents[openai,deepgram,cartesia]。部署时无需修改任何代码即可切换到 LiveKit Cloud 托管模式，框架会自动处理弹性扩容与全局路由。