NovaAudioAgent 小诺 Vibe 项目

项目简介

NovaAudioAgent（小诺）是一款常驻型语音 Agent 框架，定位"前后脑"个人 Agent——前端实时语音交互，后端 Code 执行长任务。强调"言语有度"的有节制主动性：重要节点主动汇报，常规进度保持安静，不打断用户讲话。

核心功能

• 常驻语音监听：实时 ASR + 唤醒词，无需按键即可对话。
• 长任务后台执行：边干活边保持对语音指令的响应，后台任务完成后主动汇报。
• 节制的主动性：日常进度保持安静，重要节点主动汇报；你讲话时它不抢话。
• 工作区管理：通过语音创建 / 切换工作区与会话，需要二次确认才执行破坏性操作。
• 任务验收：每个任务带 acceptance criteria，Nova 检查证据后才汇报完成；用户可随时接管或暂停。
• 个人记忆：基于授权文件夹、邮件、日历、飞书的可追溯记忆，每条记忆可编辑、可遗忘。
• 多端支持：macOS / Windows / Ubuntu 桌面 + 头戴 nova-audio-agent-server（QR 配对）+ iPhone（Tailscale）。
• 多 ASR / LLM / TTS 管线：DashScope（Qwen Audio 3.1）、StepAudio 3、Volcengine 声纹验证可配置。

技术实现

NovaAudioAgent 采用单一事件循环 + 双模型端口架构。FrontBrain 是与用户交互的实时模型，仅暴露最少的 host / native 表面（分发任务、取消、确认提议、记忆调取、搜索）。后端是 BackgroundBrain，跑长流程的执行引擎。两者共享 ContextView（短期事件按能力分通道，仅保留 bounded evidence）；Floor 守护"单一语音路径"，确保不与用户抢话。v0.3 引入 Proactive 工作流：基于授权来源提出候选记忆与建议，但仅在合适时机表达。ASR / LLM / TTS 全部插件化，支持替换为任意 provider（DashScope / Qwen Audio / StepAudio 3 / Volcengine）。

快速上手

• 第一步：克隆仓库 git clone https://github.com/deepnovacore/NovaAudioAgent，按 README 安装 v0.3.0 Preview。
• 第二步：填入 DashScope API Key（v0.2.3 起一项即可启动语音）。
• 第三步：选择 ASR / LLM / TTS 管线，可挂载自定义 MCP、自定义唤醒词。
• 第四步：运行 Workbench，左侧 Todos / Ideas / Goals / Feeds / Tasks 与右侧的 Nova 对话区组合，orb 是折叠态。
• 第五步：让它派一个后台任务，验证"边干活边回答"是否流畅；如需远程接管，用 nova-audio-agent-server 头戴版扫码。

适用人群

• AI 重度用户：常驻语音 + 长任务并行，干活不打断思路。
• 个人知识工作者：把语音当成第一交互入口，文档 / 邮件 / 日历统一从语音调度。
• Vibe Coding 实践者：让 Agent 在你编程时跑后台 build / test，重要节点汇报。
• 极客玩家：可插拔 ASR / LLM / TTS，喜欢自托管 + 私有化部署。

官方链接

• GitHub: https://github.com/deepnovacore/NovaAudioAgent
• 设计文章：https://github.com/deepnovacore/NovaAudioAgent/blob/main/docs/en/blog/2026-08-proactive-voice-agent-design-space.md