Voice-Pro：开源一站式语音识别、翻译与克隆工具

Voice-Pro：开源一站式语音识别、翻译与克隆工具

Voice-Pro 是一款基于 Gradio 的开源 Web 应用，将语音识别、翻译、配音（文字转语音）和零样本声音克隆整合在同一个界面里。它支持 YouTube 视频下载、Demucs 人声分离、Whisper 系列模型转写、100+ 语言互译，以及 F5-TTS / E2-TTS / CosyVoice / kokoro 等多种声音克隆方案。今天（2026-08-02）它位列 GitHub Trending 单日第 9 位，单日新增 star 超 50 个，是近期语音 AI 领域最热的开源项目之一。

功能与原则

Voice-Pro 的设计目标是成为 ElevenLabs 的免费开源替代品，为创作者、研究者和多语言内容生产者提供一套本地可运行的语音处理流水线。核心能力覆盖四个阶段：

• 输入处理：YouTube 视频下载 / 音频提取 / Demucs 人声分离降噪
• 语音识别：Whisper、Faster-Whisper、Whisper-Timestamped（支持 100+ 语言）
• 翻译：Deep-Translator（Google 免费端）或可选 Azure Translator API
• 语音合成：Edge-TTS（400+ voices）、F5-TTS、E2-TTS、Fun-CosyVoice3、kokoro（HF TTS Arena 第 2 名）

所有模型运行在本地，支持 NVIDIA GPU 加速（RTX 50 系列亦支持），无需云端 API 即可完成全套流程。

认可度

• GitHub Star：11.7k（截至 2026-08-02），较一个月前增长约 2k
• Fork：1.7k，社区活跃
• 今日新增：GitHub Trending 第 9 位，单日 +50+ stars
• Releases：11 个版本，最新 v4.0.0（2026-07-13）刚完成从 Miniconda/pip 到 uv 的安装体系大升级
• 技术标签：Gradio、Whisper、Voice Cloning、TTS、Speech-to-Text 等热门 AI 标签

链接

GitHub：https://github.com/abus-aikorea/voice-pro

原作者

ABUS（abus-aikorea）——韩国初创团队，运营 WeConnect 全球文化交流平台，Voice-Pro 是其将商业配音工具开源的项目，David 在 README 中表示”我们发现最好的 AI 技术，让任何人都能轻松使用”。

介绍

Voice-Pro 起源于一个商业配音 SaaS 平台，因开发团队（WeConnect）业务繁忙，2024 年底将全部代码开源免费发布。它的架构围绕 Gradio WebUI 设计，用户无需写代码即可在浏览器里完成从视频到多语言配音的全流程。

核心模块：

• Dubbing Studio：一站式完成 YouTube 下载→音频分离→字幕生成→翻译→TTS 配音，输出 WAV/FLAC/MP3
• Whisper Caption：专注字幕生成，支持 ASS/SSA/SRT 格式，词级时间戳高亮
• Translate：实时语音识别 + 翻译，支持 100+ 语言，可处理本地音频或麦克风输入
• Speech Generation：TTS 生成，支持 Edge-TTS / F5-TTS / CosyVoice / kokoro，可调语速/音量/音调

v4.0（2026-07）完成了安装体系全面重构：迁移到 uv + Python 3.12 + Torch 2.8.0+cu128，移除了 CUDA Toolkit 和 Visual Studio Build Tools 的强制依赖，GPU/CPU 自动检测，错误信息现在直接显示在 WebUI 红色提示框里。

特点

• 全本地运行，无需 API 费用：Whisper、F5-TTS、kokoro 全部在本地推理，Zero 成本即可获得商业级配音效果
• 零样本声音克隆：只需 10-30 秒参考音频即可克隆任意音色，支持韩、英、日、德、中等 9+ 语言
• kokoro TTS 加持：HuggingFace TTS Arena 第 2 名模型，音质在开源方案中名列前茅
• 企业友好：支持 Azure Translator / Azure TTS（有自有密钥时），适合受限网络环境使用
• 开箱即用的 Gradio 界面：无需命令行，浏览器即可操作，适合非技术创作者

使用方法

安装（Windows）：

# 1. 克隆仓库
git clone https://github.com/abus-aikorea/voice-pro.git
cd voice-pro

# 2. 首次运行（自动下载 uv + Python + 依赖，约 5-10 分钟）
start.bat

# 3. 浏览器打开 http://127.0.0.1:7870

Mac/Linux：将 start.bat 替换为 start.sh，其余相同。

GPU/CPU 切换：删除 installer_files/gpu_choice.txt 或设置环境变量 GPU_CHOICE=C（CPU）/ GPU_CHOICE=G（NVIDIA）。

更新：update.bat 会按 commit 的 uv.lock 精确重建环境。

使用场景与人群

• 内容创作者 / UP 主：将外语视频快速翻译配音成中文/英文，产出多语言内容
• 播客从业者：克隆自己或嘉宾的声音做多语言版本，无需反复录音
• 多语言教育工作者：快速生成带字幕和配音的教学视频
• AI 开发者：集成 Whisper / F5-TTS / kokoro 到自己的 pipeline
• 受限企业环境：使用 Azure API 替代免费 Google 翻译端，避免网络限流

输入与输出案例

案例 1：YouTube 视频翻译配音

• 输入：一条 5 分钟韩语 YouTube 视频链接，选择”翻译为中文”，使用 CosyVoice 韩语克隆音色
• 流程：yt-dlp 下载 → Demucs 分离人声 → Whisper 识别韩语字幕 → Deep-Translator 翻译 → F5-TTS 用中文配音
• 输出：中文配音 MP3 + 中文 SRT 字幕文件

案例 2：零样本声音克隆

• 输入：参考音频（10 秒英文朗读）+ 待转换文本（50 字中文）
• 流程：CosyVoice 提取参考音色特征 → 生成中文语音，保留原始音色
• 输出：中文音频，音色与参考音频高度相似（相似度主观评价 > 85%）

Voice-Pro 将过去需要商业付费的配音能力完全免费开源，是目前开源语音 AI 领域功能最完整、用户体验最友好的方案之一，值得内容创作者和技术开发者关注。

GitHub: https://github.com/abus-aikorea/voice-pro