YuE

YuE — 开源前沿音乐生成模型，用符号规划实现可编辑的歌曲创作

项目简介

YuE 是由 multimodal-art-projection 团队开源的音乐生成模型，定位为"作曲用符号，生成用声音"。用户只需提供歌词和风格提示，YuE 即可先在符号域生成旋律与和弦计划（Score），再将该计划实现为含人声和伴奏的完整歌曲。与传统端到端音乐生成模型不同，YuE 提供了白盒可控的生成路径——乐谱阶段的每一个音符与和弦都可以被检查、编辑和重新生成，真正实现了"写什么播什么"的可控音乐创作。

核心功能

• 符号音乐规划（Symbolic Planning）：先在符号域生成旋律与和弦计划，完全白盒可读、可编辑，用户或 AI Agent 可对乐谱进行细粒度调整后再渲染音频
• 前沿音乐质量：YuE2 在 WildSongBench 评测中取得 6.9632 平均分，与 Suno v5/v6 竞争力相当，支持生成专业级歌曲
• 零样本风格转换（Zero-shot Covers）：将一首已有歌曲的录音转录为乐谱后，以全新风格重新生成，无需额外训练
• Agent 音乐编辑：通过对话方式对乐谱的节奏、配器、歌词进行迭代优化，形成人机协作的音乐创作闭环

技术实现

YuE 采用两阶段生成范式。第一阶段（Symbolic Planning）使用自回归语言模型，在给定歌词和风格描述的条件下，逐小节生成旋律、和弦进行和结构标记，构成一份完整的符号乐谱。第二阶段（Realization）将符号乐谱输入扩散 Transformer，生成 44.1kHz 高保真立体声音频。模型系列规模从 3B（YuE2-3B）到 7B+ 不等，在 MERT2、SheetSage2 等公开音乐编码器上提取的音频特征作为条件信号，确保生成结果在音色、动态和情感上逼近真实录音。

快速上手

1. 环境准备：克隆仓库后安装 Python 依赖，推荐使用 CUDA 12.1+ 环境
2. 下载预训练权重：从 HuggingFace 下载 YuE2-3B 权重（约 6GB），放入 checkpoints 目录
3. 符号规划：运行 python generate.py --plan，输入歌词和风格提示，生成符号乐谱文件（.mid/.json）
4. 音频渲染：运行 python generate.py --realize，将乐谱渲染为最终 MP3/WAV 文件
5. Agent 编辑（可选）：在代码目录下调用 / YuE 技能，通过对话描述修改需求，Agent 自动更新乐谱并重新渲染

适用人群

独立音乐制作人、AI 音乐研究者、音乐风格转换探索者、需要在游戏/视频项目中快速生成定制 BGM 的开发者。