YuE2 Skill：输入歌词就能作曲的开源 AI 音乐生成神器

Skill超级捕获手 技术创作者 2026-09-26 381 阅读

YuE2 是一个开源全曲生成模型，用户输入歌词和风格描述后，它先生成可编辑的「旋律+和弦」乐谱计划（Symbolic Planning），再将该计划渲染为完整的人声+伴奏音频。与 Suno/Udio 等纯黑盒生成工具不同，YuE2 的乐谱是明文可见的，用户或 AI Agent 可以在渲染前修改音符、和弦或歌词，实现真正的白盒化音乐创作。该项目于 2026 年 9 月登顶 GitHub Trending，5 天内从 7,021 星增长至 9,357 星，目前已达 10.3k star（截至 2026-09-26），成为 AI 音乐生成赛道增长最快的开源项目之一。

功能与原则

YuE2 核心能力是端到端全曲生成——接收歌词+风格提示，输出含主旋律、和弦编排、伴奏和声部的完整歌曲文件。设计原则是「先计划再渲染」：模型先用离散符号 token 生成一份可读的乐谱（ABC notation），用户可阅读、编辑，再交给声学解码器渲染音频。这一「白盒」设计让创作者在生成后仍有干预空间，而不是面对一段无法修改的音频黑箱。

认可度

  • GitHub Star：约 10.3k（截至 2026-09-26），近 5 天从 7,021 增至 10.3k，增速惊人
  • Trending 记录：2026-09-15 登顶 GitHub Trending 全榜，9 月 17 日在 whatstrending.ai 排名第 8
  • Benchmark 表现：在 WildSongBench 上与 Suno v5/v6 持平，SongBench Avg 得分 6.9632，为评测历史最高均值之一
  • 社区活跃：Discord 社区活跃，HuggingFace 模型下载量持续攀升

链接

GitHub 仓库：https://github.com/multimodal-art-projection/YuE

在线体验：https://yue.noizai.net/（免费，无需安装）

HuggingFace 模型：https://huggingface.co/m-a-p/YuE2-3B

原作者

项目由 M-A-P 团队（multimodal-art-projection）开发和维护，核心技术基于自研 AR-NAR MoE（自回归-非自回归混合 Transformer）架构，配合 VAE 解码器输出 48kHz 立体声音频。团队同时维护 SheetSage2（乐谱转录）、MERT2（音乐表示学习）等配套模型，形成了从乐谱分析到音乐生成的完整开源工具链。

介绍

YuE2 是第三代 YuE 模型，主打「可编辑的 AI 音乐创作」。用户只需提供歌词和一段风格描述（如「中文流行、钢琴主导、温暖女声」），模型会先自动推导出一份乐谱计划——包含主旋律、和弦走向、段落结构——这份乐谱以 ABC Notation 格式输出，任何人都能阅读和手动修改。确认乐谱后，模型再将这份「计划」渲染为完整音频。

它支持零样本风格迁移（Zero-shot Covers）：用户提供一段现有歌曲的录音，SheetSage2 会先将其转录为乐谱，用户再给出新的歌词或风格描述，YuE2 即可生成「原曲旋律 + 新歌词 + 新风格」的人声伴奏版本。整个过程不依赖任何云端 API，完全本地运行。

YuE2 还支持 Agent 化编辑——通过对话让 AI Agent 反复修改乐谱的某个段落、调整和弦走向或重写某句歌词，每次修改后重新渲染，直到满意为止。这打破了传统 AI 作曲「一次生成、不满意只能重新来」的痛点。

特点

  • 白盒音乐生成：先生成可读乐谱再渲染，用户/Agent 可在渲染前精确修改音符、和弦、歌词
  • 零样本风格迁移：用转录+重编能力实现「原曲旋律配新词新风格」，无需额外微调
  • Agent 化工作流：提供 Python API 和 yue2-music Skill，AI Agent 可通过对话迭代式修改乐谱并重渲染
  • 本地部署免费：Apache 2.0 开源代码，模型可从 HuggingFace 下载，推理无需调用任何商业 API
  • 多格式支持：输出 FLAC 音频 + 乐谱 + Semantic Token + Acoustic Latent，保留完整中间产物便于二次创作

使用方法

基础安装：

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song

Python API 调用：

import json
from pathlib import Path
from yue2 import YuE2Pipeline

request = json.loads(Path("examples/song.json").read_text(encoding="utf-8"))
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
    song = pipe(**request)
    song.save_artifacts("outputs/my-song")

Agent Skill 方式（推荐用于 AI 作曲工作流）：

# 下载 yue2-music skill
curl -L https://github.com/multimodal-art-projection/YuE/releases/download/yue2-music-v1.2.0/yue2-music.zip -o yue2-music.zip
# 解压到 Claude Code / Codex 等 Agent 的 skills 目录后，直接描述需求即可

最低硬件要求：NVIDIA GPU，BF16 支持，24GB 显存（推荐）；CPU 不可用。

使用场景与人群

  • 独立音乐人/创作者：快速生成 demo 或背景音乐，无需订阅 Suno/ElevenLabs，按次付费模式
  • 短视频/内容创作者：批量生成多语种 BGM，规避商业音乐版权风险
  • AI 应用开发者：将 YuE2 集成到音乐创作工具、有声书生产管线或游戏配乐系统
  • 研究者/音乐学习者：通过可读乐谱理解 AI 作曲逻辑，乐谱编辑功能适合教学演示

输入与输出案例

输入示例 1（文字创作）：

歌词：
秋天的风 吹过金色麦田
远方的云 带走我的思念
你曾说好 会在这片天空相见

风格：中文民谣，温暖钢琴，柔和女声，吉他伴奏，四拍子

输出：一首约 3 分钟的中文完整歌曲，包含主旋律、和弦伴奏、人声演唱，保存为 audio.flac + score.abc + semantic_tokens.bin。

输入示例 2（风格迁移）：

原始录音：[一段英文爵士录音，通过 SheetSage2 转录为 ABC 乐谱]

新歌词：
清晨的咖啡香 弥漫在空气里
城市慢慢苏醒 我在这里等你

风格：中文普通话，爵士风格，萨克斯solo，温暖女声

输出：同原曲旋律骨架，全新中文歌词 + 爵士编曲版本音频。模型在 cot="melody" 模式下会保留主旋律走向，但允许伴奏随新风格自适应调整。

YuE2 的出现标志着 AI 音乐生成从「黑箱抽奖」走向「白盒协作」——你不再只能接受或拒绝一次生成结果，而是可以像和音乐制作人讨论一样，逐段修改、迭代直到满意。对于厌倦了按字数付费和版权焦虑的创作者来说，这是一把真正属于自己的钥匙。

GitHub: https://github.com/multimodal-art-projection/YuE

评论区

0 条评论

登录后可评论。

Skill超级捕获手 381 阅读