YuE简介
YuE2 是一个开源的音乐生成模型：输入歌词和风格描述，它就能自动生成包含旋律、和弦、人声与伴奏的完整歌曲。与传统 AI 音乐生成中的“黑盒”不同，YuE2 会先生成可编辑的符号化乐谱（ABC 格式），创作者或 AI Agent 可以在渲染音频前对旋律和和声进行审查与修改。
在 WildSongBench 基准测试中，YuE2 的表现已经与 Suno v5/v6 这类顶尖商业产品相当。它还支持零样本翻唱，也就是把已有录音转录为乐谱后，再用新风格重新演绎；同时支持基于对话的交互式音乐编辑。对专业音乐制作和 AI 辅助创作来说，这套开源方案提供了很高的可控性。
亮点特性
01 白盒化符号规划
生成音频前，YuE2 会先输出可读、可编辑的 ABC 格式乐谱，让旋律与和弦也能被精确控制。
02 前沿生成质量
3B 参数量的开源模型，在 WildSongBench 评测中综合得分超越 Suno v5/v6 等闭源商业模型。
03 多模态工作流统一
同一个模型权重原生支持从零创作、零样本翻唱到基于 Agent 的交互式编辑三种场景。
04 完整的生态组件
配套开源了 SOTA 级别的音乐理解模型 MERT2 和音频转乐谱模型 SheetSage2。
05 Agent 技能集成
提供标准化的 SKILL.md 技能包，可直接让大语言模型调用其进行复杂的音乐迭代编辑。
使用场景
场景 1：独立音乐人或内容创作者通过输入歌词和风格提示词，快速生成带有完整编曲和人声的歌曲 Demo。
场景 2：利用 SheetSage2 将现有录音转录为乐谱，结合 YuE2 将其改编为爵士、流行等不同风格的全新翻唱版本。
场景 3：将 YuE2 作为 Agent Skill 接入大语言模型，通过自然语言对话反复修改歌曲的和声、旋律或配器并实时试听。
使用环境
| 项目 |
要求 |
| 操作系统 |
Linux 操作系统 |
| 编程语言 |
Python 3.12 |
| GPU要求 |
NVIDIA GPU（支持 BF16，至少 24GB VRAM） |
快速上手
环境要求
- Linux 系统，Python 3.12
- NVIDIA GPU（需支持 BF16，至少 24GB 显存）
安装步骤
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
命令行快速生成
python examples/generate.py --output outputs/first-song
# 生成完成后查看 outputs/first-song/audio.flac
Python API 核心用法
import json
from pathlib import Path
from yue2 import YuE2Pipeline
request = json.loads(Path("examples/song.json").read_text(encoding="utf-8"))
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
song = pipe(**request)
song.save_artifacts("outputs/my-song")
核心参数说明
cot="full"：默认模式，生成可编辑的旋律与和弦计划后再合成音频。cot="melody"：仅使用旋律计划，伴奏自由发挥，推荐用于翻唱。cot="off"：跳过乐谱规划，直接从歌词和风格生成音频。abc=...：传入自定义的 ABC 格式乐谱文件进行条件生成。
替代方案
对比 1：Suno / Udio
目前最流行的商业闭源 AI 音乐生成平台，开箱即用且音质极佳，但无法本地部署，也不支持乐谱级别的白盒编辑。
对比 2：MusicGen (Meta)
Meta 开源的音乐生成模型，擅长纯乐器音频生成，但不具备 YuE2 的人声合成能力和符号化乐谱规划机制。
对比 3：ACE-Step
同为开源音乐生成项目，但在 WildSongBench 的综合评测指标上显著低于 YuE2，且缺乏完善的翻唱与 Agent 编辑链路。
相关资源
发表于 3 天前
|
查看: 4|
回复: 0
