multimodal-art-projection GitHub avatar

YuE

Python
开源音乐生成模型multimodal-art-projection最近推送 2026年11月1日
多模态生成Apache-2.013.6k1,57147 issues7 天 +180

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

YuE2 是开源音乐生成模型,先写乐谱再渲染成完整歌曲,支持编辑。

YuE2 是 YuE 系列的第二代音乐生成模型,由多机构联合开发。它根据歌词和风格提示,先生成旋律与和弦的符号化计划,再渲染成带人声和伴奏的完整歌曲。相比纯音频生成,它的中间乐谱可读可改,支持零样本翻唱和通过对话编辑音乐。

推荐指数

4.0

音乐生成质量接近商业系统,且生成过程可编辑,适合想深入控制或研究音乐生成的开发者。

近 7 天

+180

新增 Star

总 Star 排名

#524

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年1月23日

核心亮点

  • 1符号化规划

    先生成旋律与和弦的乐谱,再渲染音频,过程可读可改。

  • 2前沿音质

    在 WildSongBench 上与 Suno v5/v6 竞争,最佳配置平均分 6.9632。

  • 3零样本翻唱

    可将转录的歌曲重新演绎为新风格,无需额外训练。

  • 4智能体编辑

    通过对话修改乐谱、编曲或歌词,再重新生成歌曲。

  • 5生态集成

    提供 ComfyUI 节点、在线演示和推理加速工具 YuE2-Turbo。

适用场景

  • 歌曲创作

    例如:输入歌词和风格提示,生成带人声和伴奏的完整歌曲,并检查中间乐谱。

  • 翻唱改编

    例如:上传一段录音,转录为旋律乐谱,再以新风格重新演唱。

  • 交互式编辑

    例如:通过对话要求修改某段旋律或和弦,模型更新乐谱并重新渲染。

  • 研究实验

    例如:利用开源模型和基准数据研究符号与音频联合生成。

它是怎么工作的

  1. 第 1 步

    输入条件

    接收歌词和风格提示,或参考录音、ABC 乐谱。

  2. 第 2 步

    符号规划

    模型生成旋律与和弦的符号化乐谱计划。

  3. 第 3 步

    音频渲染

    将乐谱计划渲染为包含人声和伴奏的完整歌曲。

  4. 第 4 步

    编辑迭代

    用户或智能体可检查并修改乐谱、编曲或歌词,再重新渲染。

快速上手

  1. 1

    在线试用

    无需安装,在浏览器中免费创建歌曲。

  2. 2

    本地部署

    从 Hugging Face 获取 YuE2-3B 模型,按 README 快速开始部分配置环境。

  3. 3

    ComfyUI 工作流

    使用官方文本转音乐工作流模板在 ComfyUI 中运行。

  4. 4

    智能体技能

    下载 yue2-music 技能包,配合支持的智能体生成音乐。

适合谁

  • 音乐生成方向的研究者
  • 需要可编辑音乐生成流程的开发者
  • 使用 ComfyUI 的音乐创作者
  • 想尝试翻唱或智能体编辑的开发者

不太适合

  • 只想一键生成、不关心中间过程的普通用户
  • 没有 GPU 资源或不想配置环境的用户

成熟度

  • 活跃度2026 年 11 月仍有推送,近期多次发布论文和版本更新。
  • 文档README 详细,附技术报告、arXiv 论文和基准文档。
  • 社区1.3 万星、1500 多 fork,有 Discord 和在线竞技场。
  • 上手难度提供在线演示和 ComfyUI 节点,但本地部署仍需配置模型与环境。

同类项目怎么选

  • MusicGenMeta 的纯音频生成模型,不提供符号化乐谱规划。
  • Stable Audio侧重音频生成,不支持乐谱级编辑和智能体交互。
  • Suno商业闭源服务,YuE2 开源且生成过程可检查修改。

使用前注意

  • · 采用 Apache-2.0 许可,商用前需确认模型权重和依赖的许可条款。
  • · 本地运行需要 GPU 资源,推理成本取决于硬件配置。
  • · 生成音乐可能涉及版权问题,翻唱功能需注意原始录音的授权。
  • · 项目迭代较快,接口和文档可能随版本变化。

主题标签

foundation-modelsmusic-generationhuggingfacellamaaudio-generationvoice-cloningllmsstyle-transfersaideep-learninggpt