Wan-Dancer：通义万相开源的音频驱动长时长舞蹈视频生成模型

一、Wan-Dancer 是什么

Wan-Dancer 是由 Wan-Video（通义万相）团队开源的分层式长时长音乐转舞蹈视频生成框架，依托Wan2.1、DiffSynth-Studio两大自研项目搭建，遵循Apache 2.0开源协议。

传统音乐生成舞蹈AI模型普遍存在生成时长上限仅20秒、长视频人物变脸、动作重复、音乐节拍错位等缺陷，Wan-Dancer针对性提出全局规划+局部细化双层生成架构，突破时长限制，可直接根据输入音乐、人物参考图、舞蹈风格文本提示，生成超过1分钟、720P 30帧高连贯舞蹈视频，支持五大主流舞种，是当前长时序音乐舞蹈生成领域SOTA开源方案。

项目代码主体为Python（占比99.9%），配套Shell运行脚本，提供完整环境部署、两段式视频生成脚本，附带标准化舞种提示词模板，支持本地离线部署运行，同时配套学术论文、HuggingFace/ModelScope模型权重、在线演示空间等官方配套资源。

二、功能特色

1. 长时序稳定生成，突破20秒时长瓶颈
   原生支持生成1分钟以上完整舞蹈视频，全程保持人物五官、身形身份统一，无漂移、扭曲、换人问题，解决现有模型长视频崩坏痛点。

2. 音乐节拍精准对齐
   搭载时间映射RoPE嵌入技术，适配快慢节奏歌曲，舞蹈动作与音乐鼓点、旋律精准同步，不会出现动作慢半拍、节奏脱节现象。

3. 五大舞种全覆盖，多条件可控生成
   内置中国古典舞、K-Pop、街舞、拉丁舞、踢踏舞专属提示词模板，支持自定义参考人像、音乐素材、随机种子调节画面风格；同时支持音频+文本双条件控制舞蹈表现形式。

4. 双层分层生成，画质与连贯性兼顾
   分全局关键帧粗生成、局部高清细化两个阶段，先规划整首曲子舞蹈整体动线，再逐段补全细腻肢体、服饰动态，兼顾全局逻辑与局部细节。

5. 高速动作细节无损还原
   内置光流损失函数+运动速度自适应控制，针对大幅度跳跃、旋转、快速踢踏等高速动作，减少画面撕裂、模糊、拖影，完整保留裙摆、肢体动态细节。

6. 完整开源工程化部署方案
   提供一键环境安装命令、两段式运行脚本、标准化参数配置，适配Ubuntu 22.04服务器环境，配套完整依赖清单，科研、内容创作均可直接复现。

三、技术细节

3.1 核心双层分层生成架构（核心技术）

整体流程拆分为全局关键帧生成、局部时序高清细化两大独立阶段，解耦全局结构规划与局部画面渲染：

1. 全局阶段（Global）
   读取完整整首音乐音频，基于音频特征生成稀疏全局关键帧序列，统一规划全曲舞蹈动作走向、人物构图、整体风格，锁定人物身份特征，规避长时序身份漂移；该阶段扩散推理步数推荐48步，输出低分辨率全局锚点视频。

2. 局部细化阶段（Local）
   将上一步产出的全局视频作为强制锚定输入，分段填充关键帧之间的过渡画面，优化肢体、服饰细节；推理步数降低至24步，侧重高清画质修复与帧间平滑过渡，输出最终720P成品舞蹈视频。

3.2 三大核心创新技术

1. 时间映射RoPE动态帧率适配
   将音乐时间轴与视频帧位置绑定，动态调整位置编码，适配不同BPM音乐，实现节拍精准对齐，解决快慢曲统一适配难题。

2. 光流约束损失函数
   训练与推理阶段引入光流损失，约束相邻帧运动轨迹连续性，大幅降低大幅度动作下画面抖动、撕裂、跳变问题。

3. 运动速度自适应细节增强
   自动识别画面高速运动区域，提升该区域扩散采样保真度，高速舞蹈动作也能保留清晰肢体、布料纹理，避免动态模糊。

3.3 运行环境与技术栈

• 操作系统：Ubuntu 22.04

• 硬件要求：8×NVIDIA A800 80GB GPU

• Python版本：3.10.14，CUDA 12.4

• 核心依赖：Torch 2.6.0、Diffusers 0.34.0、Flash Attention 2.6.3、xfuser、librosa、moviepy等音视频、大模型加速库

• 底层基座：Wan2.1视频生成模型、DiffSynth-Studio合成框架

3.4 输出规格

统一输出720p、30fps MP4舞蹈视频，支持自定义随机种子固定画面效果，可自由调整CFG权重、推理步数控制画面创意度与清晰度。

四、应用场景

1. 短视频内容创作
   自媒体、短视频创作者输入原创背景音乐+人像照片，一键生成完整1分钟舞蹈短视频，适配抖音、快手、视频号舞蹈类内容量产。

2. 舞蹈教学辅助
   舞蹈老师输入伴奏音乐，生成标准古典舞、拉丁、街舞示范视频，用作课前示范、动作参考素材。

3. 虚拟数字人内容生产
   搭配数字人形象参考图，自动生成完整歌舞成片，降低虚拟偶像MV、舞台短片制作成本。

4. AI生成式内容科研实验
   开源完整可复现代码、论文、数据集模板，可供高校、实验室开展长时序视频生成、音频驱动视频方向学术研究。

5. 直播背景动态素材制作
   批量生成循环、长时长舞蹈动态背景视频，用于音乐直播间、舞蹈直播间背景素材。

6. 音乐可视化MV快速制作
   独立音乐人无需剪辑，上传原创歌曲即可生成配套舞蹈MV小样，快速预览音乐视觉表现。

五、使用方法

整体分为环境部署、全局关键帧生成、局部高清细化三步，全程基于Linux终端Shell脚本运行：

步骤1：环境安装

1. 克隆项目仓库，进入项目根目录

2. 创建Python虚拟环境并激活

3. 执行批量pip命令安装CUDA12.4配套Pytorch、扩散模型、音视频处理全套依赖，确保本地CUDA版本匹配12.4。

步骤2：运行全局关键帧生成脚本

执行 ./gen_video_global.sh，必填配置参数：

• seed：随机种子，固定数值可复现相同舞蹈画面

• image_path：人物参考图片路径，决定视频人物形象

• prompt_path：对应舞种全局提示词文件（5类舞蹈自带模板）

• music_path：输入伴奏WAV音频文件路径

• output_folder：全局视频输出目录

• num_inference_steps：推荐48步，控制全局动作流畅度
  执行完成后产出带完整舞蹈结构的全局锚点视频。

步骤3：运行局部细化脚本生成成品

执行 ./gen_video_local.sh，新增必填参数global_video_path，填入上一步生成的全局视频文件路径；更换对应舞种local本地提示词文件，推理步数设置24步，其余参数与全局阶段保持一致，运行完成输出720P高清完整舞蹈视频。

六、竞品对比

选取2款主流音频驱动舞蹈生成开源/商用模型做横向对比：

七、常见问题解答

Q1：运行代码最低硬件配置要求是什么？单卡3090能否运行？

A：项目官方测试环境为8张NVIDIA A800 80GB显卡，模型参数量大、长视频推理显存占用极高，单卡3090显存不足，会直接报OOM显存溢出错误，无法完整运行整套双层生成流程。

Q2：支持MP3格式音乐输入吗？

A：官方示例素材均为WAV格式，代码原生适配WAV音频，若使用MP3需要提前通过librosa转码为WAV后再传入music_path参数。

Q3：生成视频人物形象和参考图差异很大是什么原因？

A：一是CFG Scale参数设置过低，人物参考图权重不足；二是全局阶段推理步数不足48步，身份特征未锁定；三是提示词文件风格描述冲突，可调高cfg_scale、固定48步推理、使用官方配套舞种提示词模板优化。

Q4：生成超过1分钟视频出现动作重复该如何解决？

A：Wan-Dancer依靠全局完整音频规划抑制重复动作，需保证全局阶段读取完整整首音乐，不要截取分段音频；同时更换随机seed数值，可丰富动作多样性。

Q5：运行local局部脚本时报错找不到global_video文件？

A：检查全局脚本输出文件夹路径是否填写正确，文件名大小写、后缀是否匹配；确认全局脚本已完整运行完毕，未中途中断导致视频文件缺失。

Q6：CUDA版本不匹配会出现什么报错？

A：项目强制要求CUDA12.4，若本地CUDA版本不符，会出现torch、flash_attn库加载失败、GPU算子无法初始化等错误，需重装对应CUDA与配套Pytorch安装包。

八、相关链接

1. GitHub仓库地址：https://github.com/Wan-Video/Wan-Dancer

2. 论文arXiv地址：https://arxiv.org/abs/2607.09581

3. 项目主页：https://humanaigc.github.io/wan-dancer-project/

4. HuggingFace模型库：https://huggingface.co/Wan-AI/Wan-Dancer-14B

5. ModelScope模型库：https://www.modelscope.cn/models/Wan-AI/Wan-Dancer-14B

九、总结

Wan-Dancer作为通义万相推出的开源长时序音乐舞蹈视频生成框架，创新性采用全局关键帧规划搭配局部高清细化的双层生成架构，搭配时间映射RoPE、光流损失、运动自适应细节增强三大核心技术，彻底解决传统音频驱动舞蹈模型时长受限、人物身份漂移、节拍错位、高速动作模糊等行业痛点，原生支持五大主流舞蹈类型，可稳定输出一分钟以上720P连贯舞蹈视频，同时提供完整可落地的Linux部署脚本、标准化参数模板与开源商用友好协议，无论是短视频内容量产、虚拟人MV制作，还是AI视频生成相关学术研究，都能提供完整、可复现的工程化解决方案。