LiveAvatar：开源实时流式虚拟人视频生成框架，支持无限长度交互式生成

一、LiveAvatar是什么

LiveAvatar是一款专注于实时、流式、无限长度交互式虚拟人视频生成的开源框架，由阿里巴巴集团、中国科技大学、北京邮电大学及浙江大学联合研发并开源。该框架突破了传统虚拟人视频生成“长度有限、延迟高、交互性弱”的痛点，以音频为核心驱动源，结合算法优化与系统级设计，能够生成高帧率、低延迟、超长时长的虚拟人视频内容。

从定位来看，LiveAvatar并非单一功能的工具，而是一套完整的虚拟人视频生成解决方案——既支持开发者基于核心代码进行二次开发，也提供开箱即用的Gradio Web UI，让非技术人员也能快速体验虚拟人视频生成能力。其核心目标是解决交互式场景下（如虚拟主播、在线客服、实时互动娱乐）虚拟人视频生成的“实时性”和“连续性”问题，填补了现有开源方案在长时长、流式生成领域的空白。

二、功能特色

LiveAvatar的核心优势集中在“实时性、连续性、泛化性、高效性”四大维度，具体功能特色如下表所示：

除上表核心特性外，LiveAvatar还具备以下细节优势：

1. 音频驱动精准：基于音频特征精准匹配虚拟人口型、表情，生成的视频口型同步率高，无“违和感”；

2. 轻量化部署：支持模型权重按需加载，针对不同硬件环境（单/多GPU）做了针对性优化，无需超大规模算力集群；

3. 开源协议友好：采用Apache License 2.0协议，允许商业使用，仅需保留版权和许可声明，适合企业级落地。

三、技术细节

LiveAvatar的技术架构围绕“长时长流式生成”核心目标设计，整体分为“输入层、模型层、推理层、输出层”四大模块，以下从核心技术点展开解读：

3.1 核心模型基础

LiveAvatar的生成模型基于Wan2.1/2.2版本扩散模型修改优化，核心参数规模为14B，是兼顾生成质量与推理效率的平衡选择。扩散模型本身具备生成视频质量高的优势，但传统扩散模型存在“采样步数多、推理慢、长序列生成难”的问题，LiveAvatar针对这些痛点做了两大关键优化：

• 分布匹配蒸馏：将原始扩散模型的采样步数从数十步蒸馏至仅4步，在损失极小生成质量的前提下，大幅提升推理速度，为实时生成奠定基础；

• 时间步强制流水线并行：将采样过程的时间步拆解为并行任务，在多GPU环境下可充分利用算力，进一步降低推理延迟。

3.2 无限长度生成核心：Block-wise自回归处理

传统虚拟人视频生成受限于显存和计算资源，只能生成固定长度的视频片段，拼接时易出现画面断层、动作不连贯等问题。LiveAvatar采用“Block-wise自回归处理”方案解决该问题：

1. 将超长视频序列拆解为若干个固定长度的“Block”（块），每个Block作为独立的生成单元；

2. 生成当前Block时，利用上一个Block的末尾特征作为上下文信息，保证前后内容的连续性；

3. 通过自回归方式逐块生成，理论上可无限扩展视频长度，且块与块之间无明显拼接痕迹；

4. 针对Block切换时的过渡帧做了平滑处理，确保动作、表情的自然衔接。

3.3 实时流式推理架构

为实现20 FPS的实时流输出，LiveAvatar的推理架构做了针对性的流式优化：

• 输入流式处理：音频输入以流式片段（如200ms/段）传入模型，无需等待完整音频；

• 输出流式拼接：模型逐帧生成视频内容并实时输出，前端可直接播放，无需等待完整视频生成；

• 显存优化：采用特征复用、梯度检查点等技术，降低单帧生成的显存占用，确保单GPU（80GB）也能支持实时推理。

3.4 辅助技术模块

LiveAvatar在核心生成能力之外，还内置了多个辅助技术模块，保障生成效果和易用性：

• 人脸检测模块：精准定位虚拟人面部特征，确保口型、表情生成的准确性；

• 同步网络模块：对齐音频节奏与虚拟人动作，避免出现“口型快于声音”或“声音快于口型”的问题；

• FVD评估模块：量化评估生成视频与真实视频的相似度，为算法调优提供数据支撑；

• 配置管理模块：通过统一的配置文件管理模型参数、推理参数、场景参数，便于开发者灵活调整。

3.5 硬件适配

LiveAvatar针对不同算力环境做了适配，具体硬件要求如下：

四、应用场景

LiveAvatar的核心能力（实时、超长时长、交互式）使其适配多类虚拟人落地场景，具体包括：

4.1 虚拟主播/数字人直播

在电商直播、娱乐直播、知识科普直播等场景中，LiveAvatar可实现：

• 基于主播的实时语音（或提前录入的音频）生成虚拟人直播画面，支持7×24小时不间断直播；

• 低延迟响应观众互动（如弹幕点歌、问答），虚拟人口型、表情实时匹配语音，提升直播交互感；

• 适配卡通、真人等不同风格的虚拟主播形象，无需重新训练模型，快速切换直播人设。

4.2 在线智能客服

在金融、电商、政务等领域的在线客服场景中，LiveAvatar可：

• 基于客服语音回复生成虚拟人视频，替代传统的文字/语音客服，提升用户体验；

• 支持超长时长的客服对话（如复杂业务咨询），视频生成无时长限制，全程保持画面连贯；

• 适配不同行业的虚拟客服形象（如政务客服、电商客服），满足行业个性化需求。

4.3 实时互动娱乐

在元宇宙、虚拟社交、游戏等娱乐场景中，LiveAvatar可：

• 基于用户的语音输入实时生成虚拟形象视频，实现“语音驱动虚拟人互动”；

• 支持歌唱、聊天、游戏解说等多样化互动形式，虚拟人动作、表情随语音动态变化；

• 结合TTS（文本转语音）技术，可实现“文字输入→语音生成→虚拟人视频生成”的全流程自动化。

4.4 教育/培训场景

在在线教育、企业培训等场景中，LiveAvatar可：

• 基于讲师的音频课件生成虚拟人授课视频，支持超长课时的连续生成，无片段拼接痕迹；

• 适配不同学科、不同风格的虚拟讲师形象，提升课件的趣味性和吸引力；

• 支持实时互动授课，虚拟讲师可响应学生的提问，口型、表情同步匹配解答语音。

4.5 内容创作工具

对于自媒体创作者、短视频博主等群体，LiveAvatar可作为轻量化的内容创作工具：

• 基于音频脚本快速生成虚拟人短视频，无需拍摄、剪辑，降低创作成本；

• 支持无限长度的视频生成，可创作长剧情、长解说类内容；

• 提供Web UI操作界面，非技术人员也能快速上手。

五、使用方法

LiveAvatar提供了“开发者二次开发”和“普通用户快速使用”两种使用路径，以下分步骤说明：

5.1 环境准备

无论哪种使用路径，首先需完成基础环境配置：

5.1.1 硬件要求

• 推荐配置：5×H800 GPU（多GPU推理）或单张80GB显存GPU（单GPU推理）；

• 最低配置：单张80GB显存GPU（需关闭部分优化，推理速度略有下降）。

5.1.2 软件环境

• 操作系统：Linux（Ubuntu 20.04及以上）；

• Python版本：3.8~3.10；

• 依赖库：PyTorch 2.0+、CUDA 11.7+、Gradio 3.0+、OpenCV、FFmpeg等。

5.1.3 环境安装

1. 克隆仓库：

git clone https://github.com/Quark-Vision/LiveAvatar.git
cd LiveAvatar

2. 安装依赖：

pip install -r requirements.txt

3. 下载模型权重： 模型权重托管在Hugging Face，需下载后放入指定目录：

mkdir -p models/weights
# 下载地址：https://huggingface.co/Quark-Vision/Live-Avatar
# 将下载的权重文件放入models/weights目录

5.2 普通用户：Gradio Web UI使用

LiveAvatar提供了开箱即用的Gradio Web UI，无需编写代码即可使用：

5.2.1 启动Web UI

• 多GPU启动：

bash gradio_multi_gpu.sh

• 单GPU启动：

bash gradio_single_gpu.sh

5.2.2 操作步骤

1. 启动脚本后，终端会输出Web UI的访问地址（如http://localhost:7860）；

2. 打开浏览器访问该地址，进入操作界面；

3. 选择虚拟人形象（支持自定义上传角色素材）；

4. 上传音频文件（或实时录制语音）；

5. 点击“生成视频”按钮，即可实时查看生成的虚拟人视频；

6. 生成完成后，可直接下载视频文件。

5.3 开发者：二次开发与自定义推理

开发者可基于LiveAvatar的核心代码进行二次开发，核心目录结构如下：

LiveAvatar/
├── minimal_inference/ # 快速推理与演示代码
│  ├── batch_eval/   # 批量评估脚本
│  ├── gradio_app/   # Gradio Web UI代码
│  └── stream_infer/  # 流式推理示例
├── liveavatar/     # 核心代码目录
│  ├── configs/    # 配置文件（模型、推理、场景）
│  ├── models/     # 模型实现（基于Wan2.1/2.2修改）
│  └── utils/     # 工具类（FVD评估、人脸检测等）
├── gradio_multi_gpu.sh # 多GPU启动脚本
├── gradio_single_gpu.sh # 单GPU启动脚本
└── requirements.txt  # 依赖清单

5.3.1 自定义模型参数

修改liveavatar/configs/model_config.yaml文件，可调整模型采样步数、参数规模、推理精度等：

model:
 name: "wan2.2_modified"
 params: 14B
 sample_steps: 4 # 采样步数，默认4步
 precision: "fp16" # 推理精度，可选fp16/fp32

5.3.2 自定义流式推理逻辑

参考minimal_inference/stream_infer/stream_demo.py，可自定义流式输入/输出逻辑：

from liveavatar.models.stream_generator import StreamGenerator
from liveavatar.utils.audio_processor import AudioProcessor

# 初始化生成器
generator = StreamGenerator(config_path="liveavatar/configs/infer_config.yaml")
# 初始化音频处理器
audio_processor = AudioProcessor()

# 流式音频输入（模拟实时音频流）
audio_stream = audio_processor.load_stream("live_audio.wav", chunk_size=200)
# 流式生成视频
for audio_chunk in audio_stream:
  video_frame = generator.generate_frame(audio_chunk)
  # 实时输出/保存视频帧
  generator.save_frame(video_frame, "output_stream.mp4")

5.3.3 批量评估生成效果

使用minimal_inference/batch_eval/eval_fvd.py可批量评估生成视频的FVD指标：

python minimal_inference/batch_eval/eval_fvd.py \
 --real_video_dir ./data/real_videos \
 --gen_video_dir ./data/gen_videos \
 --output_result ./eval_result.json

六、常见问题解答

Q1：LiveAvatar支持Windows系统吗？

A：目前LiveAvatar的官方部署文档仅支持Linux系统（Ubuntu 20.04及以上），Windows系统未做适配。若需在Windows上使用，可通过WSL2（Windows Subsystem for Linux）搭建Linux环境，再按照官方步骤部署。

Q2：单GPU（80GB显存）推理时，生成速度能达到20 FPS吗？

A：单GPU（80GB显存）可支持实时推理，但受硬件算力限制，20 FPS的实时生成需关闭部分非核心优化（如高分辨率渲染）。若追求更高帧率，建议使用多GPU（5×H800）部署。

Q3：能否自定义虚拟人形象？

A：支持。LiveAvatar提供了角色素材导入接口，需将自定义虚拟人形象（需包含面部特征点、动作绑定等信息）按照指定格式放入liveavatar/data/characters目录，修改配置文件后即可使用。

Q4：生成的视频有分辨率限制吗？

A：默认生成分辨率为720P（1280×720），可通过修改liveavatar/configs/infer_config.yaml中的resolution参数调整，支持480P~1080P分辨率。更高分辨率（如4K）需更大算力支持，且可能影响实时生成速度。

Q5：Apache License 2.0协议下，商业使用需要注意什么？

A：Apache License 2.0允许商业使用、修改、分发，但需满足以下条件：

1. 保留原始版权声明和许可声明；

2. 若修改了核心代码，需在分发时注明修改内容；

3. 不适用专利侵权追责（即基于该项目开发的产品若涉及专利侵权，原作者不承担责任）。

Q6：生成的虚拟人视频口型与音频不同步怎么办？

A：可通过以下方式优化：

1. 检查音频采样率是否为16kHz（官方推荐采样率）；

2. 修改liveavatar/configs/sync_config.yaml中的sync_threshold参数，调整口型同步阈值；

3. 使用内置的同步网络模块重新对齐音频与视频：python liveavatar/utils/sync_network.py --video_path ./output.mp4 --audio_path ./input.wav。

Q7：模型权重下载速度慢怎么办？

A：模型权重托管在Hugging Face，国内用户可通过镜像源（如阿里云、腾讯云的Hugging Face镜像）下载，或使用代理工具提升下载速度。

七、相关链接

• 项目仓库：https://github.com/Quark-Vision/LiveAvatar

• 论文地址：https://arxiv.org/abs/2512.04677

• 模型权重：https://huggingface.co/Quark-Vision/Live-Avatar

• 项目主页：https://liveavatar.github.io/

八、总结

LiveAvatar是一款聚焦实时流式无限长度虚拟人视频生成的开源框架，基于14B参数扩散模型并通过分布匹配蒸馏、Block-wise自回归处理等核心技术优化，实现了20 FPS低延迟实时生成、10000秒以上无限长度视频输出的核心能力，同时具备多场景泛化、单/多GPU适配、易用性强等优势；其既提供面向普通用户的Gradio Web UI，也开放面向开发者的核心代码，适配虚拟主播、智能客服、互动娱乐、教育培训等多类场景，且Apache License 2.0协议保障了商业落地的灵活性，是当前开源领域解决交互式虚拟人视频生成“实时性、连续性”问题的优质解决方案，为虚拟人技术的低成本、规模化落地提供了可行路径。