AnyTalker：香港科技大学开源的音频驱动多人对话视频生成框架

一、AnyTalker是什么

AnyTalker是由香港科技大学（HKUST）团队研发并开源的一款专注于“音频驱动多人人说话视频生成”的技术框架。不同于传统单一人脸动画生成工具，该框架核心解决了“多人交互场景下视频生成不自然、身份切换割裂、唇形与音频不同步”等行业痛点，通过创新的多流结构设计，实现从音频输入到多身份人物自然对话视频的端到端生成。

从技术定位来看，AnyTalker属于多模态生成类AI项目，聚焦“音频-视频”跨模态转换，且专门针对“多人交互”这一细分场景做了深度优化。其底层依托深度学习模型构建，既保留了轻量化部署的可能性（1.3B模型），也规划了高性能版本（14B模型），兼顾了落地实用性与效果极致性。从使用属性来看，该项目完全开源，用户可基于源码二次开发、商用（需遵守Apache 2.0许可证），覆盖科研、商业制作、内容创作等多类使用场景。

二、功能特色

AnyTalker的核心优势集中在“多人适配、自然交互、灵活部署、可评估”四大维度，具体功能特色如下表所示：

除上述核心特色外，AnyTalker还具备“低素材依赖”的特点：无需高精度的3D人脸建模，仅需常规的人脸图片/基础视频素材，结合音频即可生成对话视频；同时，其生成的视频支持常见格式输出，可直接对接FFmpeg等视频处理工具，便于后续剪辑、合成。

三、技术细节

（一）整体架构

AnyTalker的核心架构分为“音频特征提取层、多流身份编码层、面部动画生成层、视频合成层、交互性评估层”五大模块，各模块分工如下：

1. 音频特征提取层：基于预训练的wav2vec2-base音频编码器，将输入的多通道音频（对应不同说话人）转换为高维音频特征向量，提取包括音素、语速、语调等关键信息，为唇形同步提供基础。

2. 多流身份编码层：这是AnyTalker的核心创新点，通过多流并行的身份编码网络，为每个说话人分配独立的编码分支，同时设计“交互注意力机制”，让不同身份的特征之间产生关联（模拟真人对话时的眼神、表情交互），避免多人视频中“各说各的、无互动感”的问题。

3. 面部动画生成层：接收音频特征和身份编码特征，通过生成对抗网络（GAN）或扩散模型（具体基于Wan2.1-Fun-V1.1-1.3B-InP基础模型）生成面部关键点动画，重点优化唇形、下颌、眉毛等部位的动态，确保与音频同步。

4. 视频合成层：结合utils模块的人脸检测、拼接功能，将生成的面部动画映射到原始人脸素材上，完成背景融合、多人画面布局，最终输出完整的多人对话视频。

5. 交互性评估层：即benchmark模块，通过计算“交互匹配度”（如说话人切换时机、表情呼应程度）等指标，量化评估生成视频的自然度，为模型调优提供数据支撑。

（二）核心依赖与技术栈

AnyTalker的技术栈以Python为核心，依赖以下关键技术/库：

（三）模型版本说明

• 1.3B模型：已开源，基于Wan2.1-Fun-V1.1-1.3B-InP基础模型微调，主打轻量化，可在单张RTX 3090/4090显卡上完成推理，适合中小规模场景使用；

• 14B模型：即将推出，针对多人交互的复杂场景优化，生成效果更自然，但对算力要求更高（建议双卡RTX A100或更高配置）。

四、应用场景

AnyTalker的核心能力是“音频驱动多人对话视频生成”，其应用场景覆盖多个领域，具体如下：

（一）内容创作领域

1. 虚拟主播/虚拟访谈：无需真人出镜，仅需录制音频对话，即可生成多人虚拟主播的访谈视频，降低直播、短视频制作成本；

2. 剧情类短视频生成：自媒体、内容创作者可通过音频脚本，快速生成多角色的剧情短视频，无需拍摄、仅需少量人脸素材即可完成制作；

3. 有声书可视化：将多人有声书的音频转换为可视化的多人对话视频，提升有声书的传播效果。

（二）企业/商业领域

1. 企业培训视频制作：生成多人讲解的培训视频，如“讲师+学员”的互动问答视频，无需真人反复拍摄，仅需音频脚本即可批量生成；

2. 虚拟客服/数字人交互：用于智能客服场景，生成多数字人协同解答问题的视频，提升客户体验；

3. 广告/营销视频：快速制作多角色的产品讲解、品牌宣传视频，缩短制作周期、降低拍摄成本。

（三）科研/教育领域

1. 多模态生成研究：高校、科研机构可基于AnyTalker的源码，研究多人交互场景下的跨模态生成技术，配套的评估基准也可用于学术对比实验；

2. 语言教学视频制作：生成多角色的外语对话视频，辅助语言教学，提升教学素材的丰富度；

3. 人机交互研究：用于研究“多数字人交互”的用户体验，为数字人交互设计提供数据支撑。

（四）其他场景

1. 影视前期分镜可视化：导演可将剧本的音频对话转换为多人视频分镜，快速验证剧情节奏；

2. 殡葬/纪念类视频：基于逝者的音频素材，生成与家人“对话”的视频，满足情感需求（需遵守伦理规范）；

3. 无障碍适配：为听障人士生成带精准唇形的多人对话视频，辅助唇语识别学习。

五、使用方法

AnyTalker的使用流程分为“环境搭建、模型下载、数据准备、推理生成、评估优化”五步，具体操作如下：

（一）环境搭建

1. 创建conda环境

# 创建名为anytalker的环境，Python版本建议3.9
conda create -n anytalker python=3.9
# 激活环境
conda activate anytalker

2. 安装PyTorch

建议安装适配CUDA的版本（需匹配本地显卡驱动），以CUDA 11.8为例：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 安装其他依赖

# 安装requirements.txt中的依赖
pip install -r requirements.txt
# 安装flash-attn加速库（提升推理速度）
pip install flash-attn --no-build-isolation
# 安装FFmpeg（需确保系统环境可调用，Linux可通过apt安装，Windows需手动配置环境变量）
# Linux：apt install ffmpeg
# Windows：下载FFmpeg并将bin目录添加到系统PATH

（二）模型下载

AnyTalker需下载三类模型权重，官方提供的下载方式如下（具体链接见“七、相关官方链接”）：

1. 基础模型：Wan2.1-Fun-V1.1-1.3B-InP；

2. 音频编码器：wav2vec2-base（可通过Hugging Face直接下载）；

3. AnyTalker模型：AnyTalker-1.3B（多人生成微调版）。

下载后将模型权重放入指定目录（建议在项目根目录创建models/文件夹，按“base_model/、audio_encoder/、anytalker/”分类存放），并修改wan/configs/下的配置文件，指定模型路径。

（三）数据准备

1. 音频素材：准备多人对话的音频文件（支持wav、mp3格式），建议按说话人拆分音频轨道（如audio_left/、audio_right/对应两个说话人，参考benchmark目录结构）；

2. 人脸素材：为每个说话人准备一张清晰的人脸图片（jpg/png格式）或短视频片段（mp4格式），确保人脸无遮挡、角度正；

3. 配置文件修改：在wan/configs/目录下修改模型推理配置，包括说话人数量、视频分辨率、生成帧率、唇形同步阈值等参数。

（四）推理生成

1. 单批次生成（单组音频）

直接运行app.py（项目应用入口），按提示输入音频路径、人脸素材路径，即可生成多人对话视频：

python app.py --audio_path ./input_example/audio.wav --face_paths ./input_example/face1.jpg ./input_example/face2.jpg --output_path ./output/result.mp4

2. 批量生成（多组音频）

使用generate_a2v_batch_multiID.py脚本，批量处理音频文件：

python generate_a2v_batch_multiID.py --audio_dir ./benchmark/audio_left/ --face_dir ./input_example/ --output_dir ./output/batch/ --num_speakers 2

3. 1.3B模型快速推理（脚本调用）

直接使用官方提供的shell脚本infer_a2v_1_3B_batch.sh，一键完成批量推理：

bash infer_a2v_1_3B_batch.sh

（需提前在脚本中修改音频/人脸路径、输出路径等参数）

（五）交互性评估

生成视频后，可使用benchmark模块评估交互质量：

python ./benchmark/calculate_interactivity.py --video_path ./output/result.mp4 --audio_path ./input_example/audio.wav --output_metric ./output/metric.json

脚本会输出“交互匹配度、唇形同步率”等指标，便于评估生成效果。

（六）注意事项

1. 人脸素材建议为正面照，分辨率不低于512×512，否则可能影响生成效果；

2. 音频素材建议无背景噪音，采样率为16kHz（wav2vec2-base适配采样率）；

3. 推理时需确保显卡显存充足，1.3B模型单批次生成需至少10GB显存，批量生成建议16GB以上。

六、常见问题解答

Q1：运行时提示“CUDA out of memory”怎么办？

A1：有三种解决方式：① 降低批量生成的批次大小（修改脚本中的batch_size参数，建议设为1）；② 启用梯度检查点（在配置文件中开启gradient_checkpointing）；③ 使用CPU推理（速度极慢，仅建议测试用）。

Q2：生成的视频唇形与音频不同步？

A2：首先检查音频采样率是否为16kHz（非16kHz需转换）；其次，在配置文件中调整lip_sync_threshold（唇形同步阈值），适当增大该值；最后，确认下载的AnyTalker模型权重完整，未出现损坏。

Q3：多人视频中人物画面拼接混乱？

A3：需先运行utils/get_face_bbox.py对人脸素材进行预检测，生成人脸边界框坐标，再将坐标传入生成脚本，指定多人画面的布局（如左右分屏、上下分屏）。

Q4：安装flash-attn失败？

A4：flash-attn对CUDA版本和Python版本有要求，建议：① 确保CUDA版本≥11.7；② Python版本为3.8/3.9；③ 升级pip后重新安装：pip install --upgrade pip && pip install flash-attn --no-build-isolation。

Q5：FFmpeg调用失败？

A5：① Linux系统需确认已通过apt/yum安装FFmpeg；② Windows系统需将FFmpeg的bin目录添加到系统PATH，并重启终端；③ 在脚本中手动指定FFmpeg路径（修改utils/下的视频处理脚本，添加ffmpeg_path参数）。

Q6：14B模型何时发布？

A6：根据官方技术报告和项目主页信息，14B模型正在进行多场景微调，预计会在项目GitHub仓库更新，可关注仓库Release通知。

Q7：商用AnyTalker需要注意什么？

A7：需遵守Apache 2.0许可证：① 保留项目的版权声明和许可证文本；② 若修改了源码并分发，需公开修改后的代码；③ 不得使用项目名称、商标进行虚假宣传。

Q8：能否将AnyTalker部署到云端？

A8：可以。可将模型封装为API（如使用FastAPI），部署到云服务器（如阿里云、腾讯云），需确保云服务器配备GPU（如T4/A10），并配置好CUDA环境。

七、相关链接

1. 项目GitHub仓库：https://github.com/hkust-c4g/AnyTalker

2. 项目主页：https://hkust-c4g.github.io/AnyTalker-homepage/

3. 技术报告：https://arxiv.org/abs/2511.23475

4. 模型权重下载地址：https://huggingface.co/hkust-c4g

八、总结

AnyTalker作为一款专注于音频驱动多人对话视频生成的开源框架，以创新的多流结构解决了传统视频生成工具在多人交互场景下的自然度、同步性问题，其提供的1.3B轻量化模型和配套的交互性评估基准，兼顾了实用性与可优化性，同时依托Apache 2.0许可证实现了商用可行性；该项目的核心价值在于降低了多人对话视频的制作门槛，无需专业拍摄设备和复杂的3D建模，仅需音频和基础人脸素材即可生成高质量视频，覆盖内容创作、企业培训、科研等多类场景，是音频-视频跨模态生成领域针对多人交互场景的重要开源成果。