CoinVE-200K：腾讯开源的组合指令式视频编辑数据集套件

一、CoinVE‑200K是什么

CoinVE‑200K是腾讯智能创作团队公开的组合指令引导视频编辑完整开源项目，整套项目由CoinVE‑200K数据集、CoinVE‑Bench评测基准、CoinVE‑Edit基线模型三部分共同组成。

现有主流视频编辑数据集大多只支持单条编辑指令，一次仅完成替换、删除、风格化其中一项改动，和现实用户同时修改视频多处的真实使用习惯存在差距。CoinVE‑200K专门针对多指令组合视频编辑场景构建。数据集总计200916组源‑目标视频配对，约118万个视频片段，完整数据体积2.8TB，视频分辨率为1080P；每条样本包含2‑5条原子编辑指令，平均2.55条，同时提供单指令独立掩码与全局合并掩码，用来约束模型只修改指定画面区域。项目配套CoinVE‑Bench测试集用于算法量化评估，同时开源CoinVE‑Edit 22B基线模型，实现多条编辑指令并行生效。

二、功能特色

1. 原生支持多指令组合编辑样本
   每条样本附带2‑5条独立编辑指令，模拟用户同时修改物体、人物、背景等多处画面的真实需求，打破传统数据集单指令的局限。

2. 双层掩码标注体系
   提供两类掩码视频：每条指令专属独立掩码，标记该条指令的修改区域；合并掩码汇总全部改动像素，便于做区域感知训练，避免AI误改动画面无关内容。

3. 大规模高质量1080P视频配对数据
   原始素材取自OpenVidHD，经过多轮自动化过滤与质量校验，保障指令忠实度、画面时序连贯性、编辑任务多样性。

4. CoinVE‑Bench标准化评测基准
   包含361个复杂多指令测试样例，提供四维评价维度（指令跟随、组合编辑准确度、视觉画质、时序一致性），为多指令视频编辑提供统一比对标尺。

5. CoinVE‑Edit开箱基线模型
   基于Wan2.1‑T2V‑14B视频DiT扩散模型与Qwen3‑VL‑8B多模态模型拼接而成，总参数量22B，可一次性执行多条不同区域的编辑指令。

6. 配套完整工程脚本
   提供数据集加载脚本，可直接对接PyTorch DataLoader，快速接入训练、评估流程。

三、技术细节

3.1 数据集构建流程

1. 素材选取：从开源数据集OpenVidHD筛选高质量原始视频；

2. 自动化生成组合编辑指令，渲染生成编辑后目标视频；

3. 为每一条子指令生成对应空间掩码，输出单指令掩码与全局合并掩码；

4. 多阶段质量过滤：校验指令匹配度、画面清晰度、帧间时序一致性，过滤低质量样本，最终得到200K+有效样本。

3.2 数据存储结构

数据集以tar分片形式分发，目录划分：

• src_videos/：原始源视频

• tgt_videos/：编辑完成后的目标视频

• instruction_masks/：单条指令对应的独立掩码视频

• combined_masks/：全部编辑区域合并后的掩码视频
  元数据文件metadata_coinve200k.jsonl保存路径、指令列表、编辑类型等全部元信息。

3.3 CoinVE‑Edit模型架构

基座组合：Wan2.1‑T2V‑14B（视频扩散模型）+ Qwen3‑VL‑8B（多模态理解），合计22B参数。
核心机制：由Qwen3‑VL解析多条用户编辑指令，预测每一条指令对应的编辑掩码；利用掩码条件控制交叉注意力，把修改严格限制在掩码划定区域，保留其余画面不变，同时维护视频帧与帧之间时序稳定，实现多指令并行编辑，不需要迭代多次修改视频。

3.4 运行依赖

数据集加载依赖decord、opencv‑python、pytorch、transformers；完整数据集占用2.8TB磁盘；训练微调建议显卡显存24GB以上；仅评测推理16GB显存可运行。

四、应用场景

• AI视频编辑模型科研训练：用于训练支持多条指令同时修改不同位置的视频编辑模型，弥补单指令数据集的训练短板。

• 多指令视频编辑算法评测：使用CoinVE‑Bench基准，横向对比不同模型处理复杂复合编辑需求的实际效果。

• AIGC视频产品研发：服务AI视频剪辑、局部重绘类产品，支撑用户一次性下达多项修改需求的业务场景。

• 空间可控视频生成研究：依托完备掩码标注，开展局部视频重绘、区域约束视频生成方向的实验研究。

五、使用方法

5.1 数据集下载

#下载完整数据集
hf download FireCRT/CoinVE‑200K --repo-type dataset --local-dir ./CoinVE‑200K

#仅下载元数据文件
hf download FireCRT/CoinVE‑200K metadata_coinve200k.jsonl --repo-type dataset --local-dir ./CoinVE‑200K

5.2 解压分片文件

for tar in src_videos/*.tar; do tar -xf "$tar" -C src_videos/; done
for tar in tgt_videos/*.tar; do tar -xf "$tar" -C tgt_videos/; done
for tar in combined_masks/*.tar; do tar -xf "$tar" -C combined_masks/; done
for tar in instruction_masks/*.tar; do tar -xf "$tar" -C instruction_masks/; done

5.3 PyTorch加载数据集

from coinve_dataset import CoinVEDataset
from torch.utils.data import DataLoader

dataset = CoinVEDataset(
  base_path="./CoinVE‑200K",
  metadata_path="./CoinVE‑200K/metadata_coinve200k.jsonl",
  num_frames=81
)
dataloader = DataLoader(dataset,batch_size=4,shuffle=True,num_workers=4)
sample = dataset[0]
print(sample["instruction"])

脚本自动完成视频读取、缩放、源视频‑目标视频‑掩码时序对齐，可直接放入训练循环。
CoinVE‑Edit模型权重在Hugging Face平台获取，CoinVE‑Bench测试集随数据集一同发布。

六、竞品对比

七、常见问题解答

Q：CoinVE‑200K是否可以商用？

A：项目代码部分使用MIT许可证，但数据集原始素材来自OpenVidHD，使用时需要同时遵守原始素材许可协议。科研场景可以直接使用，如果用于商业产品，需要自行完成素材授权风险核验。

Q：本地部署需要多大存储空间？

A：完整全部数据集占用约2.8TB磁盘；如果只下载元数据，仅几十MB；做实验也可以选择只下载部分tar分片，不需要拉取全部数据。

Q：CoinVE‑Edit模型必须使用CoinVE‑200K数据集才能运行吗？

A：推理阶段可以独立运行；如果要做模型微调，官方强烈建议使用CoinVE‑200K数据集，匹配模型本身面向多指令编辑的能力。

Q：CoinVE‑Bench起到什么作用？

A：CoinVE‑Bench是专门面向多指令视频编辑的测试基准，包含361个复杂测试用例，提供四维统一评估指标，方便不同算法之间公平对比多指令编辑效果。

Q：instruction_masks与combined_masks两者的区别是什么？

A：instruction_masks是单条编辑指令对应的掩码，标记该一条指令需要改动的画面区域；combined_masks是把全部编辑指令修改区域合并，标记视频画面中所有被改动过的像素，用于全局监督训练。

Q：只做算法评测，不训练模型，能不能使用这套数据集？

A：可以。读取源视频与编辑指令，送入自研或者第三方视频编辑模型，之后使用CoinVE‑Bench完成效果评估。

Q：为什么最初的GitHub仓库访问返回404？

A：代码仓库完成迁移，数据集与模型权重托管在Hugging Face，项目主入口为 coinve200k.github.io。

八、相关官方链接

1. 项目主页：https://coinve200k.github.io/

2. Hugging Face数据集：https://huggingface.co/datasets/FireCRT/CoinVE-200K

3. Hugging Face CoinVE‑Edit模型仓库：https://huggingface.co/FireCRT/CoinVE-Edit

4. arXiv论文地址：https://arxiv.org/abs/2608.17566

九、总结

CoinVE‑200K是腾讯智能创作团队推出的完整开源套件，包含200K级带双层掩码标注的组合指令视频编辑数据集、CoinVE‑Bench评测基准与CoinVE‑Edit基线模型，解决了传统视频编辑数据集大多只支持单条编辑指令的短板，每条样本支持多条指令同时修改视频不同区域，配套完整下载、数据加载脚本，为多指令、多区域AI视频编辑方向的科研与工程实践提供完整的数据、评测和基线模型支撑。