LingBot-Video：蚂蚁灵波开源的MoE具身智能视频大模型

AI新闻 AI铺子
63

一、LingBot-Video是什么

LingBot-Video 是蚂蚁灵波基于Apache 2.0协议、面向具身智能的首款开源MoE混合专家大规模视频生成模型，同步开放完整代码、权重模型、提示词改写工具与技术报告，论文收录于arXiv（arXiv:2607.07675）。

该模型核心定位是打通AI视频合成与真实物理世界理解，区别于通用短视频生成模型，专门优化机器人、人机交互、物理运动类动态画面生成，支持文生图(T2I)、文生视频(T2V)、图生视频(TI2V)三大基础任务，分为轻量化稠密版与高性能MoE大模型两套权重，权重托管于Hugging Face、ModelScope两大主流开源模型平台，仓库配套中英文双语使用文档。

LingBot-Video：蚂蚁灵波开源的MoE具身智能视频大模型

二、功能特色

  1. 专属MoE轻量化推理架构
    原生从零搭建混合专家网络，30B总参数量仅激活3B专家参数，推理速度达到传统稠密模型3倍，兼顾高画质与推理成本；同时提供1.3B轻量稠密模型，适配普通单机显卡部署。

  2. 7万+小时具身专属训练数据
    训练数据集融合海量通用网络视频，叠加机器人专属数据集，覆盖四足机器人、人形机械臂、第一视角导航、物体物理交互等具身场景，生成画面物理逻辑更真实。

  3. 三重奖励优化训练机制
    训练过程同步对画面美学、物理运动合理性、任务动作完整度三项指标做奖励约束，大幅降低穿模、物体漂浮、动作扭曲等视频生成常见缺陷。

  4. 全套结构化提示词工具链
    配套基于Qwen3.6-27B开发的提示词改写基座与LoRA适配器，可将普通自然语言转为模型原生支持的JSON结构化提示，同时支持自动生成适配画面的负向提示词，降低用户提示词编写门槛。

  5. 多后端分布式推理方案
    同时兼容diffusers原生推理、SGLang加速推理两种后端；支持单卡独立运行、多卡FSDP分片、CP8并行，内置批量CFG采样，可自由开启画质精炼器提升视频清晰度。

  6. 开箱即用多场景脚本
    仓库预置Shell运行脚本，区分稠密/MoE模型、T2I/T2V/TI2V任务、单卡/多卡、带/不带精炼器，仅配置环境变量即可一键启动生成。

三、技术细节

3.1 全套模型权重组件

模型名称 结构参数 支持任务 核心用途
LingBot-Video-Dense 1.3B稠密DiT T2I、T2V、TI2V 低显存单机快速生成，轻量化测试
LingBot-Video-MoE 30B-A3B MoE+Refiner精炼器 T2I、T2V、TI2V、画质增强 高性能生产级生成，优化具身动态
LingBot-Video-Rewriter-Base Qwen3.6-27B基座大模型 提示词扩写、结构化转换 基础文本转标准JSON提示
LingBot-Video-Rewriter-Adapter Qwen3.6-27B LoRA微调适配器 JSON规范提示输出 输出模型可直接读取的结构化输入

3.2 环境依赖标准配置

Python版本要求≥3.10；推荐定制CUDA130开发版框架：torch 2.12.0.dev20260220、torchvision 0.26.0.dev20260220；配套工具库固定版本：transformers 5.8.1、diffusers 0.39.0、peft 0.19.1；可选SGLang实现FP8混合精度加速、MoE融合推理。

3.3 标准三段式推理流程

  1. 提示词改写：输入自然语言，通过Rewriter输出结构化JSON提示；图生视频任务同步传入首图参与改写；

  2. 自动负向提示生成：基于主提示自动生成负向JSON，过滤畸形人体、物理错误、模糊画面；

  3. 视频统一推理：选择diffusers/SGLang后端，可开启Refiner精炼器，多卡场景添加--enable_fsdp_inference实现模型分片，降低显存占用。

3.4 推理核心参数

默认输出分辨率480×832、24FPS，基础采样步数40步，精炼器8步；引导系数guidance_scale=3，支持bf16Transformer精度、fp32 VAE精度，内置reuse_condition_features优化重复推理速度。

四、应用场景

  1. 具身智能机器人仿真
    四足机器人、人形机械臂、双机械臂运动仿真数据批量生成，用于机器人强化学习训练数据集补充，降低实体真机采集成本。

  2. 物理世界世界模型研究
    长时序合理动态视频生成，用于AI物理推理、空间逻辑、多物体交互算法研发。

  3. 通用AI视频内容创作
    文生短视频、图片转动态短片、AI数字人交互镜头制作，适配科普、虚拟演示类素材产出。

  4. 数字孪生与虚拟交互
    工厂机械运作仿真、室内导航第一视角虚拟画面、自动化设备动作预演。

  5. 科研论文可视化素材
    机器人算法、多智能体交互实验配套演示视频生成。

五、使用方法

5.1 项目拉取与环境安装

  1. 克隆开源仓库

git clone https://github.com/Robbyant/lingbot-video
cd lingbot-video

  1. 创建虚拟环境并安装依赖

python -m venv .venv
source .venv/bin/activate
python -m pip install -U pip
pip install -r requirements.txt
pip install -e .

  1. 可选SGLang加速依赖（FP8、MoE融合推理专用）

python -m pip install --no-deps -r requirements-sglang.txt

5.2 完整推理执行步骤

  1. 配置全局环境变量（模型路径、改写器权重路径）

export MODEL_DIR="模型存储路径"
export REWRITER_BASE_MODEL="改写基座路径"
export REWRITER_ADAPTER="LoRA适配器路径"

  1. 自然提示词转结构化JSON

python rewriter/inference.py --backend transformers --mode t2v \
 --prompt "自定义视频描述" --duration 5 --output prompt.json

  1. 自动生成负向提示文件

python rewriter/auto_negative.py --backend transformers --mode t2v \
 --caption prompt.json --output negative.json

  1. 执行视频生成（diffusers后端，开启精炼器）

python scripts/inference.py \
 --backend diffusers \
 --model_dir "$MODEL_DIR" \
 --run_refiner \
 --mode t2v \
 --prompt_json prompt.json \
 --negative_prompt_json negative.json \
 --output "输出目录/base.mp4" \
 --refiner_output "输出目录/refined.mp4" \
 --height 480 --width 832 --fps 24

5.3 一键脚本快速运行

仓库内置封装好的Shell脚本，无需手动输入长指令，示例：

# 单卡1.3B稠密模型文生视频
MODEL_DIR="$DENSE_MODEL_DIR" ./scripts/single-gpu/run_dense_t2v.sh
# 多卡MoE模型带精炼器图生视频
MODEL_DIR="$MOE_MODEL_DIR" ./scripts/multi-gpus/run_moe_ti2v_refiner_fsdp_cp8.sh

可通过环境变量自定义分辨率、步数、随机种子、推理后端等参数。

六、竞品对比

对比维度基于官方RBench公开评测数据，聚焦具身智能赛道核心能力：

对比维度 LingBot-Video Cosmos3 Super Wan 2.2 A14B
开源属性 完全开源 完全开源 完全开源
综合平均分(RBench) 0.620（开源第一） 0.581 0.507
四足机器人生成得分 0.758（最优） 0.739 0.690
人形机器人生成得分 0.689 0.691 0.648
物理运动合理性 内置三重奖励优化，畸变少 基础物理约束，长时序易穿模 多物体交互逻辑较弱
架构方案 MoE混合专家，推理提速3倍 稠密DiT架构，算力消耗高 稠密模型，显存占用大
专属具身数据集 7万+小时机器人数据 通用视频为主，少量机器人素材 通用短视频数据集
提示词工具 配套专用改写器+自动负向提示 原生仅支持普通文本提示 无官方提示词优化工具
分布式推理 原生支持FSDP、CP8、SGLang加速 仅基础多卡分片，无专用加速后端 多卡部署流程繁琐

七、常见问题解答

Q1：LingBot-Video MoE模型和Dense稠密模型该怎么选择？

A：普通单机、显卡显存≤24G、仅做简单素材测试，选用1.3B Dense稠密模型；有多卡服务器、用于机器人仿真、追求高真实度物理动态、长期批量生成，选用30B MoE主模型搭配精炼器。

Q2：运行时报错缺少SGLang相关组件如何解决？

A：SGLang属于可选加速依赖，未安装时程序会自动降级为diffusers原生推理，不会中断运行；如需启用FP8、MoE融合加速，执行pip install --no-deps -r requirements-sglang.txt安装对应依赖即可。

Q3：模型必须使用JSON格式提示词吗，直接输入普通文本行不行？

A：模型底层仅支持结构化JSON输入，不兼容原始自然语言；必须使用配套Rewriter工具转换文本，也可自行手动构造标准JSON提示文件。

Q4：多卡推理时显存不足，有什么优化方案？

A：执行推理指令添加--enable_fsdp_inference开启模型分片；选用bf16精度加载Transformer、fp32 VAE；使用SGLang后端开启FP8量化；关闭refiner精炼器减少显存开销。

Q5：生成视频人物/机器人动作扭曲、物理逻辑错误怎么优化？

A：第一步使用Rewriter完善提示词细节；第二步开启auto_negative自动负向提示过滤畸形画面；调高guidance_scale引导系数；优先使用MoE模型，其具身数据训练量更高，物理约束更强。

Q6：项目支持Windows系统部署吗？

A：官方推荐Linux系统完成训练与推理，Windows可通过WSL2虚拟Linux环境运行原生脚本，原生Windows无适配脚本，会存在环境兼容性问题。

八、官方链接

  1. Github仓库地址：https://github.com/Robbyant/lingbot-video

  2. 项目官网：https://technology.robbyant.com/lingbot-video

  3. HuggingFace模型库：https://huggingface.co/collections/robbyant/lingbot-video

  4. arXiv技术论文：https://arxiv.org/pdf/2607.07675

  5. ModelScope模型库：https://www.modelscope.cn/collections/Robbyant/LingBot-Video

九、总结

LingBot-Video是当前开源赛道中面向具身智能场景综合能力领先的MoE视频生成模型，依托7万+小时机器人专属训练数据、三重奖励训练体系与3倍加速的混合专家架构，在人形、四足机器人、物理交互等细分任务上性能超越Cosmos3 Super、Wan 2.2等主流开源竞品，同时提供完整提示词工具链、多后端分布式推理方案与开箱即用的运行脚本，适配单机轻量化测试与多卡服务器批量仿真生产，依托Apache 2.0开源协议，可免费用于学术研究与商业落地，为机器人世界模型、物理仿真、AI动态素材创作提供完整开源解决方案。

AI视频生成 开源大模型 具身智能
打赏

版权及免责申明：本文由@AI铺子原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。

如若转载，请注明出处：https://www.aipuzi.cn/ai-news/lingbot-video.html

THE END
作者头像
AI铺子
关注ai行业发展，专注ai工具推荐