LingBot-VA：蚂蚁灵波开源的机器人自回归视频 - 动作世界模型

一、LingBot-VA是什么

LingBot-VA是由蚂蚁灵波团队研发并开源的全球首个用于通用机器人控制的因果视频-动作世界模型，隶属于蚂蚁灵波具身智能开源体系，是继LingBot-Depth（视觉感知）、LingBot-VLA（视觉-语言-动作接口）、LingBot-World（世界模拟器）之后的又一核心成果，也是让机器人从“感知与理解”走向“智能执行与决策”的关键技术框架。与传统机器人控制模型采用的“观察-反应”模式不同，LingBot-VA核心实现了自回归视频-动作联合建模，让机器人在执行动作前，能通过视觉预测推演未来几秒的环境变化画面，再基于推演结果反推出最优执行动作，简单来说，就是让机器人拥有了“想象未来再行动”的能力，从根本上解决了传统机器人控制中存在的表征缠绕、长时序记忆丢失、泛化能力弱等痛点。

LingBot-VA基于Python开发，采用Apache-2.0开源许可证，不仅提供了完整的模型代码、预训练权重，还配套了高效的训练、推理、评估工具链，同时支持与RoboTwin 2.0等主流机器人仿真平台的无缝对接，也能适配星海图、松灵、乐聚等多家厂商的主流机器人本体，既可以满足学术界的机器人控制算法研究需求，也能为工业界的机器人智能化落地提供低成本、高可用的技术底座。

二、功能特色

LingBot-VA作为新一代机器人世界建模框架，在技术逻辑、架构设计、实际性能上均实现了突破，其核心功能特色围绕“智能决策、高效执行、泛化适配、工程实用”四大维度展开，相较于传统机器人控制模型，具备以下六大核心优势：

1. 创新的“想象再行动”决策逻辑

打破传统VLA（视觉-语言-动作）模型的“直接映射”模式，首创“视频世界模型预测+逆向动力学动作推理”的两步走决策逻辑。先通过自回归视频预测，让机器人基于当前环境感知，推演未来一段时间的视觉状态变化，明确“做了动作之后会发生什么”；再通过逆向动力学，基于预测的视觉结果，反推出能实现目标的精准动作，明确“为了达到目标该怎么做”。这种逻辑从根本上解开了传统模型中视觉理解、物理推理、动作控制的表征缠绕问题，让机器人的决策更具逻辑性和前瞻性。

2. 超强的长时序任务长期记忆能力

通过在模型中引入因果注意力机制和KV Cache技术，让机器人在执行长序列任务时，能精准记忆过往的动作执行状态和环境变化信息，彻底解决了传统模型在长时序任务中容易出现的“失忆”问题。例如在“来回擦盘子计数”这类任务中，普通VLA模型会逐渐忘记擦盘次数并出现乱擦行为，而LingBot-VA能精准计数并在完成后立即停止；在“准备早餐（烤面包+倒水+摆盘）”这类多步骤长任务中，能清晰记住每一步的执行进度，确保任务按逻辑连贯完成。

3. 高效的少样本适应能力

LingBot-VA在大规模真实机器人数据上完成了预训练，模型具备极强的通用学习能力，面对全新的机器人控制任务，仅需30-50条真机演示数据即可完成适配微调，相较于传统模型动辄需要成千上万条训练数据的要求，样本效率提升了数个数量级。这一特性大幅降低了模型在下游任务中的适配成本，让机器人能快速学习新的操作技能，适用于任务场景频繁变化的实际应用需求。

4. 卓越的跨场景、跨本体泛化能力

在模型训练阶段，基于涵盖9种主流双臂机器人构型、20000小时真实机器人训练数据完成预训练，同时在架构设计上实现了视觉流与动作流的解耦协作，让模型的视觉理解能力和动作控制能力相互独立又能高效互通。这使得LingBot-VA不仅能在不同环境场景中泛化，比如训练时用圆形杯子，测试时换方形、彩色杯子仍能精准操作；还能实现跨机器人本体的快速迁移，无需大量重新训练，即可适配星海图、松灵、乐聚等多家厂商的不同构型机器人，大幅提升了模型的适用范围。

5. 兼顾精度与效率的双流协同执行

采用混合Transformer（MoT）双流架构，将视觉处理和动作控制拆分为两个独立的流模块，且两个模块共享注意力机制、信息互通：视觉流“宽而深”，基于30亿参数量的Wan2.2-5B模型构建，负责繁重的视觉理解和未来画面推演，确保视觉预测的准确性；动作流“轻而快”，基于3.5亿参数量的轻量化模型构建，专门针对机器人动作控制优化，确保动作生成的精准度和实时性。这种设计让视觉的复杂性不会干扰动作的精准度，动作的简洁性也不会拉低视觉的丰富度，实现了“视觉预测准、动作执行稳”的双重效果。

6. 工程化的高效推理与落地设计

LingBot-VA在技术创新的同时，充分考虑了实际工程落地需求，融入了多项工程优化设计：一是部分去噪技术，让模型在动作预测时，无需渲染高清无码的未来画面，只需从带噪点的中间状态中提取关键信息，大幅提升计算效率；二是异步推理机制，让机器人在执行当前动作的同时，模型在后台并行计算下一步动作，几乎消除了推理延迟，提升了动作执行的连贯性；三是FDM接地技术，通过真实观测数据持续校正模型的视觉预测结果，防止模型“想象脱离现实”，避免幻觉漂移；四是支持单机独立执行和Server-Client分布式部署，分布式架构可隔离模型环境与仿真/真机环境，避免依赖冲突，还能支持GPU集群分布式推理，满足大规模、高并发的推理需求。

7. 优异的实际任务性能表现

LingBot-VA在真机测试和主流仿真基准测试中均表现出远超业界基线的性能，在长时序、高精度、可变形物体操控三大类高难度机器人任务中，任务成功率相较业界强基线Pi0.5平均提升20%；在RoboTwin 2.0双臂协同仿真基准中，轻松场景成功率达92.93%、复杂场景达91.55%，均领先第二名4%以上，且任务难度越高、序列越长，领先优势越明显；在LIBERO长时序终身学习基准中，更是达到98.5%的平均成功率，刷新了行业SOTA记录。

三、技术细节

LingBot-VA的核心技术创新体现在建模逻辑、架构设计、关键技术、工程优化四个层面，其整体技术体系围绕“自回归视频-动作交错序列”构建，通过模块化的设计，实现了视觉预测、动作推理、记忆保持、高效执行的有机融合，以下从核心建模逻辑、核心架构设计、关键技术模块、工程优化手段四个方面，详细解析其技术细节：

1. 核心建模逻辑：自回归视频-动作联合建模

LingBot-VA的核心技术基础是自回归视频-动作交错序列建模，这是实现“想象再行动”的底层逻辑。模型将视频Token（代表环境视觉状态）和动作Token（代表机器人执行动作）整合到同一个时间序列中，按照“过去视觉-过去动作-当前视觉-预测视觉-预测动作”的因果顺序进行自回归建模，同时通过因果注意力机制为模型设定严格的“因果约束”：模型在预测当前视觉和动作时，只能调用过去的视频Token和动作Token信息，绝对不能“偷看”未来的信息，确保预测结果的逻辑性和合理性。

在此基础上，模型分为两大核心模块实现功能：一是视频世界模型，负责基于当前和过去的视觉Token，自回归预测未来的视觉Token，即推演未来的环境变化画面；二是逆向动力学模块，负责基于预测的未来视觉Token和当前的视觉目标，反推出对应的动作Token，即规划实现目标的精准动作。两个模块无缝衔接，形成“预测-推理-执行”的闭环。

2. 核心架构设计：混合Transformer（MoT）双流架构

为了解决传统模型的表征缠绕问题，LingBot-VA采用了混合Transformer（MoT）双流架构，这是架构设计的核心创新，整体架构可理解为为机器人配备了“视觉大脑”和“动作大脑”两个专门化的大脑，二者通过交叉注意力机制紧密协作、信息互通，却在各自的表征空间中保持独立，具体架构分工如下：

两个流模块共享Transformer的注意力机制，视觉流提取的环境特征能实时传递给动作流，为动作推理提供依据；动作流的动作规划结果也能反馈给视觉流，为后续的视觉预测提供参考，实现了“视觉预测指导动作推理，动作推理验证视觉预测”的良性循环。

3. 关键技术模块：四大核心组件支撑功能实现

LingBot-VA的核心功能落地，依赖于四大关键技术模块的协同工作，这四大模块分别解决了“预测逻辑、记忆保持、动作生成、落地保真”的问题，是模型性能的核心保障：

（1）因果注意力模块

为自回归视频-动作序列建模提供严格的因果约束，确保模型在进行视觉预测和动作推理时，只能使用历史的、已发生的信息，禁止使用未来的、未发生的信息，从根本上保证了模型预测和推理的逻辑性，避免出现“未卜先知”的不合理结果。

（2）KV Cache记忆模块

为模型提供长期记忆能力，将模型在推理过程中生成的键（Key）和值（Value）信息进行缓存，当模型处理长时序任务时，无需重复计算历史信息，只需调用缓存的KV信息即可，既提升了推理效率，又确保了模型对历史动作和环境状态的精准记忆，解决了长时序任务的“失忆”问题。

（3）逆向动力学推理模块

这是实现“想象再行动”的关键模块，区别于传统模型的“正向动作映射”，该模块基于视频世界模型预测的未来视觉状态，结合机器人的任务目标，通过逆向推理，计算出能实现从“当前视觉状态”到“目标视觉状态”的最优动作序列，确保动作生成的精准性和有效性。

（4）FDM接地校正模块

为了防止模型的视觉预测脱离现实环境，出现“幻觉漂移”，该模块会持续将模型的预测结果与机器人的真实环境观测数据进行对比和校正，让模型的“想象”始终贴合实际的物理世界规律，确保基于预测结果生成的动作，能在真实环境中有效执行。

4. 工程优化手段：三大设计提升执行效率与落地性

LingBot-VA在技术创新的同时，充分考虑了工程落地的实际需求，通过三项核心工程优化设计，大幅提升了模型的推理效率、执行实时性和实际可用度，让技术能真正落地到实际的机器人控制场景中：

（1）部分去噪技术

模型在进行动作预测时，无需将未来的视觉画面渲染成高清无码的完整图像，只需提取画面中的关键特征和变化趋势即可。该技术让模型学会从带有噪点的中间视觉状态中提取有效信息，减少了不必要的图像渲染计算，大幅提升了模型的推理效率，降低了算力消耗。

（2）异步推理机制

实现了机器人动作执行与模型推理的并行进行：当机器人正在执行当前的动作时，模型在后台已经开始并行计算下一步的动作序列，当前动作执行完成后，下一步动作可立即下发执行，几乎消除了模型推理带来的延迟，让机器人的动作执行更连贯、更流畅。

（3）分布式推理支持

采用Server-Client分离式部署架构，将模型推理环境与机器人仿真/真机执行环境进行隔离，有效避免了不同环境之间的依赖冲突。同时支持GPU集群分布式推理，能将推理任务拆分到多个GPU上并行处理，大幅提升了大规模、高并发场景下的推理能力，满足工业级的应用需求。

四、应用场景

LingBot-VA凭借其“长时序记忆、少样本适应、跨场景/跨本体泛化、高精度控制”的核心特性，以及与主流仿真平台、机器人本体的高适配性，可广泛应用于机器人控制算法研究、工业机器人智能化、服务机器人落地、特种机器人作业等多个领域，尤其在需要复杂决策、高精度操作、长时序执行的机器人任务中，能充分发挥其技术优势，具体典型应用场景可分为以下四大类：

1. 学术界：机器人控制算法研究与基准测试

LingBot-VA作为全球首个开源的因果视频-动作世界模型，为机器人控制、具身智能、计算机视觉等领域的学术研究，提供了全新的技术框架和研究载体。研究人员可以基于LingBot-VA的开源代码和预训练模型，开展自回归视频预测、逆向动力学推理、长时序机器人控制、少样本机器人学习等方向的算法研究；同时，LingBot-VA在RoboTwin 2.0、LIBERO等主流机器人仿真基准上刷新了SOTA记录，也为相关算法的性能评估提供了统一、高效的基准测试平台，推动机器人控制领域的技术创新与发展。

2. 工业领域：工业机器人高精度操作与长时序作业

在工业生产场景中，LingBot-VA可适配各类工业机械臂、协作机器人，实现高精度、长时序的工业操作任务。例如在电子制造领域，完成“芯片焊接、精密零件组装、细小试管清洗”等毫米级高精度操作；在汽车制造领域，完成“零部件分拣、组装、检测”等多步骤长时序作业；在物流仓储领域，完成“货物分拣、码垛、搬运”等动态环境下的操作任务。其少样本适应能力让工业机器人能快速适配产线的工艺调整，跨本体泛化能力让企业无需为不同型号的机器人单独开发控制算法，大幅降低了工业机器人的智能化改造成本。

3. 服务领域：家用/商用服务机器人的智能交互与执行

在服务机器人领域，LingBot-VA能让家用服务机器人、商用服务机器人拥有更智能的环境适应能力和任务执行能力。例如家用服务机器人可完成“准备早餐、整理家务、照顾老人/儿童”等多步骤家庭服务任务；商用服务机器人可在酒店、商场、餐厅等场景，完成“物品配送、清洁卫生、客户引导”等动态场景下的服务任务；其“想象再行动”的决策逻辑，让服务机器人能更好地理解人类的需求，同时适应复杂、多变的室内环境，提升服务的精准性和人性化程度。

4. 特种领域：特种机器人的复杂环境作业与应急处理

在特种作业场景中，LingBot-VA可适配消防、救援、勘探、军工等领域的特种机器人，实现复杂危险环境下的作业任务。例如消防机器人可在火灾现场，通过视觉预测推演火势蔓延趋势，再规划最优的灭火、救援路径；勘探机器人可在野外、深海、太空等极端环境下，完成“资源勘探、样本采集、环境监测”等长时序作业任务；其FDM接地校正技术让特种机器人在复杂、未知的环境中，始终保持动作执行的准确性和可靠性，提升特种作业的效率和安全性。

此外，LingBot-VA还能与LingBot-Depth、LingBot-VLA、LingBot-World等蚂蚁灵波开源的其他具身智能技术框架协同使用，构建一套完整的“感知-理解-决策-执行”机器人智能体系，为通用机器人的研发和落地提供全链路的技术支持。

五、使用方法

LingBot-VA基于Python开发，支持Linux系统下的训练、推理和评估，核心依赖PyTorch深度学习框架，同时配套了完整的脚本工具链，让用户能快速实现模型的安装、部署、训练和推理。其使用流程主要分为环境准备、安装部署、预训练模型下载、模型推理、模型训练/微调、任务评估六大步骤，同时支持单机独立部署和Server-Client分布式部署两种模式，以下为详细的使用方法，涵盖基础的单机部署和主流的RoboTwin 2.0仿真平台适配推理：

1. 环境准备

（1）硬件环境要求

LingBot-VA的训练和推理对硬件有一定的算力要求，推荐使用NVIDIA系列GPU，具体硬件配置要求如下：

• 基础推理：单张NVIDIA RTX 3090/4090（24G显存及以上）

• 模型训练/微调：8张NVIDIA A100（40G显存及以上）GPU集群

• 分布式推理：多台搭载NVIDIA A100/V100的GPU服务器（根据推理需求灵活配置）

（2）软件环境要求

核心依赖Python 3.10及以上版本，同时需要配套的CUDA、cuDNN和深度学习库，具体核心软件版本要求如下：

• Python：3.10.16（推荐）

• CUDA：12.6（推荐）

• cuDNN：8.9及以上（适配CUDA 12.6）

• PyTorch：2.9.0 + torchvision 0.24.0 + torchaudio 2.9.0

2. 安装部署

LingBot-VA的安装主要分为仓库克隆、依赖安装两步，全程通过命令行执行，操作简单，具体步骤如下：

（1）克隆开源仓库

从GitHub上克隆LingBot-VA的开源仓库到本地服务器/虚拟机，执行以下命令：

git clone https://github.com/Robbyant/lingbot-va.git
cd lingbot-va

（2）安装核心依赖

首先安装PyTorch框架（适配CUDA 12.6），再安装模型运行所需的核心Python库，最后安装高效注意力库flash-attn，执行以下命令：

# 安装PyTorch（适配CUDA 12.6，通过PyTorch官方源安装）
pip install torch==2.9.0 torchvision==0.24.0 torchaudio==2.9.0 --index-url https://download.pytorch.org/whl/cu126
# 安装核心Python依赖库
pip install websockets einops diffusers==0.36.0 transformers==4.55.2 accelerate msgpack opencv-python matplotlib ftfy easydict
# 安装flash-attn高效注意力库（提升模型推理和训练效率）
pip install flash-attn --no-build-isolation

安装完成后，可通过执行python -c "import wan_va; print('LingBot-VA installed successfully')"命令，验证安装是否成功，若输出成功提示，则说明环境搭建完成。

3. 预训练模型下载

LingBot-VA官方提供了两款经过大规模数据预训练的模型权重，支持HuggingFace、ModelScope两大平台下载，分别适配基础场景和RoboTwin 2.0仿真平台优化场景，用户可根据自身需求选择下载，具体模型信息如下：

1. lingbot-va-base：基础版预训练模型，基于通用机器人控制数据训练，具备基础的视觉预测和动作推理能力，适用于各类通用机器人控制场景；

2. lingbot-va-posttrain-robotwin：RoboTwin 2.0优化版模型，在基础版模型的基础上，基于RoboTwin 2.0仿真平台的任务数据进行后训练，针对双臂协同、长时序任务做了专门优化，适用于基于RoboTwin 2.0的仿真推理和评测。

下载完成后，将模型权重文件解压到仓库的wan_va/ckpt/目录下，模型会自动识别权重文件，无需额外配置。

4. 模型推理（基于RoboTwin 2.0仿真平台）

LingBot-VA最主流的推理场景是与RoboTwin 2.0仿真平台对接，完成机器人仿真任务的推理执行，采用Server-Client分布式部署模式，分为启动推理服务端、启动推理客户端两步，具体操作如下：

（1）前置条件

已完成RoboTwin 2.0仿真平台的部署和启动（参考RoboTwin 2.0官方文档），确保仿真平台与LingBot-VA的部署环境网络互通。

（2）启动推理服务端

LingBot-VA提供了单GPU和多GPU两种服务端启动脚本，用户可根据硬件配置选择，脚本位于evaluation/robotwin/目录下，执行以下命令：

# 单GPU启动推理服务端
bash evaluation/robotwin/launch_server.sh
# 多GPU启动推理服务端（适用于算力充足的场景，提升推理效率）
bash evaluation/robotwin/launch_server_multigpus.sh

服务端启动后，会在后台持续运行，监听指定的端口，等待客户端的任务请求。

（3）启动推理客户端

客户端负责向服务端发送具体的仿真任务请求，同时接收服务端的动作推理结果，并下发到RoboTwin 2.0仿真平台执行，执行以下命令（以“调整瓶子”任务为例）：

# 定义任务名称和结果保存目录
task_name="adjust_bottle"
save_root="results/"
# 启动客户端，执行指定任务
bash evaluation/robotwin/launch_client.sh ${save_root} ${task_name}

执行完成后，任务的执行结果（包括动作序列、视觉预测画面、任务成功率等）会自动保存到save_root指定的目录下，用户可查看结果并分析。

5. 模型训练/微调

对于有自定义任务需求的用户，可基于LingBot-VA的预训练模型，使用自有机器人任务数据进行模型微调，官方提供了高效的微调脚本，支持8卡GPU分布式训练，具体步骤如下：

1. 将自有任务数据按LingBot-VA的格式进行处理（参考仓库example/目录下的示例数据格式），包括视频数据、动作数据、任务标注等；

2. 修改wan_va/configs/train_config.py配置文件，设置训练批次、学习率、训练轮数、数据路径等参数；

3. 执行仓库script/目录下的训练脚本，启动模型微调：

bash script/launch_train.sh

LingBot-VA的微调训练效率极高，在8卡A100 GPU配置下，可实现单卡每秒261个样本的吞吐量，大幅缩短微调周期。

6. 任务评估

LingBot-VA配套了完整的任务评估工具，可对模型的推理结果进行自动化评估，核心评估指标包括任务成功率、动作精准度、推理延迟、视觉预测准确率等，评估脚本位于evaluation/目录下，用户只需将推理结果的保存路径传入脚本，即可自动生成评估报告：

# 执行评估脚本，生成评估报告
python evaluation/eval_metrics.py --result_root=results/

评估报告会以可视化图表和文本的形式呈现，方便用户分析模型性能，优化模型参数。

六、常见问题解答

问：安装flash-attn库时出现编译错误，无法安装怎么办？

答：flash-attn库的安装依赖于CUDA编译环境，若出现编译错误，首先检查本地CUDA版本是否与PyTorch适配的CUDA版本一致（推荐CUDA 12.6）；若版本一致仍报错，可通过添加`--no-cache-dir`参数重新安装，命令为`pip install flash-attn --no-build-isolation --no-cache-dir`；若仍无法编译安装，可使用官方提供的flash-attn替代版本，在仓库的`third_party/`目录下找到flash-attn的纯Python实现版本，直接将该目录添加到Python环境变量中即可。

问：启动推理服务端后，客户端连接失败，提示“网络连接超时”怎么办？

答：首先检查服务端和客户端的部署环境是否在同一局域网内，网络是否互通，关闭防火墙和安全组的端口限制；其次检查服务端启动脚本中的端口号是否被占用，可通过`netstat -tulpn | grep 端口号`命令查看，若被占用，修改`wan_va/configs/server_config.py`配置文件中的端口号，重新启动服务端；最后检查RoboTwin 2.0仿真平台是否正常运行，确保仿真平台的端口与LingBot-VA的服务端端口互通。

问：模型推理时，机器人出现“动作卡顿”现象，推理延迟较高怎么办？

答：机器人动作卡顿、推理延迟高，主要是算力不足或推理参数设置不合理导致的。首先检查硬件配置是否满足要求，基础推理需保证GPU显存24G及以上，若显存不足，可通过修改`wan_va/configs/infer_config.py`配置文件，减小推理批次、降低视觉预测的分辨率，减少显存占用；其次确保开启了KV Cache技术，该技术可大幅提升推理效率，在配置文件中确认`use_kv_cache=True`；若采用分布式推理，可增加GPU节点数量，将推理任务拆分，提升推理速度。

问：使用自有数据微调模型时，出现“数据格式不匹配”的错误提示怎么办？

答：LingBot-VA对训练数据的格式有严格要求，需参考仓库`example/`目录下的示例数据格式进行处理。视频数据需转换为RGB格式，分辨率统一为256×256，按帧保存；动作数据需转换为机器人关节的角度序列，以json格式标注；任务标注需包含任务名称、任务目标、视频帧与动作序列的对应关系。若出现格式不匹配，可使用仓库`script/`目录下的`data_convert.py`脚本，将自有数据转换为官方标准格式。

问：模型在长时序任务中仍出现“失忆”现象，无法记住过往动作状态怎么办？

答：首先检查配置文件中是否开启了KV Cache技术，确认`use_kv_cache=True`，这是模型实现长期记忆的核心；其次检查KV Cache的缓存长度设置，在`wan_va/configs/model_config.py`配置文件中，将`kv_cache_max_len`参数设置为大于任务时序长度的值，确保能缓存足够的历史信息；最后检查训练数据是否包含足够的长时序任务数据，若自有微调数据中长时序任务较少，可混合官方提供的长时序任务数据一起微调，提升模型的长时序记忆能力。

问：LingBot-VA能否适配非蚂蚁灵波的机器人本体，如何进行适配？

答：LingBot-VA具备跨本体泛化能力，可适配星海图、松灵、乐聚等多家厂商的机器人本体，无需大量重新训练。适配步骤主要分为两步：首先获取目标机器人的运动学模型，将机器人的关节参数、运动范围、动作执行接口等信息，添加到`wan_va/robot/`目录下的机器人配置文件中；其次使用目标机器人的少量演示数据（30-50条），对LingBot-VA的预训练模型进行轻量级微调，适配机器人的动作执行特性，微调完成后即可实现精准的动作控制。

问：运行模型时，出现“PyTorch版本不兼容”的错误提示怎么办？

答：LingBot-VA推荐使用PyTorch 2.9.0版本，若本地PyTorch版本过低或过高，会出现兼容性问题。首先卸载本地现有PyTorch版本，命令为`pip uninstall torch torchvision torchaudio -y`；然后严格按照官方要求，安装PyTorch 2.9.0+CUDA 12.6版本，确保PyTorch、CUDA、cuDNN三者版本相互适配，重新安装后即可解决该问题。

问：模型的视觉预测结果与实际环境偏差较大，出现“幻觉漂移”怎么办？

答：首先检查是否开启了FDM接地校正技术，在配置文件中确认`use_fdm_grounding=True`，该技术会通过真实观测数据持续校正视觉预测结果；其次增加模型微调时的真实环境数据占比，让模型在训练过程中更多地学习真实环境的物理规律；最后调整视觉预测的步长，将预测步长设置为较小的值（如1-2秒），减少长距离预测带来的偏差，提升预测准确率。

七、相关链接

1. LingBot-VA官方开源仓库：https://github.com/Robbyant/lingbot-va

2. LingBot-VA预训练模型下载（HuggingFace）：https://huggingface.co/collections/robbyant/lingbot-va

3. LingBot-VA预训练模型下载（ModelScope）：https://modelscope.cn/collections/Robbyant/LingBot-VA

4. 论文地址：https://arxiv.org/abs/2601.21998

八、总结

LingBot-VA是蚂蚁灵波团队开源的一款面向通用机器人控制的因果视频-动作世界建模框架，也是全球首个实现机器人“自回归视频-动作联合建模”的开源技术框架，其核心创新在于打破了传统机器人控制的“观察-反应”模式，通过“视频世界模型预测+逆向动力学动作推理”的两步走逻辑，让机器人拥有了“想象未来再行动”的能力，从根本上解决了传统模型的表征缠绕、长时序记忆丢失、泛化能力弱等核心痛点。该框架基于Python开发，采用混合Transformer（MoT）双流架构，融合了因果注意力、KV Cache、FDM接地校正等核心技术，同时融入了部分去噪、异步推理、分布式部署等工程优化设计，在性能上具备长期记忆、少样本适应、跨场景/跨本体泛化、高精度控制等核心优势，在RoboTwin 2.0、LIBERO等主流仿真基准上刷新了SOTA记录，在真机测试中，面对长时序、高精度、可变形物体操控等高难度任务，仅需30-50条演示数据即可适配，任务成功率相较业界基线平均提升20%。LingBot-VA采用Apache-2.0开源许可证，提供了完整的代码、预训练权重和配套工具链，支持与RoboTwin 2.0等仿真平台无缝对接，也能适配星海图、松灵、乐聚等多家厂商的机器人本体，既为学术界的机器人控制算法研究提供了全新的技术载体，也为工业界的机器人智能化落地提供了低成本、高可用的技术底座，同时作为蚂蚁灵波具身智能开源体系的核心组成部分，与LingBot-Depth、LingBot-VLA、LingBot-World协同构建了“感知-理解-决策-执行”的全链路机器人智能体系，推动了通用机器人技术的开源与普及。