Xiaomi-Robotics-U0：小米发布的开源机器人仿真数据生成AI模型

一、Xiaomi-Robotics-U0 是什么

Xiaomi-Robotics-U0 是小米机器人实验室发布的38B参数自回归式世界基础大模型，也是业内首款统一通用图像生成、具身世界建模的一体化具身合成大模型。

模型采用单一自回归技术框架，融合文生图、图像编辑、多视角机器人场景生成、具身环境迁移、机器人交互视频时序生成五大能力，打通通用视觉生成与机器人具身智能两大技术赛道。

依托通用图像大模型语义知识迁移能力，Xiaomi-Robotics-U0 能够低成本批量产出机器人仿真训练数据，直接提升机器人视觉感知、空间推理、运动策略训练效果，完整开源至主流AI模型社区，面向科研机构、机器人企业、AI开发者开放使用。

二、功能特色

1. 一体化多任务自回归生成
   一套模型同时支持静态图像任务与时序视频任务，无需切换多套模型权重，兼顾通用绘图与机器人专属仿真画面生成。

2. 高精度可控具身场景迁移
   画面拆分为工作区、背景、前景杂物、目标物体、光照五大独立可控维度，单独修改任意场景元素时，完整保留机器人姿态、手部交互动作，不会破坏原有交互逻辑。

3. 多视角物理一致性场景生成
   文本输入即可生成符合真实物理规则的多视角机器人观测画面，不同视角物体尺寸、空间位置、光影保持统一，解决传统生成模型视角错位、空间失真问题。

4. 时序化机器人交互视频推演
   输入初始场景图像+动作文本指令，自动生成连续交互视频，支持1FPS/3FPS/5FPS多帧率输出，模拟机器人抓取、搬运、移动等完整操作流程。

5. 通用文生图与指令式图像编辑
   不局限机器人仿真场景，可完成通用高清文生图、局部修改、物体增删、风格替换等常规图像创作需求，兼顾通用AIGC绘图能力。

6. 极致优化高速推理引擎
   搭载自研FlashAR加速方案，搭配vLLM分页KV缓存批量调度、反对角并行解码，大幅降低图像生成耗时，支持批量多图并行编辑。

三、技术细节

3.1 整体架构：双阶段统一自回归训练

模型统一使用「下一词预测」自回归范式，训练流程分为两大任务阶段：

• 静态单步生成任务：文生图、指令图像编辑、静态多视角机器人场景、静态环境迁移；

• 时序序列生成任务：长时序机器人交互视频、多帧连续场景滚动推演、多视角动态预测。
  文本、图像复用同一套多模态词表，通过IBQ图像分词器将像素图像离散为序列Token，实现文本、视觉信息统一编码解码。

3.2 模型基础参数

参数量规模38B，专为具身智能场景优化，平衡生成精度与硬件部署门槛，可在单张高端消费级显卡、云端推理集群两种环境运行。

3.3 自研推理加速技术 FlashAR

结合vLLM分页KV缓存与反对角并行解码优化：
原始1024×1024单图生成耗时450.77s，优化后仅需5.44s，推理速度提升约82.9倍；原生支持多张参考图同时导入编辑，支持批量任务调度，适合大批量仿真数据批量生成。

3.4 评测基准表现

在具身智能权威评测集WorldArena（包含100余款参评世界模型）中综合得分73.64，排名第一；在物理贴合度、3D空间精度、动作流畅度、指令跟随、场景交互真实性细分指标全面优于主流竞品模型。

四、应用场景

1. 机器人仿真训练数据生产
   批量生成极端环境、危险工况、海量差异化虚拟场景数据，弥补真机实地采集成本高、场景覆盖有限的行业痛点，用于机械臂、家用服务机器人、移动巡检机器人策略训练。

2. 具身智能算法科研实验
   高校、实验室用于空间视觉、多模态具身规划、机器人视觉大模型相关课题研究，开源权重可直接复现官方论文实验。

3. 机器人产品可视化演示
   快速生成机器人操作效果图、连续动作演示短视频，用于产品宣传、方案展示、功能原型验证。

4. 通用AI图像内容创作
   设计师、自媒体使用文生图、图像编辑功能完成插画、场景效果图、产品修图等通用视觉创作。

5. 虚拟机器人环境快速迭代
   产品研发阶段快速迭代不同光照、布局、物体搭配的测试场景，无需搭建实体测试台，缩短机器人研发周期。

五、使用方法

1. 获取开源权重
   前往Hugging Face、ModelScope官方模型仓库下载完整模型权重、推理代码、依赖环境配置文件；

2. 部署环境配置
   安装CUDA、PyTorch、vLLM、FlashAR加速依赖库，根据显卡显存选择单机单卡/多卡批量推理模式；

3. 选择生成任务模式
   启动推理脚本后，切换对应任务分支：文生图、图像编辑、多视角场景生成、具身场景迁移、交互视频生成；

4. 输入生成指令与素材
   静态任务输入文本提示词/参考图片；视频任务上传初始场景图+动作描述文本，自定义分辨率、帧率、场景可控参数；

5. 批量导出生成结果
   设置批量生成数量，一键导出图片、时序视频文件，直接用于机器人数据集或内容创作。

六、竞品对比

选取两款主流具身世界生成模型开展横向对比，维度覆盖架构、核心能力、推理速度、开源属性、仿真适配能力。

七、常见问题解答

Q1：Xiaomi-Robotics-U0 只能用于机器人行业吗？

A：并非仅局限机器人领域。模型内置完整通用文生图、图像编辑模块，普通创作者可用于插画、效果图、图片修改等常规视觉创作，机器人仿真只是其核心特色场景。

Q2：本地部署需要什么配置的显卡？

A：单张生成1024分辨率图像最低要求24G显存显卡；批量生成、视频推演建议使用40G及以上A100、RTX A6000等专业显卡，多卡集群可大幅提升批量数据产出效率。

Q3：模型完全免费开源吗，商用是否有授权限制？

A：小米机器人实验室公开完整模型权重与推理代码，个人科研、企业商用均可免费使用，仅需遵循开源协议标注模型来源，无额外付费授权门槛。

Q4：具身场景迁移时可以只更换室内光照，不改动机器人吗？

A：可以。模型将场景拆分为五大独立可控维度，仅调整光照参数即可完成全局光影替换，机器人本体、抓取物体、操作姿态完全保持不变。

Q5：生成的仿真视频可以直接导入机器人训练框架吗？

A：可以。输出图像、视频格式兼容主流机器人仿真平台数据集标准，无需额外格式转换，可直接用于视觉策略、强化学习模型训练。

八、相关链接

1. 官方介绍页：https://robotics.xiaomi.com/xiaomi-robotics-u0.html

2. GitHub仓库地址：https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0

3. Hugging Face 模型库：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

4. ModelScope 模型库：https://modelscope.cn/collections/XiaomiRobotics/Xiaomi-Robotics-U0

5. 技术论文：https://arxiv.org/pdf/2607.11643

九、总结

Xiaomi-Robotics-U0作为小米机器人实验室推出的38B统一自回归具身世界基础模型，整合通用图像生成与机器人仿真时序视频生成能力，依靠自研FlashAR高速推理、多维度可控场景迁移、高一致性多视角生成等独有技术，在权威具身智能评测榜单中性能领先，同时完整开源降低行业研发门槛，既能够为机器人企业、科研机构大批量生产低成本仿真训练数据，解决具身智能场景数据稀缺难题，也可满足普通用户通用AI绘图创作需求，是兼顾专业机器人研发与通用视觉内容生成的一体化多模态基础模型。