MiniCPM-Robot：面壁智能推出的开源机器人视觉动作大模型开发套件

AI新闻人工智能研究所 2小时前

一、MiniCPM-Robot是什么

MiniCPM-Robot 是由面壁智能 OpenBMB 团队开源的一套面向实体机器人的轻量化视觉-语言-动作（VLA）完整解决方案，采用 Apache 2.0 开源协议。项目配套两套专用具身大模型与PhyAI优化推理框架，专门服务机械臂、四足机器人等硬件，支持离线本地运行，无需依赖云端大模型。

整套方案解决小型硬件设备运行具身智能模型算力不足、推理延迟高、无法断网工作的痛点，覆盖机械臂操作任务、四足机器人目标跟踪导航两大核心机器人场景，也是面向科研开发者与硬件爱好者的低成本具身智能开发底座。

二、功能特色

双模型分工架构
内置 MiniCPM-RobotManip 机械操作模型、MiniCPM-RobotTrack 目标跟踪模型，分别对应机械臂操纵、机器狗语言指令跟随两大场景，模型各司其职，兼顾性能与轻量化。
离线本地端侧运行
全部模型支持本地部署，断网环境下正常完成视觉识别、语言理解、动作决策，摆脱网络与云端接口限制。
低延迟实时决策
针对机器人控制场景优化视觉Token压缩、特征推理链路，满足机械臂、四足机器人运动控制实时性要求。
长时序视觉记忆能力
模型可缓存历史帧画面，理解连贯长流程任务，支持复杂连续操作，任务异常时支持自动重试。
统一PhyAI推理框架
提供标准化硬件适配接口，原生兼容仿真环境与实体机器人，配套数据回流管线，方便使用者采集数据迭代模型。
轻量化小参数量设计
模型参数规模小，消费级显卡、机器人机载算力均可承载，大幅降低具身智能入门硬件门槛。

三、技术细节

MiniCPM-RobotManip（1.5B VLA操作模型）
面向机械臂抓取、组装、连续操作任务。采用统一权重范式适配多种操纵任务；引入流式长时视觉记忆，缓存历史图像序列；视觉Token压缩技术降低计算量，有效削减推理算力消耗，输出机械臂连续动作指令。可在仿真环境与实体机械臂完成多步骤复合任务。
MiniCPM-RobotTrack（0.4B跟踪导航模型）
联合南京大学共同研发，适配宇树Go2 Edu四足机器狗。融合DINOv3与SigLIP视觉特征，接收自然语言指令，预测多组未来位置坐标与航向角；针对遮挡、多目标干扰场景优化特征匹配逻辑，端侧运行帧率稳定，实现语言驱动自主目标跟随。
PhyAI专用推理框架
作为整套系统运行底座，完成模型推理加速、机器人硬件通信、长任务上下文管理、故障恢复、任务数据自动采集。统一封装模型调用接口，减少开发者重复开发推理适配代码。
整体技术链路
摄像头图像输入 → 视觉特征编码 → 语言指令融合 → VLA模型推理 → 运动指令输出至机器人控制器；全程端到端本地计算，无云端中转。

四、应用场景

科研实验：高校、实验室开展轻量化视觉动作大模型、具身智能相关算法研究；
个人开发：爱好者搭建低成本机械臂视觉抓取、四足机器狗语言跟随Demo；
小型自动化：轻量化机械臂本地视觉分拣、简易组装操作；
移动机器人：室内四足机器人离线目标跟随、巡逻导航；
机器人二次开发：基于开源底座，快速定制专属机器人视觉控制程序。

五、使用方法

环境准备：搭建Python运行环境，安装项目依赖库，准备支持CUDA的显卡或机器人机载计算单元；
代码拉取：克隆官方GitHub仓库；
模型下载：从Hugging Face获取MiniCPM-RobotManip、MiniCPM-RobotTrack权重文件；
硬件配置：根据机械臂/四足机器人型号修改通信配置文件，完成硬件驱动对接；
启动推理：调用PhyAI推理接口，加载对应模型；
任务测试：输入自然语言指令，执行抓取操作或目标跟随任务；
迭代优化：开启数据采集功能，采集任务样本用于模型微调。

六、竞品对比

选取主流开源具身视觉动作方案进行横向对比

项目名称	开发主体	模型定位	部署方式	典型硬件适配	核心优势
MiniCPM-Robot	OpenBMB面壁智能	轻量化双模型，机械臂+四足机器人	本地离线端侧部署	机械臂、宇树Go2机器狗	双场景专用模型，内置推理框架，低算力友好
π₀ (PiZero)	Physical Intelligence	通用机器人操作VLA模型	推荐GPU本地部署	各类机械臂	通用操纵能力强，模型参数量更大，硬件要求更高
Qwen-VLA	阿里通义实验室	通用视觉动作大模型	云端/本地部署	机械臂仿真环境	生态完善，通用多模态能力强，缺少原生四足机器人适配

七、常见问题解答

Q：MiniCPM-Robot必须使用宇树Go2机器狗才能运行吗？

A：不是。MiniCPM-RobotTrack原生适配宇树Go2 Edu用于目标跟随任务；MiniCPM-RobotManip面向机械臂，支持其他品牌机械臂与仿真环境，只需自行适配硬件通信协议。

Q：普通笔记本显卡是否可以流畅运行整套模型？

A：可以进行功能调试演示；1.5B的RobotManip模型建议配备拥有至少8GB显存的显卡，低显存设备推理速度会下降，难以满足机器人实时运动控制需求。

Q：项目支持商用吗？

A：项目采用Apache 2.0开源协议，遵循协议规范即可商用使用，使用前请仔细阅读仓库内完整协议文本。

Q：模型是否支持云端API调用方式运行？

A：项目原生设计为本地离线端侧推理，官方未提供云端调用方案，如需云端部署，开发者需要自行改造推理服务代码。

Q：能否直接在仿真环境中测试，不需要实体机器人硬件？

A：支持，项目兼容主流机器人仿真平台，开发者可以先在仿真环境验证算法逻辑，再迁移到实体硬件。

八、相关链接

GitHub仓库地址：https://github.com/OpenBMB/MiniCPM-Robot
Hugging Face模型库：https://huggingface.co/collections/openbmb/minicpm-robot
ModelScope模型库：https://modelscope.cn/collections/OpenBMB/MiniCPM-Robot

九、总结

MiniCPM-Robot是面壁智能推出的轻量化开源具身智能解决方案，依靠两套针对性优化的小参数量视觉语言动作模型与PhyAI推理框架，打通从视觉感知、语言理解到机器人动作输出的完整链路，兼顾离线运行、低延迟与低成本硬件适配需求，为科研人员和开发者提供了一套开箱可用、可二次开发的机械臂操作与四足机器人导航开源底座。