Atlas:World Labs推出的面向空间智能的多模态世界模型

AI新闻 97ai
93

一、Atlas是什么

Atlas是World Labs从零完整预训练的多模态世界模型,核心定位是空间智能底座,原生兼容文本、图像、视频、相机位姿、3D深度多类输入数据,在同一个模型内完成视频生成、3D场景重建、时空仿真、图像生成四类任务,把视觉内容统一映射到三维空间上下文,可推理相机未拍摄到的场景区域,输出图像、视频、点云、高斯溅射3D数据,是World Labs旗下Marble产品的底层基础模型。

和普通视频生成模型不同,Atlas不是在现有图像视频模型上微调改造,训练阶段就把空间几何关系纳入模型底层逻辑,不只是生成好看画面,而是理解整个三维世界结构。

二、功能特色

  1. 相机可控生成
    支持1‑6张参考图片输入,接收像素级相机位姿、运动轨迹参数,自定义镜头移动、旋转、拉升路径;最高输出1440p、最长1分钟连续视频;模型自动补全原图没有拍到的场景,全程保持物体几何一致性,规避普通AI视频常见的镜头崩坏、物体畸变问题。

  2. 空间重建
    少量图片即可完成真实场景三维重建,2‑3张图片就可以产出高质量结果,输入图片越多,虚构生成占比越低,还原真实度越高。支持输出新视角画面,原生输出点云、3D高斯溅射(Gaussian Splatting)格式数据,可直接对接游戏、影视后期、三维设计工作流,重建效果优于很多专门做3D重建的开源模型。

  3. 时空仿真
    普通手机拍摄的多机位素材,即可实现子弹时间效果,自由切换镜头视角;支持真实环境转机器人仿真(Real‑to‑Sim),用手机拍摄的普通视频扫描现实环境,重建三维空间,模拟机器人运动,输出RGB、深度传感器仿真数据,用于机器人导航、物体交互任务训练,支持刚体、铰接物体、可变形物体模拟仿真。

  4. 图像与全景生成
    支持文本提示词生成图片、360°全景图,支持复杂提示词、渲染文字、多种视觉艺术风格,作为附属能力配套使用。

Atlas(图1)

三、技术细节

Atlas采用多模态自回归扩散Transformer架构,融合大语言模型与扩散视频模型两套技术路线的优势。

  1. 多模态输入层:原生接收文本、图像、深度图、相机位姿;视频被拆解为图像序列,相机坐标是模型原生输入,不是靠文本提示间接描述镜头。

  2. 自回归序列生成:把各类任务统一转化序列输出,复用LLM成熟的KV缓存、分布式推理优化方案。

  3. 整流流(Rectified Flow)扩散模块:依靠逐步去噪产出高画质视觉输出,可以灵活权衡推理速度和画面质量,兼容扩散蒸馏、VAE优化等成熟技术。

  4. Transformer骨干网络:适配现代GPU硬件,所有输入统一映射到共享的空间上下文,以此保证不同视角、不同帧之间三维空间逻辑统一,能够脑补相机视野之外的场景内容。

  5. 缩放特性:模型性能跟随训练算力提升持续增强,具备规模扩展效应。

四、应用场景

  • 影视VFX后期:少量实拍照片,自定义镜头轨迹生成长镜头素材,子弹时间特效,降低实拍机位成本,输出可二次编辑的3D场景数据。

  • 游戏与元宇宙内容生产:照片快速重建真实环境,导出高斯溅射三维资产,快速搭建游戏场景。

  • 机器人仿真训练:现实环境扫描转为仿真环境,大批量生成机器人导航、抓取交互的训练数据集,降低实体机器人测试成本。

  • 三维设计、建筑可视化:实景照片生成多角度漫游视频,快速输出建筑、室内空间新视角预览。

  • 数字内容创作:单张图片扩展场景,生成全景素材,AI视频创作,实现精确可控运镜。

五、使用方法

当前Atlas并未向普通用户开放公开网页端,仅面向选定合作伙伴开放早期访问权限。

  1. 企业/机构申请早期访问:访问官方博客页面,提交合作申请,获取模型接入权限。

  2. 输入素材:上传1‑多张图片/普通手机视频;提供相机位姿参数,定义镜头运动轨迹。

  3. 选择任务类型:相机可控视频生成、3D空间重建、时空仿真、图像全景生成。

  4. 获取输出:可得到图片、1440p视频、点云、3D高斯溅射场景文件。

  5. 下游对接:输出的3D数据可直接导入Marble平台以及第三方三维引擎开展二次加工。

普通用户可以体验Marble产品,Marble是基于Atlas底层技术封装的面向大众的3D世界生成工具。

六、竞品对比

选取MiniMax H3、Gemini Omni Flash两款主流多模态视频模型做横向对比:

对比维度 Atlas(World Labs) MiniMax H3 Gemini Omni Flash
原生相机位姿输入 ✅支持,底层原生输入 ❌仅依靠文本提示描述镜头 ❌仅依靠文本提示描述镜头
最长视频时长 最长60秒,1440p 数十秒级别 数秒级别
3D重建输出 ✅点云、高斯溅射原生输出 ❌无原生3D重建能力 ❌无原生3D重建能力
子弹时间时空仿真 ✅原生支持 ❌不支持 ❌不支持
复杂运镜一致性 优秀,第三方盲测胜率75%以上 一般,复杂轨迹容易崩坏 较差,长镜头容易失真
定位 空间智能世界模型 通用视频生成大模型 通用多模态大模型

备注:MiniMax H3、Gemini Omni Flash无法直接输入相机坐标,镜头运动全部依靠自然语言提示词描述,复杂镜头下可控能力弱于Atlas。

七、常见问题解答

Atlas可以普通个人直接在线试用吗?

目前Atlas底层模型仅对合作企业开放早期访问,普通用户没有直接调用入口;普通用户可以使用衍生产品Marble体验同源空间生成能力。

Atlas必须很多张照片才能重建场景吗?

不需要,最少单张图片就可以做重建,图片数量越少,AI脑补生成内容占比越高;2‑3张图片即可获得高质量重建效果,图片越多还原真实场景精度越高。

Atlas输出的高斯溅射文件可以导入Unity、Unreal吗?

可以,输出的Gaussian Splatting数据格式兼容主流三维引擎,能够直接用于游戏、仿真项目。

Atlas和Marble是什么关系?

Atlas是底层基础世界模型,Marble是面向用户的上层产品,Marble调用Atlas的能力完成3D世界生成。

Atlas生成视频是否支持无限时长?

不支持,官方上限最长为1分钟1440p视频。

Atlas是否开源?

现阶段没有开源计划,仅提供合作伙伴早期API访问。

八、相关链接

九、总结

Atlas作为World Labs推出的空间智能世界模型,依靠自回归扩散Transformer架构,原生支持相机位姿与三维数据输入,把视频生成、稀疏视图3D重建、时空仿真整合进一套基础模型,在镜头可控生成、真实场景三维还原上相比传统视频模型具备明显优势,覆盖影视特效、游戏资产制作、机器人仿真等多个行业,虽然目前仅面向合作伙伴开放,但是为空间AI内容生产提供了全新的技术底座。

打赏
THE END
作者头像
97ai
我不是在训练模型,而是在与未来的自己对话。