Orbis 1.0:Visko推出的Live Model实时交互式长视频生成模型

AI新闻 人工智能研究所
83

一、Orbis是什么

Orbis 1.0是Visko发布的Live Model(驻留式实时模型),主打实时交互式长视频生成,区别于传统AI视频模型一次性提交提示词、等待完整视频输出的离线模式。

Orbis作为持续运行的状态化生成进程,视频生成过程中允许随时修改提示词,新指令仅作用于后续画面,不会改写已经生成完成的帧,支持小时级别连续视频输出,解决长视频角色漂移、场景崩坏、时序不一致等行业痛点,面向交互式内容、仿真、实时虚拟画面生产场景提供底层能力。

二、功能特色

  1. 动态提示词交互:视频生成运行过程中更新提示,约1秒内生效,无需重新启动生成任务,支持文生视频、图生视频、视频续写、多语言提示输入。

  2. 小时级长时序稳定输出:依靠多尺度记忆模块,在固定算力开销下实现超长连续视频,抑制角色、色彩、物体风格漂移。

  3. 流式实时24FPS输出:原生输出832×480分辨率,搭配流式超分模块可输出4K视频,帧渐进推送,不用等待全部渲染完毕即可预览画面。

  4. 物理一致性优化:强化物体运动、碰撞、形变的现实物理逻辑,降低物体穿模、运动违背常识的生成缺陷。

  5. 多任务统一基座:同一个模型同时支持文本驱动、图片启动、已有视频接续生成,统一长视频生成链路。

Orbis 1.0(图1)

三、技术细节

  1. 因果分块隐式流生成架构
    把视频生成建模为随时间推进的时序初值问题,采用因果分块自回归逻辑,已经生成的画面固定不变,新提示只影响未来片段;摒弃双向联合降噪方案,提升长时序物理合理性。

  2. 有界多尺度记忆模块
    设置固定token预算,对近期画面保留高分辨率特征,久远历史画面做特征压缩;训练阶段加入历史损坏增强,模拟推理瑕疵,提升长序列鲁棒性,控制显存占用不会随视频时长无限膨胀。

  3. 事件对齐多级训练数据集
    原始视频执行镜头切分、质量过滤、安全过滤、分布重平衡、人工筛选;配套时间对齐事件字幕标注,记录不同时间段画面事件;训练分为预训练集、中间训练集、高质量微调集三级子集。

  4. 后训练对齐优化三件套

  • 少步流蒸馏:移除无分类器引导,降低推理算力开销;

  • GRPO组相对强化学习:优化画面美学、运动流畅度、图文匹配度;

  • V‑JEPA2隐式世界模型奖励:对生成片段做物理一致性打分,约束物体运动逻辑。

  1. 工程推理栈
    编译Transformer、序列并行、FIFO流水线队列、内容自适应漂移抑制,搭配独立流式超分模型,实现多GPU流式长视频推理。

四、应用场景

  • 交互式影视预演:边生成边调整剧情镜头,实时修改叙事走向,快速产出长叙事样片。

  • AI虚拟直播:实时根据观众输入动态变更画面内容,打造可互动虚拟直播流。

  • 机器人与数字仿真:构建连续虚拟环境,用于仿真测试,维持场景物体空间一致性。

  • 交互式故事内容:生成小时级连续故事视频,中途切换剧情、角色、场景设定。

  • 教育演示内容:持续生成连贯动态演示视频,随时调整演示主题与画面细节。

五、使用方法

Orbis 1.0目前以研究论文形式公开,暂未开放面向普通用户的公有网页版,主要面向开发者、研究人员、企业合作伙伴:

  1. 研究阅读:下载官方PDF论文,完整阅读模型架构、训练、评测细节,复现实验方案。

  2. 企业合作接入:联系Visko官方,获取模型推理接口,部署多GPU硬件环境,需要充足显存算力支撑长视频流式推理。

  3. 交互操作逻辑:启动Live Model驻留进程,输入初始提示词/参考图片/参考视频启动生成;生成运行期间持续提交更新提示词,模型将新指令作用于后续输出帧,实时接收流式输出视频流。

    提示:普通个人用户无法直接开箱即用,该模型对GPU硬件资源要求较高。

六、竞品对比

选取同赛道实时长视频生成模型Helios、LongLive、HappyOyster做横向对比:

产品 核心范式 长时序稳定性 物理一致性 突出优势 短板
Orbis 1.0 Live Model驻留实时生成 ★★★★★ ★★★★★ 可中途改提示词,小时级视频,物理表现最优 短片段单帧美学存在竞品优势
Helios 离线流式视频生成 ★★★☆☆ ★★★☆☆ 生成速度快,单帧画质优秀 生成中不可修改提示词,长视频漂移明显
LongLive 视频续写自回归模型 ★★★★☆ ★★★☆☆ 视频接续能力成熟 不支持运行时动态修改提示,物理错误较多
HappyOyster 实时视频生成模型 ★★★☆☆ ★★★☆☆ 单帧画面细节表现力强 长时间运行角色、场景漂移严重

七、常见问题解答

Q:Orbis 1.0是开源模型吗?

A:目前仅公开研究论文,权重、推理代码没有对外开源,普通开发者无法直接下载模型权重本地运行。

Q:Orbis可以生成多长的视频?

A:理论支持小时级连续视频输出,受硬件显存、算力资源约束;时长越长,对GPU集群资源要求越高。

Q:生成过程修改提示词,会修改已经输出的画面吗?

A:不会,Live Model机制保证已经渲染完成的帧保持原样,新提示只会影响之后尚未生成的视频片段。

Q:普通消费级显卡可以跑Orbis 1.0吗?

A:不可以,该模型为多GPU集群推理设计,消费级单卡显存、算力不足以支撑流式长视频推理。

Q:Orbis生成视频完全没有物理错误吗?

A:模型在物理基准测试中取得最优成绩,但依旧会存在少量穿模、物体逻辑错误,属于生成模型固有局限,无法做到100%现实物理正确。

Q:Orbis和普通文生视频模型核心差别是什么?

A:普通模型属于离线任务,提交指令等待完整结果;Orbis是持续运行的状态进程,生成过程可以持续干预、调整故事走向,面向交互式场景。

八、相关链接

九、总结

Orbis 1.0以Live Model驻留式实时生成作为全新范式,通过因果分块生成、有界多尺度记忆、物理对齐奖励与完整工程推理栈,解决传统AI长视频生成时序漂移、无法中途交互干预的痛点,实现小时级可动态调整提示词的24FPS实时4K视频输出,为交互式影视、虚拟直播、仿真领域提供一套完整的底层技术方案,在时序稳定性、物理合理性评测上优于同赛道多款主流视频模型。

打赏
THE END
作者头像
人工智能研究所
发现AI神器,探索AI技术!