Orbis 1.0:Visko推出的Live Model实时交互式长视频生成模型
一、Orbis是什么
Orbis 1.0是Visko发布的Live Model(驻留式实时模型),主打实时交互式长视频生成,区别于传统AI视频模型一次性提交提示词、等待完整视频输出的离线模式。
Orbis作为持续运行的状态化生成进程,视频生成过程中允许随时修改提示词,新指令仅作用于后续画面,不会改写已经生成完成的帧,支持小时级别连续视频输出,解决长视频角色漂移、场景崩坏、时序不一致等行业痛点,面向交互式内容、仿真、实时虚拟画面生产场景提供底层能力。
二、功能特色
动态提示词交互:视频生成运行过程中更新提示,约1秒内生效,无需重新启动生成任务,支持文生视频、图生视频、视频续写、多语言提示输入。
小时级长时序稳定输出:依靠多尺度记忆模块,在固定算力开销下实现超长连续视频,抑制角色、色彩、物体风格漂移。
流式实时24FPS输出:原生输出832×480分辨率,搭配流式超分模块可输出4K视频,帧渐进推送,不用等待全部渲染完毕即可预览画面。
物理一致性优化:强化物体运动、碰撞、形变的现实物理逻辑,降低物体穿模、运动违背常识的生成缺陷。
多任务统一基座:同一个模型同时支持文本驱动、图片启动、已有视频接续生成,统一长视频生成链路。

三、技术细节
因果分块隐式流生成架构
把视频生成建模为随时间推进的时序初值问题,采用因果分块自回归逻辑,已经生成的画面固定不变,新提示只影响未来片段;摒弃双向联合降噪方案,提升长时序物理合理性。有界多尺度记忆模块
设置固定token预算,对近期画面保留高分辨率特征,久远历史画面做特征压缩;训练阶段加入历史损坏增强,模拟推理瑕疵,提升长序列鲁棒性,控制显存占用不会随视频时长无限膨胀。事件对齐多级训练数据集
原始视频执行镜头切分、质量过滤、安全过滤、分布重平衡、人工筛选;配套时间对齐事件字幕标注,记录不同时间段画面事件;训练分为预训练集、中间训练集、高质量微调集三级子集。后训练对齐优化三件套
少步流蒸馏:移除无分类器引导,降低推理算力开销;
GRPO组相对强化学习:优化画面美学、运动流畅度、图文匹配度;
V‑JEPA2隐式世界模型奖励:对生成片段做物理一致性打分,约束物体运动逻辑。
工程推理栈
编译Transformer、序列并行、FIFO流水线队列、内容自适应漂移抑制,搭配独立流式超分模型,实现多GPU流式长视频推理。
四、应用场景
交互式影视预演:边生成边调整剧情镜头,实时修改叙事走向,快速产出长叙事样片。
AI虚拟直播:实时根据观众输入动态变更画面内容,打造可互动虚拟直播流。
机器人与数字仿真:构建连续虚拟环境,用于仿真测试,维持场景物体空间一致性。
交互式故事内容:生成小时级连续故事视频,中途切换剧情、角色、场景设定。
教育演示内容:持续生成连贯动态演示视频,随时调整演示主题与画面细节。
五、使用方法
Orbis 1.0目前以研究论文形式公开,暂未开放面向普通用户的公有网页版,主要面向开发者、研究人员、企业合作伙伴:
研究阅读:下载官方PDF论文,完整阅读模型架构、训练、评测细节,复现实验方案。
企业合作接入:联系Visko官方,获取模型推理接口,部署多GPU硬件环境,需要充足显存算力支撑长视频流式推理。
交互操作逻辑:启动Live Model驻留进程,输入初始提示词/参考图片/参考视频启动生成;生成运行期间持续提交更新提示词,模型将新指令作用于后续输出帧,实时接收流式输出视频流。
提示:普通个人用户无法直接开箱即用,该模型对GPU硬件资源要求较高。
六、竞品对比
选取同赛道实时长视频生成模型Helios、LongLive、HappyOyster做横向对比:
| 产品 | 核心范式 | 长时序稳定性 | 物理一致性 | 突出优势 | 短板 |
|---|---|---|---|---|---|
| Orbis 1.0 | Live Model驻留实时生成 | ★★★★★ | ★★★★★ | 可中途改提示词,小时级视频,物理表现最优 | 短片段单帧美学存在竞品优势 |
| Helios | 离线流式视频生成 | ★★★☆☆ | ★★★☆☆ | 生成速度快,单帧画质优秀 | 生成中不可修改提示词,长视频漂移明显 |
| LongLive | 视频续写自回归模型 | ★★★★☆ | ★★★☆☆ | 视频接续能力成熟 | 不支持运行时动态修改提示,物理错误较多 |
| HappyOyster | 实时视频生成模型 | ★★★☆☆ | ★★★☆☆ | 单帧画面细节表现力强 | 长时间运行角色、场景漂移严重 |
七、常见问题解答
Q:Orbis 1.0是开源模型吗?
A:目前仅公开研究论文,权重、推理代码没有对外开源,普通开发者无法直接下载模型权重本地运行。
Q:Orbis可以生成多长的视频?
A:理论支持小时级连续视频输出,受硬件显存、算力资源约束;时长越长,对GPU集群资源要求越高。
Q:生成过程修改提示词,会修改已经输出的画面吗?
A:不会,Live Model机制保证已经渲染完成的帧保持原样,新提示只会影响之后尚未生成的视频片段。
Q:普通消费级显卡可以跑Orbis 1.0吗?
A:不可以,该模型为多GPU集群推理设计,消费级单卡显存、算力不足以支撑流式长视频推理。
Q:Orbis生成视频完全没有物理错误吗?
A:模型在物理基准测试中取得最优成绩,但依旧会存在少量穿模、物体逻辑错误,属于生成模型固有局限,无法做到100%现实物理正确。
Q:Orbis和普通文生视频模型核心差别是什么?
A:普通模型属于离线任务,提交指令等待完整结果;Orbis是持续运行的状态进程,生成过程可以持续干预、调整故事走向,面向交互式场景。
八、相关链接
Visko官方网站:https://www.visko.ai
九、总结
Orbis 1.0以Live Model驻留式实时生成作为全新范式,通过因果分块生成、有界多尺度记忆、物理对齐奖励与完整工程推理栈,解决传统AI长视频生成时序漂移、无法中途交互干预的痛点,实现小时级可动态调整提示词的24FPS实时4K视频输出,为交互式影视、虚拟直播、仿真领域提供一套完整的底层技术方案,在时序稳定性、物理合理性评测上优于同赛道多款主流视频模型。
版权及免责申明:本文由@人工智能研究所原创发布。该文章观点仅代表作者本人,不代表本站立场。本站不承担任何相关法律责任。
如若转载,请注明出处:https://www.aipuzi.cn/ai-news/orbis-1-0.html

