EdenLive：VAST开源实时生成式渲染模型

AI新闻 AI工具箱 1天前

一、EdenLive是什么

EdenLive 是 VAST-AI-Research 推出的开源实时生成式渲染模型，隶属于 Project Eden 世界模型项目。它采用世界状态逻辑与视觉渲染解耦的架构，上游程序负责维护场景规则、物体运动与交互状态，输出低质量参考画面流；EdenLive 接收参考视频流、首帧图像与文本提示词，在保留原始场景布局、物体运动轨迹不变的前提下，实时重绘生成高清风格化视频，支持交互式实时渲染与离线视频重渲染两种工作模式。

二、功能特色

实时流式视频渲染：5B版本在单张RTX5090显卡上，720P分辨率可稳定24.7FPS，端到端延迟百毫秒级别，支持分钟级不间断连续生成，满足实时交互需求。
运动轨迹锁定重绘：依托参考画面流，保留物体位置、运动逻辑不变，仅替换画面画风，不会打乱原有动作与场景结构。
多风格自由切换：通过文本提示词，一键切换写实、二次元、电影质感等多种视觉风格。
配套游戏原型工具：内置Game Prototype Turbo，可通过文本快速生成简易可交互游戏原型，原型输出画面可直接送入EdenLive做AI渲染演示。
开源双模型版本：提供5B消费级版本、14B高性能版本，开放流式推理代码、扩散组件、VAE解码器权重，降低本地部署门槛。

EdenLive（图1）

三、技术细节

EdenLive基于Wan2.2-TI2V-5B、Wan2.1-I2V-14B底座模型改造，搭配自研LightX2V推理加速框架，实现视频流式扩散推理。
整体架构分为两层：

上游状态层：游戏引擎/智能代理，负责场景物理、角色逻辑、交互事件，输出低分辨率参考帧序列；
EdenLive渲染层：接收参考流、首帧图、文本prompt，使用DINOv3编码器做特征提取，扩散模型完成画面重渲染，VAE负责图像解码输出高清视频。

模型硬件性能参考表：

模型版本	运行硬件	分辨率	帧率	适用场景
5B	RTX5090消费卡	1280×704（720P）	24.7FPS	本地PC实时交互、个人开发
5B	H100	1280×704	29.8FPS	服务器实时渲染
14B	8卡H100	832×480	26.8FPS	高画质复杂场景离线渲染

许可证说明：项目主体代码使用Apache-2.0协议；DINOv3编码器遵循原有许可；FLUX图像组件仅限非商用场景使用。

四、应用场景

交互式AI游戏：轻量游戏逻辑运行，AI实时渲染画面，低成本快速打造不同画风的可玩Demo。
离线视频风格重绘：导入已有视频，保留人物动作不变，批量更换画面美术风格，用于动画、短视频二次创作。
具身智能数据集增强：对真人动作视频做角色替换、场景替换，保留动作轨迹，扩充机器人、数字人训练素材。
动画前期预览：动画分镜、动作预演阶段，快速生成风格化样片，缩短美术预览周期。

五、使用方法

克隆GitHub项目仓库到本地环境。
前往HuggingFace仓库下载对应模型权重（5B/14B按需选择）。
部署CUDA环境，安装项目所需Python依赖包。
准备输入素材：上游参考视频流/参考帧序列、场景首帧图像、风格提示词。
运行流式推理脚本，输出实时渲染视频；也可切换离线模式，对完整视频文件批量重渲染。
可选：使用Game Prototype Turbo生成文本驱动的简易游戏原型，直接联动EdenLive做交互式演示。

六、竞品对比

选取Krea实时视频模型、Decart Mirage LSD、EdenLive进行对比：

项目	核心定位	开源状态	核心优势	短板
EdenLive	实时解耦式视频渲染器	开源，权重开放	逻辑与渲染分离，保留物体运动轨迹，支持分钟级连续生成，消费级显卡可跑实时	复杂高速交互场景稳定性不足，长时序物体身份一致性弱
Krea Real-Time Video	实时画面风格迁移	闭源在线服务	低延迟摄像头/屏幕流实时转换，上手简单	不可本地部署，不支持自定义场景逻辑，长视频连续性差
Decart Mirage LSD	无限时长实时视频风格化	闭源API服务	单帧延迟低，直播流风格迁移效果优秀	不开源，仅做画面风格转换，无法联动自定义游戏/场景代理程序

七、常见问题解答

Q：EdenLive可以商用吗？

A：项目主体代码采用Apache-2.0协议，但项目中FLUX图像组件仅允许非商用使用，如果你的项目用到FLUX相关模块，则不能商用；使用前需要仔细核对各组件独立许可协议。

Q：最低需要什么显卡才能跑EdenLive 5B版本？

A：官方推荐RTX5090运行5B版本实现720P实时24FPS；显存更低显卡可以尝试运行，但分辨率、帧率会明显下降，无法达到实时交互效果。

Q：EdenLive和普通文生视频模型最大区别是什么？

A：普通文生视频模型依靠文本从头生成画面，物体运动容易漂移、无法交互；EdenLive不负责场景逻辑，只做画面重渲染，上游程序控制物体运动，动作轨迹稳定，适合交互式实时场景。

Q：模型是否支持超长视频不间断生成？

A：支持分钟级连续流式生成，但长时间运行下，物体离开画面再重新出现时，外观一致性容易出现偏差，属于当前模型固有局限。

Q：EdenLive只能配合游戏引擎使用吗？

A：不是。除游戏引擎外，任何可以输出连续参考帧序列的程序、录屏视频、实拍视频都可以作为输入，可用于离线视频风格化重绘。

八、相关链接

GitHub仓库：https://github.com/VAST-AI-Research/EdenLive
项目官网：https://vast-eden.ai/?p=edenlive
模型权重HuggingFace地址：https://huggingface.co/VAST-AI/EdenLive
技术报告PDF：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

九、总结

EdenLive是一套开源的实时生成式渲染方案，通过将场景逻辑维护与视觉渲染解耦，解决传统文生视频模型难以稳定支持交互式实时画面生成的痛点，在消费级显卡上即可实现720P实时视频重绘，既能用于AI游戏原型制作，也可服务于视频风格化二次创作，配套完整代码与模型权重，为开发者和创作者提供了一套可本地部署的实时AI视频渲染工具。