OpenStoryline：小红书开源的 AI 对话式视频创作智能体，零门槛全流程自动生成视频

一、OpenStoryline是什么

OpenStoryline是小红书开源的AI智能体驱动对话式视频创作系统，核心是用自然语言对话完成从素材到成片的全流程视频生成，无需专业剪辑技能，即可自动生成脚本、分镜、剪辑、配乐、配音、字幕与特效。它把复杂的非线性编辑转化为意图→理解→执行的智能体工作流，用户只需描述需求，系统自动拆解任务、调度多模态模型、完成素材处理与视频合成，实现“一句话出片”。

项目定位：

• 面向普通用户：零门槛AI视频生成工具

• 面向开发者：可二次开发的AI视频创作框架

• 面向企业：可私有化部署的批量视频生产底座

开源协议：Apache-2.0，支持商用与二次分发。

二、功能特色

1. 对话式全流程视频创作

• 自然语言描述需求，自动生成完整视频

• 支持中途修改、补全、调整风格与节奏

• 无需时间轴、无需逐帧操作

2. 智能媒体素材理解与处理

• 自动解析图片/视频内容、场景、人物、情绪

• 智能分割长素材、提取高光片段

• 支持本地素材+在线素材自动检索补充

3. 全自动脚本与旁白生成

• 按主题自动生成故事线、镜头语言、旁白文案

• 支持风格迁移：测评、vlog、纪录片、广告等

• 上下文连贯，情绪与画面匹配

4. 智能分镜与剪辑编排

• 自动生成分镜脚本、转场、节奏控制

• 支持快剪、慢放、卡点、混剪等常见风格

• 多素材智能排序与组合

5. 一站式音画包装

• 智能推荐BGM、音效、配音音色

• 自动字幕、字体、颜色、描边、位置适配

• 滤镜、调色、特效一键匹配

6. 编辑技能存档（Skill）

• 保存完整创作流程为可复用模板

• 替换素材即可一键复刻风格

• 支持批量生产同类视频

7. 多端可用与轻量化部署

• 提供Web界面、CLI命令行、API服务

• 支持CPU/GPU运行，可云端/本地部署

• Docker一键封装，兼容Linux/macOS/Windows

三、核心功能一览

四、技术细节

1. 整体架构

采用智能体中枢+多模态能力+工具链三层架构：

1. Agent中枢：任务规划、对话管理、状态记忆、流程调度

2. 多模态模型层：LLM语义理解、视觉理解、TTS、音乐匹配

3. 执行引擎层：素材处理、剪辑渲染、导出、Web服务

2. 核心技术栈

• 开发语言：Python 3.11+

• 服务框架：FastAPI

• 前端：Web可视化交互

• 模型依赖：支持开源LLM与多模态模型

• 媒体处理：FFmpeg、OpenCV、PIL

• 部署：Docker、Shell脚本自动化

3. 工作流程

1. 上传/导入素材

2. 自然语言描述创作需求

3. 智能体解析意图→生成脚本→生成分镜

4. 自动剪辑、配乐、配音、字幕

5. 预览→对话修改→最终导出

6. 保存Skill模板→批量复用

4. 扩展性设计

• 配置化：config.toml统一管理模型、路径、参数

• 插件化：可接入自定义模型、配音、音乐、字体库

• 技能化：创作流程可存档、分享、迭代

五、应用场景

1. 个人创作者

• 日常vlog、旅行、美食、宠物、生活记录

• 知识分享、读书、才艺展示

• 无需剪辑基础，快速出片

2. 电商与商家

• 商品开箱、测评、卖点展示

• 店铺上新、活动宣传短视频

• 批量生成商品展示视频

3. 新媒体与MCN

• 矩阵账号批量生产

• 热点快速剪辑、二创

• 统一风格、降低人力成本

4. 企业与机构

• 产品宣传、企业文化、活动回顾

• 培训视频、微课、公告

• 私有化部署，数据安全可控

5. 开发者与集成

• 二次开发成SaaS工具

• 接入APP/小程序/公众号

• 构建行业垂直视频生成能力

六、使用方法

1. 环境准备

• 安装Python 3.11+

• 安装FFmpeg

• 克隆仓库：

git clone https://github.com/FireRedTeam/FireRed-OpenStoryline.git
cd FireRed-OpenStoryline

2. 快速部署

方式一：脚本一键部署

bash build_env.sh # 构建环境
bash download.sh  # 下载依赖资源
bash run.sh    # 启动服务

方式二：Docker部署

docker build -t openstoryline .
docker run -p 8000:8000 openstoryline

3. 三种使用方式

1. Web界面：浏览器打开 http://localhost:8000

2. CLI命令行：python cli.py 按提示交互

3. API调用：对接FastAPI接口，批量生成

4. 基本创作步骤

1. 上传图片/视频素材

2. 输入创作指令（风格、时长、情绪、文案等）

3. 等待自动生成预览

4. 用自然语言修改：如“节奏更快”“换音乐”“加字幕”

5. 导出MP4

6. 保存为Skill，下次一键生成

七、常见问题解答

OpenStoryline必须用GPU吗？

不是必须。CPU可正常运行，速度稍慢；GPU可加速渲染与模型推理，建议显存≥8GB。

支持哪些输入素材？

支持常见图片：JPG、PNG、WEBP；视频：MP4、MOV、MKV、AVI。

导出的视频是什么格式？

默认导出MP4，可在配置中修改分辨率、码率、帧率。

可以商用吗？

可以。项目采用Apache-2.0开源协议，允许商用、修改、分发。

没有技术基础能使用吗？

可以。Web界面纯对话操作，无需代码与剪辑知识。

可以自己替换配音、音乐、字体吗？

可以。在config.toml中配置路径，或在web界面上传自定义资源。

生成速度如何？

1分钟视频通常1–3分钟完成，取决于素材数量、硬件性能与复杂度。

能批量生成视频吗？

可以。先保存Skill模板，再批量替换素材，调用API或CLI批量执行。

数据会上传到第三方服务器吗？

默认本地私有化运行，模型与素材均在本地，不上云。

报错如何排查？

先检查FFmpeg是否安装、Python版本、磁盘空间、网络；查看logs目录日志；重启服务。

八、相关链接

• GitHub仓库：https://github.com/FireRedTeam/FireRed-OpenStoryline

• 项目主页：https://fireredteam.github.io/demos/firered_openstoryline/

• 在线Demo：https://fireredteam-firered-openstoryline.hf.space/

九、总结

OpenStoryline是FireRedTeam推出的开源对话式AI视频创作智能体，以自然语言交互替代专业剪辑操作，覆盖素材理解、脚本生成、智能剪辑、音画包装、风格存档全流程，兼顾个人用户零门槛使用与开发者二次开发、企业私有化部署，凭借轻量化、可扩展、全开源的特性，为短视频创作、电商营销、新媒体矩阵、企业宣传等场景提供高效视频生产方案，降低创作门槛、提升内容产出效率，是AI时代轻量化视频生成的代表性开源项目。