融光：基于智能体的全流程AI视频创作平台，一站式自动生成从剧本到成片的专业视频

一、融光是什么

融光（ai-fusion-video） 是一款的开源全流程AI视频创作平台，以"让每个人都能轻松制作专业视频"为核心目标。不同于市面上单一功能的AI视频生成工具，融光构建了完整的视频工业化生产体系，通过自研智能体（Agent）技术，将传统需要专业团队协作的视频制作流程，压缩为个人可独立完成的一站式操作。

作为一款TypeScript+Java双语言开发的现代化应用，融光不仅提供简单的文生视频、图生视频能力，更实现了从剧本创作、智能分镜、素材生成、视频合成、后期编辑到素材管理的全链路自动化。平台兼容OpenAI、Claude、Gemini、通义千问等主流大模型，支持本地部署与云端运行两种模式，兼顾个人创作者的便捷性与企业用户的安全性需求。

融光的核心创新在于Agent Pipeline可视化编排系统，用户无需编写代码，通过拖拽即可设计复杂的视频生成工作流，让AI按照预设逻辑自动完成多步骤创作任务。这种架构使融光既适合短视频博主快速产出内容，也能满足影视团队、广告公司等专业机构的工业化生产需求。

二、功能特色

2.1 全链路创作流程

• 智能剧本管理：支持分集、分场景的结构化剧本编辑，提供剧本模板库，自动校验剧情逻辑连贯性

• AI自动分镜：一键将文字剧本拆解为可视化分镜，包含画面描述、镜头语言、时长控制、运镜方式等专业参数

• 多模态素材生成：集成文生图、图生图、文生视频、图生视频、AI配音、AI字幕六大核心能力

• 智能视频合成：自动将分镜素材按剧本顺序拼接，添加转场效果、背景音乐、字幕，生成完整视频

• 批量处理能力：支持批量生成多个视频项目，后台队列处理，不影响前台操作

2.2 强大的AI能力

• 多模型兼容体系：无缝对接OpenAI、Anthropic Claude、Google Gemini、阿里通义千问、DeepSeek、Ollama等国内外主流AI大模型

• 智能提示词优化：自动分析用户输入，优化生成提示词，提升视频质量与一致性

• 角色一致性控制：跨镜头保持角色形象、服装、特征统一，解决AI视频常见的角色变形问题

• 电影级运镜控制：支持推、拉、摇、移、跟、旋转、环绕等专业运镜方式，可自定义镜头运动轨迹

• 声画同步生成：支持AI语音合成与视频画面精准口型匹配，提供多种音色、语言选择

2.3 专业级工具集

• 素材资产管理：统一管理图片、视频、音频、字幕等素材，支持分类、标签、搜索、版本控制

• 多存储后端支持：兼容本地存储、阿里云OSS、腾讯COS、MinIO等S3兼容存储服务

• 可视化流程编排：Agent Pipeline可视化编辑器，拖拽式设计AI工作流，支持条件判断、循环、分支等复杂逻辑

• 项目管理系统：完整的项目增删改查、进度跟踪、团队协作、权限控制功能

• 自定义模板库：支持创建、保存、分享视频模板，一键应用于新项目，大幅提升创作效率

2.4 部署与扩展性

• Docker一键部署：提供完整Docker Compose配置，5分钟完成环境搭建，无需复杂依赖配置

• 跨平台兼容：支持Windows、Linux、macOS系统，支持本地部署、服务器部署、云平台部署

• API接口开放：提供完整RESTful API，支持与现有系统集成，实现自动化视频生产

• 插件扩展机制：支持自定义插件开发，扩展AI模型、功能模块、输出格式等

• 国际化支持：多语言界面，支持中文、英文等多种语言，满足全球用户需求

三、技术细节

3.1 整体技术架构

融光采用前后端分离的现代化微服务架构，确保系统高性能、易扩展、易维护：

前端技术栈：

• Next.js 16：React服务端渲染框架，提供优秀的SEO支持与首屏加载速度

• React 19：最新版React框架，组件化开发，状态管理优化

• TypeScript：类型安全的JavaScript超集，提升代码质量与可维护性

• Tailwind CSS：实用优先的CSS框架，快速构建美观响应式界面

• ShadCN UI：高质量可复用组件库，提供专业级UI体验

后端技术栈：

• Java 21：最新LTS版本Java，性能卓越，稳定性强

• Spring Boot 3.5：企业级Java开发框架，简化配置，快速开发

• Spring AI：Spring官方AI集成框架，统一多模型接入接口

• MySQL 8.0：关系型数据库，存储用户数据、项目信息、配置参数

• Redis：内存数据库，用于缓存、会话管理、任务队列

3.2 核心技术模块

3.2.1 Agent智能体引擎

融光的核心竞争力在于自研Agent智能体引擎，采用以下关键技术：

• 工作流编排引擎：基于有向无环图(DAG)的流程管理，支持复杂任务依赖与执行逻辑

• 动态任务调度：智能分配计算资源，优化任务执行顺序，提升整体效率

• 错误自动恢复：任务执行失败自动重试，支持断点续跑，确保流程稳定性

• 状态实时监控：可视化监控任务执行状态、进度、耗时、资源占用

3.2.2 多模型适配层

• 统一模型接口：抽象不同AI厂商API，提供一致调用界面，切换模型无需修改业务代码

• 智能负载均衡：多账号、多模型自动负载均衡，提升调用成功率与速度

• 请求优化机制：自动合并、拆分请求，减少API调用次数，降低成本

• 缓存策略：智能缓存重复请求结果，显著提升响应速度，减少资源消耗

3.2.3 视频处理引擎

• 高性能渲染：基于FFmpeg的视频处理引擎，支持GPU加速，提升渲染速度

• 格式兼容：支持MP4、MOV、AVI、WebM等主流视频格式输入输出

• 分辨率支持：从480P到4K多种分辨率选择，适配不同场景需求

• 编码优化：自动优化编码参数，平衡视频质量与文件大小

3.3 系统部署架构

├── 前端服务 (ai-fusion-video-web)
│  ├── Next.js 应用
│  ├── 静态资源服务
│  └── API请求代理
├── 后端服务 (ai-fusion-video)
│  ├── 用户认证服务
│  ├── 项目管理服务
│  ├── Agent调度服务
│  ├── AI模型服务
│  ├── 视频处理服务
│  └── 素材管理服务
├── 数据存储
│  ├── MySQL (持久化数据)
│  ├── Redis (缓存/队列)
│  └── 对象存储 (素材/视频)
└── 基础设施
  ├── Docker容器
  ├── Nginx反向代理
  └── 监控告警系统

四、应用场景

4.1 内容创作领域

• 短视频博主：快速生成抖音、快手、视频号内容，每日产出10+高质量视频

• 自媒体创作者：自动生成知识科普、产品评测、剧情短片，降低创作门槛

• 影视创作者：制作概念视频、分镜预览、样片演示，缩短前期制作周期

• 动画制作者：生成动漫短片、角色动画、动态漫画，无需专业动画技能

4.2 商业营销领域

• 广告营销：自动生成产品广告、品牌宣传视频，快速迭代创意方案

• 电商展示：商品360°展示视频、使用教程、场景营销，提升转化率

• 企业宣传：公司介绍、企业文化、产品演示视频，降低制作成本

• 活动营销：节日促销、活动推广、会议记录视频，快速响应市场需求

4.3 教育培训领域

• 在线教育：自动生成课程视频、知识点讲解、教学演示，丰富教学内容

• 企业培训：员工培训、操作教程、安全规范视频，标准化培训内容

• 知识科普：历史、科学、文化知识可视化视频，提升学习兴趣

• 语言学习：多语言教学、情景对话、发音示范视频，辅助语言学习

4.4 其他应用场景

• 游戏开发：游戏概念视频、过场动画、角色动作演示

• 建筑设计：建筑效果图动态展示、室内设计漫游视频

• 旅游宣传：景点介绍、旅游攻略、行程规划视频

• 个人记录：生活记录、旅行vlog、纪念视频，轻松留存美好瞬间

五、使用方法

5.1 环境部署

5.1.1 Docker一键部署（推荐）

# 1. 克隆仓库
git clone https://github.com/Stonewuu/ai-fusion-video.git
cd ai-fusion-video

# 2. 复制环境变量配置
cp .env.example .env
# 编辑.env文件，配置AI模型API密钥等参数

# 3. 启动服务
docker compose up -d

# 4. 访问应用
# 浏览器打开 http://localhost:3000

5.1.2 源码开发部署

# 前端部署
cd ai-fusion-video-web
pnpm install
pnpm dev

# 后端部署
cd ai-fusion-video
./mvnw spring-boot:run

5.2 基础使用流程

1. 注册登录：创建账号，登录系统，完成个人信息设置

2. 配置AI模型：在设置中添加OpenAI、Claude等API密钥，选择默认模型

3. 创建新项目：点击"新建项目"，填写项目名称、描述、选择模板

4. 编写剧本：进入剧本编辑器，按场景编写内容，支持Markdown格式

5. 生成分镜：点击"AI分镜"，自动将剧本转换为分镜列表，可手动调整

6. 生成素材：选择分镜，点击"生成素材"，AI自动生成图片/视频/音频素材

7. 合成视频：所有素材准备完成后，点击"合成视频"，自动生成完整视频

8. 导出分享：视频生成完成后，下载到本地或直接分享到社交平台

5.3 高级功能使用

5.3.1 Agent Pipeline使用

1. 进入"工作流"页面，点击"新建工作流"

2. 通过拖拽组件构建流程：开始→剧本处理→分镜生成→素材生成→视频合成→结束

3. 配置每个组件参数：选择AI模型、设置生成参数、定义输出格式

4. 保存工作流，点击"执行"，自动完成整个视频创作流程

5.3.2 批量视频生成

1. 准备多个剧本文件或Excel表格（包含多个视频内容）

2. 选择"批量生成"功能，上传文件，配置统一参数

3. 系统自动排队处理，实时查看进度

4. 完成后批量下载所有视频文件

六、竞品对比

6.1 核心产品对比表格

6.2 详细对比分析

6.2.1 融光 vs Runway

融光优势：

• 全流程覆盖：从剧本到成片完整支持，Runway侧重后期制作与单场景生成

• 本地部署：数据安全可控，Runway仅支持云端

• 性价比更高：开源免费，只需支付AI模型API费用

• 扩展性强：支持自定义开发、插件扩展、API集成

Runway优势：

• 画质更精细：商业模型优化更完善，细节表现更佳

• 功能更丰富：运动笔刷、导演模式等专业工具更成熟

• 社区资源多：教程、模板、社区支持更完善

6.2.2 融光 vs Pika Labs

融光优势：

• 完整创作流程：支持剧本管理、分镜设计、批量生成

• 专业级控制：运镜、镜头语言、角色一致性控制更精准

• 企业级特性：团队协作、权限管理、素材库、API接口

• 本地化能力：支持私有化部署，数据安全有保障

Pika Labs优势：

• 操作更简单：界面简洁，新手更容易上手

• 生成速度快：短视频生成速度领先，适合快速迭代

• 社交属性强：社区活跃，模板丰富，适合社交平台内容

七、常见问题解答

Q: 融光完全免费吗？

A: 是的，融光本身是开源免费软件，遵循MIT开源协议，可自由使用、修改、分发。但使用过程中调用的AI模型服务（如OpenAI、Claude等）需要用户自行购买API密钥并承担相应费用。

Q: 没有编程基础可以使用融光吗？

A: 完全可以。融光提供友好的Web界面，所有功能均可通过可视化操作完成。Docker一键部署方式也让非技术用户能轻松搭建服务。只有需要二次开发或自定义功能时才需要编程知识。

Q: 本地部署需要什么配置？

A: 基础配置：4核CPU、8GB内存、50GB硬盘空间，可运行基础功能。推荐配置：8核CPU、16GB内存、100GB SSD，支持多任务并行处理。视频生成速度主要依赖AI模型API响应速度，本地配置主要影响系统运行流畅度。

Q: 可以生成多长时间的视频？

A: 理论上无时间限制。融光支持长视频分段生成与自动拼接。单个AI模型通常限制10-60秒，融光会自动将长视频拆分为多个片段生成后合并。

Q: 生成的视频有版权问题吗？

A: 融光作为工具不持有生成内容版权。版权归属取决于：1) 用户输入的原创内容 2) 使用的AI模型服务条款 3) 素材来源。建议使用自有素材或商业授权素材，确保版权合规。

Q: 支持哪些AI模型？

A: 目前支持OpenAI系列、Anthropic Claude、Google Gemini、阿里通义千问、DeepSeek、Ollama本地模型等。系统支持动态添加新模型，只需简单配置即可接入。

Q: 可以在服务器上部署融光供团队使用吗？

A: 完全可以。融光设计支持团队协作模式，可部署在云服务器或内网服务器，提供用户管理、权限控制、项目共享等企业级功能。

Q: 生成的视频质量如何？

A: 视频质量主要取决于使用的AI模型。融光通过优化提示词、分镜控制、后期处理等技术，能显著提升基础模型生成质量。使用高端模型（如GPT-4V、Claude 3 Opus）可生成接近专业水准的视频。

八、相关链接

• GitHub仓库：https://github.com/Stonewuu/ai-fusion-video

九、总结

融光（ai-fusion-video）作为一款开源全流程AI视频创作平台，通过创新的Agent智能体技术，真正实现了从剧本构思到视频成片的全链路自动化，解决了传统视频制作流程复杂、成本高、周期长的痛点。相比市场上的闭源商业工具，融光不仅提供完整的创作功能，更具备开源免费、本地部署、高度自定义、强扩展性等独特优势。无论是个人创作者快速产出内容，还是企业构建自动化视频生产系统，融光都提供了灵活、高效、经济的解决方案。其可视化工作流编排、多模型兼容、批量处理能力等专业特性，让AI视频创作不再局限于技术专家，使每位创作者都能专注于创意本身，轻松实现高质量视频的工业化生产。