ViMax：香港大学开源的多智能体端到端视频生成框架，覆盖创意、剧本到成片全链路

一、ViMax是什么？

ViMax是由香港大学开源的多智能体视频生成框架，旨在解决当前AI视频生成“片段短、一致性差、缺乏叙事深度”的核心痛点。该工具集导演、编剧、制片人、视频生成器功能于一体，支持从原始创意、小说文本、自定义剧本等多种输入形式，通过自动化多智能体工作流完成剧本撰写、分镜设计、角色塑造、视觉合成到最终视频输出的全流程。

ViMax的核心定位是“全流程创意 powerhouse”，它打破了传统视频创作中“创意→剧本→分镜→拍摄→剪辑”的割裂流程，通过多智能体协同工作，实现了“输入即输出”的极简创作体验。简单来说，用户只需提供一个创意、一段小说文本或一份剧本，ViMax就能自主完成脚本优化、分镜设计、角色建模、场景渲染、一致性校验、音频同步等所有环节，最终输出完整的视频作品。

与传统AI视频工具相比，ViMax的核心差异在于“智能体协同”与“全链路自动化”：它并非单一的视觉生成模型，而是通过中央编排系统调度多个专业智能体（剧本理解智能体、分镜设计智能体、视觉生成智能体、一致性校验智能体等），模拟人类影视创作的完整流程，既保证了创作效率，又解决了“技术门槛高、生产周期长”的行业痛点，让独立创作者、教育工作者、营销人员等非专业人士也能快速产出高质量视频。

项目基于Python开发，支持Linux和Windows双系统，采用MIT开源协议，允许自由使用、修改和二次开发，目前已在GitHub开放完整代码仓库，包含详细的中文/英文文档、演示视频和快速启动教程。

二、功能特色

ViMax的功能设计围绕“全流程自动化”“创作自由度”“专业级质量”三大核心目标，涵盖四大核心创作模式及五大关键优势，具体如下：

（一）四大核心创作模式

1. Idea2Video：从灵感火花到屏幕影像

这是ViMax最具创新性的功能，支持将“原始创意”直接转化为完整视频故事。用户无需具备剧本写作或视频制作经验，只需用自然语言描述核心想法（如“一只猫和狗是好朋友，遇到新猫咪后的故事”），并补充简单的创作要求（如“面向儿童、不超过3个场景”），ViMax就会通过多智能体工作流自动完成：

• 创意拆解与剧本撰写：提炼核心冲突、设计角色对话、划分场景结构；

• 分镜与镜头规划：确定拍摄角度、镜头切换逻辑、叙事节奏；

• 角色与场景设计：根据风格要求（如卡通、写实）生成角色形象与场景元素；

• 视觉合成与音频同步：生成连续帧图像、拼接成视频，并匹配角色语音与音效。

该功能完美解决了“有创意但不会落地”的痛点，让灵感能够快速转化为可视化内容。

2. Novel2Video：文学作品的智能影视化改编

针对长篇文学内容（小说、绘本、故事集等），ViMax提供“智能文学改编引擎”，支持将完整小说转化为多集视频内容。其核心能力包括：

• 叙事压缩：智能提取核心剧情、保留关键角色与情节转折，避免冗余；

• 角色追踪：全程维护角色外观、性格、行为逻辑的一致性，不会出现“换脸”“人设崩塌”；

• 逐场景视觉适配：根据小说中的环境描写、动作描述，自动生成对应的视觉场景与镜头语言；

• 剧集拆分：将长篇故事按叙事节奏拆分为独立剧集，支持批量生成。

例如，用户可输入一部儿童童话小说，ViMax会自动将其拆分为5-10集短视频，每集聚焦一个核心情节，同时保证角色形象、故事风格的连贯性。

3. Script2Video：自定义剧本的可视化呈现

面向有剧本创作能力的用户，ViMax支持“剧本到视频”的直接转化，让用户完全掌控叙事细节。用户只需提供标准格式的剧本（包含场景设定、角色对话、动作描述等），并设置创作要求（如“快节奏、不超过20个镜头”），ViMax就能：

• 剧本解析：提取角色信息（年龄、外貌、性格）、场景信息（室内/室外、时间、环境）、动作指令；

• 镜头设计：根据剧本氛围设计对应的拍摄角度（远景、近景、特写）、镜头运动（推拉摇移）与转场效果；

• 视觉还原：精准还原剧本中的场景布置、角色动作与对话场景；

• 灵活调整：支持修改剧本细节并实时更新视频效果，无需重新生成全部内容。

该模式适用于微电影创作、广告脚本可视化、企业宣传片制作等场景，让剧本创作与视频生成无缝衔接。

4. AutoCameo：交互式客串视频生成

这是ViMax的特色交互式功能，支持用户上传自己或宠物的照片，将其转化为视频中的“客串角色”，并融入任意创意脚本中。核心亮点包括：

• 形象一致性：基于参考照片生成的角色，在整个视频中保持外观、动作风格的统一；

• 自然融入：智能调整角色与场景的光影、比例、风格适配，避免“违和感”；

• 多场景适配：支持将客串角色植入不同类型的脚本（童话、科幻、日常等），实现“一人多角”“跨故事客串”。

例如，用户上传自己的照片后，可生成“自己与卡通角色一起冒险”“宠物成为童话主角”等趣味视频，大幅提升创作的互动性与个性化。

（二）五大核心优势

为直观展示ViMax的竞争力，以下是其核心优势与传统视频创作/普通AI工具的对比：

此外，ViMax还具备两大技术优势：

• 长视频支持：突破普通AI工具“秒级片段”的限制，支持生成分钟级甚至小时级视频，通过多场景衔接、角色追踪技术保障长视频的连贯性；

• 并行高效生成：对同机位连续镜头采用并行处理机制，大幅提升视频生成速度，缩短创作周期。

三、技术细节

ViMax的强大功能源于其“多智能体协同架构”与“全链路技术优化”，以下从系统架构、核心技术能力两方面详细解析：

（一）系统架构：多智能体流水线设计

ViMax采用分层式多智能体架构，通过中央编排系统协调各模块高效工作，整体架构分为8个核心层级，形成“输入→处理→输出”的闭环流程：

该架构的核心亮点是“中央编排系统”——它相当于整个创作流程的“总指挥”，能够根据输入类型（创意/小说/剧本）自动选择最优工作流，调度对应智能体执行任务，并在某个环节失败时触发重试或降级机制（如图像生成不合格时自动调整Prompt重新生成），确保创作流程不中断。

（二）核心技术能力解析

ViMax整合了多项前沿AI技术，针对性解决视频生成中的关键痛点：

1. 智能长剧本生成技术（RAG-based）

基于检索增强生成（RAG）技术，ViMax能够分析长篇小说、故事等文本内容，自动完成：

• 核心情节提取：剔除冗余信息，保留故事主线与关键冲突；

• 场景拆分：按叙事节奏将长文本拆分为多个独立场景，每个场景聚焦一个核心事件；

• 对话保留：精准提取角色对话，确保角色性格与语言风格一致；

• 格式标准化：将拆分后的内容转化为符合视频拍摄要求的剧本格式（包含场景设定、角色动作、对话）。

这项技术解决了“长文本难以影视化”的痛点，让长篇文学作品能够快速转化为结构化的视频脚本。

2. 分镜设计与多机位拍摄模拟

ViMax的分镜设计智能体具备专业 cinematography（电影摄影）知识，能够：

• 根据场景氛围选择合适的镜头类型（远景用于展示环境、近景用于表现角色互动、特写用于突出情绪）；

• 设计镜头运动轨迹（如跟踪镜头展现角色奔跑、摇镜展现全景环境）；

• 模拟多机位拍摄效果：在同一场景中生成多个机位的镜头，后期通过剪辑切换，提升视频的沉浸感与专业度；

• 控制镜头节奏：根据剧情紧张程度调整镜头切换速度（如动作场景快速切换，抒情场景缓慢过渡）。

3. 角色与场景一致性保障技术

这是ViMax最核心的技术突破之一，通过三重机制解决“跨帧不一致”问题：

• 智能参考图选择：自动筛选前序场景的关键帧作为参考图，确保当前场景的角色外观、位置、环境元素与前序一致；

• MLLM/VLM一致性校验：并行生成多个候选图像，通过大语言模型（MLLM）或视觉语言模型（VLM）评估图像与参考图、剧本的一致性，选择最优帧；

• 时序连贯性追踪：记录角色的外观特征（发型、服装、体型）、场景的关键元素（家具、建筑、光影），在后续帧中强制保留这些特征，避免“换脸”“场景突变”。

4. 高效并行生成与Prompt优化

• 并行处理：对同机位的连续镜头采用并行计算方式，同时生成多个镜头的图像，大幅提升生产效率；

• Prompt自动优化：根据用户设定的风格（如卡通、动画、写实）和场景要求，自动优化图像生成Prompt，补充专业视觉描述（如“迪士尼风格、明亮色调、圆角角色设计”），提升生成质量；

• 自适应帧转视频：根据镜头内容自动调整帧率、转场效果，确保视频流畅自然，无卡顿或跳变。

5. 音视频同步技术

ViMax支持自动为视频匹配音频内容，包括：

• 角色语音生成：根据角色性格、对话情绪生成对应的语音（如儿童角色的稚嫩声线、反派角色的低沉声线）；

• 音效匹配：自动添加场景音效（如街道的环境音、动作场景的碰撞声）；

• 背景音乐适配：根据场景氛围选择合适的背景音乐（如紧张场景用快节奏音乐，抒情场景用舒缓音乐）；

• 音视频同步：确保语音、音效、背景音乐与画面动作精准对齐，避免“口型对不上”“音效延迟”等问题。

四、应用场景

ViMax的全流程自动化、高自由度、专业级质量特性，使其适用于多个行业与个人场景，以下是典型应用场景及使用示例：

（一）独立创作者与内容博主

• 适用人群：短视频博主、微电影创作者、自媒体人；

• 核心需求：快速产出高质量视频、降低创作成本、提升内容多样性；

• 使用示例：

• 美食博主输入创意“教猫咪做蛋糕的搞笑教程”，设置风格为“卡通搞笑”，ViMax自动生成3分钟短视频，包含猫咪准备食材、操作失误、最终成功的完整剧情，搭配搞笑音效与旁白；

• 旅行博主输入剧本“记录大理洱海的日出之旅”，设置“写实风格、10个镜头”，ViMax生成包含洱海全景、人物互动、细节特写的旅行Vlog，自动匹配轻音乐与环境音。

（二）教育与科普领域

• 适用人群：教师、科普工作者、教育机构；

• 核心需求：将抽象知识可视化、制作趣味教学内容、吸引学生注意力；

• 使用示例：

• 小学老师输入创意“用动画解释太阳系八大行星”，设置“面向10岁儿童、不超过4个场景”，ViMax生成卡通风格视频，通过角色对话、动态演示讲解行星特点；

• 科普博主输入小说《时间简史》的部分章节，ViMax自动将其转化为系列科普短视频，用可视化场景解释黑洞、时空弯曲等抽象概念。

（三）文学IP改编与影视制作

• 适用人群：小说作者、影视制作团队、IP运营方；

• 核心需求：快速制作IP衍生内容、测试剧本可视化效果、降低前期创作成本；

• 使用示例：

• 网络小说作者将自己的作品上传至ViMax，生成多集短视频预告片，用于在社交媒体宣传引流；

• 影视团队将剧本初稿输入ViMax，快速生成可视化样片，评估镜头设计、场景布置的合理性，优化剧本细节。

（四）营销与商业宣传

• 适用人群：企业营销人员、电商运营、广告从业者；

• 核心需求：快速制作产品宣传视频、提升品牌曝光、降低营销成本；

• 使用示例：

• 电商运营输入创意“展示新款运动鞋的跑步性能”，设置“写实风格、快节奏、15个镜头”，ViMax生成包含产品细节、运动场景、用户反馈的宣传视频，自动匹配动感音乐；

• 初创企业输入剧本“介绍公司核心业务”，设置“商务简约风格”，ViMax生成包含公司场景、产品演示、团队介绍的企业宣传片，用于官网或展会展示。

（五）个人娱乐与个性化创作

• 适用人群：普通用户、宠物主人、创意爱好者；

• 核心需求：制作趣味视频、记录生活、实现个性化表达；

• 使用示例：

• 用户上传自己的照片，输入创意“与奥特曼一起打怪兽”，ViMax生成AutoCameo视频，用户以客串角色的身份出现在奥特曼剧情中；

• 宠物主人上传宠物照片，输入创意“猫咪的太空冒险”，设置“科幻卡通风格”，ViMax生成宠物为主角的趣味视频，包含太空场景、冒险剧情与搞笑对话。

（六）内容原型设计与快速迭代

• 适用人群：产品经理、设计师、创意团队；

• 核心需求：快速制作内容原型、测试创意可行性、加速迭代优化；

• 使用示例：

• 产品经理输入创意“展示新APP的核心功能”，ViMax生成演示视频，用于内部评审或用户调研；

• 创意团队输入多个剧本草案，ViMax快速生成对应视频样片，对比不同方案的效果，选择最优创意。

五、使用方法

ViMax的使用流程简洁直观，无需复杂的技术配置，只需完成“环境搭建→配置参数→输入内容→生成视频”四个步骤，具体操作如下：

（一）环境要求

• 操作系统：Linux 或 Windows（64位）；

• 依赖工具：Python 3.12+、uv（Python环境管理工具）；

• 其他要求：稳定的网络连接（需调用第三方API）、足够的硬盘存储空间（生成视频需占用一定空间）。

（二）安装步骤

1. 安装uv环境管理工具

uv是ViMax推荐的环境管理工具，支持快速安装依赖包，安装方法参考官方文档：https://docs.astral.sh/uv/getting-started/installation/

• Linux/Mac：在终端执行命令 curl -LsSf https://astral.sh/uv/install.sh | sh；

• Windows：在PowerShell执行命令 powershell -c "irm https://astral.sh/uv/install.ps1 | iex"。

2. 克隆仓库并安装依赖

打开终端（Linux/Mac）或PowerShell（Windows），执行以下命令：

# 克隆ViMax仓库
git clone https://github.com/HKUDS/ViMax.git

# 进入仓库目录
cd ViMax

# 安装项目依赖（uv会自动创建虚拟环境并安装所需包）
uv sync

（三）配置参数

ViMax的核心配置文件位于 configs 目录下，根据使用场景选择对应的配置文件（Idea2Video对应 idea2video.yaml，Script2Video对应 script2video.yaml），配置内容主要包括三大模块：聊天模型、图像生成器、视频生成器，需填写API密钥等关键信息。

配置文件示例（以Idea2Video为例）

打开 configs/idea2video.yaml，按以下格式填写配置：

# 聊天模型配置（用于剧本生成、创意拆解）
chat_model:
 init_args:
  model: google/gemini-2.5-flash-lite-preview-09-2025 # 模型名称
  model_provider: openai # 模型提供商
  api_key: <YOUR_API_KEY> # 替换为你的API密钥
  base_url: https://openrouter.ai/api/v1 # API基础地址

# 图像生成器配置（用于生成视频帧图像）
image_generator:
 class_path: tools.ImageGeneratorNanobananaGoogleAPI # 图像生成工具类
 init_args:
  api_key: <YOUR_API_KEY> # 替换为你的图像生成API密钥

# 视频生成器配置（用于将图像拼接为视频）
video_generator:
 class_path: tools.VideoGeneratorVeoGoogleAPI # 视频生成工具类
 init_args:
  api_key: <YOUR_API_KEY> # 替换为你的视频生成API密钥

# 工作目录（用于存储生成的中间产物、日志、最终视频）
working_dir: .working_dir/idea2video

注意事项：

• API密钥需向对应服务提供商申请（如OpenRouter、Google API等）；

• 若需更换模型，可修改 chat_model 下的 model 字段，支持兼容OpenAI API格式的各类大模型；

• 工作目录可自定义，建议设置在空间充足的磁盘分区。

（四）两种核心使用方式

方式1：Idea2Video（创意生成视频）

适用于无剧本的场景，只需输入创意和创作要求，步骤如下：

1. 打开 main_idea2video.py 文件；

2. 在文件中填写创意（idea）、用户需求（user_requirement）和风格（style），示例如下：

# 核心创意（用自然语言描述即可）
idea = """
如果一只猫和一只狗是最好的朋友，当它们遇到一只新来的小猫时，会发生什么有趣的故事？
"""

# 创作要求（明确受众、场景数量、节奏等）
user_requirement = """
面向5-8岁儿童，内容积极向上，不超过3个场景，节奏轻快，加入简单的歌曲片段。
"""

# 视频风格（支持Cartoon、Animate Style、Realistic、Sci-Fi等）
style = "Cartoon"

3. 保存文件后，在终端执行命令：

uv run main_idea2video.py

4. 等待生成完成，最终视频会保存在 working_dir 配置的目录下（默认是 .working_dir/idea2video）。

方式2：Script2Video（剧本生成视频）

适用于有完整剧本的场景，步骤如下：

1. 打开 configs/script2video.yaml 文件，按上述配置示例填写API密钥等信息；

2. 打开 main_script2video.py 文件，填写剧本（script）、用户需求（user_requirement）和风格（style），示例如下：

# 标准格式剧本（包含场景、角色、对话、动作描述）
script = """
EXT. PARK - AFTERNOON

阳光明媚的公园里，小草翠绿，花朵盛开。一只名叫“阿黄”的金毛犬（3岁，温顺）和一只名叫“咪宝”的橘猫（2岁，活泼）正在草地上追逐玩耍。突然，一只瘦弱的小白猫（1岁，胆怯）从灌木丛后探出头，好奇地看着它们。

阿黄：（停下脚步，摇着尾巴）嘿，小家伙，快来一起玩呀！

咪宝：（蹦到阿黄身边，歪着头）它看起来好害羞呢。

小白猫：（小声地）我...我可以加入你们吗？

阿黄：当然可以！我们正要去湖边找小鱼呢。

咪宝：走吧，我带你认识公园里的朋友！

三人一起朝着湖边走去，阳光洒在它们身上，画面温暖。
"""

# 创作要求（明确镜头数量、节奏、视觉效果等）
user_requirement = """
镜头数量不超过15个，节奏舒缓，画面明亮，加入鸟鸣、脚步声等环境音效，背景音乐为轻柔的钢琴曲。
"""

# 视频风格
style = "Animate Style"

3. 保存文件后，在终端执行命令：

uv run main_script2video.py

4. 生成完成后，在配置的工作目录中查看最终视频。

（五）输出产物说明

执行生成命令后，工作目录下会生成以下文件：

• logs/：创作日志，记录各环节的执行状态（如剧本生成时间、图像生成数量、一致性校验结果等）；

• frames/：生成的所有视频帧图像（可用于二次编辑）；

• final_video.mp4：最终生成的完整视频（包含画面、语音、音效、背景音乐）；

• script.txt：AI优化后的最终剧本（供用户参考或修改）。

六、常见问题解答（FAQ）

Q1：安装uv时提示“权限不足”怎么办？

A1：Linux/Mac用户可在命令前添加 sudo（如 sudo curl -LsSf https://astral.sh/uv/install.sh | sh）；Windows用户需以“管理员身份”运行PowerShell，再执行安装命令。

Q2：执行 uv sync 时依赖安装失败？

A2：可能是网络问题，建议切换国内镜像源（参考uv官方文档配置镜像）；若仍失败，可手动安装依赖包：uv pip install -r requirements.txt（需先在仓库目录下创建requirements.txt，包含项目所需依赖，可从文档或代码中提取）。

Q3：API密钥无效或调用失败？

A3：检查API密钥是否正确（无多余空格、大小写一致）；确认API服务是否正常（可访问提供商官网查看状态）；检查网络是否能访问API基础地址（如 https://openrouter.ai/api/v1）；若配额不足，需充值或申请更多调用额度。

Q4：生成的视频中角色不一致（换脸、变装）怎么办？

A4：在用户需求中明确要求“角色外观保持一致”；增加参考图片（在输入中添加角色的参考图）；减少场景数量，避免长视频导致的一致性偏差；确保剧本中对角色外观的描述清晰（如“金毛犬阿黄始终穿着红色项圈”）。

Q5：视频时长不符合预期（过长/过短）？

A5：在用户需求中明确时长（如“视频长度控制在3-5分钟”）；调整场景数量或镜头数量（如“不超过10个镜头”）；修改剧本中的对话长度（对话过多会延长时长，过少则缩短）。

Q6：支持哪些视频风格？能否自定义风格？

A6：目前支持Cartoon（卡通）、Animate Style（动画）、Realistic（写实）、Sci-Fi（科幻）、Horror（恐怖）、Romantic（浪漫）等常见风格；支持自定义风格，只需在 style 字段中详细描述（如“复古胶片风格、暖色调、颗粒感强”）。

Q7：能否生成带字幕的视频？

A7：当前版本暂不支持自动生成字幕，可通过以下方式补充：1）在剧本中添加字幕描述，ViMax会尝试在画面中呈现；2）生成视频后，使用剪映、PR等工具手动添加字幕；后续版本将支持自动字幕生成（参考“Coming Soon”功能）。

Q8：AutoCameo功能如何使用？

A8：AutoCameo目前处于开发中（Coming Soon），后续将支持上传照片功能。届时可在输入中添加参考照片，在创意/剧本中明确“客串角色”的设定（如“让上传的照片中的人物成为主角”），即可生成客串视频。

Q9：能否修改生成的分镜或镜头设计？

A9：当前版本暂不支持手动修改分镜，可在用户需求中明确镜头要求（如“多用特写镜头、减少远景”）；后续将推出Dev mode分支（Coming Soon），支持手动调整分镜、镜头参数等高级功能。

Q10：ViMax支持生成多长的视频？

A10：理论上支持分钟级甚至小时级视频，但受限于API配额和生成效率，建议单段视频控制在10分钟内；长视频可分段生成后，用剪辑工具拼接。

Q11：是否支持本地模型（无需调用第三方API）？

A11：当前版本依赖第三方API（聊天模型、图像生成、视频生成），暂不支持纯本地部署；后续将推出本地模型适配版本（Coming Soon），支持离线使用。

Q12：Windows系统生成的视频无法播放？

A12：可能是视频编码问题，建议使用VLC播放器（兼容性强）；若仍无法播放，可在配置文件中修改视频生成参数（如编码格式、分辨率），或生成后用格式工厂转换编码。

七、相关链接

• 项目仓库：https://github.com/HKUDS/ViMax

八、总结

ViMax作为一款开源多智能体视频生成框架，通过“全流程自动化”“多输入形式支持”“专业级质量保障”三大核心优势，成功解决了当前AI视频生成的核心痛点。它集创意拆解、剧本撰写、分镜设计、视觉生成、一致性校验、音视频同步于一体，支持从创意、小说、剧本等多种输入快速生成完整视频，既降低了视频创作的技术门槛，又提升了创作效率与质量。其多智能体架构与先进的技术优化（如角色一致性保障、多机位模拟、并行生成），使其在内容创作、教育科普、IP改编、营销宣传等多个场景中具备极高的实用性。无论是专业创作者还是普通用户，都能通过ViMax快速实现创意落地，无需关注复杂的技术细节。作为开源项目，ViMax不仅提供了完整的代码与文档，还在持续迭代新功能（如Google AI Studio API集成、AutoCameo完善），为AI视频生成领域提供了灵活、可扩展的解决方案，推动了视频创作的平民化与智能化发展。