video-use：Browser Use推出的开源AI智能体剪辑工具

一、video-use 是什么

video-use 是 Browser Use 团队推出的100%开源、基于AI智能体的全自动视频剪辑工具，采用MIT开源协议，依托Claude Code、Codex、Hermes等具备Shell执行权限的大模型智能体，仅通过自然语言对话即可完成完整视频后期制作，无需手动拖拽时间轴、操作剪辑软件界面。

项目核心逻辑：用户将原始视频素材放入文件夹，向AI智能体口述剪辑需求，工具自动完成素材分析、粗剪、调色、字幕、动画叠加、自检渲染，最终输出成片final.mp4，支持口播、访谈、教程、旅行短片等全类型视频素材，无固定模板限制。
底层依赖FFmpeg做视频渲染、ElevenLabs Scribe实现精准语音转写，可本地部署、VPS长期运行或使用Browser Use云端服务。

二、功能特色

1. 智能音频粗剪，自动清理冗余内容

自动识别删除口头语气词（umm/uh）、重复起稿、镜头空白间隙；所有剪辑切口统一添加30ms音频淡入淡出，彻底消除剪辑爆音、音频断层问题。

2. 全自动影视级后期处理

1. 智能分段调色：支持电影暖调、中性高对比两种预设，也可自定义FFmpeg调色链路，自动对每段素材独立调色；

2. 自定义内嵌字幕：默认两词大写分段字幕样式，字体、大小、颜色、位置全自定义；

3. 并行动画叠加生成：支持HyperFrames、Remotion、Manim、PIL四种动画渲染方案，多子代理并行生成动画图层，不阻塞剪辑主线程。

3. 渲染自检迭代机制

成片渲染完成后自动执行全切点校验，检测画面跳转断层、音频杂音、字幕错位等问题；最多支持3轮自动修复重渲染，校验通过后才输出预览视频，保障成片基础质量。

4. 会话持久化记忆

剪辑项目全部存储至project.md文件，跨天、跨会话可接续未完成剪辑任务，无需重复上传素材、复述剪辑需求。

5. 轻量化AI交互设计

摒弃传统逐帧投喂画面的高Token消耗方案，以文本转录为核心数据，仅关键节点按需生成可视化时间轴，大幅降低大模型算力消耗。

6. 全自动化部署与长期运行

提供一键Agent部署提示词，自动完成仓库克隆、依赖安装、技能注册；支持本地终端、私有VPS、Telegram机器人、Browser Use Cloud云端24小时在线剪辑。

三、技术细节

3.1 AI理解视频双层解析架构

大模型不会直接读取视频帧，依靠两层轻量化数据完成剪辑决策，大幅减少Token损耗：

1. 第一层：音频转录文本层（基础决策依据）
   调用ElevenLabs Scribe完成素材语音转写，输出词级精准时间戳、说话人区分、音频事件标注（笑声、掌声、叹气），所有素材打包为仅12KB的takes_packed.md文本文件，作为LLM剪辑逻辑核心输入。

2. 第二层：按需可视化图层（辅助校验）
   仅在模糊停顿判断、多镜头对比、切点校验等关键节点，生成timeline_view合成图（胶片缩略图+音频波形+文字时间轴PNG），不一次性加载全部视频帧，避免海量画面Token冗余。

3.2 完整剪辑流水线

素材转录打包 → LLM生成剪辑EDL脚本 → FFmpeg渲染成片 → 自动自检
    ↓（自检异常）
  自动修复切点+重新渲染（最大3次循环）

3.3 底层依赖与项目目录结构

1. 强制依赖：FFmpeg（视频编码、调色、剪辑）；

2. 可选依赖：yt-dlp（线上视频素材下载）、uv/pip（Python环境管理）；

3. 核心目录：

• helpers/：存放全部剪辑、渲染自动化脚本；

• skills/manim-video：Manim动画渲染能力模块；

• static/：静态资源；

• 配套文档：install.md安装指南、SKILL.md剪辑生产规范。

3.4 设计核心原则

1. 文本优先、视觉按需加载，拒绝全帧输入；

2. 音频驱动剪辑，所有切点基于语音停顿、语句边界；

3. 人机确认闭环：生成剪辑方案前必须用户确认，不擅自修改素材；

4. 12条硬性生产规范保障成片基础质量，创意风格完全自由；

5. 无内容预设，自动识别素材类型适配剪辑逻辑。

四、应用场景

1. 自媒体口播视频：知识分享、读书讲解、带货口播，自动清理口头禅、批量加字幕；

2. 访谈/采访纪录片：多人对话自动区分说话人，删除空白停顿，统一调色；

3. 教程实操视频：分段优化画面亮度，添加步骤动画标注，去除录制空镜；

4. 旅行vlog、活动短片：多素材自动拼接，生成流畅转场与字幕；

5. 企业产品宣传片、发布会视频：AI自动梳理叙事逻辑，生成标准化成片；

6. 自动化批量剪辑业务：部署在VPS/Telegram，实现24小时无人值守批量处理短视频素材。

五、使用方法

方式一：一键Agent自动部署（推荐）

1. 打开Claude Code、Codex等支持Shell的AI智能体，粘贴预设部署提示词；

2. AI自动完成仓库克隆、依赖安装、技能注册，弹窗提示输入ElevenLabs API密钥；

3. 将所有原始视频素材放入独立文件夹；

4. 终端进入素材目录，启动对应AI智能体；

5. 自然语言输入剪辑指令（例：把全部素材剪辑成3分钟产品宣传短片）；

6. AI自动盘点素材、输出剪辑方案，用户确认后自动渲染，成片输出至素材文件夹edit/final.mp4。

方式二：手动分步安装部署

1. 克隆项目仓库，软链接至AI智能体技能目录；

2. 进入项目目录，执行uv sync或pip install -e .安装Python依赖；

3. 本地安装FFmpeg（必装）、yt-dlp（可选）；

4. 复制.env.example为.env，写入ElevenLabs API密钥；

5. 绑定素材文件夹，启动智能体执行剪辑指令。

六、竞品对比

选取Runway Gen-4、Pika Labs、MoviePy三款主流AI视频工具横向对比，突出video-use开源自动化剪辑差异化优势：

七、常见问题解答

Q：video-use必须使用Claude才能运行吗？

A：不是，只要具备Shell执行权限的AI智能体都支持，包括Codex、Hermes、Openclaw等，仅需在安装时将项目软链接至对应智能体的skills目录即可。

Q：使用video-use必须付费购买ElevenLabs服务吗？

A：是的，视频语音转写、说话人区分依赖ElevenLabs Scribe接口，需要自行注册账号获取API密钥；项目本身无任何收费功能，开源代码可免费商用。

Q：没有GPU显卡可以正常运行video-use吗？

A：可以，视频渲染依靠FFmpeg软解码，仅CPU即可完成全部剪辑流程；动画并行渲染会占用少量CPU算力，低配电脑处理超长素材速度会变慢。

Q：渲染成片出现画面跳跃、音频爆音怎么解决？

A：工具内置自动自检循环，出现该问题会自动识别并修复重渲染，最多重试3次；若仍存在问题，可在指令中要求AI增加更长音频淡入淡出时长。

Q：能否离线使用video-use，不联网调用API？

A：无法完全离线，音频转写依赖ElevenLabs云端接口；视频渲染、本地素材处理可离线完成，仅转录步骤需要网络。

Q：项目支持Windows系统部署吗？

A：官方安装文档基于Mac（brew）开发，Windows可通过WSL2 Linux子系统安装FFmpeg与Python环境实现兼容，原生Windows无官方适配脚本。

Q：素材文件夹内多格式视频是否都能识别处理？

A：支持FFmpeg兼容的全部视频格式，MP4、MOV、AVI、MKV等主流素材均可自动识别、批量处理。

八、官方链接

1. GitHub仓库地址：https://github.com/browser-use/video-use

九、总结

video-use依托Browser Use团队成熟的AI智能体交互技术，打造了一款完全开源、以音频文本解析为核心的全自动视频剪辑工具，区别于主流AI视频生成软件侧重画面生成的定位，它聚焦用户已有原始素材的后期自动化处理，通过轻量化双层视频解析架构大幅降低大模型算力消耗，内置自动粗剪、调色、字幕、动画、自检全链路能力，支持本地私有化部署与长期无人值守批量剪辑，无强制商用订阅成本，适配自媒体、企业宣传、访谈纪录片等各类长短视频创作场景，为开发者与内容创作者提供了低成本、高自由度的AI视频自动化剪辑解决方案。