BigMac：小红书开源的多模态流水并行大模型训练工具

一、BigMac是什么

BigMac 是小红书内部基础设施团队 Dots-Infra 开源的多模态大模型专用流水并行训练工具套件，基于 Megatron-Core 框架二次开发，采用 MIT 开源协议发布。

传统多模态大模型训练存在算力吞吐与显存占用无法同时优化的固有矛盾，二者形成帕累托权衡关系，提升训练速度必然暴涨显存开销、压缩显存占用则会产生大量流水线空泡拖慢训练效率。

BigMac 提出依赖安全嵌套流水线核心调度算法，在不破坏模型计算依赖、不新增流水线空闲空泡的前提下，把视觉编码器、图像生成模块嵌入大语言模型流水线执行链路，打破多模态训练显存与算力的权衡边界，同时配套调度、执行、仿真三大完整工具链，支持仿真调试、可视化排程、大规模分布式训练落地，已全面落地小红书内部多模态大模型生产训练任务。

二、功能特色

1. 嵌套流水线调度核心能力
   独创依赖安全嵌套PP流水调度，视觉模态模块激活显存复杂度降至O(1)，同等硬件条件下大幅降低多模态训练显存占用，全程无额外流水线空泡，保障训练吞吐。

2. 三位一体完整工具链
   内置调度器、执行器、仿真器三大独立模块，覆盖并行策略设计、分布式训练运行、性能预仿真全流程，不用启动完整分布式集群即可完成并行方案验证。

3. 原生主流大模型适配
   开箱支持 Qwen3 纯文本大模型、Qwen3-VL 多模态视觉语言模型训练，基于 Megatron-Core 标准抽象层开发，可低成本适配其他开源多模态LLM。

4. 可视化流水线调试工具
   内置交互式调度可视化 Demo，支持自定义流水分段、虚拟并行VPP、微批次参数，自动生成流水线排布图，直观定位并行瓶颈。

5. 离线性能仿真分析
   独立仿真模块可预模拟不同并行策略的算子耗时、显存波动、空泡损耗，量化对比多种并行方案性能，大幅降低大规模集群调参成本。

6. 标准化工程落地能力
   提供完整训练示例、性能剖面分析工具、日志轨迹导出功能，适配企业级大规模分布式训练生产环境。

三、技术细节

3.1 核心算法：依赖安全嵌套流水线

传统多模态训练两种主流方案缺陷：

1. 前置视觉编码：先一次性完成全部图像编码再输入LLM，无流水线空泡，但需要长期存储大量图像激活特征，显存占用极高；

2. 穿插式模态计算：将视觉模块拆分插入LLM流水段，显存压力降低，但模态计算与文本流水线执行节奏错位，产生大量空闲空泡，训练吞吐下降明显。

BigMac 嵌套流水线核心逻辑：
以LLM原始流水并行（PP）调度主干为基础，基于算子数据依赖关系做安全嵌套，在单微批次执行周期内同步完成视觉编码与文本Transformer计算，无需长期缓存图像激活张量，显存开销线性下降；计算时序完全对齐原生LLM流水线，不产生任何等待空泡，同时保留原有流水并行算力利用率。

3.2 三大核心模块技术实现

1. pp_scheduler 调度器
   全局算子执行计划生成核心组件，自动拆分模型层、分配流水分段，支持VPP虚拟流水并行；内置可视化渲染接口，输出图片/网页格式流水线排布视图，自动标记显存热点、空泡区间。

2. pp_executor 执行器
   对接 Megatron-Core 运行时层，将调度器生成的并行计划下发分布式GPU集群执行；封装多模态数据加载、模态张量传递、梯度同步逻辑，对外统一训练接口，兼容原生Megatron训练配置文件。

3. pp_simulator 仿真器
   轻量化离线仿真引擎，仅输入模型层数、单图分辨率、GPU算力参数、流水分段数量即可模拟完整训练流程；输出吞吐速率、峰值显存、空泡耗时量化报表，用于并行策略预筛选。

3.3 底层工程优化点

• 张量复用：嵌套执行逻辑复用中间特征存储缓冲区，减少显存碎片；

• 分布式通信优化：模态张量跨卡传输合并通信算子，降低NCCL通信耗时；

• 轻量化仿真内核：不加载真实模型权重，仅基于算子时序建模，单机CPU即可完成仿真；

• 无侵入式适配：基于Megatron抽象接口开发，无需大幅修改原有LLM训练代码。

四、应用场景

1. 企业多模态大模型大规模预训练
   图文、视频多模态LLM长周期预训练场景，解决多卡分布式训练显存不足、吞吐低下问题，适合互联网企业自研多模态大模型生产训练。

2. 多模态模型微调任务
   图文对话、视觉问答VL微调、文生图大模型微调，小批量迭代场景下稳定控制显存占用，提升微调速度。

3. 并行策略研发与调优
   算法工程师、分布式训练研发人员离线仿真对比各类流水并行方案，快速迭代最优PP/VPP分段策略，节省GPU测试资源。

4. 高校实验室大模型训练教学
   轻量化仿真工具可直观展示流水线并行运行逻辑，用于分布式AI训练课程实验演示。

5. 显存受限集群低成本训练
   GPU显存规格较低的老旧算力集群，使用BigMac可在不升级硬件前提下，提升多模态模型训练批次大小与整体吞吐。

五、使用方法

5.1 环境安装

1. 克隆项目仓库

git clone https://github.com/Dots-Infra/BigMac.git
cd BigMac

2. 本地可编辑模式安装依赖

pip install -e .

5.2 基础功能使用流程

1. 流水线可视化调试
   运行调度可视化Demo，自定义并行参数，自动导出流水线排布图表，验证分段逻辑合理性；

2. 离线并行性能仿真
   调用pp_simulator模块，输入模型、硬件参数，生成多套并行方案量化对比报告，筛选最优并行策略；

3. 多模态模型分布式训练
   参考examples目录内置示例，加载Qwen3 / Qwen3-VL模型配置，对接Megatron分布式训练启动脚本，执行大规模多卡训练；

4. 性能瓶颈分析
   开启训练轨迹日志导出，使用内置剖面工具解析算子耗时、显存峰值，定位训练性能短板。

5.3 快速验证示例

仓库内置开箱即用Qwen3纯文本、Qwen3-VL多模态最小训练样例，单卡即可运行测试调度逻辑，无需多机分布式集群。

六、竞品对比

选取行业主流多模态分布式训练框架 Megatron-LM、DeepSpeed-MII、Colossal-AI 与 BigMac 做核心维度对比：

七、常见问题解答

Q：BigMac是否支持除Qwen以外的其他多模态大模型？

A：支持。BigMac基于Megatron-Core标准抽象层开发，只要模型可基于Megatron框架完成封装，即可接入BigMac嵌套调度逻辑，仅需少量代码适配视觉编码器张量流转逻辑。

Q：使用BigMac训练是否必须多机多卡分布式集群？

A：不需要。调度仿真模块、可视化Demo单机CPU即可运行；最小训练样例支持单GPU本地测试，大规模预训练任务才需要多卡分布式环境。

Q：BigMac相比原生Megatron训练速度提升幅度是多少？

A：根据官方论文实验数据，同等硬件条件下多模态训练吞吐较传统PP基线提升1.08~1.9倍，显存峰值显著下降，模型全局批次可进一步放大。

Q：BigMac开源协议是什么，是否可商用？

A：项目采用MIT开源协议，允许企业商用、二次修改、闭源商业化改造，无强制开源约束，仅需保留原始版权声明。

Q：仿真器模块能否替代真实集群训练测试？

A：不能完全替代。仿真器仅用于快速筛选并行策略、预估理论吞吐与显存峰值，真实分布式集群存在NCCL通信、硬件损耗等变量，最终性能仍需真实GPU集群验证。

Q：BigMac能否和ZeRO、张量并行TP、数据并行DP组合使用？

A：可以。嵌套流水线PP调度可与ZeRO优化、张量并行TP、数据并行DP、虚拟并行VPP无缝叠加，兼容Megatron全部主流并行策略。

八、相关链接

1. GitHub开源仓库：https://github.com/Dots-Infra/BigMac/

2. BigMac配套学术论文arXiv地址：https://arxiv.org/abs/2605.25451

3. 官方博客：https://dots-infra.github.io/BigMac/

九、总结

BigMac作为小红书Dots-Infra团队推出的多模态大模型流水并行专用开源工具，以原创嵌套流水线调度算法解决行业长期存在的显存与算力权衡难题，整合调度、执行、离线仿真三大一体化工具链，基于成熟Megatron-Core框架降低开发适配成本，原生适配主流Qwen多模态模型，兼顾离线并行方案预调优与企业级大规模分布式训练落地需求，为科研机构、AI企业提供低成本、高效率的多模态大模型分布式训练完整工程解决方案。