Nemotron-Labs-TwoTower：英伟达推出的开源高效批量文本扩散大语言模型

一、Nemotron-Labs-TwoTower 是什么

Nemotron-Labs-TwoTower 是 NVIDIA 于2026年7月1日开源发布的60B参数离散扩散双塔大语言模型，托管于Hugging Face官方合集仓库，遵循 NVIDIA Nemotron Open Model License 协议，支持免费商用、二次修改与私有化部署。

项目核心目标：解决传统自回归大模型逐Token串行生成、批量文本吞吐效率极低的行业痛点，通过创新双塔解耦架构，在几乎不损失文本质量的前提下，大幅提升长文本、批量内容生成速度。

模型基于 Nemotron-3-Nano-30B-A3B 预训练骨干改造，复用原有预训练权重，无需从零完整训练，大幅降低企业二次开发成本。总参数量60B，拆分为两支独立30B神经网络协同运算，支持128K超长上下文窗口，兼容 vLLM、Transformers 主流推理框架。

二、功能特色

1. 三模式解码自由切换
   内置扩散并行生成、模拟自回归、标准自回归三种解码模式，批量文案、长文档摘要选用扩散模式；代码、数学推理场景切换标准自回归模式，灵活适配不同业务需求。

2. 吞吐2.42倍提升，质量损失仅1.3%
   2×H100 80GB硬件环境实测，文本生成吞吐量提升2.42倍，通用文本、问答、摘要任务保留基线模型98.7%输出质量，仅代码、数学推理小幅衰减。

3. MoE稀疏激活，降低算力开销
   双塔各30B参数，但单次推理仅激活3B有效参数，搭配128个可路由专家模块，在保证语义理解能力的同时减少显存占用与计算量。

4. 冻结上下文塔，语义一致性更强
   上下文塔权重永久冻结，完整保留预训练模型语言理解、上下文记忆能力，长文本生成不易出现逻辑断裂、前后矛盾问题。

5. 完整开源商用权限
   开放全部模型权重、推理代码、示例脚本，无分成、无商用限制，企业可本地私有化部署、微调、封装自有API服务。

6. BF16/FP8多精度兼容
   支持BF16原生推理，兼容NVFP4、FP8量化压缩，适配Blackwell、Hopper全系NVIDIA高端GPU。

三、技术细节

3.1 双塔核心架构（TwoTower）

整体60B参数，均等拆分为上下文塔（Context Tower，30B）、去噪扩散塔（Denoiser Tower，30B），依靠交叉注意力完成信息交互：

1. 上下文塔（冻结只读）
   混合Mamba+Transformer MoE结构，单向因果注意力；负责解析用户输入Prompt、存储128K上下文全局语义，全程权重冻结不参与梯度更新，保证基础理解能力稳定。

2. 去噪扩散塔（可训练）
   双向块注意力网络，通过交叉注意力读取上下文塔语义特征；采用离散扩散机制，批量对全文噪声Token并行迭代去噪，一次性输出整段文本，替代传统逐Token串行解码。

3. 协同逻辑
   用户输入传入上下文塔完成语义编码，编码特征送入去噪塔；去噪塔并行生成完整文本序列，无需逐词等待，实现批量并行生成加速。

3.2 训练与数据

• 训练基底：Nemotron-3-Nano-30B-A3B 预训练大模型，复用2.1万亿Token通用文本训练权重；

• 微调数据：百万级长文档、批量文案、对话样本，仅针对去噪塔做专项扩散微调；

• 上下文上限：原生支持128K上下文窗口，适配超长合同、书籍、知识库批量处理。

3.3 硬件与精度规格

3.4 推理框架依赖

Transformers（开启trust_remote_code=True）、vLLM、SGLang、CUDA 12.4+、Linux系统，原生适配NVIDIA NIM推理微服务。

四、应用场景

1. 企业批量内容生产
   电商批量商品文案、短视频脚本、营销软文批量生成，依靠扩散并行模式大幅降低单条生成耗时，适合内容工厂、新媒体服务商。

2. 长文档自动化处理
   合同批量摘要、论文批量解读、知识库问答、多文件批量总结，128K长上下文支持一次性载入完整长篇文档。

3. 大规模客服对话集群
   企业智能客服、工单自动回复，高吞吐支撑上万并发用户，降低云端推理算力成本。

4. 通用文本生成服务
   私有化大模型API、本地知识库问答、行业垂直文本生成，可基于该模型二次微调行业专用版本。

5. 数据合成与蒸馏
   批量生成高质量训练文本，用于小型轻量模型蒸馏、扩充私有数据集。

不推荐场景：高精度代码生成、复杂数学推理（该场景性能相较基线存在小幅衰减，建议切换标准自回归模式或选用专用代码模型）。

五、使用方法

5.1 在线快速体验（零硬件）

1. 访问 NVIDIA Build 官网 build.nvidia.com；

2. 注册账号领取免费推理额度；

3. 检索 nemotron-labs-twotower 一键调用云端API，支持三种解码模式切换。

5.2 本地完整双塔部署（vLLM）

1. 环境准备：安装CUDA12.4、vLLM、Transformers；

2. 模型拉取（境外HF无法访问可使用国内ModelScope/GitCode镜像）：

from transformers import AutoModel, AutoTokenizer
model_name = "nvidia/nemotron-labs-twotower"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)

3. 启动双塔推理服务：

vllm serve nvidia/nemotron-labs-twotower --tensor-parallel-size 2 --trust-remote-code

4. 参数配置：通过generation_mode参数切换diffusion/sim_ar/standard_ar三种生成模式。

5.3 国内镜像替代下载

境外Hugging Face链接无法直连，可在ModelScope、GitCode搜索项目名下载完整权重，本地加载使用。

六、竞品对比

选取两款主流开源扩散LLM、一款传统高性能自回归大模型横向对比：

七、常见问题解答（FAQ）

Q：为什么访问项目Hugging Face链接会提示境外网页无法访问？

A：Hugging Face为境外站点，国内网络存在访问限制，无法直接拉取权重与代码，可通过ModelScope、GitCode国内AI镜像站搜索项目名称下载完整资源。

Q：单张GPU能否运行Nemotron-Labs-TwoTower？

A：可以，但仅支持standard_ar标准自回归模式与sim_ar模拟自回归模式；扩散并行生成模式必须两张80GB H100/A100显卡并行张量推理。

Q：模型是否支持商用，是否需要支付授权费用？

A：项目遵循NVIDIA Nemotron Open Model License协议，完全免费商用，无需向NVIDIA支付授权分成，允许企业私有化部署、微调、封装自有API对外提供服务。

Q：扩散模式生成质量为什么在代码、数学任务上略有下降？

A：扩散并行生成机制优先优化通用文本语义流畅度，数学逻辑、代码语法依赖逐Token时序约束；官方提供标准自回归模式，切换后可恢复基线代码与推理性能。

Q：模型支持微调吗，只能微调哪一部分网络？

A：仅支持微调去噪扩散塔，上下文塔官方建议永久冻结，冻结上下文塔可保障基础语义理解能力不丢失，降低微调数据需求量。

Q：支持FP8量化部署吗，量化后速度与质量变化如何？

A：原生支持FP8、NVFP4量化压缩，显存占用降低40%左右，推理速度小幅提升；通用文本质量损失低于0.8%，批量生成场景量化方案性价比极高。

Q：128K上下文加载是否需要特殊推理框架？

A：vLLM、原生Transformers均可支持128K上下文，开启KV Cache FP8量化可大幅降低超长文本显存占用，避免OOM显存溢出报错。

八、相关链接

1. 项目原HF仓库地址：https://huggingface.co/collections/nvidia/nemotron-labs-twotower

2. 技术论文地址：https://arxiv.org/pdf/2606.26493

九、总结

Nemotron-Labs-TwoTower是NVIDIA面向批量长文本生成场景打造的开源双塔离散扩散大语言模型，依托双30B解耦MoE架构实现并行Token生成，在不牺牲绝大多数文本任务质量的前提下将推理吞吐提升2.42倍，同时提供三种可切换解码模式适配多样化业务需求；模型复用成熟Nemotron预训练权重降低开发成本，配套宽松商用开源协议适配企业私有化部署，尽管在高精度代码、数学推理场景存在小幅性能短板，但仍是当前大规模内容生产、长文档批量处理场景下算力效率最优的开源扩散LLM方案之一，兼容主流推理框架与全系NVIDIA高端GPU，具备完整可落地的企业级部署生态。