FireRedAudio：小红书开源的9B通用音频大模型

一、FireRedAudio是什么

FireRedAudio是小红书开源发布的通用音频语言大模型，基于9B参数主干模型，采用解耦连续表征架构，单模型同时实现音频理解、语音生成、语音编辑三大类能力。

模型底座基于Qwen3.5构建，音频编码器初始化源自Whisper‑large‑v3，依靠RedAE生成通路完成语音输出，区别于传统方案理解与生成两套独立模型的设计，权重共享，一套推理主干即可处理音频输入输出任务，支持最长1小时长音频处理，开源协议为 Apache‑2.0，可用于学术研究场景。

重要提示：内置音色克隆能力仅限学术研究，禁止非法复刻他人声音，项目方不对滥用行为承担责任。

二、功能特色

1. 多语言语音识别ASR
   支持多语种语音转写，适配FLEURS‑102数据集，中英文识别效果突出，可处理日常录音、会议音频素材。

2. 长音频理解与音频问答
   支持最高1小时音频输入，具备音频‑时间戳对齐能力，可完成音频问答、内容摘要、按时间片段检索音频内容，支持链式推理。

3. 零样本参考音色TTS
   上传一段参考音频即可复刻音色完成语音合成，无需大量目标人声训练数据。

4. 指令式TTS音色生成
   使用自然语言直接描述音色、情绪、语速、语调，无需参考音频，直接生成对应风格语音。

5. 多维度语音编辑

• 语义编辑：对原始语音做文本层面插入、删除、替换修改，语音韵律保持连贯；

• 声学编辑：调整音频音高、语速、音量，需使用项目指定指令模板调用能力。

三、技术细节

1. 整体架构：解耦连续表征架构
   模型分为 Audio Encoder、LLM主干、RedAE解码器三大模块。

• Audio Encoder：负责将原始音频转换为模型可识别的文本表征向量，初始化权重来自Whisper‑large‑v3；

• LLM主干：9B参数Qwen3.5基座，统一承载音频理解、指令解析逻辑，理解任务仅加载该部分权重；

• RedAE生成通路：专门用于语音波形生成，执行TTS、语音编辑任务时必须加载该解码器权重。

2. 权重拆分机制

• 音频理解任务（ASR、音频问答、摘要）：仅加载主模型权重；

• TTS、语音编辑生成任务：需要同时加载主模型+RedAE解码器两套权重。

3. 上下文与对齐能力
   最大支持1小时音频输入，内部实现音频内容与时间戳对齐，可输出带时间标记的音频摘要；音频超过上限后，时间对齐精度会出现衰减。

4. 语种限制
   ASR模块支持大量语种；TTS、音频问答、语音编辑仅支持中文、英文。

5. 运行环境要求
   依赖 Python3.10、uv包管理器、CUDA、ffmpeg，官方默认适配CUDA12.8环境；提供Hugging Face、ModelScope双渠道获取预训练权重。

6. 推理接口
   提供Python API、命令行推理脚本两种使用方式。

四、应用场景

• 音视频内容处理：播客、会议录音长音频摘要、时间戳字幕提取、音频内容问答检索；

• 语音合成创作：零样本音色复刻、自然语言指令生成不同情绪语速中英文语音；

• 语音后期编辑：录音内容文本修改，不重新完整录制；调整人声语速、音高、音量；

• 学术科研：音频大模型算法研究、ASR、TTS、语音编辑方向实验基线；

• 本地私有化部署：内网音频处理，音频数据无需上传第三方公有服务。

五、使用方法

1. 环境准备
   安装 Python3.10，uv包管理器，CUDA12.8环境，安装ffmpeg音视频工具。

2. 获取预训练权重
   可从 Hugging Face 或者 ModelScope平台下载项目完整权重包，区分主模型权重、RedAE解码器权重。

3. 两种推理调用方式

• Python API：导入项目模块，编写代码加载对应权重，调用ASR、音频问答、TTS、语音编辑接口；执行生成类任务，务必加载RedAE解码器；

• 命令行脚本：运行项目内置推理脚本，传入音频文件、指令参数直接输出识别文本、问答结果或者生成语音文件。

4. 使用注意
   零样本TTS输出具备随机性，设置固定随机种子可以复现生成结果；语音声学编辑功能，必须遵循项目给定指令模板编写输入指令。

六、竞品对比

选取 Ming‑UniAudio、Qwen‑Audio、Gemini Audio 三款主流音频大模型进行对比。

七、常见问题解答

FireRedAudio所有能力都支持多语种吗？

不是。语音识别ASR模块支持FLEURS‑102多语种数据集；TTS、音频问答、语音编辑仅支持中文与英文。

运行TTS语音合成任务，为什么必须加载RedAE解码器权重？

RedAE是项目专门设计的语音波形生成通路，主模型主干只负责理解和指令解析，不具备输出音频波形的能力，TTS、语音编辑这类生成任务，缺少RedAE解码器无法输出语音文件，ASR、音频理解任务不需要加载该部分权重。

零样本TTS每次生成声音不一样，如何固定输出结果？

零样本TTS本身带有随机生成特性，在推理代码中设置固定随机种子，就可以实现生成结果复现。

音频输入超过1小时会发生什么？

模型理论上限为1小时音频，当音频时长超过上限，依旧可以运行推理，但是音频内容和时间戳对齐精度会明显下降，时间戳摘要、片段检索效果变差。

语音做音高、语速调整，直接自然语言随便写指令可以生效吗？

不可以。声学编辑功能需要严格按照项目提供的指令模板输入，随意编写自然语言指令，会导致编辑效果异常或者任务失败。

可以直接拿这个模型做商业音色克隆产品吗？

项目协议为Apache‑2.0，但音色克隆功能仅限学术研究使用，禁止未经授权复刻他人人声用于商业产品，滥用带来的法律责任由使用者自行承担。

八、相关链接

• GitHub仓库：https://github.com/FireRedTeam/FireRedAudio

• HuggingFace模型库：https://huggingface.co/FireRedTeam/FireRedAudio

• arXiv技术论文：https://arxiv.org/pdf/2608.24168

九、总结

FireRedAudio作为小红书推出的开源通用音频大模型，依靠解耦连续表征架构，在一套主干模型下整合语音识别、长音频问答、零样本TTS、指令TTS以及语义与声学语音编辑多项能力，区分理解任务与生成任务的权重加载逻辑，最高支持一小时长音频处理，在多项评测数据集上取得不错效果，开源协议宽松，适合开发者私有化部署、音频算法研究以及各类音频业务原型开发，同时需要使用者遵守音色克隆仅限学术研究的使用约束。