LFM2.5‑24B‑A2B：LiquidAI开源的支持131K长上下文MoE大模型
一、LFM2.5‑24B‑A2B是什么
LFM2.5‑24B‑A2B是Liquid AI推出的LFM2.5系列旗舰稀疏MoE（混合专家）开源权重大模型，也是该系列最后一款大尺寸模型，主打本地端侧高速AI智能体与工具调用，同时配套底座版本LFM2.5‑24B‑A2B‑Base用于二次微调训练。
该模型面向本地私有化部署，无需依赖云端API，可在消费级PC、笔记本、单GPU设备上运行，在Agent自动任务、函数调用、数学推理场景表现突出，权重托管在Hugging Face平台对外开放下载。
二、功能特色
内置思考推理机制：模型输出自带``推理块，在生成最终答案前，自动完成内部逻辑推导，提升复杂问题、工具任务的规划能力。
原生工具/函数调用：原生支持工具调用，默认输出Python风格调用指令，也可配置输出标准JSON格式，适配各类Agent框架，可完成联网查询、代码执行、API调用等自动化任务。
超大长上下文窗口：支持131072 tokens上下文，能够一次性加载长文档、完整多轮Agent对话历史，适合长任务流程处理。
多语言支持：内置128000词表，覆盖16种语言，包含中文，满足多语言指令理解与工具交互需求。
丰富量化版本：官方提供BF16、FP8、GGUF、ONNX、MLX‑4bit多种量化权重，适配NVIDIA显卡、AMD、苹果硅、CPU等不同硬件。
高效稀疏推理：总参数量24B，但每一次token推理仅激活2.45B参数，大幅降低显存占用，提升本地生成速度。
友好商用许可：采用LFM1.0开源许可，个人、科研、非营利场景免费；企业年营收低于1000万美元可免费商用，微调后的模型版权归使用者所有，无强Copyleft约束。
三、技术细节
模型架构：MoE混合专家架构，40层Transformer，MoE模块包含64个专家，路由策略top‑4。
参数规格：总参数24B，单token激活参数2.45B。
上下文窗口：131072 tokens。
词表大小：128000。
训练数据：累计36万亿token，包含预训练、长上下文专项训练、监督微调SFT、多轮蒸馏、Agent强化学习。
支持部署框架：Transformers、vLLM、SGLang、llama.cpp、LM Studio、MLX、Ollama，支持OpenAI兼容API，可对接Hermes、OpenClaw等Agent框架。
微调方案：支持Unsloth、TRL进行LoRA-SFT、DPO、GRPO微调。
硬件推理性能：Apple M5 Max，Q4_K_M量化最高184 token/s；AMD Ryzen AI Max+ 395可达114 token/s；B300显卡借助SGLang可实现超高并发吞吐。
推荐生成参数：temperature=0.1，top_k=50，repetition_penalty=1.05。
四、应用场景
本地私有化AI智能体：电脑本地部署私人Agent，自动执行多步骤任务，数据不出设备，保护隐私。
工具调用自动化系统：对接各类本地脚本、API，实现查询、文档处理、批量数据操作、代码执行自动化流程。
长文档深度处理：一次性读取长篇报告、合同、知识库文档，做摘要、信息抽取、逻辑分析。
离线本地推理工作站：企业内网私有化部署，不访问公网，用于内部数据分析、业务任务编排。
模型二次微调：使用Base底座版本，基于行业私有数据微调，打造垂直领域Agent模型。
五、使用方法
权重获取：前往Hugging Face模型页面下载模型权重，根据硬件选择GGUF、MLX、FP8等量化版本。
环境准备：使用transformers ≥5.0.0版本；GPU部署推荐vLLM/SGLang；本地CPU/笔记本使用llama.cpp、LM Studio、Ollama；苹果设备选用MLX版本。
加载模型：使用模型自带chat template，自动处理对话消息、工具定义，开启Agent工具调用模式。
推理配置：采用推荐生成参数，开启``推理输出，定义可用工具列表，发送任务指令，模型自动规划并输出工具调用指令。
微调（可选）：使用LFM2.5‑24B‑A2B‑Base底座，搭配Unsloth、TRL工具做LoRA微调、DPO偏好优化。
六、竞品对比
选取Qwen3.6‑35B‑A3B、GPT-OSS-20B两款同类型MoE模型进行对比：
| 项目 | LFM2.5‑24B‑A2B | Qwen3.6‑35B‑A3B | GPT-OSS-20B |
|---|---|---|---|
| 总参数量 | 24B | 35B | 21B |
| 单token激活参数 | 2.45B | 3B | 3.6B |
| 上下文窗口 | 131072 tokens | 128000 tokens | 128000 tokens |
| 核心优势 | 本地Agent与工具调用性能强，消费硬件推理速度快 | 综合知识能力强，中文原生优化，社区生态成熟 | 通用推理均衡，开源权重，生态完善 |
| 短板 | 纯知识库问答能力偏弱，建议搭配RAG | 显存占用更高，本地笔记本部署门槛更高 | Agent工具任务表现弱于LFM2.5‑24B‑A2B |
| LiveClaw Agent基准得分 | 48.09 | 38.19 | 偏低 |
| 定位 | 端侧本地AI智能体专用模型 | 通用MoE大模型，兼顾知识、对话、Agent | 通用开源推理大模型 |
七、常见问题解答
Q：LFM2.5‑24B‑A2B是否可以直接做纯知识库问答？
A：不推荐直接单独使用做纯知识库问答。该模型的优势集中在Agent任务、工具调用、逻辑推理，原生静态知识库能力弱，做知识检索场景建议搭配RAG检索增强方案。
Q：部署LFM2.5‑24B‑A2B最低需要多少内存？
A：使用Q4_K_M量化版本，32GB内存设备即可加载运行；原生BF16版本对显存要求很高，普通消费显卡难以承载，优先选用GGUF量化包在笔记本、台式机运行。
Q：LFM2.5‑24B‑A2B的商用许可有哪些限制？
A：遵循LFM1.0许可证。个人、教育、非营利组织无营收限制，可免费使用；企业年营收低于1000万美元可以免费商用；企业营收超过该阈值后需要联系Liquid AI获取商用授权，微调产生的模型不强制开源。
Q：LFM2.5‑24B‑A2B和LFM2.5‑24B‑A2B‑Base有什么区别？
A：LFM2.5‑24B‑A2B是经过SFT、强化学习优化的成品对话Agent版本，开箱可用，自带工具调用能力；LFM2.5‑24B‑A2B‑Base为预训练底座，没有指令微调，适合开发者做二次微调，不适合直接拿来对话。
Q：支持Ollama一键部署吗？
A：支持，官方提供GGUF量化权重，可通过Ollama拉取对应量化包，快速本地启动推理，适合新手快速体验。
Q：中文支持效果怎么样？
A：模型词表支持中文，训练数据包含中文样本，在工具调用、逻辑推理场景中文指令理解稳定；但中文知识库储备不如专门优化中文的国产模型，复杂中文知识问答需要RAG辅助。
八、相关链接
Hugging Face模型仓库：https://huggingface.co/LiquidAI/LFM2.5-24B-A2B
Liquid AI官方博客发布页：https://www.liquid.ai/blog/lfm2-5-24b-a2b
Liquid AI模型文档：https://docs.liquid.ai/lfm/models/text-models
九、总结
LFM2.5‑24B‑A2B是Liquid AI面向端侧本地智能体场景打造的稀疏MoE开源大模型，依托24B总参数、仅2.45B激活参数的稀疏设计，兼顾推理性能与本地硬件可运行性，在工具调用、Agent自动化任务上拥有突出基准表现，提供多平台量化权重与丰富部署框架，许可宽松便于个人与中小企业私有化部署，虽然静态知识库能力存在短板，但搭配RAG检索方案后，可以在本地设备上构建高性能离线AI智能体系统。
版权及免责申明：本文由@97ai原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。
如若转载，请注明出处：https://www.aipuzi.cn/ai-news/lfm2-5-24b-a2b.html
