Ling-3.0-flash-VL：inclusionAI开源原生多模态MoE大模型

AI新闻 dotaai 1个月前

一、Ling-3.0-flash-VL是什么

Ling-3.0-flash-VL 是 inclusionAI 基于 Ling-3.0-flash 开发的原生多模态MoE大模型，采用MIT开源协议托管于Hugging Face平台。模型在原文本大模型基础上增加视觉编码器，原生支持图像、短视频与文本混合输入，同时内置智能Agent能力，兼顾大参数量模型的推理能力与稀疏MoE架构的低推理成本，主打超长上下文多模态理解、图文推理、界面智能体任务。

二、功能特色

图文视频原生多模态：支持图片、视频输入，可解析复杂文档、图表、截图、界面画面，能够识别画面内物体、读取表格文字、定位视频事件时序。
稀疏MoE高效推理：总参数量124B，但每次token推理仅激活5.5B参数，在保证推理能力的前提下降低显存与算力消耗。
百万级超长上下文：最高支持1M tokens上下文窗口，工程部署常用256K上下文，适合长文档、长视频连续问答、多轮Agent任务历史记忆。
内置思考模式+Agent能力：默认开启思考模式，可将视觉画面信息转化为可执行动作序列，解析网页、软件界面完成智能体操作规划，自带工具调用解析器。
OpenAI兼容API：依托SGLang、vLLM部署，接口格式兼容OpenAI Chat Completions，支持流式输出，可直接传入image_url、video_url处理多媒体内容。
多场景推理能力：覆盖视觉计数、STEM多步推理、版式文档OCR、前端代码生成、医疗报告解读等任务。

Ling-3.0-flash-VL（图1）

三、技术细节

模型总参数：124B MoE稀疏架构，单Token激活5.5B参数，词表157k，Embedding维度2560。
视觉模块：ViT视觉编码器提取图像特征，MLP投影层对齐图文表征；使用VideoRoPE编码空间与时间信息，专门适配视频时序理解。
主干网络：共42层，Kimi Delta Attention（KDA）与Gated MLA层按5:1交替堆叠，优化超长上下文的注意力计算。
推理框架：支持SGLang、定制版vLLM两种部署后端；可关闭思考模式自定义采样参数，支持YaRN上下文扩展、Prefix Cache加速。
采样默认参数：temperature=0.6，top_p=0.95，top_k=20；对外推理服务推荐temperature=1.0。

四、应用场景

文档与图表智能解析：PDF、扫描文档、复杂表格、工程图纸识别，提取信息并做数据推理计算。
视频理解与内容检索：长视频事件定位、画面内容问答、视频摘要，识别视频时序内发生的动作。
GUI智能体自动化：识别软件、网页截图界面，生成点击、输入等操作序列，实现视觉驱动AI Agent。
多模态代码生成：根据UI截图直接生成前端页面代码。
专业图文分析：医疗影像报告解读、STEM题目图文推理、实物计数与场景逻辑判断。
本地/云端私有化部署：企业本地部署多模态问答服务，私有化图文知识库。

五、使用方法

1. 在线快速试用

HuggingFace页面可直接使用HuggingChat在线体验，也支持Colab、Kaggle环境快速加载测试，无需本地硬件。

2. 本地部署

SGLang部署：使用官方Docker镜像，多卡张量并行。推荐4张H20/H200/B300（141GB），--tp 4；80GB H100/H800需--tp 8。支持传入图片、视频URL，可通过chat_template_kwargs关闭思考模式。
vLLM部署：克隆inclusionAI定制vLLM源码本地编译安装，启动时指定ling3推理引擎，开启prefix-cache加速，API请求格式与SGLang保持一致。

3. 量化部署

支持llama.cpp、Ollama、LM-Studio量化版本，降低硬件门槛用于轻量测试。

4. API调用

使用OpenAI兼容接口，请求体中传入image_url或video_url实现图文/视频问答，支持流式返回结果。

六、竞品对比

选取Qwen3-VL、Gemini 3.5 Flash-Lite两款多模态模型进行对比：

项目	Ling-3.0-flash-VL	Qwen3-VL	Gemini 3.5 Flash-Lite
架构	124B MoE稀疏，单Token激活5.5B	稠密大模型	Google原生多模态
上下文上限	最高1M tokens	128K	1M tokens
输入类型	图像、视频、文本	图像、文本	图像、视频、音频、文本
核心优势	视觉驱动Agent能力，长视频时序理解，MIT开源	部署门槛低，社区生态完善，中文友好	多模态融合全面，云端API成熟，原生音频支持
开源情况	MIT完全开源	开源	闭源，仅提供API

七、常见问题解答

Q：Ling-3.0-flash-VL需要什么显卡才能本地跑？

A：完整精度推荐多卡大显存A100/H100/H200等；80GB单卡无法完整加载，需要张量并行多卡。量化版本可在消费级显卡使用，但会损失部分推理精度，适合测试体验。

Q：思考模式是什么，能不能关闭？

A：思考模式是模型内置的推理思考环节，默认开启。可以在调用参数chat_template_kwargs中配置关闭，关闭后模型直接输出回答，减少推理耗时。

Q：是否支持本地图片文件上传，还是只能填URL？

A：官方接口示例支持image_url和video_url；在部署时可二次开发，增加本地文件上传转base64的方式传入图片。

Q：这个模型的视频理解能力支持多长的视频？

A：受上下文窗口限制，依托VideoRoPE做时序编码，适合分钟级短视频，长视频需要分段采样帧送入模型。

Q：商用是否免费？

A：采用MIT开源协议，允许商用，可自由修改、二次开发，需要遵守MIT协议原文条款。

八、相关链接

Hugging Face模型主页：https://huggingface.co/inclusionAI/Ling-3.0-flash-VL

九、总结

Ling-3.0-flash-VL由inclusionAI推出，是一款MIT协议开源的原生多模态MoE大模型，依托稀疏专家结构在124B总参数量下控制推理算力开销，同时搭载ViT视觉编码器与VideoRoPE时序编码，具备百万级超长上下文，原生支持图像与视频输入，突出视觉驱动AI Agent能力，可通过SGLang、vLLM完成多卡部署并提供兼容OpenAI的API接口，适合文档解析、视频理解、GUI自动化等多模态场景，为私有化多模态大模型部署提供了高性能开源方案。