Clef:Cloudflare开源的多模态决策模型

AI新闻 dotaai
66

Clef是什么

Clef 是 Cloudflare 开源的多模态决策模型,基于 Qwen3.8‑27B 基座完成后训练,采用 Apache‑2.0 开源协议,同步推出轻量化版本 Clef-Flash。Clef 定位结构化决策专用模型,区别于常规生成式大模型,它不输出自由长文本,接收业务状态、图片、视频等输入后,直接输出候选选项的概率分布,免去文本解析环节。模型原生兼容 Jev/SystemOne 接口,面向企业自动化判定类业务打造,支持本地私有化部署。

功能特色

  1. 原生结构化概率输出
    模型直接返回各个选项置信概率,无需正则、LLM 二次解析文本结果,减少幻觉与解析失败问题,结果稳定可控。

  2. 多模态输入兼容
    支持文本、JSON结构化数据、图片、视频混合输入,一张请求内可以同时处理图文组合业务材料。

  3. 三类判定任务原生支持
    内置三种任务类型:布尔是非判断(noul)、枚举多选(choice)、有序等级打分(score),覆盖绝大多数分类、审核、评级场景。

  4. 高低配双版本可选
    原版 Clef(27B)侧重高精度;Clef-Flash 主打低延迟,p50 推理延迟仅38.8ms,满足高并发在线业务。

  5. 多部署方案兼容
    支持 Transformers、vLLM、SGLang、Docker Model Runner,同时适配 llama.cpp、Ollama 量化本地运行,兼容OpenAI风格HTTP接口。

  6. 批量混批能力
    支持批量提交不同类型样本,一次推理同时处理多条文本、图文任务,提升吞吐,降低单任务推理成本。

Clef(图1)

技术细节

  1. 模型基座
    基础模型采用 Qwen3.8‑27B,自带视觉编码器,权重以 BF16 格式 safetensors 分片存储,额外独立训练一个小型联合模式头(Joint schema head)。

  2. Joint schema head 联合决策头
    小型Transformer头读取基座模型隐层输出,将证据分配到每个定义好的问题,独立计算每个候选选项logit,经过softmax转换得到对应概率。所有问题在单次前向推理完成打分,不是多轮调用。

  3. 输入输出结构
    输入包含 state 业务上下文(文本/JSON)、可选图片视频资源、questions 问题集合,每个问题需要定义任务类型、判定规则、候选选项。输出为每个问题对应的选项概率分布、置信度、token消耗统计。

  4. 硬件要求
    原版Clef 27B推荐单卡H200运行;Clef-Flash硬件门槛更低,适合线上高并发服务。依赖环境:torch2.11、transformers5.10.2,图像处理依赖pillow。

应用场景

  • 票据单据审核:发票信息校验、单据真伪判定、字段合规检查

  • 客服工单路由:根据工单文本+截图自动分类、分配处理部门、标记紧急等级

  • 安全事件研判:安全告警内容判定、风险等级打分、误报识别

  • Agent可观测性:智能体执行轨迹校验、动作合法性判断

  • 内容合规判定:图文内容分类、违规项识别、多级风险打分

  • 结构化数据质检:表单数据校验、业务规则自动判断

使用方法

方式1:Docker Model Runner(最简快速体验)

docker model run hf.co/Cloudflare/clef

方式2:Transformers 原生调用

加载项目自带 joint_schema_model.py,使用 AutoProcessor + AutoModelForMultimodalLM 加载权重,构造state和questions参数传入模型,直接获取各选项概率。仓库自带发票、客服工单示例代码。

方式3:vLLM/SGLang OpenAI兼容服务

启动HTTP推理服务,使用curl或者各类OpenAI客户端发起请求,适合业务系统对接。

方式4:本地量化部署

使用llama.cpp、Ollama、LM Studio加载量化权重,适合离线内网私有化小批量推理。

Clef(图2)

竞品对比

模型 定位 核心优势 主要短板
Clef(Cloudflare) 多模态结构化决策模型 图文视频输入,直接输出概率,无需文本解析;支持三类决策任务;双版本兼顾精度/速度 27B原版显卡要求高,不适合自由文本生成场景
Jev 决策专用模型,SystemOne生态 Agent trace可观测场景表现优秀,生态互通 多模态能力弱于Clef,高并发延迟更高
Kev 9B 轻量文本决策模型 参数量小,部署成本低 不支持图片视频输入,复杂业务判定精度不足

常见问题解答

Clef可以用来聊天、写文案吗?

Clef不是生成式对话模型,它不会生成自由文本,只做结构化选项打分判定。不适合聊天、文案创作、代码编写这类生成任务。

Clef和普通多模态大模型做分类有什么本质区别?

普通多模态大模型输出自然语言,需要额外代码解析结果,容易出现输出格式错乱、幻觉。Clef在模型层面直接输出选项概率,跳过文本解析步骤,稳定性更强,适合生产环境自动化业务。

Clef-Flash和原版Clef该怎么选?

高精度、低并发场景,比如票据审核、安全事件深度研判,选原版Clef 27B;高并发在线接口,对延迟敏感,优先Clef-Flash。

是否可以商用?

模型采用Apache‑2.0协议,允许商用,需要遵守协议条款。

是否支持中文场景?

基座为Qwen系列,原生支持中文文本,中文工单、单据类判定任务可以直接使用。

相关链接

总结

Cloudflare Clef是Cloudflare推出的开源多模态决策模型,摒弃传统大模型文本生成的模式,直接输出结构化选项概率,搭配Clef-Flash轻量版本,兼顾推理精度与延迟表现,原生支持图文视频混合输入,适配工单、票据、安全风险等企业自动化判定业务,多套部署方案支持线上服务与私有化离线部署,适合需要稳定、可量化判定结果的生产场景。

打赏
THE END
作者头像
dotaai
正在和我的聊天机器人谈恋爱,它很会捧场。