Clef 决策模型：智能体低延迟高置信选择

引言

在生成式 AI风潮之后，面向“选择而非生成”的决策模型开始进入主舞台。Cloudflare 在近期的生日周推出了开源权重的 Clef 系列，主打在预设选项之间做出高置信度、低延迟的选择，且支持文本、结构化数据与视觉输入。这类模型不强调长篇输出，而是用一次前向推理为每个备选项打分，给出概率与类型化结果，直接服务于智能体的“下一步动作”。从工程视角看，这是一种把“类型安全”“延迟可控”带入智能体主路径的务实尝试。

核心内容

从“生成”到“选择”：决策模型的定位

传统 LLM 的优势在于自由文本生成，但实际落地常需要“把输出解析回系统可执行的决策”。这一步既易错也耗时。Clef 的设计方向是反其道而行：直接对输入状态与带类型的问题 Schema 进行分类，输出每个选项的概率，避免了自由文本解析、指令越狱和格式不一致带来的工程摩擦。

• 类型化输出：输入包含状态（可为文本、JSON、图像或视频）与问题的结构化 Schema。输出即选项集合的概率分布，省去了“把自然语言再解析为结构化”的环节。
• 一次前向，多题并发：一次推理即可返回针对每个问题的所有选项概率，天然适配需要并行决策的智能体管线。
• 多模态能力：内置视觉编码器可以直接对图像/视频内容分类，这点区别于只做文本分类的同类产品，有助于处理客服工单中的附件、安防图像、广告素材审核等场景。

这种“直接选择”的范式并非完全新鲜，但将其做成可用的开源权重、并在边缘基础设施上优化到可放进核心路径，体现了产品化与工程可交付上的推进。

两个版本：Clef 与 Clef-Flash

Cloudflare 发布了 270 亿参数的 Clef 和 90 亿参数的 Clef-Flash，两者都支持多模态。选型可以围绕延迟与上下文能力权衡。

• Clef（27B）
• 多模态分类，64k 上下文窗口，能装载更丰富的状态信息和长 Schema。
• 在 Cloudflare 基准中中位延迟约 209.3 毫秒，更适合对准确率与上下文容量有高要求的复杂判断。
• Clef-Flash（9B）
• 面向延迟敏感场景，中位延迟约 38.8 毫秒。
• 在需要快速路由、风控初筛、海量实时请求的场景中更具成本与速度优势。

部署层面，Cloudflare 将模型托管在其边缘 GPU 上，利用就近计算降低网络时延，这使得“把决策模型置于智能体核心路径”成为可行。例如：先用 Clef 对请求进行分级与路由，再交由 Workers AI 上的 LLM 执行长文本生成或复杂工具调用，形成“决策—执行”的两段式管线。

此外，Clef 的 API 兼容 Typesafe AI 的 Jev System One，这意味着在已有类型安全工作流中可以较平滑地替换或混用，减少集成成本。Clef 与 Jev 的差异主要在于多模态与上下文窗口大小（64k 对 32k），前者更偏向复杂输入与视觉场景。

基准与质疑：不仅要“准”，还要“会拒绝”

围绕决策模型是否属于新范式、基准是否可信，社区给出了不少尖锐评论。可以提炼两类工程上关键的关注点：

• 基准的可操控性：公开基准容易被“拟合”，更重要的是广泛、真实的分布与成本敏感指标。单纯的准确率无法呈现“误报代价高于漏报”的业务现实。
• 置信度与选择性预测：一个好的决策模型必须“知道何时放弃”。当输入分布发生变化、或面对高风险场景时，模型应降低置信度、触发人工兜底或更严格的策略。这涉及：
• 置信度校准（如 ECE、Brier Score）与阈值策略。
• 选择性预测（Selective Prediction）：在不确定时输出“需要人工/更强模型”的标志。
• 成本敏感评估：以业务代价而非统一错误率来度量模型质量。

对 Clef 的落地评测，最好引入“风控/客服类真实代价函数”，并进行分布漂移与对抗性测试，观察模型在高风险子集中的置信度行为。若模型在风险升高场景仍保持高置信度，基准上的漂亮数字就难以转化为生产上的可信度。

适配与工程落地：从 Schema 到管线设计

Cloudflare 提供了微调服务，支持用客户自有数据对 Clef 适配，初期由工程师协助。结合其历史标注数据，目标是提升准确率与速度，面向客服工单分级、机器人识别等场景。

工程落地可以遵循以下要点：
- 明确决策边界与选项集合：将业务问题严格类型化，定义可行的选项与兜底分支，避免“隐含决策”混入。
- 设计阈值与拒绝策略：为每个选项设定最小置信度；当所有选项低于阈值时，输出“升级/人工处理/调用强模型”，实现安全回退。
- 校准与监控：
- 离线校准：绘制可靠性曲线、按分段置信度评估准确率。
- 在线监控：追踪漂移指标与误报/漏报成本，动态调整阈值。
- 多模态输入治理：对图像/视频进行内容预处理与质量控制，减少无效附件对判断造成的噪声。
- 级联与分流：
- 低延迟层（Clef-Flash）做大多数请求的初步路由；
- 高容量层（Clef）接管复杂、上下文庞大的少数请求；
- 复杂案例再交由 LLM 或人工闭环。

这类“分层决策+执行”的架构，能够在延迟、成本与准确率之间取得可控平衡。

影响与展望

Clef 的开源与边缘化部署，代表了智能体工程的一个实用走向：将“决策”从文本生成里剥离出来，变成可校准、可度量、可微调的独立模块。它的价值不在于提出全新理论，而在于把“类型安全、多模态、低延迟”的要素整合到生产级路径中，让智能体更像可靠的分布式系统。

短期影响：
- 更稳定的路由与分级：客服、审核、风控等场景能以概率与阈值为核心，减少解析错误与指令攻击风险。
- 评估范式更新：从“通用准确率”转向“代价敏感+选择性预测+校准”的综合指标，推动更贴近业务的模型度量。
- 开源生态活力：公开权重与与第三方兼容使企业更易试验与迁移，降低“被锁定于单一供应商”的风险。

中期展望：
- 更细粒度的决策模型层级：从 9B 到 27B 的带宽与延迟分层会延伸到更丰富的“决策池”，与 RAG、工具调用、流式生成形成稳定的协同。
- 标准化 Schema 与策略语言：围绕决策问题的结构化描述与策略编排，可能出现跨平台的约定与开源工具链。
- 强化“拒绝”能力：选择性预测、风险感知与人机协作的机制将成为核心竞争力，优于单纯追求更高的平均准确率。

需要注意的风险包括：在视觉输入上对抗样本与质量波动、跨域分布漂移、以及过度依赖公开基准导致的“指标崇拜”。面向生产，建议优先构建真实代价函数与校准体系，再选择模型规模与部署层级。Clef/Flash 的组合，提供了一个可试验、可扩展的起点。

标签： AI智能体 决策模型 Cloudflare 多模态