OOOMETA/OS
← 返回洞察

2026 年 9 月 · 7 分钟阅读

有界决策不该进大模型循环:
706K 参数 vs 23 轮推理

有界决策不该进大模型循环

关键定义

有界决策(bounded decision) 候选集合有限、判定标准可枚举、结果可校验的一类判定,例如表单字段填充、请求路由分类、权限判定。它与开放语义推理相对,可以用远小于通用模型的专用模型完成。

单次前向传播(single forward pass) 模型一次计算即输出结果,没有链式推理、没有多轮工具调用。延迟与成本由这一次推理决定,与循环轮数无关。

每个完成任务的成本 按任务成功完成一次计算的成本,包含所有中间轮次、重试与上下文膨胀,而不是按 token 单价计算。它是有界决策该不该摘出循环的判据。

agent 降本被讨论成一件压缩模型的事,但它其实是两件事。2026 年 9 月 18 日,Cua 开源 CUA-S1-FORMS:一个 706,048 参数、2.8MB 的表单决策模型,在一次约 50 毫秒的前向传播里决定整张表单怎么填;而同一张表单交给通用 LLM agent,需要 23 轮、39.6 秒。我们的判断:降本的第二条路径不是把大模型压小,而是让有界决策根本不进循环——这条路径不改变模型,改变的是你把哪些决策放进了循环里。

一、事实:一个 706K 参数模型替代 23 轮推理

Cua(创始人 Francesco Bonacci)在 09-18 开源 CUA-S1-FORMS,是 System One 模型家族的第一个 checkpoint:706,048 参数、2.8MB 的字节级 transformer,MIT 许可,模型卡发布在 Hugging Face 的 cua-ai/cua-s1-forms。给定单个界面表单字段与候选值集合,它在一次前向传播内决策填充、勾选、点击还是跳过——没有链式推理、没有多轮工具调用、不调用大模型 API。来源:trycua/cua 仓库、模型卡。

对比数字是这篇文章的重点:同一张表单,通用 LLM agent 需要 23 轮、39.6 秒;专用决策模型一次前向传播约 50 毫秒。模型卡同时报告 99.7% 的决策准确率,对照通用 LLM API 基线约 83.6%。来源:AI Weekly 对本次开源的覆盖。

引用纪律:99.7% 与 83.6% 均来自模型卡,属厂商自报,且只针对表单填充这一单一任务,不是通用能力声明。可采信的部分是机制与量级——有界决策可以用极小模型完成,而「可以」需要用你自己的评估集来验证。

二、我们的判断:降本有两条路径,第二条长期被忽略

路径 A 是把通用模型压小:量化、蒸馏、缓存,目标是降低单位 token 价格。这条路径的收益上限由模型供应商的定价与技术节奏决定,企业买方只能选择,不能设计。

路径 B 是把有界决策从循环里摘出去:不改模型,改的是架构——哪些判定必须由通用推理完成,哪些判定一次前向传播就够。这条路径的收益不受供应商定价约束,只受你自己对任务的拆解能力约束。

我们的判断:路径 B 之所以被忽略,是因为它看起来不像 AI 项目——它更像一次流程梳理。但它的杠杆率更高:把一项判定移出循环,同时消掉的是轮数、上下文长度与重试次数,这三项在任何按 token 计价的账单里都看不见。

三、判断标准:哪些判定该摘出去

三个问题同时为「是」,才适合摘出去:

① 候选集合是否有限?

表单字段的候选值是几十个、路由目标是十几个类目——有限集合可以用判别式模型完成;开放语义生成不行。

② 判定标准是否可枚举?

如果正确性可以用规则、清单或少量示例写下来,判定就不需要世界知识;如果需要跨文档推断,留在循环内。

③ 错误是否可校验、可回滚?

能被下游校验或人工快速纠正的判定,可以承担小模型的风险;一旦错了无法发现、无法回退,就不该省这一步。

反面同样清楚:长尾异常处理、需要跨系统语义理解的判定、结果无法验证的开放生成,应当留在通用循环里。摘出去不是把 agent 做小,是把 agent 的循环留给真正需要循环的部分。

四、经济性重算:按每个完成任务的成本算

一个表单填写任务在通用 agent 里是 23 轮推理:每轮都带上下文、每轮都可能重试、每次重试都重新计费。换成一次前向传播后,边际 token 成本归零,延迟下降三个数量级——这不是 10% 的成本优化,是成本结构的替换。

但替换不是免费的。你要维护一个小模型、它的评估集与版本,还要承担「有界任务定义漂移」的风险:界面改版、候选值变化、业务规则调整都会让模型失效,需要重新训练或重新校验。因此判断标准不是「能不能做」,而是「这项判定的重复量是否足够大、定义是否足够稳定」。

我们的判断:单位经济学应该按每个完成任务的成本算,而不是按 token 单价算。按 token 单价算,你只能看见模型档位之间的差价;按每个完成任务的成本算,你才能看见「这项判定根本不该进循环」这类结构性空间。

五、落地清单与本月动作

① 列出重复次数最高的 5 个有界判定

从生产日志里数,不从设计文档里猜。次数最多的判定通常最不显眼。

② 统计每个判定的轮数与 token 成本

轮数乘以每轮平均 token,得到该判定的循环成本占比。

③ 选一个做替换 PoC

优先选候选集合最小、校验最容易的那一项,两周内跑出对比数字。

④ 建立该判定的独立评估集

没有独立评估集,就无法判断替换是否退化——这是摘出循环的前置条件。

⑤ 把「不进循环」写进架构评审

新增 agent 能力时,先回答「这项判定为什么需要通用推理」,答不出来就不进循环。

本月可做的最小动作:拉出 agent 生产日志,统计最近一周的循环轮数分布,找出轮数最多的那个判定,问一句它是否满足上面三个条件。然后回答一个问题:你的 agent 循环里,有多少轮是在回答一个候选集合只有十个选项的问题?

OOMeta AI

OOMeta 在 agent 落地里按每个完成任务的成本做架构决策:哪些判定进通用循环、哪些用专用模型、哪些用确定性规则。循环是稀缺资源,我们按判定类型分配它,而不是默认把所有判定都塞进去。

预约诊断会

参考来源:Cua 开源仓库 github.com/trycua/cua(HTTP 200)|模型卡 huggingface.co/cua-ai/cua-s1-forms(HTTP 200;706,048 参数、2.8MB、MIT 许可、单次前向传播约 50 毫秒、23 轮与 39.6 秒对比、99.7% 与 83.6% 准确率均出自此处,属厂商自报)|AI Weekly 覆盖 aiweekly.co alert(HTTP 200)。

常见问题

Cua 开源的 CUA-S1-FORMS 是什么?+

它是一个 706,048 参数、2.8MB 的字节级 transformer,采用 MIT 许可,给定单个界面表单字段和候选值集合,在一次前向传播内决定填充、勾选、点击还是跳过,不调用大模型 API、不做链式推理。

23 轮、39.6 秒与约 50 毫秒的对比说明了什么?+

同一张表单,通用 LLM agent 需要 23 轮、39.6 秒,专用决策模型一次前向传播约 50 毫秒。差距不在模型大小,而在决策类型:候选集合有限、判定标准可枚举的判定,本来就不需要进入通用推理循环。

99.7% 的准确率可信吗?+

该数字来自模型卡,属于厂商自报,且只针对表单填充这一单一任务,不是通用能力声明。可采信的部分是机制:有界决策可以用极小模型完成,且必须用你自己的评估集验证。

什么样的判定应该摘出循环?+

三个条件同时成立:候选集合是否有限、判定标准是否可枚举、错误是否可校验或可回滚。三条都成立就适合摘出去;涉及开放语义、世界知识或长尾异常的判定应留在循环内。

把判定摘出循环的成本是什么?+

你需要维护一个小模型、它的训练与评估数据、以及版本管理。只有当该判定重复量足够大、定义稳定、边界清晰时,这笔维护成本才低于节省下来的推理成本。

agent 成本应该按什么指标衡量?+

按每个完成任务的成本,而不是按 token 单价。摘出有界决策的价值在于它同时降低轮数、上下文长度与重试次数,这三项都是 token 单价看不见的成本项。