OOOMETA/OS
← 返回洞察

2026 年 11 月 · 5 分钟阅读

智能体跑得起来,却没人定义什么算做对

智能体跑得起来,却没人定义什么算做对

关键定义

可观测性(Observability) 记录智能体运行过程的能力,包括模型调用、工具调用、耗时与退出点。它回答发生了什么,不回答做得对不对。

评测(Eval) 判定单次输出是否合格的一套可执行判据。它必须长在业务流程里,因此无法由供应商预制。

完成凭证 闭合一项任务时必须提交的可核对物,通常是一个真实存在的产物路径、一段复算命令或一个哈希值。

我们的待办库里有三千三百四十七张票据,其中三千一百二十八张是闭合的。每一张闭合的时候都得在结论文里写一个绝对路径,指向一份真的躺在磁盘上的产物。路径不存在,这张就不算闭合,无论它看起来多像做完了。

这条规矩不是洁癖,是被返工逼出来的。早先我们按另一套办法判完成:跑通了,没报错,输出读起来像那么回事。那套办法的失败方式很安静,活看起来做完了,第二天有人打开文件发现里面是空的,或者写的是三天前的版本。返工不集中在某一个人身上,它散在所有人的日历里,所以你永远算不出它花了多少时间。

一千三百人里,九成在看见,一半在判定

LangChain 在今年六月公布的从业者调查给了一个可以对照的读数。问卷收了 1340 份回复,采集窗口是二〇二五年十一月十八日到十二月二日。State of Agent Engineering

三个数值得放在一起看。57.3% 的受访组织有智能体在跑生产;质量被三成二的受访者列成头号障碍;接近 89% 的组织给智能体装了可观测性,而建了评测的只有 52%。

头一个数要小心用。同一份报告的方法论写着,受访者里 63% 来自科技行业,49% 的公司不到一百人,一万员工以上的只占 9%。这个样本能说明科技公司和中小团队跑得最快,不能说明传统企业也过半上了生产。拿它去说服一家三万人的制造企业,会立刻被对方自己的数字反驳,然后整场讨论卡在那一个数上,真正值得讨论的两行反而没人看。

后一个数没有这个问题。89% 和 52% 之间那三十七个百分点,与公司多大、在哪个行业基本无关,它描述的是一个更基础的错位:组织有能力看见智能体做了什么,却没有能力判断它做得对不对。这个落差在中小企业身上一样成立,在大企业身上只会更宽,因为大企业的业务规则更多、更分散。

采样和判定是两种劳动,价钱不一样

可观测性回答的是发生了什么:哪一次模型调用、调了哪个工具、花了多少 token、延迟多少毫秒、在哪一步退出。这些记录是采样式产生的,单位成本压得极低,因为写日志这件事跟业务逻辑无关,同一个采集器接上去,所有智能体都能用。

评测回答的是另一个问题:这一次算不算做对了。它没有通用答案,因为对错的标准长在业务流程里。一张对账凭证挂错科目,日志上是一次成功的工具调用;一次合同条款判断少读了一页附录,整条调用序列上没有任何异常。要判它错,得有人先说清这个业务里什么叫做对,再把这个判据写成机器能跑的东西。

两种劳动的成本曲线因此完全不同。采样的成本随调用量上涨,但只涨在存储和索引上,涨得极慢;判定的成本随用例数量上涨,而且大头在定义那一端,是人的时间,砍不下来。

这条推论解释了那三十七个百分点为什么长期存在。供应商能把采样做成一个开关,装上就有数据,卖得动;判定做不成开关,因为客户自己还没想清楚什么算对,供应商替客户想清楚就等于替客户定义了业务。于是市场在容易的那一半上充分竞争,难的那一半留在客户手里,年年留着。

为什么质量排在成本前面

同一份调查里还有一处变化值得注意:成本关注度比上一年下降了,质量仍然排第一。价格战把推理单价压下来,账单不再让人心疼,但质量的账没人替客户付。

原因在于错误的定价主体不同。推理成本是内部成本,出在云账单上,采购能谈;错误成本出在业务侧,客服要回电、订单要重开、报表要重出,而且这些成本落在具体的岗位和具体的人身上,不在任何一张发票上。26.5% 的组织把客服列为首要场景,24.4% 是研究与数据分析,这两个场景的共同点是输出直接对着人,错一次的代价由人补。

把智能体放在客户面前,等于把质量问题的定价权交给了客户。客户不会读你的 trace,他只会说他被答错了。这一层压力不会因为模型升级而消失,它只会随着用例向客户靠近而变重。

九成五的准确率在生产里是什么

这一段的算式不需要引用任何报告,它是乘除法。一个智能体在两百个测试样例上答对了一百九十个,准确率九成五,这个数在演示里很好看。把它放到每天一万次调用的位置上,每天有五百次是错的。如果每次错误的处理需要一个人花六分钟核对、修正、回话,一天就是五十个小时,等于六个全职的人被错误养着。

所以准确率是抽样指标,不是生产指标。抽样指标描述的是平均水平,生产里真正决定体验的是另外三件事:错误落在谁身上、多久能被发现、发现之后能不能重放。这三件事都不在准确率里,都在评测里。

这也解释了为什么很多团队把试点做得很漂亮,规模一上去就崩。试点阶段调用量小,错误分散在几天里,人顺手就补掉了,谁也感觉不到;量上来之后错误密度上升,补错的人变成瓶颈,而监控上仍然是全绿,因为没有一条指标在看错误,它们都在看运行。

我们把完成定义成一个可以核对的东西

回到开头那组数。三千一百二十八除以三千三百四十七,闭合率九成三点五。这个数不是模型准确率的产物,是完成定义的产物。每一张票据闭合时带三样东西:产物的绝对路径、能重跑出同一个结果的命令、当初写下的验收判据。

为什么用路径而不是分数,理由很实际。分数失败的时候不会当场暴露,九十二分看起来是可以接受的,于是它被接受了,错误进入下游;路径失败的时候文件根本不存在,当场就红,做不了假。判定的价值不在于它多精确,而在于它能否被第三方在几分钟内独立复算。这一条把评价从一个人的印象,变成了一件可以被别人重新执行的事。

这套东西在内部也踩过坑。早先我们允许产物写在临时目录,判定时人眼确认一下就算过,结果同一批任务被两个会话同时领取,各自写了一版,两份都声称自己是唯一实现。后来改的不是提示词,是队列语义:领取前重读一次待处理清单,完成必须带唯一键,重复完成直接报已闭合而不是覆盖。

这条经验可以直接搬到客户的评测设计上。评测集不是问答对,是失败的现场快照:当时的输入、工具调用序列、判定结果、以及人为什么判它错。攒够五十个这样的快照,你就有了一个能回归的评测集,新模型上线先跑它,掉分的地方就是这次升级的代价。

第四样最容易被省掉,也最关键。只记前两样的时候,回归测试只会告诉你分数掉了,不会告诉你掉在哪一类错上,于是每次掉分都要回去问当天的执行者,那个人常常已经记不清当时的判断依据。把这个判断依据写下来的成本是五分钟,丢掉它之后的事后回看成本是半天,差额全在别人身上。

还有一件常被低估的事:评测集要有人维护。业务规则每季度都会动一次,判据跟着动,旧的一批快照会悄悄失效。处理办法是给每组快照打上适用规则的版本号,规则一改就标成历史,不要让它继续参与打分。悄悄失效的评测集比没有更难对付,因为它会稳定地给出一个绿色的假信号,而所有人都会信它。

四类买方,四个该动的数

对 C 层:预算论证里该出现的不是 GPU 数量,是带可复算凭证的交付占比。这个比例可以从交付记录里数出来,也就是说它不像信心指数那样只能靠感觉,它能进董事会材料。一个季度从两成做到六成,比再多部署十个智能体更能说明这套东西在受控。

对转型负责人:规模化的门槛不是模型够不够强,是新增一个用例时,判定标准能不能在一天内写出来。写不出来的用例,先在纸上把规则吵清楚,再交给工程,否则工程会用最省事的办法把模糊变成通过。

对 AI 应用负责人:评测数据集应该从失败里长出来,不是从教科书里编出来。五十个真实失败快照的价值,大于两千条合成问答。合成数据测的是模型会不会说话,失败快照测的是它在你的业务里会不会犯错。

对合规负责人:判定记录本身就是审计轨迹。合规要的不是更多日志,是每一次放行都有人签、有判据、有复算方式。日志能证明系统跑过,判定记录能证明系统做对过,这两件事在监管眼里完全不同。

我们的判断

第一,今年挡在规模化前面的不是模型能力,是完成定义的能力。这条可以被证伪:如果主要瓶颈真是模型,那么把一批用例的可观测性全关掉,交付质量应该显著下降;把评测关掉,返工率应该上升。我们内部做过前一半,关掉监控之后交付没有变差,只是发现问题晚了两天。

第二,那三十七个百分点是行业结构,不是成熟度差。它不会随着模型变强自动闭合,因为缺口在定义那一端,而定义只能由懂业务的人做。任何声称一个更强的模型能顺带解决评测问题的说法,都跳过了这一步。

第三,判定的成本只能由业务方付,工程替不了。工程能做的是把判据做成可执行的东西,做不了的是决定什么叫做对。我们在自己的产品里就是按这条分工的:客户写判据,我们写复算器。

什么时候不必建这套

量小的时候不必。每天调用几十次的场景,人工抽检比建评测集便宜,建了也是摆设。

结果机器可验证的时候也不必。对账、编译、灰度放量、风控拦截,这些场景的判据已经写好了,编译器、对账差额、灰度指标就是评测,别再造一套。

业务方自己还没达成共识的时候,先别建。规则吵不清楚,评测只会把分歧固化成一个分数,然后所有人围着分数争,没人回去改规则。

今天能做的三步

第一步,给每一类交付写一句验收判据,一句话,能被别人读懂,能被机器检查。写不出来的,说明这件事现在还不该交给智能体。

第二步,把完成改成一个可核对物:产物路径、复算命令、或一个哈希。改动前后各留一份,任何人拿到都能重跑。

第三步,每周从返工里挑五个现场做快照,攒成回归集。不要在模型升级当天才开始找用例,那时候找不到。

留给买方一个问题:你们上一季度上线的那批智能体,哪一次交付是第三方能在十分钟内独立复算出来的?如果一次都没有,你们现在拥有的不是生产能力,是一批看起来健康的仪表盘。

来源:LangChain, State of Agent Engineering, 2026 年 6 月,1340 份回复,采集窗口 2025 年 11 月 18 日至 12 月 2 日。langchain.com/state-of-agent-engineering 文中的内部运行数据来自 OOMeta 自身的任务队列记录。

常见问题

可观测性装了就有数据,评测为什么不能也这样+

采样与业务逻辑无关,一个采集器接上去全部智能体都能用。判据长在业务流程里,要人先说清什么算对,供应商替客户定等于替客户定义业务。

89% 有可观测性、52% 有评测,这组数怎么来的+

LangChain 2026 年 6 月报告,1340 份回复,采集窗口 2025 年 11 月 18 日至 12 月 2 日。

57% 的组织已有智能体在跑生产,这个数能外推到传统企业吗+

不能。样本里 63% 来自科技行业、49% 的公司不到一百人,一万员工以上的只占 9%,它描述的是科技公司与中小团队跑得最快。

九成五的准确率放到生产里意味着什么+

每天一万次调用就有五百次错。若每次错需要人六分钟处理,一天五十小时,等于六个人被错误养着。准确率是抽样指标,不是生产指标。

评测集应该怎么攒+

从失败里攒。每个快照记下输入、工具调用序列、判定结果和判错原因,五十个真实快照比两千条合成问答有用。

哪些场景不需要建评测+

结果机器可验证的场景,例如对账、编译、灰度放量、风控拦截,判据已经存在,再做一套评测是重复劳动。

拿你自己的执行日志跑一遍

交一份脱敏的近 30 天 agent 执行日志,48 小时内拿到八行表:八项技术项每项一行,每格带分子、分母和判据,缺口按是否要改 schema 排序。前三单 ¥8,000。

看八项字段检查 →