2026 年 11 月 · 5 分钟阅读
智能体跑得起来,却没人定义什么算做对

关键定义
可观测性(Observability) 记录智能体运行过程的能力,包括模型调用、工具调用、耗时与退出点。它回答发生了什么,不回答做得对不对。
评测(Eval) 判定单次输出是否合格的一套可执行判据。它必须长在业务流程里,因此无法由供应商预制。
完成凭证 闭合一项任务时必须提交的可核对物,通常是一个真实存在的产物路径、一段复算命令或一个哈希值。
我们的待办库里有三千三百四十七张票据,其中三千一百二十八张是闭合的。每一张闭合的时候都得在结论文里写一个绝对路径,指向一份真的躺在磁盘上的产物。路径不存在,这张就不算闭合,无论它看起来多像做完了。
这条规矩不是洁癖,是被返工逼出来的。早先我们按另一套办法判完成:跑通了,没报错,输出读起来像那么回事。那套办法的失败方式很安静,活看起来做完了,第二天有人打开文件发现里面是空的,或者写的是三天前的版本。返工不集中在某一个人身上,它散在所有人的日历里,所以你永远算不出它花了多少时间。
一千三百人里,九成在看见,一半在判定
LangChain 在今年六月公布的从业者调查给了一个可以对照的读数。问卷收了 1340 份回复,采集窗口是二〇二五年十一月十八日到十二月二日。State of Agent Engineering
三个数值得放在一起看。57.3% 的受访组织有智能体在跑生产;质量被三成二的受访者列成头号障碍;接近 89% 的组织给智能体装了可观测性,而建了评测的只有 52%。
头一个数要小心用。同一份报告的方法论写着,受访者里 63% 来自科技行业,49% 的公司不到一百人,一万员工以上的只占 9%。这个样本能说明科技公司和中小团队跑得最快,不能说明传统企业也过半上了生产。拿它去说服一家三万人的制造企业,会立刻被对方自己的数字反驳,然后整场讨论卡在那一个数上,真正值得讨论的两行反而没人看。
后一个数没有这个问题。89% 和 52% 之间那三十七个百分点,与公司多大、在哪个行业基本无关,它描述的是一个更基础的错位:组织有能力看见智能体做了什么,却没有能力判断它做得对不对。这个落差在中小企业身上一样成立,在大企业身上只会更宽,因为大企业的业务规则更多、更分散。
采样和判定是两种劳动,价钱不一样
可观测性回答的是发生了什么:哪一次模型调用、调了哪个工具、花了多少 token、延迟多少毫秒、在哪一步退出。这些记录是采样式产生的,单位成本压得极低,因为写日志这件事跟业务逻辑无关,同一个采集器接上去,所有智能体都能用。
评测回答的是另一个问题:这一次算不算做对了。它没有通用答案,因为对错的标准长在业务流程里。一张对账凭证挂错科目,日志上是一次成功的工具调用;一次合同条款判断少读了一页附录,整条调用序列上没有任何异常。要判它错,得有人先说清这个业务里什么叫做对,再把这个判据写成机器能跑的东西。
两种劳动的成本曲线因此完全不同。采样的成本随调用量上涨,但只涨在存储和索引上,涨得极慢;判定的成本随用例数量上涨,而且大头在定义那一端,是人的时间,砍不下来。
这条推论解释了那三十七个百分点为什么长期存在。供应商能把采样做成一个开关,装上就有数据,卖得动;判定做不成开关,因为客户自己还没想清楚什么算对,供应商替客户想清楚就等于替客户定义了业务。于是市场在容易的那一半上充分竞争,难的那一半留在客户手里,年年留着。
为什么质量排在成本前面
同一份调查里还有一处变化值得注意:成本关注度比上一年下降了,质量仍然排第一。价格战把推理单价压下来,账单不再让人心疼,但质量的账没人替客户付。
原因在于错误的定价主体不同。推理成本是内部成本,出在云账单上,采购能谈;错误成本出在业务侧,客服要回电、订单要重开、报表要重出,而且这些成本落在具体的岗位和具体的人身上,不在任何一张发票上。26.5% 的组织把客服列为首要场景,24.4% 是研究与数据分析,这两个场景的共同点是输出直接对着人,错一次的代价由人补。
把智能体放在客户面前,等于把质量问题的定价权交给了客户。客户不会读你的 trace,他只会说他被答错了。这一层压力不会因为模型升级而消失,它只会随着用例向客户靠近而变重。
九成五的准确率在生产里是什么
这一段的算式不需要引用任何报告,它是乘除法。一个智能体在两百个测试样例上答对了一百九十个,准确率九成五,这个数在演示里很好看。把它放到每天一万次调用的位置上,每天有五百次是错的。如果每次错误的处理需要一个人花六分钟核对、修正、回话,一天就是五十个小时,等于六个全职的人被错误养着。
所以准确率是抽样指标,不是生产指标。抽样指标描述的是平均水平,生产里真正决定体验的是另外三件事:错误落在谁身上、多久能被发现、发现之后能不能重放。这三件事都不在准确率里,都在评测里。
这也解释了为什么很多团队把试点做得很漂亮,规模一上去就崩。试点阶段调用量小,错误分散在几天里,人顺手就补掉了,谁也感觉不到;量上来之后错误密度上升,补错的人变成瓶颈,而监控上仍然是全绿,因为没有一条指标在看错误,它们都在看运行。
我们把完成定义成一个可以核对的东西
回到开头那组数。三千一百二十八除以三千三百四十七,闭合率九成三点五。这个数不是模型准确率的产物,是完成定义的产物。每一张票据闭合时带三样东西:产物的绝对路径、能重跑出同一个结果的命令、当初写下的验收判据。
为什么用路径而不是分数,理由很实际。分数失败的时候不会当场暴露,九十二分看起来是可以接受的,于是它被接受了,错误进入下游;路径失败的时候文件根本不存在,当场就红,做不了假。判定的价值不在于它多精确,而在于它能否被第三方在几分钟内独立复算。这一条把评价从一个人的印象,变成了一件可以被别人重新执行的事。
这套东西在内部也踩过坑。早先我们允许产物写在临时目录,判定时人眼确认一下就算过,结果同一批任务被两个会话同时领取,各自写了一版,两份都声称自己是唯一实现。后来改的不是提示词,是队列语义:领取前重读一次待处理清单,完成必须带唯一键,重复完成直接报已闭合而不是覆盖。
这条经验可以直接搬到客户的评测设计上。评测集不是问答对,是失败的现场快照:当时的输入、工具调用序列、判定结果、以及人为什么判它错。攒够五十个这样的快照,你就有了一个能回归的评测集,新模型上线先跑它,掉分的地方就是这次升级的代价。
第四样最容易被省掉,也最关键。只记前两样的时候,回归测试只会告诉你分数掉了,不会告诉你掉在哪一类错上,于是每次掉分都要回去问当天的执行者,那个人常常已经记不清当时的判断依据。把这个判断依据写下来的成本是五分钟,丢掉它之后的事后回看成本是半天,差额全在别人身上。
还有一件常被低估的事:评测集要有人维护。业务规则每季度都会动一次,判据跟着动,旧的一批快照会悄悄失效。处理办法是给每组快照打上适用规则的版本号,规则一改就标成历史,不要让它继续参与打分。悄悄失效的评测集比没有更难对付,因为它会稳定地给出一个绿色的假信号,而所有人都会信它。
四类买方,四个该动的数
对 C 层:预算论证里该出现的不是 GPU 数量,是带可复算凭证的交付占比。这个比例可以从交付记录里数出来,也就是说它不像信心指数那样只能靠感觉,它能进董事会材料。一个季度从两成做到六成,比再多部署十个智能体更能说明这套东西在受控。
对转型负责人:规模化的门槛不是模型够不够强,是新增一个用例时,判定标准能不能在一天内写出来。写不出来的用例,先在纸上把规则吵清楚,再交给工程,否则工程会用最省事的办法把模糊变成通过。
对 AI 应用负责人:评测数据集应该从失败里长出来,不是从教科书里编出来。五十个真实失败快照的价值,大于两千条合成问答。合成数据测的是模型会不会说话,失败快照测的是它在你的业务里会不会犯错。
对合规负责人:判定记录本身就是审计轨迹。合规要的不是更多日志,是每一次放行都有人签、有判据、有复算方式。日志能证明系统跑过,判定记录能证明系统做对过,这两件事在监管眼里完全不同。
我们的判断
第一,今年挡在规模化前面的不是模型能力,是完成定义的能力。这条可以被证伪:如果主要瓶颈真是模型,那么把一批用例的可观测性全关掉,交付质量应该显著下降;把评测关掉,返工率应该上升。我们内部做过前一半,关掉监控之后交付没有变差,只是发现问题晚了两天。
第二,那三十七个百分点是行业结构,不是成熟度差。它不会随着模型变强自动闭合,因为缺口在定义那一端,而定义只能由懂业务的人做。任何声称一个更强的模型能顺带解决评测问题的说法,都跳过了这一步。
第三,判定的成本只能由业务方付,工程替不了。工程能做的是把判据做成可执行的东西,做不了的是决定什么叫做对。我们在自己的产品里就是按这条分工的:客户写判据,我们写复算器。
什么时候不必建这套
量小的时候不必。每天调用几十次的场景,人工抽检比建评测集便宜,建了也是摆设。
结果机器可验证的时候也不必。对账、编译、灰度放量、风控拦截,这些场景的判据已经写好了,编译器、对账差额、灰度指标就是评测,别再造一套。
业务方自己还没达成共识的时候,先别建。规则吵不清楚,评测只会把分歧固化成一个分数,然后所有人围着分数争,没人回去改规则。
今天能做的三步
第一步,给每一类交付写一句验收判据,一句话,能被别人读懂,能被机器检查。写不出来的,说明这件事现在还不该交给智能体。
第二步,把完成改成一个可核对物:产物路径、复算命令、或一个哈希。改动前后各留一份,任何人拿到都能重跑。
第三步,每周从返工里挑五个现场做快照,攒成回归集。不要在模型升级当天才开始找用例,那时候找不到。
留给买方一个问题:你们上一季度上线的那批智能体,哪一次交付是第三方能在十分钟内独立复算出来的?如果一次都没有,你们现在拥有的不是生产能力,是一批看起来健康的仪表盘。
来源:LangChain, State of Agent Engineering, 2026 年 6 月,1340 份回复,采集窗口 2025 年 11 月 18 日至 12 月 2 日。langchain.com/state-of-agent-engineering 文中的内部运行数据来自 OOMeta 自身的任务队列记录。
常见问题
可观测性装了就有数据,评测为什么不能也这样+
采样与业务逻辑无关,一个采集器接上去全部智能体都能用。判据长在业务流程里,要人先说清什么算对,供应商替客户定等于替客户定义业务。
89% 有可观测性、52% 有评测,这组数怎么来的+
LangChain 2026 年 6 月报告,1340 份回复,采集窗口 2025 年 11 月 18 日至 12 月 2 日。
57% 的组织已有智能体在跑生产,这个数能外推到传统企业吗+
不能。样本里 63% 来自科技行业、49% 的公司不到一百人,一万员工以上的只占 9%,它描述的是科技公司与中小团队跑得最快。
九成五的准确率放到生产里意味着什么+
每天一万次调用就有五百次错。若每次错需要人六分钟处理,一天五十小时,等于六个人被错误养着。准确率是抽样指标,不是生产指标。
评测集应该怎么攒+
从失败里攒。每个快照记下输入、工具调用序列、判定结果和判错原因,五十个真实快照比两千条合成问答有用。
哪些场景不需要建评测+
结果机器可验证的场景,例如对账、编译、灰度放量、风控拦截,判据已经存在,再做一套评测是重复劳动。
拿你自己的执行日志跑一遍
交一份脱敏的近 30 天 agent 执行日志,48 小时内拿到八行表:八项技术项每项一行,每格带分子、分母和判据,缺口按是否要改 schema 排序。前三单 ¥8,000。
相关文章
AI 客服的账本两头收窄:单价在涨,工单结构封顶
Gartner 预计 2030 年生成式 AI 每次解决成本超过三美元,高于部分离岸人工;另一头是可自动化比例由工单结构封顶,行业实测首年净节省只有两到三成。
体感快了两成、实测慢了一成九:差在口径,不在工具
同一批开发者,事前预测快 24%,事后自评快 20%,秒表记下来是慢了 19%。差的不在情绪,在测量口径;而他们悄悄拒绝提交的那批任务,已经是一份任务分级表。
Sysco 把 AI 省钱写进财务指引:三年 5 亿美元
Sysco 09-09 官宣 AI 效率计划:FY2029 前至少 $500M 结构性成本节约,FY2027 已含 $100M,并上调中期 EPS 增速至 9-11%(官方新闻稿)。我们的判断:AI「省钱」要进入财务指引才算数;四项动作是分销行业可迁移的清单。
1100 人公司跑起 50+ agent:ROI 是测量纪律,不是案例
ABC Legal(1,100 人法律文书送达公司)用 Claude Managed Agents 把 50+ agent 推上生产:部分任务成本降约 50%,310 名员工日常使用。数字是厂商自报;可迁移的是方法——建议先给人审→标注数据→eval 门槛→自动化,每个 agent 按效率比单独记账。