试点期那层人工审阅，就是你的评测集

一家公司把客服智能体铺到全线之前的那个季度，试点报表上写着 94% 的处理正确率。铺开后的第二个月，投诉开始出现在一个试点期从没出现过的类目上。客户同时改了收货地址，又要求拆单发货。这类组合在试点期被坐在旁边的运营同事手动改掉了，没有人记录它发生过，也没有人知道它一周出现几十次。这意味着那 94% 里有相当一部分不是系统的成绩。那些分数是人的成绩，只是记在了系统账上。

94% 是谁算出来的

试点报表上那个 94%，分母里有一层很少被追问的东西。被审阅者当场改掉的那些交互，要么没有进入统计，要么被算成人工协助后通过。两种算法都说得通。这意味着它们衡量的不是同一件事：前者算系统自己答对了多少，后者算人和系统加起来答对了多少。报表上通常不区分这两者。说白了，一个关于组合的成绩，被当成关于系统的成绩，拿去做了扩量决策。

这也解释了为什么试点结束的那一刻风险最高。审阅者还在的时候，错误在被发现之前就已经被挡住了，所以你很难看到它们。人一撤，同样的错误照样发生。只是这次没有人在旁边接住。质量曲线不是突然掉下去的。它一直就是那个形状，之前被一层人挡住，看不见。

我们把这个现象叫审阅者红利。试点期的人工审阅，同时在两处做了贡献：生产质量，和管理报表。但它只出现在后者的分母里。扩量时把审阅撤掉，等于同时撤掉质检线和质检记录。而账面上看不出任何一项被删除。

四份调查，四个上规模的比例

这个判断有没有外部证据。2026 年公开的调查给出了一组彼此差别很大的数字，但看口径就能对上。WRITER 调查了 2,400 名企业高管和员工，97% 的公司在过去一年内部署过智能体。Caylent 委托 Censuswide 在 2026 年 8 月访问 200 位千人以上企业的负责人，其中 59.5% 说自己已经在生产环境里让智能体自主运行。S&P Global Market Intelligence 的口径是真正上规模的约 11%。Forrester 的说法是约 88% 的试点从未走到生产。中间还有一份 2026 年 3 月对 650 位企业技术负责人的调查：78% 至少有一个受控环境里的试点，14% 把智能体扩到了全公司使用。

这些数字不矛盾。它们量的不是同一件事。部署过、在生产里跑、跑到全公司规模，是三个不同的台阶。前者接近普及，后者始终停在十几个百分点以内。同一家公司完全可以同时说自己跑在生产里、又没上规模。两句话都是真的。所以要判断一家公司到了哪一步，问它上没上规模，不如问它手上有没有一批能覆盖长尾的样本。

跨度最大的那一对是 59.5% 和 11%。前者说自主运行，后者说上规模。如果这两个数都准，那么大多数所谓生产中的智能体，跑的是一个很窄的职责范围。窄到不需要处理输入的完整分布。这个推断对我们很关键。扩规模要处理的恰恰是那个分布，而分布的长尾正是当年被人挡住的部分。原因是长尾既没有样本，也没有主人。所以从 59.5% 走到 11% 以上的那一步，缺的不是模型换代，是长尾的处理能力。

审阅者每天在做三件事，规模化只自动化了一件

要把这件事拆清楚，得先看审阅者到底在做什么。他做的第一件事是纠错，把答错的那一条改对。第二件事是定义标准，决定什么算错。同一条回复，有人判它可以，有人判它不行，争论的过程就是把口径写下来的过程。第三件事是兜异常。遇到系统完全没覆盖的情况，他自己上手处理掉，然后这件事就消失了。

这三件事的成本结构完全不同。纠错可以写成规则，定义标准只能由人来做，兜异常连边界在哪里都没人知道。规模化的自动化只接了第一件：自动校验和规则拦截。第二件没有人接手。第三件直接被删掉了。

后果是双层的。质量层面，长尾重新暴露出来。管理层面更麻烦。既然没有人再定义什么算错，也就没有人在发现错误。错误率这个指标会变得好看。这不是因为它下降了，而是因为测量它的动作消失了。这一点在报表上看不出来。这也是为什么核查一条智能体产线，最先要问的不是准确率，而是谁在定义错误。

Mavenagi 在 2026 年 4 月的一篇分析里描述过同一件事。试点期的质量往往靠监督维持。一旦铺到规模，监督消失；如果智能体没有在完整输入分布上被系统评测过，质量会以看不见的方式下滑，直到客户开始投诉。该文是厂商发布的分析，其中的调查数据引自 2026 年 3 月的第三方调查。我们引用时把两者分开看。

同一份分析还引用了 Gartner 的判断。到 2027 年底，超过 40% 的智能体项目会被取消。原因不是技术不成立，而是商业价值不清、成本上升、风险控制不足。这三条里，后两条都跟审阅撤掉之后失去的可见性直接相关。你看不见失败，就没法算成本，也没法向风控解释。

把审阅动作冻结成一套可重跑的样本

解法不是把审阅者留下，那等于放弃规模。解法是把他每天做出的判断变成资产。每一次人工修改，都是一条带标签的样本。这条样本至少要有五个字段，缺一个都会让它在半年后失去用途。原始输入、模型当时的输出、人工最终采用的版本、修改类型，以及发生在哪一类业务场景里。前三个字段是内容和答案，第四个字段是判例，第五个字段是分布。

有了这些样本，接下来是三件工程动作。第一，按修改类型分层，而不是按业务线分层。事实错、口径错、越权动作、格式不合规，这 4 类的分布和修法完全不同。混在一起算一个通过率没有意义。第二，扩量前 4 周，每周把这 100 条样本重跑一遍，看通过率，不看新增样本量。第三，设一个明确的闸。回归集通过率不低于试点期人工抽检通过率的 2 个百分点。连续 2 周没有新的失败类型，才允许把流量往上抬一档。

2 个百分点这个数字是我们自己的口径，不是行业标准。它的作用是把扩量从一次会议决定，变成一次测量结果。也可以换个更严的写法：任何新增的失败类型，都必须先变成样本，再谈扩量。这条更笨。原因是它要求每次出事都先停 1 次，补完样本再恢复流量。但它把每一次事故都变成了资产的增量。

这套做法有一个前提常被忽略。回归集必须从真实修改记录里长出来，不能从设计文档里写出来。设计文档写的是你预想的错误，修改记录写的是实际发生的错误。两者重合度通常不高。真正的问题是，照着文档建出来的集合，多半测不到真正让你出事的那几类错误。这也意味着集合的初始版本无法外包给外部顾问，只能由当初坐在审阅位置上的人提供，或者从他留下的日志里挖出来。这件事有窗口期。人一散、日志一清，就再也拿不回来了。

监督比例比准确率更早报警

回归集是慢指标，它按周跑。要按天看，需要另一个数：被人工触碰的交互占全部交互的比例。我们把它叫监督比例。试点期这个数通常很高，因为每一条都有人看。扩量之后它会掉到个位数。这是设计意图，不是问题。真正的问题是它掉得太快的时候，没人注意到。所以这个数要按周看趋势，按月看没有意义。

举个可以自查的场景。某个智能体的监督比例在两周内从 30% 掉到 4%，而同期准确率没变。多数团队会把这条曲线读成好消息：人越来越不需要干预了。另一种解释同样成立，而且更常见。剩下的那些交互里，已经没有人具备判断能力，或者没有人被安排去看。两种情况在曲线上长得一模一样。所以区别只在回归集的通过率有没有跟着变。如果监督比例掉了、回归通过率没变，那多半是好消息；如果两个都在掉，或者回归集根本没在跑，那你手上没有任何证据。

所以看板上这两个数要并排放，而不是把准确率单独拿出来汇报。准确率是滞后指标，它反映的是过去两周被处理过的输入。监督比例是结构指标，它反映的是你现在还有没有能力发现问题。前者告诉你过去发生了什么，后者告诉你未来还能不能看见。这意味着只报准确率的团队，是在用滞后的数解释尚未发生的风险。

什么时候这套不适用

有 4 种情况，建这套东西的收益低于成本，或者根本不是这套东西能解决的。第一种，单次错误成本低且可逆，比如内部知识问答。错了重问一次就好，抽样检查足够，不必维护一个每周重跑的集合。第二种，审阅者本身不统一，3 个人 3 种判法。那你先要统一口径再建集合，否则你收集的是噪声，重跑只会把噪声固化成标准。第三种，输入分布正在剧烈变化，例如新产品上线期。固定集合会迅速过时，这时应该用滚动窗口，每周替换掉一部分旧样本。第四种，长尾低频但后果不可逆，比如资金划转、权限变更。这类不该靠评测集兜，该靠硬约束和审批流，让它根本没有机会被自动批准。判断这类场景的线，看错误能不能撤回。这属于流程设计，不是模型能力。

还有一种情况值得单独说：审阅者本人也不可靠。人在疲劳状态下会放行明显错误的输出，这在夜间批次里很常见。所以人工修改记录并不天然等于标准答案，它只是一个候选标签。要把它变成标准，还得有人在事后复核一小部分。通常 5% 到 10% 就够看出批量偏差在哪里。跳过这一步，等于把一个人的判断当成公司的判断。

我们的判断

我们的判断是：智能体扩规模的瓶颈不在模型，在评测集的来源。也就是说，扩规模该优先花钱买的是发现错误的能力，而不是更强的模型。试点期真正稀缺的资产，是审阅者每天做出的几千次判断。那套编排代码可以重写，提示词可以重调。判断记录一旦关掉，就回不来。大多数团队在试点结束时把它连同工单一起关掉了。等到需要证明质量的时候，手上只剩一张准确率报表。而那张报表的分母，从来没被交代清楚。

由此有三条可以本周就做的动作。第一，导出过去 90 天所有人工修改记录，按修改类型归类，先看有几种类型。如果一种都归不出来，说明记录本身没留，这本身就是要先补的洞。第二，从前 3 类里各挑 20 条，做成一个 100 条以内的固定集合，每周跑一次，把通过率记成一条曲线而不是一个数字。第三，把监督比例和回归通过率放在同一张看板上，扩量审批以回归通过率为闸，而不是以试点期那张准确率报表为闸。你可以从上周的审阅记录里抽 10 条，试着归到 4 类里。归不进去的那些，就是你的集合还缺的部分。顺序不要换。先有记录，再谈集合，最后才谈扩量。

留给买家的问题是：上一次你的智能体在真实输入上判错、你的人当场改掉的那一次，是什么时候，改的是哪一类错。如果这个问题答不出来，说明那些判断没有留下任何痕迹。扩量时你手里就没有可依据的东西。而风险已经从试点期的人身上，转移到了没有人接手的那一步。

参考来源

Digital Applied，《AI Agent Scaling Gap March 2026: Pilot to Production》（2026 年 3 月对 650 位企业技术负责人的调查：78% 有试点、14% 扩到全公司；五类根因合计解释 89% 的扩规模失败）

Mavenagi，《78% of Enterprises Have AI Support Pilots, Only 14% Have Made It to Production》，2026-04-28（厂商分析；试点质量靠监督维持、规模化后监督消失的表述；转引 Gartner 关于 2027 年底逾 40% 智能体项目被取消的判断）

First Line Software，《The 2026 Enterprise AI Adoption Gap, By the Numbers》，2026 年 8 月更新（汇总 WRITER 97% 部署、Caylent 与 Censuswide 59.5% 生产自主运行、S&P Global 约 11% 上规模、Forrester 约 88% 试点未走到生产）

Caylent，《98% of enterprise leaders would let AI agents run production under the right conditions》，2026 年 8 月（Censuswide 执行，样本 200 位千人以上企业负责人）

Forrester，《The State of Agentic AI in 2026: Companies Are Chasing, Few Are Catching》（试点走到生产的比例约 88% 未毕业）