OOOMETA/OS
← 返回洞察

2026 年 11 月 · 5 分钟阅读

流程里没人看的那 95%,才是 AI 的回报

流程里没人看的那 95%,才是 AI 的回报

关键定义

抽样受限流程 进来量远大于处理量的流程,瓶颈不是速度而是谁被看到。理赔质检、合同审查、对账、内容审核都属于这一类。

覆盖率 实际被人工判断过的条目占全部条目的比例。它和解决率、准确率不是一回事:那些量的是看过之后的判断质量,覆盖率量的是有多少根本没进入判断。

命中率 复核中发现真实问题的条目占复核条目的比例。它决定覆盖率增量的经济价值,也决定误报会占掉多少审阅工时。

理赔质检台上有一个不写在报告里的数:这个月能抽多少件。一家欧洲保险公司的口径是,人工目前只能复核大约 5% 的理赔,而在这 5% 里,质检人员找到过此前没有被申报的再保险追偿。也就是说,剩下 95% 不是没有问题,是没有人看。

这家公司预计,把复核比例从 5% 提到 50% 之后,整个项目的回报在 5 到 6 倍。这个数值得停一下。它不是因为审得更快,是因为原来没人看的那 45% 里有钱。

抽样比例是谁定的

绝大多数带质检、抽查、复核环节的流程,抽样比例都不是按风险定的,是按人头定的。给定一个月两万件的处理量和一个质检组的编制,抽 5% 还是抽 8%,取决于有几个人、每人一天看多少件。风险只决定抽哪些,不决定抽多少。

这个边界一旦形成,就会自我固化。抽样比例写进岗位职责,写进月度报表,写进质检员的绩效,于是它看起来像一条行业惯例,而不是一个预算决策。要看穿它,只需问一句:如果明天质检组多三个人,这个比例会变成多少。答案是会变,说明它从来不是风险标准。

把抽出来的这 5% 摊开看,还有一个更麻烦的性质:漏检的分布不均匀。金额大的单子条款多,跨系统查证的环节多,例外条款要人工解释,这些恰好是抽检最容易漏、也最值钱的那一类。随机抽样在均匀分布上表现良好,在这类长尾上等于没抽。于是 5% 的覆盖率报出来的问题率,会系统性低于真实问题率。

覆盖率为什么是边际递增的

时间节省的价值是线性的,覆盖率的价值是递增的。原因在前面那句里:漏检集中在复杂件上,而复杂件金额大。第 6% 到第 10% 的覆盖率,抓到的平均单件价值比第 1% 到 5% 高,因为前面那 5% 是按最容易看的顺序挑的,后面的才会碰到真正难判的。

这条性质解释了一个反直觉的现象。很多质检项目把人手从 5% 提到 6%、7%,看不到明显回报,于是结论是这条路走不通。真实原因是从 5% 走到 7% 太浅,还没进到长尾。覆盖率这条曲线前期平、后期陡,只加两三个点等于什么都没做。

要越过这道门槛,靠加人做不到,加人的成本是线性的,而质检岗本身难招。能让曲线拐弯的只有一件事:把判断的准备工作从人手里拿走。人不需要自己翻三套系统对齐条款,机器先把材料摆齐、把不一致的地方标出来,人只做最后那一下判断。这一步不改变判断质量,改变的是每小时能判断多少件。

把一笔账摊开

用一组自设参数算,参数是为展示杠杆设的,不是任何一家公司的实际数字。一个月一万件理赔,人工复核一件 12 分钟,完全时薪 45 美元。按 5% 抽检:500 件乘 12 分钟是 100 小时,4500 美元。

同一个月,把覆盖率提到 50%:5000 件先由模型初筛,每件 0.05 美元,250 美元;初筛把其中 15% 标为需要人看,750 件,每件 6 分钟,因为材料已经被摆齐,是 75 小时,3375 美元。两项相加 3625 美元,比原来的 4500 美元还低,覆盖率是原来的十倍。

便宜的原因很简单:机器承担的是翻找和对齐,人承担的是判断,而翻找和对齐占掉了原来 12 分钟里的大部分。这是这类流程里最容易被忽略的一笔,因为它在成本表上一直记在质检员工时里,没有单独列出来过。

现在算收益。多看的 4500 件里,假设 2% 有问题,是 90 件,每件平均可回收 800 美元,是 7.2 万美元。这个命中率和单件金额都是自设参数,真实值任何一家公司都能从自己的历史质检记录里查出来,而且必须查,因为它决定了项目值不值得做。把这个数和 3625 美元的运行成本放在一起,回报的量级就出来了:成本项在千位,收益项在万位。

注意一笔账在这里被默认省掉了:误报。模型初筛标出来的 750 件里,如果只有 90 件真的有问题,其余 660 件是空跑。空跑不是零成本,它占掉了 660 乘 6 分钟,也就是 66 小时,是 2970 美元,约占质检总工时的九成。这就是为什么覆盖率项目必须分级:初筛要先分档,人只看高置信档,低档抽样验证。不分档,人会被误报淹没,然后项目被判定失败,而失败的其实是分流设计。

两类流程要用两套立项标准

亚马逊财务团队有一个被反复引用的例子:用生成式 AI 追踪各市场的增值税法规更新,原来每条更新税务团队要花 26 分钟,现在 2 分钟,减少 92%,并且 80% 的 AI 摘要被专家原样接受。这是厂商侧的案例披露,数字属自我报告,但结构值得看清。

这个例子里的价值确实来自时间:同样的团队能跟更多市场的法规。它的流程是吞吐受限的,进来的活是一个固定队列,单位时间的处理量决定产出。抽样受限的流程不一样,进来的活远远多于能处理的量,瓶颈不是速度,是谁被看到。前者按工时定价合理,后者按工时定价会系统性低估,因为它默认了「现在做的那部分就是全部该做的」。

这两类流程的判断方法很具体。问一个问题:如果处理速度提高十倍,你会处理同样的量,还是处理十倍的量?答同样的量,是吞吐受限;答十倍的量,是抽样受限。答案不在技术评估里,在业务负责人对自己的活怎么看。

这个分类决定了立项的门槛该怎么写。吞吐受限的项目,门槛是单位成本下降和周期缩短,验收看时间和单价。抽样受限的项目,门槛应该是覆盖率从多少到多少、命中率多少、单件发现的期望价值多少,三个数相乘才有意义。写错门槛的后果很具体:一个覆盖率项目如果按工时验收,它的收益会被算成 0,因为在覆盖率上去的同时,单个案子的处理时间往往还变长了。

覆盖率提高之后,问题会变多

这是这类项目最难处理的一段。覆盖率从 5% 到 50%,报出来的问题数会涨,而涨的那部分不是新出现的问题,是一直存在、只是没人看见的问题。对质检部门来说,这意味着同一批人要在工作量涨十倍的同时解释为什么问题变多了。

于是会出现一个典型的组织反应:把标准放宽,让问题数回到原来的量级。这个动作通常不会被写成决定,它表现为口径调整、判定尺度统一、疑难件另案处理。半年之后覆盖率上去了,问题率回到原点,项目被总结为「模型没有带来增量」。

避免这件事只有一个办法,在立项时就把问题数的预期写进去:覆盖率提到 50% 之后,问题数预计涨多少,其中多少会进入整改流程多少只是记录。这个预期要业务负责人签字,因为它是他未来一年的工作量,也是他被追问时的解释依据。没签这个数,覆盖率上去的那一天就是项目开始被质疑的那一天。

经济性几乎不是瓶颈,瓶颈在分档

还是用前面那组参数算一道不等式。多看一件的成本摊下来不到一美元:五千件里模型初筛花 250 美元,人工判断 75 小时 3375 美元,合 0.72 美元一件。命中的期望收益是 2% 乘 800 美元,16 美元一件。两者的比值决定了这条路能走多远:命中率跌到千分之一以下,准确说约万分之九,扩覆盖率才开始亏钱。

这个不等式在绝大多数质检、对账、告警场景里都轻易成立,所以「扩覆盖划不划算」从来不是真问题。真问题是分档:哪一档自动通过、哪一档抽验、哪一档必须人读。分档做错,覆盖率上去的第一周人就被淹没,然后项目按误报太多结案。

分档的阈值不能凭感觉定。做法是从已判定的历史案件里取三百到五百件做标注样本,按模型给出的置信度排序,找到两个切点:最下面那一档,人工补查发现的问题比例要低到可以接受,否则这一档不许自动通过;中间档按百分之五到十抽验;高置信档全读。三个档的比例不是固定的,判定质量上来之后可以往下调,但每调一次都要重新跑一遍标注样本。

监控指标要选对。看整体准确率会被高置信档的好表现盖住,要单看自动通过那一档的漏判率,因为那是唯一没人补查的地方。这个数一旦失守,前面所有覆盖率收益都是借来的。

一张立项书里通常有两个流程

现实里很少有纯粹的抽样受限流程。多数环节的前半段是准备:翻三套系统、对齐条款、把材料摆齐,这一段是吞吐受限的;后半段才是判断,这一段才是抽样受限的。两段混在一个工时数字里,结论就会算成回报为零。

正确的写法是把一张立项书拆成两行。准备段按单位工时和周期验收,判断段按覆盖率、命中率、单件发现价值三个数验收。拆开之后通常会发现,前一段的节省是确定的,后一段的收益是放大的,两段的价值来源完全不同,混在一起任何一段都说不清。

这个式子也给出了不该做的事。单件价值低、命中率也低的环节,比如低价值内容的合规巡检,扩覆盖的期望收益低于人工时间的机会成本,这时候正确动作是把覆盖率停在一个数,把省下的判断力放到高价值环节去。同一家公司两个环节用同一个覆盖率指标,通常就是这个错误。

我们的判断

在这类流程里,AI 的回报来自覆盖率,不来自速度。这个判断可以预测下一个同类现象:凡是进来量远大于处理量的环节,包括合同审查、对账、内容审核、安全告警、发票稽核,第一年的收益都应该按覆盖率增量来估,而不是按工时节省。按工时估的项目,会稳定地算出回报为零,然后在第二年不被续约。

由此推两条。第一,未来 12 个月会出现一批以覆盖率为验收单位的 AI 产品合同,写法类似「抽检比例不低于 X%」,早做这件事的厂商会拿到定价权。第二,质检、审计、风控这几个岗位的编制会先涨后降:涨在覆盖率上去、问题变多那一段,降在分级和自动处置成熟之后。谁把这段的编制算进预算,谁就不会在第三个月被迫降低标准。

给正在做这类项目的人三个问题。现在这个环节的抽样比例是多少,它上次被重新论证是什么时候?如果算力免费,你希望看完全部还是一部分?覆盖率提高一倍,多出来的问题谁负责整改,整改预算在哪里?第三个问题答不出来,覆盖率这个指标就不要写进立项书,因为它一定会兑现,而兑现代价没人认领。

数据口径与来源

人工只能复核约 5% 的理赔、复核中发现未申报的再保险追偿、覆盖率提到约 50% 后项目预计 5 到 6 倍回报:对企业的访谈整理,二手,属受访者自述的预期值,非已实现结果。fundaai.substack.com/p/deepllm-enterprise-ai-application-2e9

增值税法规更新单条 26 分钟降到 2 分钟、降幅 92%、80% 的 AI 摘要被专家原样接受:Bain 引用亚马逊财务技术团队的案例,属企业自我披露,未经独立核验。bain.com/insights/your-ai-budget-is-growing-your-returns-arent-heres-why

覆盖率与工时两类指标在采购中的混用、以及以工时验收导致的低估:本文的分析框架,依据是上面两份材料里同一类项目的验收口径差异,属独立推断,不是任何一份报告的结论。

本文算例的参数:每月一万件、人工复核 12 分钟、完全时薪 45 美元、初筛每件 0.05 美元、初筛标记率 15%、复核 6 分钟、命中率 2%、单件可回收 800 美元,全部为展示杠杆设定的参数,不是行业均值。文中所有乘除与百分比可用这八个参数重算。

常见问题

为什么抽样比例通常不是按风险定的+

因为它是按人头定的。给定处理量和质检组编制,抽 5% 还是 8% 取决于有几个人、每人一天看多少件。风险决定抽哪些,不决定抽多少。判断办法是问:多三个人,这个比例会变吗。

覆盖率为什么边际递增+

漏检集中在条款多、跨系统、有例外条款的复杂件上,而这类件金额大。前面几个百分点的覆盖率是在最容易看的部分取得的,越往后才进入长尾,所以每增加一个百分点抓到的平均单件价值更高。

覆盖率项目该怎么算回报+

覆盖率增量乘以命中率乘以单件发现的期望价值,再减去运行成本和误报占用的审阅工时。以一万件、覆盖率从 5% 到 50%、命中率 2%、单件 800 美元为例,收益约 7.2 万美元,运行成本约 3625 美元。参数需按各家历史质检记录替换。

覆盖率上去之后问题变多怎么办+

预期问题数必须在立项时写清楚并由业务负责人签字,包括多少进入整改、多少只记录。否则组织会用放宽判定标准的方式把问题数压回原量级,半年后问题率归零,项目被总结为没有增量。

吞吐受限和抽样受限为什么要分开立项+

吞吐受限的流程按工时定价合理,验收看单位成本和周期;抽样受限的流程按工时会系统性低估回报,验收应看覆盖率、命中率和单件价值三个数。判据是问:速度快十倍,处理同样的量还是十倍的量。

误报会吃掉多少收益+

在示例里,750 件被标记的条目中只有 90 件真有问题,其余 660 件空跑占掉约九成质检工时。解决办法是初筛先按置信度分档,人只看高置信档,低档抽样验证,不分档就会被误报淹没。

拿你自己的执行日志跑一遍

交一份脱敏的近 30 天 agent 执行日志,48 小时内拿到八行表:八项技术项每项一行,每格带分子、分母和判据,缺口按是否要改 schema 排序。前三单 ¥8,000。

看八项字段检查 →