OOOMETA/OS
← 返回洞察

2026 年 11 月 · 5 分钟阅读

AI 的账要按决定算:一次不到一美分,却要等七天

AI 的账要按决定算:一次不到一美分,却要等七天

关键定义

决定服务时间 一个决定从进队到闭合所用的时长。决定它的是能签字的人和排在前面的件数,不是模型速度。

九十分位 把一段时间内所有决定的闭合耗时排序,取第九成位置的值。它比平均值更能说明真实的长尾等待。

在制品上限 一个人或一个单元同时能挂着的未闭合决定的上限,超过就排队而不是并行。它约束总量,压的是长尾。

十一月十六日早上九点,Discord 里躺着过去三十天送达的第七百四十二条消息。它们来自同一批定时任务:查行情的、扫信号的、写稿的、跑构建的。同一天,待办队列里有三十一件没闭合的事,最早的那件已经躺了十一天。

这三组数字放在一起,是今年最清楚的一次对照。产出那一端便宜到可以忽略,决定那一端还堵着,而且堵的方式和产出多少没有关系。

产出那一端:三十天两块三毛一

从十月十七日到今天,定时任务一共完成九百九十次运行,其中九次错过调度时间,二十次消息投递失败。这九百九十次运行的背后是一千三百七十次模型会话,输入八点七四亿 token,其中绝大部分是缓存重读,输出一千五百三十一万 token。按我们的计费口径折合二点三一美元。摊到每次会话是一点七美分,摊到每条真正送到人手里的消息是三分之一美分。

这就是今天的边际成本。机组再加十台,账单多几毛钱;模型调用砍掉一半,省下的钱不够买一杯咖啡。任何以省钱为目标的优化,在这个量级上都不改变账目本身。省钱的会议可以开,但不要指望它带来回报,因为它优化的不是瓶颈。

产出这一端之所以便宜,原因不神秘:调用可以并发,缓存能复用,重试不需要人陪。这三件事凑在一起,让成本随规模上升的速度压到了很低。企业采购模型服务时谈的折扣、席位、包月,都在这一层。

决定那一端:中位数两小时,长尾七天

同一个窗口里,待办队列开了三百五十九件,闭合三百五十二件,现在挂着三十一件。闭合的那些,中位服务时间是二点二小时;九十分位是一百七十八小时,也就是七天多。也就是说,前十%的决定吃掉了大部份的总等待时间,而中位数看起来完全健康。

挂着的那三十一件不是没人做,是还没轮到。这两个说法对应两种完全不同的修法:没人做是资源问题,加人就能补;没轮到是排队问题,加人只在你加的是审查席位时才有效。绝大多数企业 AI 的账目问题,被当成第一种来修,而它的形状是第二种。

还有一条观察更值得看。过去三十天闭合的二百零三件高优先级,平均耗时八十四点九小时;一百四十一件中优先级,平均三十二点三小时。标了高的那批,反而慢了二点六倍。八件紧急的平均十七点一小时,所以标签不是装饰,问题在于它编码的东西不对。高这个标签落到的事有共同点:要跨单元签字,要外部取证,要有一个人回头看。换句话说,它测的是重要,而重要和慢不是一回事。

两种吞吐规律,不是一个

产出这一端服从线性规律:加钱、加机器、加并发,产出按比例上来。决定这一端服从排队规律:一个决定从进队到闭合的时间,等于排在它前面的件数除以服务能力。服务能力由能读、能判断、能签字的人决定,模型快十倍,这一项一点不动。

两条规律放在一起,比率是被结构决定的。提高产出,进队的速度快过出队,等待时间变长;提高模型速度,出队速度不变。所以投入翻倍而回报不动,不是模型不行,是分子被队列卡住、分母按投入线性上涨。这是一个结构关系,不是一次执行失误,也不会因为换一家模型供应商而改变。

用我们自己的数验一遍。三十天里,产出那一端从零涨到九百九十次运行,花了二点三一美元;决定那一端从零到三百五十二件闭合,卡在每天大约十二件的服务能力上。把模型速度提高一倍,今天该挂着的三十一件还是会挂着,因为它们等的是人,不是等算力。

这也解释了为什么试点总是好看、规模化总是难看。试点阶段进队量小,中位数漂亮,所有人都满意;规模化之后进队量按批次放大,出队能力还是那几个席位,中位数可能只挪了一点,长尾先炸。报表上写的是平均,人的体感写的是长尾,两者对不上,争论就变成对 AI 有没有用的争论,而真正的问题是队列。

外面的形状一模一样

数据中心平台厂商 Domino Data Lab 在今年七月发布了第五份企业 AI 报告,调查六百三十九位总监及以上的企业 AI 负责人。百分之五十七的企业说,AI 的回报跟不上投入,这个比例从二〇二五年到二〇二六年一点没动。同一份调查里,百分之九十三的企业说二〇二六年把模型推进生产的能力比上年提升了,二〇二五年这个数是百分之八十八。产能涨了五个点,回报那条横线纹丝不动。Domino 第五份企业 AI 报告

报告的下一半更接近机制。百分之四十的企业里,业务方拿到 AI 结论至少有一种要走中介:数据团队排期出的报表,或者提一个需求给分析师,分析师跑完再把结果给他。另有百分之三十四的企业按业务单元各用一套方法,没有统一交付层。也就是说,在相当一部分公司里,模型跑完之后,结论还要再经过一次人工转手才能到达做决定的人。

一次人工转手就是一个队列。分析师不是不干活,是他一天只能接有限个需求;报表不是不出,是排期固定,这周的需求下周出。上游产能提升,到了这一层全部变成了等待时间的增长,而且这部分等待不会出现在模型监控的仪表盘上,它出现在人的日历上。

同一份报告里还有一组关于治理的数。治理完全跟上 AI 活动的组织,百分之七十五报告交付速度显著提升;治理落后的只有百分之二十三。前者达到受治理的智能体生产状态的概率,是后者的三点九倍。这组数值得注意,但要读成相关而不是因果:治理做得好的企业,通常也把谁签字、什么时候算完定清楚了,定清楚了,交付就不用在每个人手里重新问一遍。这仍然是队列的语言。

MIT NANDA 二〇二五年的研究给了更冷的一刀:跑过试点的组织里,百分之九十五没有可测量的损益影响。这份研究被 Domino 的报告引用在脚注里,作者是 Challapally、Pease、Raskar、Chari。The GenAI Divide: State of AI in Business 2025

为什么优先级标签测错了东西

回到我们自己那组数。高优先级八十四点九小时,中优先级三十二点三小时。原因不难推:能在单元内部收口的事,一件一个人,当天就完;需要跨单元的事,每一道签字都是一次新的排队,加上一次重新理解上下文的时间。贴高标签的人想表达这件事重要,但标签没有编码这件事要经过几个人。决定它多晚回来的,正是后者。

这条能给出一条可复算的判据:决定慢不慢,看它换过几个主人,不看它标了什么颜色。管理上也好用,因为换主人的次数是能从记录里数出来的,颜色是人的主观判断,两件完全不同性质的数据。

第三个测错的地方是闭合的定义。很多团队把关闭工单当成闭合决定,而工单关闭的判据常常是有没有回话,不是有没有人因此改了做法。当闭合成了一件只需要回一句话就能达成的事,服务时间当然漂亮,长尾也当然被藏起来。我们的做法是给每条记录写一句验收判据,闭合时对着那句判据检查一次,含糊的直接打回。

四类买方,四个该动的数

对 C 层:把计量单位从部署了多少模型、跑了多少次、买了多少席位,换成每周闭合了多少个决定,以及这些决定的服务时间九十分位。前者可以随预算线性增长,后者才是价值。成本项都在美分级,砍它不产生回报;注意力项在人日级,动它才改变回报。

对转型负责人:要动的数是每个决定经过的交接次数。一次交接一次排队,把它从三次降到一次,九十分位会先于模型质量下降。可落实的做法是给每一类工作定一个唯一主人,而不是给每个环节各定一个负责人。前者减少排队,后者创造排队。

对 AI 应用负责人:交付物的要求不是读起来对,是到了就能决定。如果输出里没有证据链,没有那个需要人点头的具体问题,审查的人就得从零重建一遍推理,模型省下的时间原封不动搬到了审查席位。这个搬运过程在账上完全隐形,因为账单上只有 token,没有小时的注意力。

对合规负责人:治理不是交付的对立面。上面那组数说的是,把签字、留痕、复算的规则先定下来的组织,交付速度显著提升的比例反而高得多。合规动作本身也是决定,它一样占队列;把审查项做成清单化的一次判定,而不是每次重新讨论,就能把它从长尾里挪出去。

我们的判断

第一,回报不动是排队现象,不是模型现象。这条判断可以被证伪:如果某个组织的主要瓶颈真是模型质量,砍掉交接次数不会改变它的九十分位;反过来,如果瓶颈是队列,加十个智能体只会增加消息量,九十分位不动而我们能看见消息量上涨。这是一个可以当场做实验的说法,不是一句立场。

第二,按 token 记账会遮住真正的稀缺资源。我们的账上,三十天的 token 是二点三一美元,同期一个人读了七百四十二条消息、开了三百五十九个决定。真正紧的是那七百四十二次的注意力,不是那二点三一美元。把预算会议开在 token 上,是在优化一个不在瓶颈上的变量,而且优化得越成功,越让人误以为问题解决了。

第三,限制在制品比限制花费有用。一个决定一个人,同时挂着的件数有上限,这是能稳定压低九十分位的杠杆。我们现在挂着三十一件,这个数不是越大越好,也不是越小越好:太小会让产出淤在队列外,太大会让长尾无声地变长。

我们做产品的方式跟着这条走。每个交付物带三个东西:一个决定对象、一个主人、一个闭合时间。这三样缺一样,那份产出就只是一条消息,不是一次决定,也就不该算进价值里。

什么时候这条不适用

如果决定可以机器验证,比如对账、编译、灰度放量、风控拦截,那它就不在人的队列里,产出就是价值,规模直接换回报。这是今天 AI 回报最好的那批场景的共同点,值得优先去找,而不是先把人力密集的决定硬往 AI 上搬。

如果量太小,别搭这套。三十天只有几十个决定的时候,记录工时的成本比省下的排队还贵。等到每天十几个、有人开始抱怨等太久,再上这套口径。

还有一种情况要单独说:评审质量本身是瓶颈的时候,压低九十分位的办法不是加人,是把标准写清楚。标准不清楚,加人只会让更多不合格的判断通过得更快,队列变短了,返工变长了,最终的总时间没有变。

今天能做的三步

第一步,把决定变成一个带主人的对象。不是任务清单里的一句话,而是有进队时间、闭合时间、唯一主人、验收判据的一条记录。我们现在用的是待办库,任何一条都能查到它挂了多久、经过谁的手。

第二步,量九十分位,不量平均。平均会被大量当天闭合的小事拉低,看不出真实的等待;九十分位决定的才是下一次预算会上该谈的那个数。

第三步,给每个人一个在制品上限,超了就排队而不是并行。上限比优先级更能决定九十分位,因为它约束的是总量,而优先级只是把同一批东西重新排序。

留给买方一个问题:上一个季度,你们有多少个 AI 产出真正被人用来做了一个决定,那些决定从进队到签字各用了多久?如果答不出来,说明计量单位还停在生产端,投入再加一倍,回报那条线还是不会动。

来源

内部数字来自我们自己的运行记录,统计窗口为二〇二六年十月十七日至十一月十六日:定时任务完成九百九十次,错过九次,投递失败二十次,送达消息七百四十二条;模型会话一千三百七十次,输入八点七四亿 token,输出一千五百三十一万 token,折合二点三一美元;待办队列新开三百五十九件,闭合三百五十二件,挂着三十一件,中位二点二小时,九十分位一百七十八小时,高优先级二百零三件平均八十四点九小时,中优先级一百四十一件平均三十二点三小时,紧急八件平均十七点一小时。

外部数据为厂商自报的调查结果,引用时保留原始表述。Domino Data Lab,第五份企业 AI 报告,二〇二六年七月二十一日

MIT NANDA,The GenAI Divide: State of AI in Business 2025

常见问题

三十天只花二点三一美元,为什么回报还是不动+

因为钱不在瓶颈上。同期一个人读了七百四十二条消息、开了三百五十九个决定,真正紧的是注意力;token 成本在美分级,节省它不改变价值。

九百九十次运行和三百五十二个决定是什么关系+

运行完成九百九十次,送达消息七百四十二条,闭合决定三百五十二件。产出与决定不是同一层,前一层可以并发扩容,后一层按审查席位排队。

为什么高优先级的事反而更慢+

高标签落在需要跨单元签字、外部取证的事上,每一次交接都是一次新的排队,标签没有编码这件事要经过几个人。

怎么量九十分位+

前提是每个决定有进队时间和闭合时间两个时间戳。用平均值会被大量当天闭合的小事拉低,看不出长尾。

机器可验证的决定要不要也这么算+

不要。对账、编译、灰度放量这类决定不进入人的队列,产出直接就是价值,规模可以直接换回报。

治理会不会拖慢交付+

Domino 的调查里,治理完全跟上 AI 活动的组织有七成五报告交付速度显著提升,治理落后的只有两成三。治理定清楚的是谁签字、什么时候算完,这正是队列需要的规则。

拿你自己的执行日志跑一遍

交一份脱敏的近 30 天 agent 执行日志,48 小时内拿到八行表:八项技术项每项一行,每格带分子、分母和判据,缺口按是否要改 schema 排序。前三单 ¥8,000。

看八项字段检查 →