单价降了九成，单个工作流的账单一路上涨

一条编程智能体的运行轨迹被拆开算过账：整段一共用了 996,500 个 token，其中 940,000 个是缓存读取，没命中缓存的输入只有 1,200 个，模型真正生成的输出是 5,300 个。换句话说，这笔钱里有 94.5% 花在同一段上下文被反复重读上，而它最终交出的代码占不到半个百分点。这条轨迹由 Augment Code 公开在其成本分析里，属于单条样本，但它把智能体账单的形状摆得很清楚。

账单是按过程长的，不是按答案长的

为什么会长成这样。智能体每走一步工具调用，都要把此前积累的全部内容重新发一遍：会话历史、系统提示、工具定义、上一轮工具返回的结果。一个二十步的任务，同一段开头就被读了二十次。输出只出现在最后一步，输入却在每一步重复。所以智能体的花费几乎和行为走了多久成正比，与答案写得多长没什么关系。这意味着两边的对话从一开始就不在同一个坐标系里。你要判断的是这条曲线的形状，不是它的绝对值。

这也是为什么按 token 单价做的预算，在智能体上线三个月后一定对不上账。做预算的人看的是价目表，价目表上只有单价；财务收到的账单，量的是用量。两边都没有错，只是它们衡量的对象不同。

缓存本身不是免费的。把一段前缀写进缓存要按更高的单价付费，读取才便宜。所以判断该不该缓存的标准不是能不能缓存，而是同一段前缀会被用几次。二十步的任务里，系统提示被读二十次，这笔账几乎总是划算；三步的任务未必。这条算术要拿自己的轨迹算，别人的样本只能用来校准方向。换句话说，缓存押注的是同一段开头会被读多少遍，押错了就是白付写入的钱。我们更愿意把这条算术当成一个架构指标：同一个任务被重读了几次。

单价在降，账单在涨

Gartner 在 8 月 17 日的一份预测里把这件事命名了。它说，到 2028 年，单个智能体工作流的推理成本会涨到现在的五倍以上，同期单 token 的价格继续下降。Gartner 称这个组合为推理悖论：单位经济性变好了，总体成本反而上升，而且没有一条通往可预测价值的现成路径。

同一家机构在另一份预测里给出了方向相反的曲线：到 2030 年，用一万亿参数的模型做推理，成本比 2025 年低九成以上。两条曲线并不矛盾，它们量的是两样东西。前者量的是一个工作流跑完要烧多少 token，后者量的是一个 token 卖多少钱。原料便宜了，用料涨得更快，总价就由用料决定。也就是说，价格下降是一条独立的曲线，它不会自动把账单按下去。原因很简单，审批按结果走，计费按过程走。

Gartner 分析师 Will Sommer 给出的机制很朴素。聊天机器人读一句问题，快速给一个概率上说得过去的答案；智能体要持续推理、谈判、怀疑自己。把任务交给一个带推理的模型，供应商侧的推理成本至少是聊天交互的五倍，任务越复杂，倍数越大。Gartner 在 3 月的另一份分析里给出的区间是 5 到 30 倍。

这句话对采购的含义有点反直觉。比较供应商时，你以为在比价，实际在比用量，而用量由你的架构决定，不由供应商的价目表决定。Sommer 的原话是，默认把任务交给通用自主智能，成本会高出几个数量级。这话出自一家靠预测收费的机构，未必是每一家企业的账单，但机制值得记住。

同一份新闻稿里列了三条趋势，值得单独看一遍：基础模型的经济性在快速改善；效率提升又解锁了更强、更贵的模型去支撑更高价值的应用；而更复杂的流程本身消耗的 token 远多于简单对话。三条叠在一起，结论就是等价格降下来再上智能体，等不到那一天。价格降得越快，能跑的东西就越多，用量的增长跑在单价前面。这解释了为什么降价没有出现在账单上：它被用量的增长吃掉了。

七成的输入是系统提示，只有 28% 的调用吃到缓存

Datadog 的《State of AI Engineering 2026》用一千多家客户的 LLM 遥测给出了更细的切片。它发现客户轨迹里 69% 的输入 token 是系统提示：内部指令、策略定义、工具使用说明，沿着调用链一路往下传。这是脚手架型智能体的典型形状，护栏和工具说明几乎逐字重复出现在每一次调用里。

同一份报告里有一个与之配对的数字。即便只看支持提示缓存的模型，也只有 28% 的调用出现了缓存读取的输入 token。超过七成的调用仍然把整段提示重新处理了一遍。把 69% 和 28% 放在一起，浪费的形状就出来了：最大的一块成本正好是最容易缓存的那一块，大多数时候它没有被缓存。换句话说，最容易处理的一项，恰好是最少有人对它负责的一项。这意味着你的成本看板上需要多一列，专门放这一项。

报告把原因指向提示的排布。动态内容如果注入得太早，或者本该稳定的段落每次请求都被重排、被改写，前缀复用就断了，缓存自然命中不了。这是一个工程细节，但它决定账单的量级。修它不需要换模型、不需要重写业务逻辑，只需要让开头那一段保持不变。这也意味着动它的人不用碰模型，只用碰代码的排布。所以先量任务，再量模型。

另有两个数字说明这个池子还在扩大。Datadog 客户的中位请求 token 数一年内翻倍，90 分位的重度用户涨了四倍；同时 70% 以上的组织在用三个以上模型，用六个以上的比例接近翻倍。模型变多，上下文变长，重复的那一部分跟着变多。

上下文不能靠删来解决

看到 69% 这个数，第一反应通常是让系统提示写短一点。方向没错，但下限很低。护栏、策略、工具说明之所以长，是因为它们承担了可靠性。删掉它们，智能体会用别的方式把成本还回来：更多的重试、更多的歧义、更多的人工复核。真正该问的不是能不能删，而是其中哪一段在每次调用里都必须相同。原因是删掉的那一段，可靠性会用别的方式收账。

Fireworks 公布过一组按模型统计的重试数据。一个十步的任务，在重试率 18.6% 的模型上，平均要白跑 2.3 次，浪费约 36,500 个 token 和 5.7 秒；按每天一万个智能体任务算，表现最差的模型一年在无产出的推理上要烧掉四万多美元。单价更便宜的模型，按任务算可能更贵，这类倒挂只有把重试计入成本才看得见。这意味着只看价目表的对比，在智能体场景里几乎总是失效的。那次对比如果只写单价，你会选错。

失败本身也在放大账单。Datadog 的数据显示，2026 年 2 月有 5% 的 LLM 调用报错，其中 60% 是超出速率上限；3 月整体错误率降到 2%，限流类错误仍接近 840 万次。智能体撞上限流会重试，重试抬高并发，并发再撞上限，一段局部抖动就变成一个持续故障。每一次重试都是没有产出的 token。所以要按最坏的那一圈来规划容量，而不是按平均值。

也要说清楚什么时候不值得做这件事。一个每天只跑几百次调用、前缀一天变三次的流程，做缓存工程的收益抵不过维护成本，先把前缀固定下来、把任务标识加上就够了。判断的门槛很粗：同一段前缀一天被复用几十次以上，缓存才值得进工程排期；低于这个量级，问题不在缓存，在调用次数。

这两件事的顺序也要对。先有按任务归集的账，才谈得上优化哪一段；反过来先上缓存、再看账单，往往只是在优化一个自己都没量准的数。

计价单位换成一个被接受的结果

到这里可以给出一条能落地的口径：把成本算成每个被接受结果花了多少钱，而不是每百万 token 多少钱。分子是整条轨迹的支出，输入、缓存读、缓存写、推理、可见输出全部算进去；分母是通过自动校验的任务数，不是发起的任务数。这也是唯一一个能同时装下重试和失败的算法。

两个分母差别很大。发起的任务数会掩盖重试和失败，通过校验的任务数才会把看起来便宜的模型打回原形。一个按 token 贵十个点、但一次做对的模型，往往比便宜却总在补锅的模型划算。这条算术在采购会上很少被摆上桌，因为它要求的日志粒度比价目表细得多。

两家模型的单价比较也很容易骗人。分词方式不同，同样的中英混排文本算出来的 token 数可以差一截；同一个任务，有的模型啰嗦，有的模型沉默，输出 token 能差出七成。这两个偏差叠加在同一次比较里，足以让价目表上便宜的一边在真实任务上更贵。要把它们分开，只能看自己任务上的实测 token 和一次通过率，价目表给不了这个。你要的是自己任务上的数，不是榜单上的数。真正的问题是，大部分人手上没有这个数。

落地需要三样东西，缺一不可。第一，每个请求都带任务标识，账单才能按轨迹归集；只按 key 或按天聚合，你永远看不出是哪一类任务在涨。第二，提示前缀保持稳定，把策略和工具说明固定在前面，动态内容放到后面，然后把缓存命中率当成一级指标，和延迟、错误率放在同一张看板上。第三，每个任务设预算上限，token 超限就熔断，而不是等月底对账。

还有一层是路由。Datadog 观察到领先的团队把推理当成管道来经营：抽取、打标这类步骤用轻模型，综合和判断交给前沿模型，然后按质量、成本、延迟逐段评估。这不是省钱技巧，而是承认不同步骤的价值密度不同。所以选型该问的是谁能让你按步骤定价，而不是谁的单价更低。Gartner 的措辞更直接，说没有可靠的、经济的、一刀切的模型。

把这几样合起来，成本曲线上其实只有三个能动的旋钮：轨迹长度、缓存命中、路由分层。前两个决定单位成本，第三个决定同样一笔钱买到多少判断力。三者都在架构里，没有一个在采购单上。

这些数字不能怎么用

三条边界要先说清楚。Gartner 的五倍是预测，不是实测，而且它面向的是 AI 产品供应方的成本结构，企业内部部署的曲线未必相同。Datadog 的样本来自它的客户群，这些公司基础设施相对成熟，中位数不代表全行业。5 到 30 倍这个区间来自 Gartner 3 月的分析，经多家媒体转述，原始报告未公开。

能立住的是方向：智能体的成本随轨迹长度增长，单价下降不足以抵消它；重复的上下文是账单里最大的一块；缓存的利用率普遍低于理论值。任何具体倍数在引用时都应该带上来源和年份，包括我们自己算出来的那条轨迹占比。这就是这类数字只能当坐标用的原因。

我们的判断

我们的判断是：智能体的成本不是采购问题，是架构问题。单价是一条你无法控制的曲线，用量是一条你能控制的曲线，而大多数团队的预算模型只写了前一条。当账单在第三个月翻倍时，解释不了的原因通常不是涨价，是轨迹变长了。

由此有三条动作。第一，这周就把成本归集的口径从按供应商改成按任务，跑一遍历史数据，看成本最高的那 10% 任务长什么样，它们往往集中在少数几个开放性过高的环节。第二，把缓存命中率和系统提示占输入的比例画成一条趋势线，两个数一起看，能直接指出前缀是不是被打断了。第三，给每个任务一个预算上限和一次终止条件，超限即停，因为失控的循环不会自己停下来。这三件事的顺序也不能换，先能看见，再谈节省。所以我们建议把日志放在任何优化之前。

留给买家的问题是：你现在能说出上个季度你的智能体每交付一个被接受的结果花了多少钱吗？如果这个数出不来，那你审批的预算和财务看到的账单，量的是两件不同的事。

参考来源

Gartner 新闻稿，《Gartner Predicts AI Inference Costs Per Agentic Workflow Will Increase More Than Fivefold Through 2028》，2026-08-17（推理悖论、五倍、聊天交互成本至少五倍、Will Sommer 引语均出自该稿）

Datadog，《State of AI Engineering 2026》，遥测窗口至 2026 年 3 月（69% 系统提示占比、28% 缓存读取、中位 token 翻倍、90 分位四倍、70% 用三个以上模型、5% 与 2% 错误率、60% 限流占比、840 万次限流错误）

Augment Code，《AI Coding Cost Analysis: Where Token Spend Really Goes in an Agent Loop》（公开轨迹的 token 构成：缓存读取 940,000、缓存写入 50,000、输出 5,300、未缓存输入 1,200）

Fireworks AI，《Agent Execution Tax》（十步任务 18.6% 重试率对应 2.3 次重试、约 36,500 个浪费 token、5.7 秒，日跑一万任务年浪费逾四万美元）

CIO Dive，《AI inference costs set to plunge: Gartner》（2030 年一万亿参数模型推理成本降九成以上；单次查询 5 到 30 倍 token 的表述）

DoiT，《Cost Per Task: Claude vs OpenAI LLM Economics 2026》（按轨迹归集 token、记录通过校验的结果、以成功率为分母计算真实单位成本的方法）