OOOMETA/OS
← 洞察

主题集群

AI 基础设施

模型能力已趋同,基础设施成为差异化战场。推理成本、模型路由、向量数据库、RAG 管线与 Agent 运行时的工程决策,决定了 AI 应用的边际成本与延迟。本主题用实测数据拆解基础设施选型:多少钱、多快、多可靠。

26 篇文章

2026-10-19AI 基础设施

智能体流量一月涨 4.7 倍,站点统计只看得见人

DataDome 三季度记录约 250 亿次智能体请求,环比增长 41.5%;agentic 浏览器流量 9 月涨 4.7 倍,最大新增来源没有申报身份。

2026-10-15AI 基础设施

选推理供应商要看它能不能活到合同结束

Gartner 称到 2030 年超过 3.5 万亿美元的 AI 基础设施支出可能面临减值,八成 neocloud 将无法独立经营。供应商身份从常数变成带期限的变量。

2026-10-14AI 基础设施

买芯片的贷款利率 11%,芯片股在跌:同一批算力的两种定价

同一周里,一笔买 AI 芯片的 50 亿美元贷款有 37 亿没人包销、要付约 11% 的息,而芯片股两天内跌去 6% 以上。买方清单该多一栏。

2026-10-13推理成本

RTX Pro 6000D 被当算力买走,推理的哪一段决定买哪档卡

出口管制画在能力档位而不是国境线上,今年 100 万张以上的工作站卡被当算力买走。推理拆成 prefill 与 decode 两段之后,买哪一档卡变成容量规划问题,不再是型号偏好。

2026-10-12推理成本

单价跌到两百八十分之一,AI 账单为什么还在涨

单 token 价格两年跌到原来的 1/280,企业 AI 账单却仍在上涨。计费单位从一个问答变成一个要跑十几轮工具调用的任务,预算口径该跟着换。

2026-09-29推理成本

前缀缓存降的是单价,不是每轮重发的历史

我们 30 天里发出 3.89 亿新输入 token,缓存命中 36.97 亿。缓存体积是新输入的 9.5 倍,成本只占 19%。单价降九成改变不了这个体积比。

2026-09-27基础设施

智能体平台按什么计费,就会长成什么架构

一周之内三家平台把 agent 的计费口径摆上台面:按对话轮次、按执行时间、按 trace 分析量。口径不是商务条款,它决定你的重试、空闲等待和多轮追问由谁付钱。签约前要问清三个问题。

2026-09-25基础设施

AI Agent 监控:探针发 1 个 token,任务发 9000 个

套餐额度按 token 计,可用性探针却按请求计。同一把 key:1 个 token 返回 200,9000 个 token 返回 429。

2026-09-24基础设施

长上下文能替代检索增强吗:先算缓存命中率

窗口大不等于更省事。决定长上下文是否比检索便宜的不是窗口大小,是每个缓存窗口里的复用次数,这个门槛约二十次。本文给出交叉点算法、可靠上下文的实测边界,以及三种架构各自的适用条件。

2026-09-23AI 基础设施

失败的工具调用:中位 1.6 秒,p90 顶到上限

我们的日志里 423 次失败的工具调用呈双峰分布:53% 在 2 秒内返回错误,16% 顶到 170 秒以上的超时上限,中间地带只有 31%。我们的判断:超时上限是故障分类器,不是性能参数。

2026-09-22算力供给

卖方自己说产能不够:采购要把容量与价格分开算

阿里巴巴 CEO 吴泳铭说行业中长期需求远超供给能力、供应链紧缺限制算力增速;同一天腾讯把 2K 图像定价压到 0.15 元/张。我们的判断:容量与价格是两条独立约束线,等降价换不来容量,采购要分开谈。

2026-09-22观点

单价跌 41%,账单没跌:成本要按成功任务算

模型单价较 3 月峰值跌 41%,头部客户的人均 AI 账单却降了 10%。支付侧数据与 coding agent 基准指向同一件事:该按「每个成功任务」算成本,harness 配置比模型单价更能决定账单。

2026-09-21基础设施

AI 基建的 3000 亿美元不在表内

据 FT 报道,Big Tech 用担保与 SPV 把约 3000 亿美元 AI 基建敞口留在表外:Alphabet 数据中心租赁担保半年从 169 亿增至 438 亿美元,入表不足 2%。我们的判断:买方尽调用的那张表已不覆盖增长最快的义务,指标要从比率换成义务台账。

2026-09-20AI 基础设施

AI 成本的上游是内存,不是模型定价

TrendForce:2Q26 全球 DRAM 收入环比 +59.5% 至近 1,547 亿美元,供给扩张持续落后需求;长鑫第五代平台量产、特征间距 11.95nm。我们的判断:决定 2027 年 AI 单位成本的是硅的供给周期,不是 token 单价。

2026-09-19AI 基础设施

走量与走钱:模型采购正在分裂成两个市场

Vercel 生产指数:开源权重模型拿走 56% token 量却只占 14% 花费;9/10 团队把 Fable 5 支出下移到 Opus 5,「多出来的能力不值双倍价格」。我们的判断:平均 token 价格是错误指标,采购单位是「每个任务的模型档位」。

2026-09-17AI 基础设施

路由器不是买来的省钱:ACL’26 统一评测拆穿路由神话

LLMRouterBench(Findings@ACL’26,40 万+实例、33 模型、10 基线)统一评测:多数路由方法表现相近,商业路由器无法稳定击败简单基线(arXiv 2601.07206)。我们的判断:确定性任务→模型策略优于黑盒路由器,OOMeta 自家栈即如此运行。

2026-09-16AI 基础设施

推理支出首次超过训练:企业 AI 采购从选模型变成买配置与切换权

Gartner:2026 年推理支出 233 亿美元首次超过训练 190 亿,agentic 工作流推理成本到 2028 年涨 5 倍以上。成本单位不是模型单价而是配置与放置——多数企业会从 neocloud/Token-as-a-Service 买 token 而非自托管。切换权才是 2026 年最该买的资产。

2026-09-16AI 基础设施

开源权重智能体模型:先验证,别轻信厂商口径

Abacus.AI 09-10 发布 Smaug 系列开源权重智能体模型,声称长时 agent 循环提升 15-20%、成本低 10-100 倍(厂商口径,未独立验证)。我们的判断:开源权重让厂商声称第一次可以被买方自己验证——评估单位应从 token 价格变成「每个完成任务的成本」。

2026-09-15AI 基础设施

agent 成本的第一控制变量是上下文:缓存命中率比 token 单价更真实

两份 2026 实测:提示缓存降 agent 成本 41-80%(arXiv 2601.06007),命中率 7%→84%、成本降 59%;keepalive 显示 Anthropic 5 分钟 TTL 下 4 分钟心跳最优。我们的判断:缓存命中率才是 agent 成本 KPI,上下文布局是唯一免费无损的降本杠杆。

2026-09-13AI 基础设施

token 价格战:单价不再是成本决策的第一变量

OpenAI 07-30 把 Luna 砍价 80% 至 $0.20/M 输入,Anthropic 08-11 把 Sonnet 5 的 $2/$10 定为永久价。我们的判断:价格战让「选哪个模型」失去意义,账单改由 token 卫生决定——缓存命中率、批量占比、重试与上下文膨胀。

2026-09-11AI 基础设施

Agent 成本治理进入执行层:Sapiom 3500 万美元的架构选择

Sapiom 融资 $35M(09-08,Dragonfly 领投,累计 $50M):把 agent 成本治理做成执行层基础设施——预算权限先于执行、调用实时选路、全量 metering(厂商口径)。我们的判断:agent 财务治理必须发生在执行点,不是另一块仪表盘;「省 75%」是厂商声称,需独立验证。

2026-09-10AI 基础设施

模型路由不是配置:闭环才是省钱的另一半

RouteNLP 生产试点(ACL 2026 Industry Track):8 周、约 5000 查询/天,推理成本降 58%、p99 从 1847ms 到 387ms。我们的判断:静态路由只拿到一半省钱——把失败聚类→定向蒸馏→重训路由的闭环跑起来,收益才翻倍;没有 eval 门禁的路由是看不见赔率的赌局。

2026-09-10AI 基础设施

NVIDIA 买下 HF:不可变审计,记在谁的边界里?

NVIDIA 以 129 亿美元收购 Hugging Face,同期发布 Secure Agent Workspace 参考架构:执行点、签名策略、不可变审计记录全部写进官方文档——但每一层证据都记在 NVIDIA 自己的边界内。垂直整合没有消除信任缺口,只是移动了它。

2026-09-09AI 基础设施

MCP 无状态化:以删基础设施为回报的协议升级

MCP 2026-07-28 规范把协议核心改成无状态:握手与会话 ID 消失,粘性路由与 session store 可删,观测内建 W3C Trace Context。第一次协议升级以删基础设施为回报——大头不是省下的存储费,而是网关从有状态代理变成纯路由器后释放的容量与复杂度;锁定移到实现层。

2026-09-08AI 基础设施

你未必需要专用向量数据库:2026 企业 RAG 选型框架

一篇 2026 年论文用 5 万文档对照基准给出硬数据:统一数据层(pgvector)带日期过滤查询延迟降 92%、租户隔离查询降 74%、同步不一致窗口归零。先回答 5 个问题再选引擎:规模、新鲜度、查询形态、权限、运营成本。

2026-09-07AI 基础设施

LLM 模型路由:推理成本降 40-80% 的真实条件

把每条请求路由到最便宜的可用模型,是 2026 年最大的成本杠杆:RouteNLP 试点降 58%、RouteLLM 基准降 85% 的背后,藏着三个条件——便宜模型占比过 50% 才复利、路由必须配评估闸门、闭环蒸馏比静态规则强一倍。