评测工具被模型厂商买走，剩下的两层得自己攥着

合规负责人手里有一份红队报告，四十页，跑的是 Promptfoo，报告的最后一页写着测试工具与版本。这份报告要提交给审计委员会，用来证明新上线的智能体不会越权访问客户数据。她在准备材料的时候看到一个日期，2026 年 3 月 9 日，OpenAI 宣布收购 Promptfoo，并把它并入自家的企业平台。

于是她要在会上回答一个以前不需要回答的问题：这份报告的裁判，是谁雇的？

这个问题不是修辞。审计的基本前提是评价者与被评价对象相互独立，一旦证据由被审计方的平台生成、按被审计方的默认规则判定，独立性就只剩下一句声明。2026 年这一轮收购，把评测从一个采购选项变成了一个治理问题。

三月九日那份公告说了什么

OpenAI 的公告写得克制，理由也说得通。它说企业开始把 AI 同事放进真实工作流，评测、安全与合规随之成为基础要求；企业需要系统化的方式测试智能体行为、在部署前发现风险，并留下清晰的记录，以支撑长期的监督与问责。Promptfoo 的能力会直接集成进 OpenAI Frontier，这个平台是 OpenAI 用来构建和运营 AI 同事的。

公告里有几个可以核对的点。Promptfoo 的工具被超过 25% 的财富 500 强公司使用，这是 OpenAI 自己的说法。开源命令行工具与库会继续维护。集成方向列了三条：把安全测试与红队能力变成平台原生功能，覆盖提示注入、越狱、数据泄露、工具滥用与越权行为；把安全与评测嵌进开发工作流；提供报告与可追溯性，帮企业记录测试过程、跟踪随时间的变化，应对治理、风险与合规要求。

同一个季度的另外两个动作指向同一个方向。Scale AI 把 SEAL 扩成标准化评测平台，LMArena 完成 1.5 亿美元 A 轮、投后估值 17 亿美元，四个月内年化收入跑到 3,000 万美元以上。这两个数字来自一篇行业分析文章，我没有独立核实，引用时应当作行业观察而不是财报数据。三件事放在一起，说明的是同一件事：评测从研究副产品变成了要争夺的基础设施层。

变化在所有权，不在能力

说清楚一点：这次收购不会让评测变差。把红队与评测嵌进开发平台，会降低使用门槛，让更多团队真的去跑测试，这在整体上是好事。真正变化的是证据的归属。

以前的做法是买方买一个中立工具，自己写测试用例，自己定通过标准，然后把结果交给审计。现在更常见的做法是平台里点几下，用平台预置的用例与阈值跑一遍，导出一份平台格式的报告。前者是自证，后者是供应商出具证明。

两者在多数场景下没有区别。可是在需要独立复核的场景里，区别是决定性的：当你要证明的对象正是供应商的系统时，由供应商的平台生成、按供应商默认规则判定的报告，只能证明供应商认为它安全。这句话在审计语境里不是证据，是陈述。

这不是对某一家公司的指控。任何一家把评测能力收进自家平台的厂商都会遇到同一个结构问题，因为平台的目标是让客户用得顺，而审计的目标是让裁判与被裁判者分开。两个目标天然不在一条线上。

评测其实是三层，价值差得很远

把评测拆开，会发现它由三层组成，可替代性和资产属性完全不同。混在一起谈，就会得出要么全买、要么全自建的错误结论。

第一层是工具层：执行测试的运行器、断言库、报告格式、与持续集成的接口。这一层的特征是标准化程度高、切换成本低、供应商众多。它正在被收编，这层被收编对你没有实质损失，因为替换它通常只需要几天适配。

第二层是数据集层：你自己的失败样本。这一层不可替代，因为它记录的是你的系统在你的业务里怎么错过。同一句错误回复，在别人的数据集里是一条通用案例，在你的数据集里是一次真实赔付、一次客户投诉、一次监管问询。它的价值随使用次数上升，别人买不到。

第三层是判定标准层：什么算通过，阈值定在哪，例外谁批，标准改动留不留档。这一层是治理资产。一旦外包，独立复核在形式上就不成立了，因为判定规则的作者与被判定的对象之间存在利益关系。

还有一个分工上的现实。这三层在公司内部属于不同的预算和人：工具费走技术预算，样本库要业务与法务一起出钱，判定标准归风险委员会。三者不在一张表里，所以经常只有第一层有人负责，后两层靠自觉。

三层拆开之后，采购策略就清楚了：工具可以租，样本必须自己长，标准必须自己签。多数企业把预算几乎全花在第一层，因为它是唯一能开发票的部分。

为什么失败样本越用越值钱

这里有一个容易被低估的经济学差异：工具的价值随普及下降，失败样本的价值随积累上升。

工具的价值下降很好理解。同类产品越多，功能越接近，价格越接近成本。当评测能力被并进平台，工具本身甚至不再是独立预算项，它变成了平台订阅里的一个功能。

失败样本走的是反方向。一条失败样本的价值，等于它未来能拦住的同类错误数乘以单次错误的代价。你积累的样本越多，覆盖的失败模式越全，下一版模型或下一次改动的回归命中率就越高。更关键的是它的排他性：你的失败样本来自你的客户、你的流程、你的口径，任何供应商的数据集都不包含这些。

所以正确的投入顺序是先建样本库，再选工具。多数团队反了，先比工具功能，再想测试什么，结果买了一堆运行器，里面装的用例是从公开数据集抄来的，测的是模型在别人的问题上表现如何。

落地这件事只需要一条纪律：任何一次生产事故或者严重误判，必须落一条可复现的样本，包含输入、期望输出、实际输出、判定理由，并入回归集。不进回归集的，复盘不算完成。这条纪律的难点不在技术，在责任：写样本的人往往就是出错的人。

我们自己的门是怎么长出来的

我们自己的发布门就是这个结构，可以拿出来当对照。网站上的每一篇文章，上线前要过四道门：中文字数不少于 3,300、英文不少于 1,500 词；结构化定义与问答组件齐全；文章校验脚本零错误；类型检查、完整构建与持续集成全绿。这四个检查脚本是我们自己写的，不依赖任何模型厂商。

它们的来源值得说，因为这说明自建门的真实成本结构。这些规则不是设计时想出来的，是每次事故之后加进去的。有一次标题里出现一个未转义的英文单引号，本地构建通过，持续集成挂了，文章没上线。于是静态检查里多了一条规则。有一次图片换了内容但文件名没变，缓存继续发旧图，用户看到的还是上一版，于是文件名开始带版本号，并且加了一条检查确认引用全部更新。还有一次草稿里混进了模板占位符，校验脚本现在会直接报错。

到今天线上是 349 篇成对文章，每一篇都过了同一套门。这套门不聪明，规则也很土，但它有一个性质：它属于我们。所以当客户问我们凭什么说内容是准的，我们能给出一条可复现的路径，而不是一句模型很可靠。

这也是自建门的隐性回报。每次事故变成一条规则，组织的记忆就写进了代码里，不依赖某个人还记得。买来的工具做不到这一点，因为厂商的规则是为所有客户设计的，不会为你的那一次事故增加一个检查项。

什么时候可以放心买

说清边界，否则这篇文章会被误读成什么都得自建，而那同样是浪费。

选型对比可以放心买。你在几个模型之间做选择，需要的是横向可比的结果，中立性要求不高，用谁的基准都行，重要的是把结论写进决策记录。

双方共同认可的验收可以买。供应商交付时的验收测试，如果标准是合同里双方签过的，用第三方工具跑没问题，因为标准的所有权在合同里，不在工具里。

探索性红队也可以买。你想知道攻击面长什么样，先用厂商的平台跑一轮，成本最低，能快速暴露明显问题。

必须自建的是三类：进入审计委员会的材料、监管报送的证据、写进客户 SLA 的可用性与准确性承诺。这三类场景的共同点是后果由买方承担，那么裁判权也必须由买方持有。至于执行器与报告格式，重写一遍没有任何意义，那是纯粹的重复劳动。

合同里能落的三条

这件事最终要落到采购动作上，否则讨论完还是原样。三条可以直接写进合同或续约条款。

第一条，数据出口。确认测试样本、测试结果与判定记录可以完整导出，并且可以离线复跑。这一条决定了将来你能不能换裁判。如果导出的只有一份 PDF 报告，你手上的东西就不是证据，是一份陈述。

第二条，标准版本化。每一次阈值变更、每一条例外批准，都要留档，记录谁改的、为什么改、影响了哪些历史结论。没有这一条，你无法回答一个最基本的问题：三个月前那份通过的测试，是按什么标准通过的。

第三条，附录义务。供应商出具的评测报告，必须附判定标准与样本来源的附录。缺任何一项，报告不进入你的审计材料。这一条不需要供应商同意改动产品，只需要它在交付物上诚实。

我们的判断

我们的判断是，这一轮评测资产的收购不是安全事件，是所有权事件。它把谁有权判定从采购问题变成了治理问题，而多数企业的合同还停在采购阶段，只关心价格、席位与功能清单。

买方最该做的一件事，是在续约之前把证据链拆成三层，逐层确认归属：执行器可以租，样本必须自己攒，标准必须自己签。这三条做不到，买到的不是评测能力，是一次由卖方主持的自我评价。它的成本很低，说服力也低得相称。

还有一个反直觉的推论。工具层被收编，对买方其实是好消息，因为运行器与报告格式会变得便宜、易用、随平台附带。真正需要投入的地方反而更清晰了：把自己的失败样本攒起来，把判定标准写成能签字的文件。这两件事没有供应商能替你做，也不需要预算审批，只需要有人负责。

判断一家企业的评测成熟度，看它能不能拿出三样东西：一份能导出的样本集，一份带版本号的判定标准，一份记录了过去一年阈值变更的日志。三样都有，工具用谁的不重要；三样都没有，工具越先进反而越麻烦，因为它会让一次没有标准的测试带上正式的格式。

留给买家的问题是：你上一次交给董事会或者监管机构的 AI 安全证据，用的是谁的工具、谁的样本、谁的标准？三个答案里如果有两个以上指向供应商，那份证据的说服力就到供应商认为为止。

参考来源

OpenAI, OpenAI to acquire Promptfoo（2026 年 3 月 9 日公告，含并入 Frontier、开源工具继续维护、覆盖超过 25% 财富 500 强的说法）

AgentMarketCap, The AI Evaluation Acquisition Wave（2026 年 4 月，行业观察文章；Scale AI 与 LMArena 的数字来自此文，本文未独立核实）

Promptfoo 开源仓库（评测与红队命令行工具，公告称收购后继续维护）