技能预算该花在
模型不会的地方

给 agent 加技能，最不值得加的地方是写代码——那里模型已经会了；最值得加的地方是你自己的行业流程——那里模型永远不会自己会。SkillsBench 用 84 个任务、7 个模型-harness 组合、7,308 条轨迹，第一次把「技能」当成可测量的独立变量：人工策划的技能平均带来 16.2 个百分点的通过率提升，但这个收益在领域之间差了十倍以上——医疗 +51.9pp，软件工程只有 +4.5pp；而让模型自己生成技能，平均收益接近于零甚至为负。我们的判断：agent 能力预算的记账单位应该是「领域程序性知识资产」，不是模型升级。

一、技能第一次成为可测量的独立变量

SkillsBench（arXiv 2602.12670）把技能定义为包含指令、代码模板、资源与验证逻辑的结构化包，并明确把系统提示词、少样本示例、RAG 检索内容、工具文档排除在技能之外。这个定义比结论更重要：它把技能从提示工程里切出来，变成可版本化、可评审、可复用的资产。

方法上，每个任务在三种条件下各跑一遍——不给技能、给人工策划技能、给模型自生成技能；三个商业 harness（Claude Code、Codex CLI、Gemini CLI）配七个前沿模型，每个任务五次试验，共 7,308 条轨迹，用确定性的 pytest 判定成败。这是目前少见的、把「技能」当作控制变量的公开测量。全文：arxiv.org/html/2602.12670v1。

结果：不给技能的平均通过率 24.3%，给人工策划技能 40.6%，整体失败率从 78.4% 降到 61.1%。技能确实有效——但接下来两个发现才是买方该看的部分。

二、领域异质性：模型会的地方，技能不值钱

按领域拆开，收益差了十倍以上：医疗 34.2% 到 86.1%（+51.9pp）、制造 1.0% 到 42.9%（+41.9pp）、网络安全 +23.2pp；而数学 41.3% 到 47.3%（+6.0pp）、软件工程 34.4% 到 38.9%（+4.5pp）。

论文给的机制解释很直接：收益最大的领域是预训练覆盖薄、需要专门程序性知识的领域，例如临床数据标准化、制造排产优化；而软件工程与数学这类在公开语料里密度极高的领域，模型已经把操作规程内化了，技能只能提供边缘改进。

我们的判断：这个分布对预算分配的含义是反直觉的。如果你把技能预算花在通用编码 agent 的提示优化上，你是在给一个已经会做这件事的模型补课；同样的钱花在你自己行业流程上，回报可以差一个数量级。技能不是增强模型的通用插件，而是补预训练空缺的专用件。

三、模型写不出自己的操作规程

第二个发现更值得警惕：让模型自生成技能，平均收益接近于零甚至为负——整体失败率 80.9%，比不给技能的 78.4% 还差。分组合看：Claude Code 加 Opus 4.5 自生成 21.6% 对不给技能 22.0%；Codex CLI 加 GPT-5.2 是 25.0% 对 30.6%，低 8.1 个百分点；Claude Code 加 Haiku 4.5 持平在 11.0%。

论文的结论可以一句话概括：模型无法可靠地撰写它自己受益于消费的程序性知识。这推翻了一个流行假设——agent 可以自我改进技能库。模型能写代码，但写不出比自己更好的操作规程，因为它缺的正是那份没有被写进公开语料的领域经验。

我们的判断：这是治理问题，不是技术问题。技能库必须走人工评审流程——谁写、谁批准、谁退役，都要有名字。让自生成技能直接进生产环境，等于把「模型不知道自己不知道什么」这个缺陷制度化。

四、评估单位是「模型 + harness」，不是模型

同一批技能在不同 harness 上的表现差异同样大。Claude Code 的技能利用率最高，提升幅度从 +13.9pp（Opus 4.6）到 +23.3pp（Opus 4.5）；Gemini CLI 原始分最高（Gemini 3 Flash 48.7%），提升 +13.6pp 到 +17.4pp。Codex CLI 的失效模式最值得记录：它经常忽略提供的技能——agent 承认技能内容存在，但往往自己另写一套实现。技能被读到了，没有被执行。

同一模型换 harness 的绝对分差可以到二十个百分点量级，这比大多数模型升级带来的差距更大。所以「我们买了最好的模型」不是一个可交付的能力声明；能被采购和验收的单位是「模型 + harness + 技能库」的组合。

五、技能越多越差，19% 的任务谁也做不了

数量上，2 到 3 个技能收益最大（+18.6pp），1 个技能 +17.8pp，4 个以上掉到 +5.9pp；篇幅上，中等长度的技能优于全面详尽的文档。技能数量和篇幅都是负债：每多一份技能，就多一份上下文预算、冲突概率和维护成本。

边界同样清楚：16 个任务（84 个中的 19%）在全部 7 个组合、三种条件下通过率都是 0%。技能救不了能力前沿之外的任务。还有一个成本侧的观察：Gemini 3 Flash 每任务输入 token 是 Gemini 3 Pro 的 2.3 倍（1.08M 对 0.47M），用迭代探索替代推理深度，但按官方定价每任务成本反而低约 44%（0.55 美元对 0.98 美元）。小模型加技能可以越过更大模型的无技能基线——这是「技能换模型档位」的直接证据。

六、我们的判断与配置清单

我们的判断：agent 能力投资的第一性问题不是换哪个模型，而是我们自己的程序性知识有没有被写成资产。技能是这个资产的一种可测量形态——它的回报取决于领域稀缺性、取决于是否人工策划、取决于是否被 harness 真正执行。

行动：这一周就能做的最小动作——挑一个你们反复失败的行业任务，把资深同事脑子里的操作规程写成一份技能，然后跑 A/B 对比。留给买方的问题：你的 agent 能力预算里，花在模型升级和写清自己流程上的比例是多少？如果严重偏向模型，你买到的是别人也能买到的东西。

参考来源: SkillsBench: A Benchmark for Evaluating Agent Skills（arXiv 2602.12670；84 个任务、11 个领域、7 个模型-harness 组合、每任务 5 次试验共 7,308 条轨迹，确定性 pytest 判定）arxiv.org/abs/2602.12670 ｜ 全文 arxiv.org/html/2602.12670v1。本文引用的全部数字均来自该论文正文与其表格。