2026 年 9 月 · 8 分钟阅读
技能预算该花在
模型不会的地方
关键定义
Agent 技能（Agent Skill） SkillsBench 的四项判据是：程序性内容、适用于一类任务、以 SKILL.md 为核心的结构化组织，以及跨兼容执行框架的文件系统可移植性。脚本、模板和资源是可选附件；系统提示词、少样本示例、RAG 检索内容与工具文档不属于该论文的技能定义。
归一化增益（Normalized Gain） 把技能带来的绝对提升除以剩余可提升空间（1 减去无技能通过率）得到的指标，用于避免基线高的模型看起来提升幅度小。SkillsBench 中人工策划技能的平均归一化增益为 21.5%，自生成技能为负值。
Harness（执行框架） 包裹模型的系统，包括系统提示词、工具调用、文件系统、沙箱、编排与反馈回路。SkillsBench 使用 Claude Code、Codex CLI、Gemini CLI，评估的是模型与执行框架的组合；其跨组合差异不能单独归因于执行框架。
给 agent 加技能，预算应该优先投向哪些真实错误？SkillsBench 用 84 个任务、7 个模型-harness 组合、7,308 条轨迹，测量技能带来的差异：人工策划技能平均带来 16.2 个百分点的通过率提升，医疗 +51.9pp，软件工程 +4.5pp。不同领域的平均增益差异很大，自生成技能的平均增益则为负。我们的判断：企业应先检验自己的行业流程知识是否缺失，而不是默认每次模型升级都能解决任务失败。编码技能仍可能有价值，优先级需要用本地任务确定。
一、技能成为可测量的独立变量
SkillsBench（arXiv 2602.12670）把技能界定为适用于一类任务的程序性知识，以 SKILL.md 组织，通过文件系统在兼容执行框架之间移植；代码、模板与资源是可选附件。系统提示词、少样本示例、RAG 检索内容和工具文档不属于论文采用的技能定义。这个切分使技能成为可版本化、可评审、可复用的资产；在企业落地时加入验证逻辑，是我们的工程建议。
方法上，论文比较不给技能、给人工策划技能、给模型自生成技能三种条件。三个商业 harness（Claude Code、Codex CLI、Gemini CLI）组成七个模型-harness 配置，每任务每配置重复试验，用确定性的 pytest 判定成败。它测试的是特定任务与组合，不是覆盖所有模型和执行框架的完全交叉实验。全文：arxiv.org/html/2602.12670v1。
结果：不给技能的平均通过率 24.3%，给人工策划技能 40.6%；论文报告平均增益 +16.2pp。失败分类部分还报告了 78.4% 到 61.1% 的总体失败比例，这是另一组统计口径，不应把它直接当作前述平均通过率的补数。比较前先保留任务、配置和统计分母。
二、领域异质性：先找模型缺少的流程知识
按领域拆开，收益差了十倍以上：医疗 34.2% 到 86.1%（+51.9pp）、制造 1.0% 到 42.9%（+41.9pp）、网络安全 +23.2pp；而数学 41.3% 到 47.3%（+6.0pp）、软件工程 34.4% 到 38.9%（+4.5pp）。
论文讨论的一种解释是：预训练覆盖较薄、需要专门程序性知识的领域更容易受益，例如临床数据标准化、制造排产优化。软件工程与数学在公开语料中更常见，但这个解释不能替代针对企业私有工具链和流程的实测。
我们的判断：预算分配应从本地错误分布开始。模型已经稳定完成的通用任务，继续优化的边际空间可能较小；反复失败的内部流程可能更值得编码为技能。基准通过率的领域差异不是同等预算下的财务回报差异，不能直接推导十倍 ROI。
三、自生成技能需要验证，不能默认有效
第二个发现更值得警惕：论文测试的自生成技能平均下降 1.3 个百分点。分组合看：Claude Code 加 Opus 4.5 为 21.6% 对不给技能 22.0%；Codex CLI 加 GPT-5.2 为 25.0% 对 30.6%，下降 5.6 个百分点，表中的 −8.1% 是归一化增益，不能写成下降 8.1 个百分点；Claude Code 加 Haiku 4.5 持平在 11.0%。Opus 4.6 组合则有 1.4 个百分点的正增益。
这些结果不支持把自生成技能直接当作可靠的提升来源，但也不证明 agent 永远不能改进自己的技能库。论文测试的是特定生成流程、任务集与模型配置。进一步改进需要新的实验，不能用一次基准把所有自我改进路径排除。
我们的判断：这里既有技术问题，也有治理问题。技能库应保留作者、批准人、评测版本和退役条件。模型生成的技能先作为候选，在未参与编写的保留任务集上评测，通过评审后再进入生产，而不是仅凭作者是人或模型就判定有效性。
四、评估单位是「模型 + harness」，不是模型
同一批技能在不同模型-harness 组合上的表现差异同样大。Claude Code 组合的提升从 +13.9pp（Opus 4.6）到 +23.3pp（Opus 4.5）；Gemini CLI 组合提升 +13.6pp 到 +17.4pp，Gemini 3 Flash 的含技能通过率为 48.7%。论文也记录了 Codex CLI 忽略提供技能、自行实现解法的行为：技能被看到了，不代表按预期使用。
这里比较的是完整组合，不是固定同一模型、只切换 harness 的受控实验，因此不能把跨组合分差单独归因于执行框架，更不能断言它超过多数模型升级。采购和验收的对象仍应是「模型 + harness + 技能库」：在自己的负载上逐项控制变量，测量成功率、成本与返工。
五、技能数量的取舍，以及实验的能力边界
分组统计中，2 到 3 个技能平均增益最大（+18.6pp），1 个技能 +17.8pp，4 个以上为 +5.9pp；中等篇幅优于全面详尽的文档。技能增加会占用上下文和维护预算，但这些分组结果不是固定任务上逐个增加技能得到的普遍因果定律。实际数量需要本地消融实验确定。
16 个任务（84 个中的 19%）在论文测试的组合与条件下通过率均为 0%。这说明该实验仍有未解决任务，不代表任何系统都无法解决。成本侧，论文报告 Gemini 3 Flash 每任务输入 token 是 Gemini 3 Pro 的 2.3 倍（1.08M 对 0.47M），按论文采用的价格每任务成本低约 44%（0.55 美元对 0.98 美元）。这是特定任务和价格快照，不是当前报价承诺；小模型加技能能否替代更大模型，需要同时验收质量和成本。
六、我们的判断与配置清单
我们的判断：agent 能力投资应先检查自己的程序性知识有没有被写成可评测资产。技能是这个资产的一种形态；其收益取决于任务、知识质量、执行框架和验证方式。模型、工具和流程同样重要，不应将任何一项视为万能替代。
先测自己的基线
在真实任务上跑不给技能的基线，再加候选技能重测。把开发任务与保留测试集分开，记录失败类型、成本与返工。
预算投向已证实的知识缺口
检查行业流程、内部系统、合规判据和专有数据结构；编码或数学任务的优先级也由实际错误决定，而非领域标签。
技能库走代码评审
每份技能有作者、批准人、评测版本和退役条件；自生成技能未经评测与评审不能直接进入生产。
从少量、中等篇幅开始
用 2 到 3 份技能作为实验起点，通过消融比较数量与篇幅，不把起点当作固定最优解。
验收单位是组合
换 harness 或模型档位都要重测技能有效性；一次只改变一个关键变量，避免误归因。
行动：这一周就能做的最小动作——挑一个反复失败的行业任务，把资深同事的操作规程写成技能，再在保留任务集上跑 A/B 对比。把结果与成本一起记入证据卡。预算应该跟着可复核的错误改善走，而不是跟着模型榜单或技能数量走。
参考来源: SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks（arXiv 2602.12670 v1；本文重点复核表 3、表 10 和技能定义）arxiv.org/abs/2602.12670 ｜ 论文全文。论文测量与我们的实施建议分开表述；其结果受任务、配置与测量口径限制。
常见问题
技能和提示词到底有什么区别？+
按 SkillsBench 口径，技能提供适用于一类任务的程序性知识，以 SKILL.md 组织，并能通过文件系统迁移到兼容执行框架；脚本和模板等附件是可选的。系统提示词、少样本示例、RAG 检索内容和工具文档不在该定义内。企业可进一步加入验证逻辑，但这不是论文定义的必备附件。
技能平均能提升多少通过率？+
人工策划技能把平均通过率从 24.3% 提到 40.6%（论文报告平均增益 +16.2pp）。领域差异很大：医疗 +51.9pp、制造 +41.9pp，而软件工程 +4.5pp、数学 +6.0pp。这是论文任务集上的结果，不是企业 ROI。
能不能让模型自己写技能？+
可以作为候选，但不能假设它必然提升效果。该论文中自生成技能平均下降 1.3 个百分点；Codex CLI 加 GPT-5.2 从 30.6% 降至 25.0%，下降 5.6 个百分点，对应归一化增益 −8.1%。Opus 4.6 组合则提升 1.4 个百分点。应在保留任务集上验证，不能把该基准解释成自我改进永远无效。
技能是不是越多越好？+
在该基准的分组统计中，2 到 3 个技能的平均增益最大（+18.6pp），1 个技能 +17.8pp，4 个以上为 +5.9pp；中等篇幅优于全面详尽。这是观察到的分组差异，不是每个企业都必须只用 2 到 3 个技能的通用最优解。
为什么评估单位是「模型 + harness」而不是模型？+
论文比较不同模型与执行框架的组合：Claude Code 组合提升 +13.9pp 到 +23.3pp，Gemini CLI 组合提升 +13.6pp 到 +17.4pp，并观察到 Codex CLI 忽略部分技能的行为。它没有固定同一模型来隔离执行框架的因果效果；实际部署应对完整组合进行本地验收。
技能能解决所有任务吗？+
不能。84 个任务里有 16 个（19%）在论文测试的 7 个模型-harness 组合和三种条件下通过率均为 0%。这描述的是该实验的能力边界，不是这些任务在所有系统中都无法解决。
agent 失败的主要原因是什么？+
在论文的失败分类中，验证类失败占各模型失败的 48% 到 53%。技能主要减少的正是验证失败：质量不达标案例从 1,184 个降到 819 个，减少 30.8%。该比例来自基准任务的分类，不是所有生产 agent 的故障分布。
拿你自己的执行日志跑一遍
交一份脱敏的近 30 天 agent 执行日志，48 小时内拿到八行表：八项技术项每项一行，每格带分子、分母和判据，缺口按是否要改 schema 排序。前三单 ¥8,000。
相关文章
Uber 四个月烧完全年 AI 预算：编码 agent 的成本失控是治理问题
Claude Code 采用率从 32% 涨到 84%，约 70% 的提交代码由 AI 生成，2026 全年 AI 预算在 4 月耗尽，人均成本 $150–$2,000/月，内部排行榜把 token 消费变成竞赛。我们的判断：失败模式不是拒绝采用，而是无治理的拥抱——用量计费需要 DevOps 级成本控制。
政策写进文本，不写进权重：agent 技能是审计桥
AWS 发布 38 个开源医疗 agent 技能：决策程序以 SKILL.md 文本承载，年度政策变化改文件、不重训；成对评测显示技能 agent 胜率 70–86%。我们的判断：策略即文本 = 受监管行业的审计桥，评审变成 diff 评审。OOMeta 跑的就是同一架构。
从试点到 6,000 人：评估必须变成发布闸门
Sabadell Seguros 把 SofIA 推给 6,000 名销售代理前，先回答「ready 是什么」：自动生成测试集、按业务校准的裁判、评估接进每次发布。一次回归测试在 6,000 人之前拦下模型切换引发的可靠性劣化。我们的判断：规模化瓶颈不是 agent 质量，是验证节奏。
采购 agent 的价值有顺序：BCG 调研 200+ 高管，内部效率先于商业结果
BCG 2026 调研 200+ 采购与技术高管：agentic AI 内部运营价值（速度/吞吐/减少手工）先于外部商业价值（谈判、许可、供应商质量）；生产优于试点，技术+流程重组+治理优于纯技术。我们的判断：价值顺序是部署纪律——KPI 阶梯按阶段设计，别用第一年商业结果杀死内部已兑现的项目。