法律智能体加一道幻觉门控：全过率掉到 0.3%

十月初，一份法律智能体的复测榜单上并排出现了两个数字：13.9% 和 0.3%。同一个模型，同样 120 个法律任务。唯一的变化是加了一道门。只要交付物里有一处实质性幻觉，这个任务就不算通过。这意味着「部分正确」不再换成分数，而是直接归零。

同一批任务，两种读法

这份榜单叫 Harvey LAB-AA，由 Artificial Analysis 与 Harvey 的法律智能体团队在 10 月 8 日发布 v1.1 版本。它最重要的动作，是把幻觉从评分表里拎出来，做成一道准入条件。任务只有在每个评分项都通过、并且交付物不含实质性幻觉时，才计为通过。基准对实质性幻觉给了一个具体例子：一处合同约定日期写错。原因是这类错误足以误导读者对实质问题的判断。

评测怎么搭的，决定了数字怎么读。数据集是 Harvey 私有的 120 个法律任务，覆盖并购、资本市场、税务、诉讼、破产等 24 个执业领域。评分沿用全过标准，没有部分分。发布方的原话是，只找出十项风险中的八项不是八十分，而是实质不完整。三个评审模型逐项打分取均值，分别是 GPT-6 Sol、Grok 4.7 与 Claude Opus 5.5。幻觉检查分两段走。先对着原文标出疑点，再回原文复核；复核之后，确认的错误被分成实质与轻微两类。

这份基准由评测机构与法律 AI 公司联合发布，属于两方产出。我们核过原文，但没有做独立复现。因此下文读数都按发布方的口径引用，涉及框架差异的地方单独标注，不合成既成事实。

门控打开之后，读数掉了一个量级

把门控关掉，榜单是另一幅样子。16 个被测模型能通过 85.6% 到 96.0% 的评分项，其中几个接近满卷。门控打开之后，全过率的榜首是 Grok 4.7（xhigh），读数是 9.4%。后面依次是 Muse Spark 1.3 的 8.9%、GPT-6 Astra 的 8.6%、GPT-6.1 Sol 的 6.9%、Claude Fable 5.1 的 6.4%、Kimi K3 的 5.3%，Claude Opus 5.5 是 4.2%。

最能说明这道门在做什么的是 Muse Spark 1.3。取消门控时它以 26.7% 明显领先。但那三分之二的通过结果含实质性幻觉。也就是说，它领先的那部分多数不是能干活的领先，而是答得像样的领先。

整体读数更直白。全体被测模型超过六成的「通过」结果含实质性幻觉，多家模型加上门控后归零。GLM-5.3 在门控前有 13.9% 的原始全过率，门控后是 0.3%。发布方另外标了两句口径。第一句是 v1.1 与 v1.0 的分数不可直接比较，因为评分与评委都换过；第二句是这一轮复测跑在评测方自家的 Stirrup harness 上，所以跨框架的数字不能相减。

两条容易被读反的读数

第一条是开放权重模型的表现。基准给出的读数是，开放权重模型平均每个任务出现 2.09 次以上的实质性幻觉。原因是幻觉率取决于模型本身，而不是法律领域的难度。这条读数对自建团队的含义很直接：选开源权重省下的许可成本，会以复核工时的方式回到流程里。复核工时正是这类任务里最贵的一段。

第二条是时间尺度。同一个基准的初版在 2026 年 5 月发布，当时前沿模型的端到端完成率不到 10%，Opus 4.7 以 7.1% 领先。五个月后，门控口径下的榜首是 9.4%，中段模型在 4% 到 7% 之间。这条对比要小心读，因为评分与评委都变过，严格说两组数字不可相减。它仍然说明一件事：口径变了以后，进步要靠同一口径内的移动来衡量。把新旧分数拼接起来，只会得到错觉。

为什么这是口径变化，而不是模型集体退步

把上面的数字读成「法律智能体还不成熟」，会错过真正的变化。变的是判据的位置。

平均分是加法的。找对十项里的八项，拿到八成的分，读者清楚剩下两成是缺口。全过率是乘法的。任何一处实质错误，整份交付物就被判不通过。在需要签字负责的活里，第二种才是客户实际承担的风险形状。原因是交割清单不会因为其余部分正确就变得可用。

顺着这个机制往下推，能得到一条可检验的预测。只要买方开始用门控口径验收，供应商报出的分数会普遍低于往年。这不是模型退步，而是把以前藏在平均分里的错误暴露出来。反过来，一个模型如果在门控口径下仍能保持单位数甚至两位数的全过率，它的能力范围会窄，但可信。

还有一层机制值得说明：门控把评测从「平均能力」换算成了「失败概率」。同一个全过率在不同任务切分下对应的失败概率不同。任务越长，单点出错的机会越多。这就是门控口径天然偏好把复杂工作拆成可独立验收的段的原因。它不是产品或模型的偏好，是概率算出来的结果。

成本一栏能说明差距有多大。单任务成本从 GPT-6 Luna 的 0.22 美元到 Claude Fable 5.1 的 21.73 美元，跨度接近一百倍，而榜首 Grok 4.7 是 9.49 美元。价格排序和能力排序不重合，这一点在采购上是实打实的麻烦，因为默认口径往往只比价。

买方要改的三处验收条件

具体到动作，有三处可以直接照做。

第一处是把全过率写进验收，而不是平均分。要问的是：在你的任务上，交付物有多少比例可以原样进入下游、不需要返工。这个数比平均分低得多，也诚实得多。

第二处是复刻那道门的检查方式。基准的做法不复杂：先用一个模型对着原文标出疑点，再回原文复核，把确认的错误分成实质与轻微。它的价值在于把「什么是实质错误」事先定义清楚。Harvey 为这套基准准备了超过 75,000 条二元判据。也就是说，定义本身就是主要工作量，而不是算法。

第三处是把成本按任务记，不按 token 单价记。榜单上做得最好的模型未必最便宜，最便宜的也未必够用。全过率和单任务成本放在一起，才是可以拿去定价讨论的组合。

想自己搭一套，要准备什么

这套基准的可复制部分，发布方交代得很清楚：一批私有任务（120 个，覆盖 24 个执业领域）、一份专家 rubric（超过 75,000 条二元判据）、三名评委取均值、两段式幻觉核对、全过评分，以及规范化的提交条件。整套评测已开源。这意味着团队可以照着搭自己的版本，不必从零设计方法论。

要提醒的一点是顺序。先定义什么算实质错误，再定任务集，最后才是跑模型。反过来做的团队会得到一堆分数，却没法回答「多少交付物可以直接用」。原因是判据是事后补的，覆盖不到真实的分歧点。

门控之外，评测还缺一块

评测方自己在发布说明里列了下一步：把律师在意的风格与语气这类可用性因素补进来。这条披露值得买方注意，因为它划出了全过率的边界。全过率回答的是「能不能交付」，回答不了「愿不愿意交付」。一份没有实质错误、但读起来像机器翻译的法律意见，客户不会拿去用。

顺着这个边界，验收可以拆成两道门。一道是准入，用全过率把不可交付的挡在外面；另一道是体验，用人工抽检来判断可用性。把两道门合成一个分数，会同时失去两件事。这既看不出交付比例，也看不出体验退步。

一套可以照着走的验收流程

把上面的判断落成动作，五步就够。第一步取最近 30 到 50 个真实任务，不要用公开题集。第二步写二元判据，从一个团队真实吵过架的分歧点写起，不要从模板抄。第三步定评审，三个角色或三个模型逐项打分取均值，避免单点评委。第四步做两段式幻觉核对，先标疑点再回原文复核。第五步用全过率与单任务成本做一张两维选型表，把平均分留在附录里。

这五步里最容易被跳过的是第二步，也最贵。判据写得粗，全过率就会虚高，因为没人定义什么算错。Harvey 用超过 75,000 条判据覆盖 120 个任务，平均每个任务六百多条。这个密度本身就是答案：判据不是评分表上的装饰，它决定这份评测能不能被拿去验收。

成本口径要和任务长度一起看

还有一处容易读错的地方。全过率对判据多的长任务天然更严，因此横向比较不同产品的全过率时，要先看它们的任务切分和判据数量。否则，一个把任务切得细碎的产品会显得更能干。它可能只是避开了最难的一段。

成本同理。单任务成本低的产品，如果任务切得更细，完成同一件工作需要的任务数更多，账单会以乘法回到买方这边。因此把单任务成本乘以这项工作所需的任务数，才是可比的口径。

这次口径变化对卖方同样成立

卖方一侧的反应值得看。当客户用门控口径提问，厂商自报的基准数字会被追问框架与判据来源，而厂商自研的 benchmark 往往与自己的 harness 绑定。这件事本身不是问题，问题在可比性。两组读数如果来自不同 harness，它们之间的差不能拿来支撑选型结论。对采购方来说，最省事也最有效的一招，是把复测要求写进合同，而不是在评估阶段靠口头核对。

我们的判断

我们的判断是：法律这类高风险任务上，评测正在从「能力有多强」转向「交付有多少比例可以直接用」。幻觉门控不是多一个指标。它把部分正确的价值归零，因此改变的是采购与验收的方式，而不是排行榜的名次。

这条判断同样约束我们自己的活。我们在内容与研究里守的是同一条规矩：外部事实必须带可回溯的来源，没有来源的数据不写进结论。一处无法核实的数字，不能靠周围的正确内容来补。区别只在规模。我们的门是人工判的，而这份基准把同一件事做到了 75,000 条判据的量级，也因此第一次给出了可比的数字。

留一个明天就能用的判断标准。如果你要为一个法律或金融流程选智能体，你能说出它的全过率是多少吗？如果说不出来，说明现有评测量的是它有多像，而不是有多少可以直接交付。

哪些话不能顺手写进去

有几处边界要收住。第一，全过率低不等于没用。门控对长任务极严，一个任务里十几个判据全部通过本身就是高要求。所以低分说明的是可用比例，不是能力为零。第二，这一轮复测跑在评测方的 harness 上，与厂商自报的框架不同，两组数字不能相减。也不能拿一方的门控后数字去对比另一方的门控前数字。

第三，门控口径本身存在可被绕开的地方。把任务切小、把判据拆细，都能让全过率好看一些。因此买方在验收时要比对任务切分方式，而不只看分数。第四，这份基准覆盖的是法律任务，它的结论不能不加验证地外推到医疗、交易结算这类判据完全不同的领域。

最后一条是来源性质。本文引用的全部读数来自评测与基准的发布方，属于两方联合产出；我们核过原文，但没有做第三方独立复现。文中凡涉及厂商自报与评测方复测的差别，都已分别标注，不混成既成事实。

参考来源

Artificial Analysis 关于 Harvey LAB-AA v1.1 的发布说明，2026-10-08（全过率、幻觉门控、成本与对照读数）

Harvey LAB-AA 榜单页（各模型门控后全过率与单任务成本的原始读数）

Harvey 关于法律智能体基准的初始结果与全过评分说明（含全过标准与早期基线）