OOOMETA/OS
← 返回洞察

2026 年 11 月 · 5 分钟阅读

12 篇稿子写着可以发,其中 4 篇引的页面已经 404

12 篇稿子写着可以发,其中 4 篇引的页面已经 404

关键定义

引用存在性检查 对产出物里的每一条引用地址发一次请求并读取响应状态,确认被引对象仍然存在。它只回答存不存在,不回答引的是不是对的那一个。

引用身份检查 把产出物声称的母本标识与源系统里的真实记录做匹配。对象存在但身份不符时,前一层会放行,这一层才会拦下。

入队闸门 放在产出物进入待发队列之前的校验步骤,失败即拒收。它与发布前检查的区别在于被废掉的是几分钟的生成工作,而不是一整批已完成的文案。

11 月 15 日上午,销售组的待发队列里躺着 12 份写完的稿子,文件名前面都带 ready。四份是同一个题目的平台版本,标题、字数、UTM 参数都齐。每份的 frontmatter 里有一行 source_url,其中一份指向 servicenow.com 的一份白皮书 PDF;另一行是按文件名推出来的母本地址。我把那个地址在浏览器里打开,中文站返回 404,英文站也返回 404。

稿子本身没有写坏。长度在平台限制里,链接语法合法,平台语气也对。少的只有一件事:被引用的那一页不存在。

这条队列跑了整整一个月才被拦住,拦住它的不是评审,是当天早上加的一个脚本。脚本只做一件事:把每份稿子声称的母本地址发一次请求,中英文都要求 200,slug 还要在数据库里查得到。12 份进去,它点名了 4 份。同一次运行里 8 份真的返回了 200。

写变便宜了,核对没有

过去写四篇社交稿要一天到两天。写的人会顺手点一下链接,页面在,心里有底。现在生成器一天产 12 份,它不点链接,它只负责把摘要改写成四个平台的语气。整条链路里唯一没有被自动化的一步,是点开看一眼。

这不是我们一家的毛病。哥伦比亚大学护理学院牵头做了一次跨库审计,把 2023 年 1 月到 2026 年 2 月之间 PubMed Central 开放获取的 250 万篇论文、9,710 万条参考文献全部核了一遍,找出 4,046 条不存在的引用,分布在 2,810 篇论文里。2023 年这个比例是每万篇 4 条,2026 年初是 57 条,三年涨了 12 倍。审计结果发表在今年 5 月的《柳叶刀》上;到审计结束时,这些论文里超过 98% 没有更正、没有撤稿、没有任何标记。

英国皇家外科医学院今年 4 月测了几个模型给出的医学引用,最差的一档有 34% 查无此文或者无法核实,另一档是 25%,也有模型一条都没有编。厂商在这一项上的差距比通常想象的大。

三组数字放在一起,指向同一个机制:假引用的增长速度跟着写作产能走,不跟着模型能力走。评审这道闸门在 2023 年够用,因为投稿量和评审席位当时差得不多;2026 年不够用了,因为写的那一端翻了 12 倍,查的那一端还是同样几个人、同样一张表、同样的时间。我们自己那 12 份稿子,只是同一个机制缩小到一间公司规模的样子。

这类错为什么比错字贵

错字有人改。读者当作排版问题,编辑第二天就改掉。假引用没人敢改,因为它长得比真引用更完整:作者、期刊、年份、卷期、DOI 一应俱全,还能对应到一个真实存在的主题。它的问题不是缺东西,是多了一样不该有的东西。

我们那四份也一样。它们没有空着引用,是写了一个看起来很合理的地址,格式和长度都对。格式检查放过它,因为格式没有错。人眼也放过它,因为没人会为了发一条社交稿去开四个浏览器标签。

代价还是乘法的。一个题目分发四份,四个平台各一份,母本一错四份一起废,已经花掉的写作时间收不回来。如果发出去之后才发现,伤的是另一条链:每份稿子都带回流链接,读者点进去看到 404,下次就不会再点。内容分层这件事,靠的就是回流,链条上断一节,前面几层都白做。

存在性和身份是两件事

存在性检查是最便宜的一层。一条请求打过去看状态码,200 算过。12 次请求实测合计 3.6 秒。这一层今天就能加,不需要任何人批准,也不需要改架构。

但只看存在性会漏掉一半。那四份稿子如果只查状态码,会全部放行,因为它们引的那份 ServiceNow 白皮书 PDF 是活的,返回 200。问题不在链接坏没坏,在引错了对象:引的是厂商的白皮书,不是我们自己的母本,而分销稿按分层规则只能从自己的母本衍生。

第二层是身份。稿子声称的母本 slug 必须在站内文章表里有对应记录,中英文两个版本都要有。我们的脚本把这一条写成数据库查询加 slug 匹配,不是看有没有链接。这两个判据的差别,就是拦住四份和漏掉四份的差别。判断一个校验器好不好,看它拦的是什么:只拦坏链接的校验器,拦不住引错对象。

身份检查还有一个实现细节值得说清楚,就是拿什么做匹配。我们用的是 slug,不是标题。标题会改,母本更新、平台调整、甚至只是润色都会动到标题;slug 一旦发布就固定,它才是那份产出物的身份证。用标题做匹配,闸门会跟着内容编辑一起失效,而且失效的时候不会报错,只会放行。

第三层是一致性:引用的那句话得能在原文里找到。这一层没法全自动,做法是抽检加留痕,抽检比例写进流程,结果存档。前两层挡的是引错对象,第三层挡的是引对对象但说错话,后者更贵,也更难,因为它需要有人读。

格式检查为什么会全部通过

格式检查测的是形状。长度有没有超、结构有没有缺、链接是不是合法 URL、标题里有没有平台禁词。这四项都能从文本本身算出来,不需要访问外部世界。

假引用在这四项上是完美的。它有作者、有年份,格式合法,长度合适,语气也像模像样。检查表越长,通过得越让人安心,而通过的每一项都和“被引的那个东西存在吗”无关。这就是为什么这类错误能一路走到队列最后,它通过的不是侥幸,是所有检查本来就没有问到它。

补这一项也比补别的难。它不在任何现有检查表的扩展里,它需要一次对外请求,也就是一次和外部世界的接触。凡是要接触外部世界的检查,都得有人为它的失败负责:报错了算谁的、误报了停不停线。这件事定不下来,检查就永远留在“以后再说”。

为什么不能交给模型

最常见的修法是在提示词里加一句“请核实所有引用”。这句在 2024 年就基本失效了。模型没有网络状态,它只能在生成时凭训练记忆猜这个地址大概存在,猜出来的东西和编出来的东西,从文本上分辨不出来。

更根本的问题是判定的性质。模型的输出是概率的,同一个输入跑两次可能给两个答案。合规判定需要可复算:同样的输入永远同一个结论,别人拿同样的脚本能跑出同样的数。把校验交给模型,等于把“是否合规”这个判定变成又一次生成,账本由被审的那个人来记。

我们的做法是把两件事分开:生成用模型,校验用脚本。校验器是一行行 if,输出的是一个退出码。它不需要聪明,它只需要每次都说同样的话,并且在失败的时候让整批货出不了门。

闸门放在哪一步

同一道检查放在三个位置,挡住的东西不一样。放在发布前,挡住的是事故,废掉的是已经写完的四份文案。放在入队前,挡住的是工作,废掉的是生成器刚跑完的那几分钟。放在选题前什么都挡不住,因为那时候还没有引用。

位置还决定一件更隐蔽的事:队列的可信度。“可以发”如果是人工标记,它会随时间贬值,因为标记的人会累、会跳、会默认。如果是脚本算出来的,它每一天重新成立一次。这次闸门挪到入队前,直接的效果是 ready 这个状态重新变得能信:12 份里 8 份真能发,另外 4 份不进队列。

发布前检查还有一个副作用,是它训练出一种习惯:先做完再检查。整批文案写完,人已经累了,看什么都顺眼,这时候的检查是走形式。入队前检查养的是另一种习惯:每一步都得出门一次,写得快的优势才真的存在。

成本对比不复杂。人工复核一份社交稿要几分钟,12 份是一整个上午;脚本跑 12 条请求 3.6 秒。真正的差距不在三秒和一上午之间,在会不会去做:一上午的复核,忙起来就不做了;三秒的脚本,它自己会跑,而且每天跑。

什么时候不适用

外部文档会改版。今天 200 的链接,三个月后可能 301 跳到首页,或者返回一个 200 的“页面不存在”。状态码只能挡第一种。做法是引用时同时记下访问日期和一个存档地址,校验的时候抓正文里的特征串,不只看码。

内网和离线环境的校验对象换成镜像。抓一份当时的内容算哈希,引用里带哈希,校验的是“镜像里那一份有没有变”,不问“线上还在不在”。这两件事的差别在于,前者可以离线复算,后者必须有网。

反向的误判也要防。有些营销页会对机器请求返回 200 的软 404,或者直接挡掉 UA。闸门时灵时不灵,团队试几次之后就不信它了。一个闸门最怕的并不是漏,是让人不确定它准不准,一旦不确定,人就会绕过它。

规模小的时候不要搭系统。12 份的队列,一个循环加几行请求就够,跑完打印一行结果。等到每天跑不止一轮、条目上到 50 份,再考虑上服务。为了 12 份稿子搭一个校验平台,是另一种形式的浪费,而且平台自己也需要人维护。

我们的判断

我们不相信“让模型更仔细地引用”这条路。2026 年的数据已经说明它走到了哪一步:写作产能翻 12 倍,假引用跟着翻 12 倍,98% 至今没人更正。这个比例不是模型能力问题,是检查席位的问题。席位不加,模型再强也只是让假引用写得更像真的。

我们的判断:在 AI 流水线里,生成是判断,校验是账本,账本不能由生成器来记。一份能被别人接受的 AI 交付物,判据不是它写得多好,是它每一个断言都能被第三方拿着同样的工具重跑一遍。我们给客户写验收阈值也是这样:不写“内容质量良好”,写“每条引用可解析、可复算、可追溯”。

第二个判断关于闸门本身的价值。它挡住的数量其实不多,四份。它改变的是另一件事:一份产出物从“看起来完成了”变成“证明过完成了”。队列 12 份的时候这个差别不明显,队列 1,200 份的时候它是全部的差别,因为到那时没有人能靠眼睛看完。

今天能做的三件事

第一,把手上待发和待交付的产出物抽出来,每一条引用批量打一次请求,记状态码;软 404 就抓正文里的特征串。这件事不用改任何架构。

第二,给每条引用加两个字段:访问日期,存档地址。字段加上去之后,三个月后回头查,你知道当时看到的是什么,而不是现在看到的是什么。

第三,把校验放在生成之后、入队之前,失败直接拒收,不要标成“待人工”。标成待人工等于把问题交给一个不会专门处理它的人,而这个标签本身就是它继续留在队列里的理由。

留给买方一个问题:你的流水线里,有没有一步在证明被引用的对象存在?如果答案是“有人会看一眼”,那这一步的产能是多少篇一天。这个数字,就是你的队列真实的上限。

参考来源

内部读数来自 2026-11-15 上午对 sales/social-posts/ready/ 的实测:12 份待发稿、4 份未通过母本校验、12 次请求合计 3.6 秒,以及母本地址在两个语言版本下均返回 404 的请求结果。

Columbia School of Nursing:2.5 million papers, 97.1 million references, 4,046 fake citations in 2,810 papers

EurekAlert:rate rising from 4 to roughly 57 fake citations per 10,000 papers between 2023 and early 2026

Royal College of Surgeons of England:25% and 34% of references fabricated or unverifiable in the worst performing models

常见问题

为什么 12 份稿子里有 4 份引用了不存在的页面+

生成器按文件名推定母本地址,从不请求线上;现有的格式检查只测长度、结构和链接语法,没有一项在问被引对象是否存在。

只检查链接能不能打开够不够+

不够。那 4 份引的 ServiceNow 白皮书是活的,返回 200,但引的是厂商文档而不是自己的母本。存在性之后还要查身份,也就是 slug 能不能在文章表里查到。

为什么不用模型来核实引用+

模型在生成时没有网络状态,只能凭训练记忆猜地址存在,猜和编在文本上分不出来。而且判断需要可复算,同一输入必须同一结论,交给模型等于把合规变成又一次生成。

校验应该放在哪一步+

放在生成之后、入队之前,失败直接拒收。放在发布前会废掉整批已写完的文案,放在选题前没有可校验的对象。

外部链接三个月后改版怎么办+

引用时同时记录访问日期和一个存档地址,校验时抓正文里的特征串,不只看状态码,因为软 404 常常也返回 200。

队列只有十几份的时候要搭平台吗+

不需要。一个循环加几行请求就够,跑完打印一行结果;等到每天跑多轮、条目上到 50 份,再考虑做成服务。

拿你自己的执行日志跑一遍

交一份脱敏的近 30 天 agent 执行日志,48 小时内拿到八行表:八项技术项每项一行,每格带分子、分母和判据,缺口按是否要改 schema 排序。前三单 ¥8,000。

看八项字段检查 →