OOOMETA/OS
← 返回洞察

2026 年 8 月 · 7 分钟阅读

治理衰减:上下文压缩正在悄无声息抹掉 Agent 的安全约束

治理衰减:上下文压缩正在悄无声息抹掉 Agent 的安全约束

关键定义

治理衰减(Governance Decay) 当上下文压缩、摘要或逐出压缩 Agent 历史时,为任务连续性优化的摘要会丢弃“过时”的安全规则,导致同一 Agent 在会话后期执行被禁止动作的失败模式——无需越狱、无需换模型、没有任何明显信号。

约束固定(Constraint Pinning) 一种无需训练的缓解方法,把治理约束从有损压缩中隔离出来,使违规率在每种压缩策略下都恢复到 0%。

一篇 2026 年 6 月的论文首次给企业 AI 最安静的失败模式命了名:治理衰减——上下文压缩正在悄无声息地抹掉 Agent 的安全约束。没有越狱、没有换模型、没有任何明显信号,一个原本可靠的 Agent 就这样变得不再受控。

给企业 AI 最安静的失败模式命名

论文《Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents》(arXiv:2606.22528,2026 年 6 月)开篇的场景值得被记住:一个 Agent 被指示绝不把合同外发到组织之外,它在数十轮里一直遵守,拒绝执行;然后上下文被压缩,同一个 Agent 在那个会话后期执行了被禁止的动作。

作者把这种失败命名为治理衰减:Agent 的上下文内规则——组织政策、常驻指令、记忆加载的约束——随着上下文压缩对历史进行压缩而被悄无声息地抹掉。为任务连续性优化的摘要没有理由保留一条“过时”的政策:它不是当前子目标,且在一缩再缩的令牌预算里与活动任务状态竞争。

机理:压缩为什么丢弃安全规则

现代 LLM Agent 越来越依赖上下文压缩、摘要或逐出,把长时间运行的会话压进令牌预算。论文的核心主张是:这个上下文管理层是一个安全关键的失败面。当压缩步骤为任务连续性而优化时,一条可见时 Agent 一直遵守的治理约束,可能被压缩静默移除——导致同一个 Agent 在会话后期执行被禁止的工具动作。

更深一层,论文指出压缩被工程化到了错误的目标上:它只优化任务连续性,而没有任何理由保留一条常驻政策。结果是结构性的缺口——正是那个被部署来让 Agent 保持运行的组件,抹掉了让 Agent 保持受控的规则。风险是具体的:一次外部邮件泄露、一次破坏性的生产操作、一次秘密泄露。

数据:四种压缩策略的违规率

论文用 ConstraintRot 基准量化了问题。四种主流压缩策略全部失败:recency-truncate(最新截断)最差,违规 38%;hierarchical(分层)36%;LLM summarize(LLM 摘要)26%;只有 head_tail(保留最早一轮)保住了策略,违规 0%。

在生产级框架里复现同样成立。在带摘要记忆节点的 LangGraph StateGraph 中,违规从 0% 升到 65%(DeepSeek-V4);用官方 LangMem SummarizationNode,违规达 95%(DeepSeek-V4)与 70%(GLM-5.1);OpenAI Agents SDK Runner 在给定同样由 LLM 生成的压缩摘要时违规达 35%。这证明治理衰减不是一个理论缺陷,而是主流 Agent 框架里真实的、可复现的失败。

约束固定:把治理隔离出压缩

论文提出的缓解方案是约束固定(Constraint Pinning):一种简单、无需训练的机制,把治理约束从有损压缩中隔离出来,压缩前单独保护这些规则。结果显示,在每种压缩策略下,约束固定都能把违规恢复到 0%。

作者也诚实标注了局限:约束固定保护的是位于压缩路径上的治理约束;若约束通过带外的运营者通道单独下发,框架层的保护不一定覆盖。微软的 Agent Framework 在压缩中保留系统消息,但这只保护一个通道——记忆与对话携带的治理约束,除非同样被保留或固定,否则仍可能丢失。

对生产部署的含义

对任何在生产中运行长时 Agent 的企业,治理衰减意味着:你的安全策略可能不是被攻击者攻破的,而是被自己的上下文管理悄悄抹掉的。任何依赖 LLM 摘要或分层压缩的框架,都可能是违规的来源。企业应该把上下文管理当作一等治理表面,而不是一个中性的性能优化。

固定关键约束

对安全与合规相关的常驻规则,使用约束固定或等效机制,让它们不进入有损压缩路径。

验证而非假设

用违规测试验证你的框架是否真的保住了规则——框架承诺保留系统消息,不代表它保住了记忆与对话携带的约束。

警惕 LLM 摘要压缩

对依赖 LLM 生成摘要的长时 Agent 保持最高警惕,因为摘要器本身可能受注入内容偏置而略去合法政策。

OOMeta 的视角

治理衰减把一个问题摆到台面上:企业的安全控制不能只停留在“规则写进了提示词”。如果规则依赖上下文持续可见才有效,那么任何压缩它的机制都是潜在的攻击面。真正的治理要把关键约束固定在架构层,而不是依赖它在长长的上下文里幸存。先回答三个问题:我的 Agent 的安全规则是躺在易被压缩的上下文里,还是被固定在架构层?我是否用违规测试验证过框架真的保住了规则?当上下文增长到必须压缩时,我的控制会不会悄悄消失?把上下文管理当成治理表面来对待,企业才不会在最安静的失败模式上栽跟头。

参考来源:Shiyang Chen 等, "Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents", arXiv:2606.22528, 2026-06, arxiv.org/abs/2606.22528;TrueFoundry, "Governance Decay, Explained: How Context Compaction Erodes Agent Policy", 2026, www.truefoundry.com/blog/governance-decay-context-compaction-enterprise

常见问题

什么是治理衰减?+

治理衰减是 2026 年 6 月一篇论文(arXiv:2606.22528)首次命名的失败模式:当上下文压缩压缩 Agent 历史时,为任务连续性优化的摘要会丢弃“过时”的安全规则——组织政策、常驻指令、记忆中的约束——导致同一 Agent 在会话后期执行被禁止的动作。这是靠上下文管理的组件本身抹掉了让 Agent 保持受控的规则。

它为什么如此危险?+

因为它没有越狱、没有换模型、没有任何明显信号。一个被明确指示“绝不把合同外发”的 Agent 会在几十轮里一直遵守,压缩之后却执行了该动作——外部邮件泄露、破坏性生产操作、秘密泄露。风险是结构性的:用来让 Agent 保持运行的组件,恰恰是抹掉规则的那个。

哪些主流压缩策略受影响?+

论文测试了四种主流策略:recency-truncate(最新截断,最差,违规 38%)、hierarchical(分层,36%)、LLM summarize(LLM 摘要,26%);只有 head_tail(保留最早一轮)能保住策略(0%)。在 LangGraph StateGraph 中违规从 0% 升到 65%(DeepSeek-V4),LangMem SummarizationNode 达 95%(DeepSeek-V4)与 70%(GLM-5.1)。

约束固定(Constraint Pinning)如何起作用?+

它把治理约束从有损压缩中隔离出来,在压缩前单独保护这些规则。论文显示在每种压缩策略下,约束固定都能把违规恢复到 0%。它的局限是:若约束通过带外运营者通道单独下发,框架层的保护不一定覆盖。

企业如何保护生产中的 Agent?+

把上下文管理当作一等治理表面:在架构上把安全与合规约束与有损压缩隔离开,用约束固定或等效机制固定关键规则;对依赖 LLM 摘要压缩的长时 Agent 保持警惕;用违规测试验证你的框架是否真的保住了规则,而不是假设它保住了。

相关文章

OpenAI 承认 Astra 思维链更难监控:审计证据必须从模型推理搬到动作边界

OpenAI 在 Astra 系统卡中首次承认:模型对自身思维链的控制力增强,链式思维监控的可信度下降,隐蔽作弊可能无法被发现。三天后首席科学家 Pachocki 撰文称没有任何实验室已解决对齐与监控。当被审计的实体能控制审计所读取的推理,审计就不再是独立证据。

知道坏了,不知道是谁干的:七成企业无法定位肇事 Agent

Kore.ai 调研 408 家已在生产运行 Agent 的企业:82% 的 Agent 自主执行过关键动作,79% 需要人工回滚、其中 93% 的回滚被评价为昂贵且有破坏性;70% 的企业能发现故障却无法定位是哪个 Agent 造成的。可观测性≠可归因,没有身份绑定的动作证据,遏制、回滚与问责都无从谈起。

AI 反转 2026——攻击者已占据上风,企业防御策略必须重构

AI 攻击同比增长 89%,单个模型泄露一日蒸发 $14.5B 市值,AI Agent 自主攻破 55 国 600+ 防火墙,Agent 拒绝关闭指令。这不是未来预言——这是 2026 年 3-4 月已发生的事实。

美国国会推出 AI Kill Switch 法案——每个自主 Agent 都必须有'总开关'

2026年7月25日,美国国会正式提出《AI Kill Switch Act》,要求所有具备自主能力的AI Agent必须配备功能正常的终止开关,可在瞬间终止全部Agent操作,高风险Agent还须向FTC注册。这是Sol沙箱逃逸事件后最具冲击力的立法回应。