模型路由不是配置：闭环才是省钱的另一半

大多数企业的模型路由，是把一张静态映射表写进网关配置：简单请求去便宜模型，难请求去旗舰。这套配置确实省钱——但只省了能省的一半。ACL 2026 Industry Track 的 RouteNLP 用 8 周生产试点证明：把路由失败聚类、定向蒸馏进便宜模型、再自动重训路由器的闭环，成本改善是随机蒸馏的两倍以上。路由不是一个配置项，是一个学习系统；没跑闭环的企业，等于把另一半钱留在桌上。

起点：一个企业月花 20 万美元推理费，七成是白付的

RouteNLP 论文（arXiv:2604.23577，ACL 2026 Industry Track）给的起点数据很扎眼：某企业客户月推理成本超过 20 万美元，其中超过 70% 的查询是便宜模型完全能胜任的例行任务（来源：RouteNLP 论文摘要 — https://arxiv.org/abs/2604.23577 ）。这不是孤例——旗舰与最便宜可用模型之间的输入价差可达约 100 倍（如 DeepSeek V4 约 $0.44/百万输入 token 对 GPT-5.5-pro 约 $30/百万输入 token，参考价目对比 — https://www.digitalapplied.com/blog/llm-model-routing-2026-cost-quality-optimization-engineering-guide ）。当同一段 prompt 因为走哪个模型而价格差两个数量级，路由决策就是企业最大的成本杠杆之一——比缓存、比 prompt 压缩都大。

RouteNLP 在真实客户服务部门跑了 8 周试点：约 5,000 查询/天，推理成本降 58%，响应接受率保持 91%，p99 延迟从 1,847ms 降到 387ms（来源：同上 — https://arxiv.org/abs/2604.23577 ）。在覆盖金融、客服、法律的六任务基准上，成本降 40–85%，结构化任务质量保持 96–100%、生成任务 96–98%；人工评估里 74.5% 的被路由生成输出达到或超过旗舰模型质量。数字是论文口径，但量级与行业报告一致：路由省 40–85% 是常见区间。

静态路由为什么只拿一半：模型组合被当成了固定输入

静态路由的隐含假设是：模型组合是给定的，路由器只负责挑。这个假设漏掉了路由收益的另一半——便宜模型答不好的那部分请求，恰恰是可以通过改进便宜模型来收回的。RouteNLP 的贡献就是打破「固定组合」假设：把升级失败的请求聚类（PCA 到 128 维 + k-means，按「规模 × 平均质量差」排序），挑最大的系统性失败做定向知识蒸馏到便宜模型，然后自动重训路由器和置信度阈值。整个循环 2–3 轮收敛。

效果可以用控制变量看得最清楚：同样数据量下，定向蒸馏把成本比从 0.203 降到 0.159（21.7% 改善），随机蒸馏只降到 0.184（9.4% 改善）——失败聚类带来两倍以上的成本改善。拆掉协同优化，成本回升 28%；拆掉任务条件化，成本回升 18%。也就是说，路由收益不是「路由器选得好」，而是「便宜模型在不断变强」。

代价与边界：路由器不贵，闭环有适用条件

关于「路由会拖慢系统」的担忧，论文数据支持反方向：DistilBERT 路由器每查询只加 4.2ms（p99 8.1ms），相对典型 LLM 推理 500–2,000ms 可忽略。试点期间一次 45 分钟的 T4 故障，自动 T3 重路由只带来 2.1% 的质量劣化。真正要警惕的是用 LLM 自己当路由器——那会多一个完整推理往返，属于「路由器比模型还贵」的用法。

边界同样诚实：路由最有效的是异构多任务、难度分布重尾的工作负载；单任务、难查询主导、每天不到 100 次调用、或对 3% 不可接受率零容忍的场景收益有限。conformal 校准的保证是边际性的而非逐查询的，分布漂移可能破坏保证——所以闭环必须持续监测，不是配一次就完。成本节约在成本比约 25 倍时打平，当前价差约 100 倍，多数企业站在这条线右侧。

我们的判断

第一，路由是学习系统，不是配置项——静态映射只捕获一半收益，把失败聚类→定向蒸馏→重训跑起来的那一半，才是把路由从「省钱技巧」升级为「持续成本基础设施」的部分。第二，路由质量的下限由评估门禁决定——RouteNLP 用 conformal 校准给质量约束，企业至少要有 50–500 条代表性用例的回归门禁；没有门禁的路由，成本省得很显眼，质量劣化隐形且迟到。第三，路由器的形态决定成败——便宜路由器（规则、embedding、小分类器）开销可忽略，用 LLM 当路由器等于自己吃掉一半收益。第四，这与 OOMeta 自己的生产实践一致：我们把机械任务路由到 deepseek-v4-flash、把 agent 任务路由到 gemini-3.5-flash、把需要推理的任务留给旗舰模型——路由按任务类显式配置；下一步同样是把升级失败闭环回便宜层，而不是停留在静态表。

买家行动清单

第一，先建 eval 门禁再谈路由：把 50–500 条代表性用例放进 pre-merge CI，任何路由改动必须不比基线差，才允许推高便宜模型份额。第二，从静态路由起步，但把「失败回灌」设计进架构：升级日志必须结构化落库，否则闭环无从谈起。第三，按任务类路由而不是按模型路由：先分解工作负载（分类、抽取、生成、推理），再为每类选最便宜的胜任模型。第四，盯住便宜层的能力曲线：定期把最大系统性失败蒸馏进便宜模型，比反复调路由器权重更能降成本。第五，用便宜路由器，不用 LLM 路由器——路由开销应该是个位数毫秒。

留给你的决策问题：你的推理账单里，有多大比例流向了「其实用不着旗舰」的请求——而你有多少个月没有把升级失败变成便宜模型的新训练数据了？

参考来源：①RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization，ACL 2026 Industry Track（arXiv:2604.23577）— https://arxiv.org/abs/2604.23577 ；②LLM 路由成本-质量工程指南（价差与开销数据参考）— https://www.digitalapplied.com/blog/llm-model-routing-2026-cost-quality-optimization-engineering-guide