CredentialPool 多 API 密钥健康度监控与轮转
解密 agent/credential_pool.py 中失效切换、冷却规避与配额锁定算法
📊 图 2-4-1:多 API 凭据探测、请求分流与会话主循环交互时序图
🔑 1. CredentialPool 多密钥并发隔离设计
为了保障多租户网关及高并发批处理请求的平稳进行,在 agent/credential_pool.py 中引入了密钥连接池概念:
密钥池维护着一个密钥健康度队列。当某密钥被 LLM 服务端返回 401 (Unauthorized) 或 403 (Forbidden) 时,该密钥会被立即降权并移入冷却槽 (Cooldown),动态拉起下一个有效密钥接替。
📊 图 2-4-2:外部凭据池加载、动态握手确认与接口认证交互图
🚦 2. 并发限速配额锁定
各密钥有对应的每分钟请求数 (RPM) 限制。密钥池为每个密钥维护滑动窗口计时,超出配额的密钥会被暂时锁定,直至其窗口期刷新复位,完全避开高并发下的 429 报错。