AI 用量审计与并发控制

用量可观测

在「AI 服务」的用量统计中可查看：

• 请求数与缓存命中；
• 拒绝（超限/无权限等）；
• Token 估算；
• 各 Provider 调用情况。

控制台「概览」页也提供 AI Ops 仪表盘，集中查看 AI 运行态势。

并发与边界

• 为客户端 Key / 应用设置并发上限，避免单应用占满整体 AI 能力；
• 通过使用边界限制可调用的虚拟模型范围。

实践建议

• 给不同业务发不同的客户端 API Key，便于分别统计与限流；
• 关注缓存命中率与拒绝率，结合 Token 估算评估成本；
• 上游 Provider 异常时，可在网关侧切换路由而不影响业务接入地址。