以下页面描述网关的预期行为。开源版本与企业版本正在拆分中,首个正式版本发布后细节会同步更新。
告警
规则读取与控制台同一批计数,投递到你已有的渠道。
告警在控制台里逐条配置,基于指标暴露的同一批序列求值。图表上看到的即为触发所依据的数值。
一条规则由四部分组成
| 部分 | 含义 |
|---|---|
| 条件 | 观测什么、阈值是多少 |
| 持续时间 | 条件需持续多久才触发 |
| 严重级别 | 用于路由投递,也用于控制台中的分组 |
| 渠道 | 通知发往哪里 |
一些值得先配上的规则
| 规则 | 为什么值得有 |
|---|---|
| 配额余量低于阈值 | 按当前消耗速率推算密钥何时触达上限,而不是等总量接近阈值 |
| 单 target 错误率超窗口阈值 | 在客户察觉之前发现某个 provider 正在劣化 |
| p99 相对该 target 自身基线回退 | 区分「这家 provider 变慢了」和「这家 provider 本来就慢」 |
| target 被暂停 / 恢复 | target 离开轮转时触发,恢复时再次触发 |
| 回退触发率 | 回退率上升通常早于错误率告警,是主目标劣化的一个早期信号 |
渠道
支持邮件、Slack 与 Webhook。Webhook 负载就是那条日志 JSON,外加触发它的规则信息。
新增渠道也是一次控制台操作,因此接入一个新的投递目标不需要重启,规则可以立刻指向它。
告警不做什么
不检查请求内容。规则可以按模型、provider、密钥或工作区设条件,但永远不能按提示词设条件。