功能
转发路径之外运行的能力
转发是快路径。以下能力按请求逐次判定,不改变你发出的字节。
Features
故障转移
可跨 provider、模型与密钥配置有序回退链。每次尝试使用独立的超时预算,上游变慢不会吃掉整个请求的时限。
failover
负载均衡
在密钥与端点之间按权重分配流量,健康评分依据实际观测到的延迟与错误率调整,而不是固定权重表。
load-balancing
熔断
当某个目标报告凭据、配额、权限或限流问题时,将其暂停轮转;待等待时间结束,再用一次探测确认是否可以继续服务。
circuit-breaking
可自托管
单个静态二进制。可用 Docker、Kubernetes 或裸机部署在你自己的网络内,运行时不连接外部控制面。
self-hosted
数据统计与分析
按 provider、模型、密钥与工作区统计请求量、Token、成本与延迟,便于把开销归属到具体团队。
analytics
容量预警
针对配额使用率、错误率与 p99 延迟设置阈值与趋势告警,在触达上限之前发送到邮件、Slack 或 Webhook。
capacity-alerts