跳到主要内容
SolidwayLLM 网关

以下页面描述网关的预期行为。开源版本与企业版本正在拆分中,首个正式版本发布后细节会同步更新。

概览

Solidway 是什么、它围绕什么约束设计,以及这对你的流量意味着什么。

Solidway 是用 Rust 编写的 LLM 网关。它位于你的应用与模型服务之间,转发请求时不做修改。

设计约束很窄,也很明确:转发路径不碰请求载荷。 路由、健康判断与计量都按请求逐次完成, 不改变你发出的字节。

与转发路径并行运行的能力

三个机制围绕每个请求工作,且都不读取、不改写请求体:

  • 故障转移 —— 某个目标失败时,由回退链中的下一个目标承接
  • 负载均衡 —— 按权重与健康评分在密钥、端点之间分配流量
  • 熔断 —— 当某个目标报告的是它自身的问题时,将其暂停轮转

哪些内容会被保留

保留项 意义
请求体 provider 本周新发布的参数,不必等待网关发版即可使用
响应体 provider 返回什么,你的代码就解析什么
流式分块边界 客户端增量渲染在有无网关时行为一致
Header 顺序与大小写 依赖顺序的签名方案与 provider 侧校验继续可用
提示词前缀 改写前缀会让 provider 侧提示缓存失效,成本与延迟同时上升

Solidway 不做什么

不在 provider 协议方言之间转换。用 OpenAI SDK 调用 Claude,或用某家 SDK 调用另一家的模型, 设计上不在范围内。如果这是你的硬需求,Bifrost 与 LiteLLM 会做这件事。

也不提供覆盖所有 provider 的现成适配层。接入 provider 在控制台中完成,而不是靠新增适配模块。

接下来读什么

  • 安装 —— 让一个二进制跑起来
  • 第一个请求 —— 一份启动配置,然后在控制台加一个 provider
  • 透明转发 —— 到底保留了哪些东西
  • 故障转移 —— 目标如何被选择、重试与暂停