模式网关是一个组织中每个模式调用都经过的服务,这样认证,路由,配额,故障,记录和密钥保管就一次发生,而不是在40个代码库中发生.
它是一个直截了当的工程,有两个真正硬的部件——正确的流线和分配配额——以及比建筑更大的维修负担。
本页描述架构,然后说明成本.
对一个人来说,什么是网关 变得很明显的大小。
一旦几个团队独立调用模型,马上有五件事是真实的:没有人能说出组织花费的,提供商的密钥在服务与CI系统之间分配,切换提供商意味着编辑每一个寄存器,没有关于寄给第三方的一致记录,每个团队都用不同的bug写出自己的重试逻辑.
一个网关通过作为单一的出入口来解决所有五个.
这就是它的真正定义:不是代名词,而是组织关于模型使用的政策一并被表述和执行的地方。
也引入了硬依赖性——这个组件在下架时会停止公司中每个AI功能.
这是中央贸易,它意味着一个门户必须设计到比它背后的大多数服务更高的可用标准。
设计在政策允许的情况下无法打开:当网关无法进入时,客户端库可以直接用断镜证书给供应商打电话,将总出站量转化为退化模式,而代价是必须审计的证书. 7个组成部分 描述身份和授权 每位服务员的证书,不是一个共享的秘密,因此配额和审计可以将任何事情归为属性.
将呼叫者映射到一组允许的模型和限制.
路由器将一个模型别名转化为混凝土提供者,模型和终点,按照规则:成本,耐久,容量,数据居住,当前健康状况.
使提供者选择配置改变的组件 。
在所有网关复制品中,对请求、信使和开支实行按电话人计算的限制。
分布状态,走正路,有严格的休息预算.
提供方适配器 将一个 canonical 请求形状翻译到每个提供方的API和后方,包括出错映射,符记和流语义.
进行中的维修大部分都住在这里.
恢复性超时,用焦急和有限度的预算进行复试,每个供应商的断路器,并故障到下一条路线.
一次,正确的,而不是在每个客户。
每个请求都有持久的记录:呼叫者、型号、信使计数、成本、耐久性、地位和(视政策而定)内容。
这是解答遵守问题并编制成本报告的艺术。
关键保管 提供人证书保存在一个地方,从未分发给呼叫者,在没有全舰队部署的情况下按时间表轮换.
请求路径通过它们,以便: 认证,解析别名,检查配额,选择一条路由,附加提供者证书,调用,在计算符号时将回复流回,记录审计条目,减记配额与实际使用.
这条路上的一切都是呼叫者所付的暂时性,所以目标就是几毫秒的网关起落点,不包括提供者的呼叫——这主要意味着配额检查必须快而审计书写必须同步.
路线和型号别名 最有价值的单一特征是间接:呼叫者要求一种能力,而不是供应商的产品名称。
后有三业.
提供者迁移是一个拉动请求,而不是每个团队的协调变化。
金丝雀是一种重量变化,这使得金丝雀在不触碰任何呼叫者的情况下可以进行模型变化的部署.
居住权可以集中执行,而不是通过公约执行——不能选择不能满足限制的路线,这比政策文件要强得多。
保持路线