OmniRoute是一个本地的AI网关:它将一个OpenAI相容的端点()放入上百个提供者面前,然后用自动倒计时的方式在他们之间传递请求.
安装它,对准你的编码工具, 它"只是工作。" 但"从"起"和"从"起"不同.
一个回答但掉入流体的网关,工具呼叫,或提供者出道,是装饰性的,不起作用.
这篇文章是一份核对表 用于证明一个新的本地安装 在你给它装上编码器之前 实际完成了它的工作。
1.
安装和启动它 端口的服务器靴子,仪表板在.打开,API基础URL是.
如果您使用 pnpm,请加入土建旗:.
一个新鲜的安装是零配置:自由提供商(OpenCode Free,Felo)预先被接通到组合器中,所以一个全新的服务器解答出盒子,没有API密钥.
2.
运行本地诊断 () OmniRoute 船载一个在未启动服务器的情况下运行的健康检查器:将此作为第一个大门。
如果报告中断运行时间, 本地模块, 或 DB 问题, 请在触摸网络之前将其修复 。
其他有用的CLI探测器:
3.
验证模型列表 连接的提供者应该在.
如果您在 Endpoints 页面上创建了 API 密钥,请使用它查询: 非空列表意味着网关可以看到提供者.
但不要停下来——模型列表不是一个工作要求.
4.
吸烟测试真实要求 最快的端到端证明:您也可以直接调用特定的自由后端(如OpenCode Free)来隔离一个提供者,然后毕业让路由器选择.
每个反应都带有一个标题,命名策略,提供者,以及服务策略的耐用性——用它来确认路由正在实现你所期望的.
5.
许多工具取决于流出。
发送相同的请求 : 您应该看到块逐渐到达, 而不是一个blob 。
只有非流化模式的网关会打破大多数代理CLI.
6.
调用编码代理的测试工具通过调用工具/功能进行直播。
校验其圆通:一个有效的回答应该包括一个有正确结构的参数的块,而不是一个装作工具调用的纯文本回答.
7.
试验后退(整个点) 你运行一个网关的原因是弹性。
为了证明这一点:在仪表板上创建一个由两个或两个以上提供者组成的组合.
注意头部,确认主要提供者正在提供服务。
故意打破主键(取出其键,用完配额,或禁用),然后重复请求.
请求仍应成功,现在已通向下一个提供者——默默无声,客户不会出现出错.
如果是500多岁, 你的倒背链不是按你的想法线。
8.
一旦API表面检查出来,连接一个实际剂: 或者让OmniRoute为你写一个配置,每个工具:甚至更简单——通过没有配置文字的网关启动一个CLI: 然后做一个真正的任务(编辑一个文件,运行一个工具),而不是一个好莱坞.
一个完成的任务证明了整个管道。
核查清单 检查通过条件 没有失败的检查提供商列出 Plain Chat Organization + header Streaming Control 调用响应 Fallback Request 中的结构化工具,它能活下来一个已死的主要提供者 Real 代理任务 A 编码 CLI 完成一个实际编辑 当检查失败时对一个本地模块的抱怨——为您的软件包管理器重新安装正确的构建标记.
模型列表是空的,但提供者显示连接的——验证端点页面上的密钥是您发送的.
工程非分流,断流——检查超时;分流摊由.
倒计时不会触发——确认被破损的提供商实际上会因出错而失败 OmniRoute可以对(4xx/5xx)采取行动,而组合有不止一步.
这个清单的10分钟比一个小时的调试时间要快,因为你的经纪人在真正的工作中间沉默地"无法到达模型".