带有可观察的备用方案的 GPU 免费层仲裁路由策略

Plano 已经位于路由层,但并没有利用这一位置来自动降低开发者的成本。我们应该构建一套一流的 GPU 免费层调度策略:在可用时将低风险或突发的代理流量路由到免费/低成本的提供者,在不可用或过载时,确定性地回退到主提供者,并全面追踪每个路由决策。