[BFCL] OpenAICompletionsHandler: 过期的保持活动连接导致不必要的 400 错误
作者: jhughes2112创建于 2026年5月31日更新于 2026年5月31日
描述问题 在对自主托管推理服务器(LLaMA-server、vllm 等)运行 BFCL 时,生成阶段会产生间歇性的 400 响应 - 通常是 3-5 个一起出现,然后恢复。这些错误不是由于无效的请求体引起的,我们已经仔细检查了,确认不是服务器配置问题。在服务器上将并发性降低为 1,它会一直出现,如果模型是本地且速度快。
内容来源: ShishirPatil/gorilla