目前,所有 AI 上游服务都通过这种伪服务器方法进行模拟。
作者: shreemaan-abhishek创建于 2026年5月8日更新于 2026年8月11日
标签tech debt
目前,所有 AI 上游服务都使用这种伪服务器方法进行模拟。我担心这里的伪服务器和真实的 LLM 请求之间的差异太大了。我们是否应该引入专门用于 LLM 伪服务器的容器?
内容来源: apache/apisix
目前,所有 AI 上游服务都使用这种伪服务器方法进行模拟。我担心这里的伪服务器和真实的 LLM 请求之间的差异太大了。我们是否应该引入专门用于 LLM 伪服务器的容器?
内容来源: apache/apisix