#5484·inference

V3.2.0版本,rerank接口调用无响应

Author: ran411285752Created Sep 4, 2026Updated Sep 8, 2026
Labelsgpu

System Info / 系統信息

cuda12.9

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?

  • docker / docker
  • pip install / 通过 pip install 安装
  • installation from source / 从源码安装

Version info / 版本信息

3.2.0

The command used to start Xinference / 用以启动 xinference 的命令

官方的dockercompose

Reproduction / 复现过程

xinference:3.2.0 rerank模型:bge-reranker-v2-m3

启动3.2.0,使用vllm推理部署,启动后,调用/v1/rerank接口无任何响应,一直处于请求中状态,回退到1.15.0版本,启动模型则能正常使用,在容器内部直接请求也无任何响应,截图如下

Image

Expected behavior / 期待表现

rerank模型接口能够正常使用