Qwen3 reranker 计算完整序列词汇的 logits,导致多 GB VRAM 突发和内存不足
作者: hypothese-zero创建于 2026年9月16日更新于 2026年9月16日
标签gpu
The Qwen3 reranker computes vocabulary logits for every sequence position although only the final position is used. In `xinference/model/rerank/sentence_transformers/core.py`, the current implementation is essentially:
内容来源: xorbitsai/inference