性能: 将服务器循环中的低效轮询替换为基于事件的关闭,并优化健康检查

作者: amadhan882创建于 2026年2月9日更新于 2026年2月9日

摘要

text_generation_server/server.py 中当前的服务器循环实现使用了效率低下的轮询机制来处理关闭信号。此外,健康检查端点会重复分配 GPU,导致不必要的开销和内存碎片。

内容来源: huggingface/text-generation-inference