Baike.dev
All toolsAI codingTrendingOpen sourceNewsSubmit
Log in
Back to tool/Back to issues
#1355·ChatGLM3

请问 QLora 微调 chatglm3 之后, 如何使用 vllm 进行推理加速, 我无法使用 vllm 加载 QLora 微调后的模型

Author: ZY-LUCKCreated Mar 19, 2025Updated Mar 19, 2025

—

Source: zai-org/ChatGLM3

View original on GitHubView discussion on GitHub