在 CPU 上使用 --cache-type turbo4 进行端到端推理测试时失败

描述: 我尝试使用您的代码运行端到端推理测试。我编写了一个简单的脚本来提问一个基本问题，发现在使用 --cache-type turbo4 时，模型返回了错误的结果。 测试用例: 问题:"1+1等于几？只回答数字"(1+1等于几？只回答数字) 预期答案: 2 观察到的行为: 响应包含 0 个字符的内容和 102 个字符的推理 该推理输出是混乱的或毫无意义 调试输出: text [DEBUG] 正在向 http://127.0.0.1:8094/v1/chat/completions 发送查询 [DEBUG] 提示:"1+1等于几？只回答数字" [DEBUG] 正在等待响应... [DEBUG] 响应: 0 个字符的内容, 102 个字符的推理 [思考过程]: ------------------------------------------ <think> 嗯，用户，我现在需要回答的问题是"1等于几？"首先，我需要思考这个问题，用户可能是在数学题目中，或者数学题号，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，或者数学题，