[BUG/Help] 有个疑问，模型刚开始运行的时候推理很慢，但是过一段时间（问一些问题或者两三个小时后）推理就很快了，这个是什么原因？

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

A100 40G的显卡，部署了chatglm2-6b的模型，刚开始运行的时候推理很慢，字符差不多是一个一个跳出来的，等过差不多两三个小时，突然就变快了，想问问是什么原因，以及是否是正常情况，谢谢。

Expected Behavior

No response

Steps To Reproduce

1.启动大模型 2.问问题，刚开始时响应很慢，几乎是一个字符跳出来的 3.过一段时间，推理就很快了，刷一下答案就出来了

Environment

- OS:suse 12 sp5
- Python:3.8.1
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response