#202·ChatRWKV

加速模型载入

Author: shouldseeCreated Jul 18, 2024Updated Jul 23, 2024

RWKV6

目前模型载入的速度挺久的,需要载入ninja2 extension。开发的时候经常重新载入模型,有没有啥好办法加速?目前用的gradio应用基座,每次更改应用层逻辑的时候都会重载。