加速模型加载
作者: shouldsee创建于 2024年7月18日更新于 2024年7月23日
RWKV6 目前模型加载速度较慢,需要加载 ninja2 extension。开发过程中经常重新加载模型,有没有什么好方法来加速?目前使用的 gradio 应用基座,每次更改应用层逻辑时都会重新加载。
内容来源: BlinkDL/ChatRWKV
RWKV6 目前模型加载速度较慢,需要加载 ninja2 extension。开发过程中经常重新加载模型,有没有什么好方法来加速?目前使用的 gradio 应用基座,每次更改应用层逻辑时都会重新加载。
内容来源: BlinkDL/ChatRWKV