如何为 Flexgen 分割预填充和解码的执行?
作者: sunchaesk创建于 2024年7月9日更新于 2024年7月9日
我想知道将 flexgen 的执行分割为仅预填和解码的最佳方法是什么。我应该如何保存预填的值,以及在再次运行 flexgen 进行仅解码时如何加载这些值。
内容来源: FMInference/FlexLLMGen
我想知道将 flexgen 的执行分割为仅预填和解码的最佳方法是什么。我应该如何保存预填的值,以及在再次运行 flexgen 进行仅解码时如何加载这些值。
内容来源: FMInference/FlexLLMGen