如何为 Flexgen 分割预填充和解码的执行?

作者: sunchaesk创建于 2024年7月9日更新于 2024年7月9日

我想知道将 flexgen 的执行分割为仅预填和解码的最佳方法是什么。我应该如何保存预填的值,以及在再次运行 flexgen 进行仅解码时如何加载这些值。

内容来源: FMInference/FlexLLMGen