为什么在考虑 `space_needed` 时需要 `max_gen_len`?

作者: Mr-lonely0创建于 2024年3月29日更新于 2025年1月4日

感谢您的时间,以下是我的问题: 1. 我想知道为什么 cache_size 只在每个转换时更新,而不是每个解码步骤时更新。 2. 当考虑缓存所需的空间时,为什么还需要 max_gen_len 来包含

内容来源: mit-han-lab/streaming-llm