为什么重新计算结果可能与窗口注意力不同?

作者: habaohaba创建于 2024年10月11日更新于 2024年11月11日

我认为重新计算只是给出了在使用窗口注意力时保存的 kv 状态的相同值。那么重新计算和滑动窗口的缓存版本之间的区别是什么?或者是因为无论我们使用哪种位置嵌入, LLM 都会学习设置第一个索引的较大注意力值?

内容来源: mit-han-lab/streaming-llm