关于"使用注意力池的滚动 KV 缓存"的问题

你好，非常感谢您的出色工作和代码。 我有一个问题要问一下，关于滚动 KV 缓存。 如果以自回归方式解码，那么在第一层之外，缓存是否仍然有效？ 我了解，在每个步骤中都会应用位置嵌入，以确保模型始终看到一致的位置，但是当窗口移动时，第二层的 KV 缓存是基于第一层的输出计算的，而第一层仍然包含对上一步注意力的依赖，而后者又依赖于上一步的位置嵌入。