我们是否可以在预训练期间利用流式注意力计算来获益?
作者: youyu-2024创建于 2025年12月5日更新于 2025年12月5日
你好,在您的论文中,您讨论了添加可学习的占位符标记(汇聚标记)和采用全注意力计算。我想问一下,在预训练期间是否可以(并且可能有益)使用流式注意力计算?
内容来源: mit-han-lab/streaming-llm
你好,在您的论文中,您讨论了添加可学习的占位符标记(汇聚标记)和采用全注意力计算。我想问一下,在预训练期间是否可以(并且可能有益)使用流式注意力计算?
内容来源: mit-han-lab/streaming-llm