快速和内存效率精确的注意
闪存 该寄存器提供了FlashAttention和FlashAttenty-2从以下论文中的正式执行. FlashAttention:快活记忆 - 效果 与IO-Arecness Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré Paper: https://arxiv.org/abs/2205.14135 IEEE 关于我们使用 FlashAtthind 提交 MLPerf 2.0 基准的相片文章 。 FlashAttention-2:以更好的平行主义和工作分割来加快注意力 三道分会: https://tridao.me/publications/flash2/flash2.pdf. 使用量 我们非常高兴地看到FlashAttention在发行后很短的时间内被广泛采用. 本页面包含部分使用FlashAttenty的地方列表. FlashAttention和FlashAttentition-2可以自由使用和修改(参见LICENSE). 如果你使用它,请引用并信用闪存。 闪光3 β re..