flash-attention · Issues· 1308 开放

[CuTe, SM80] 前向模型默认忽略 `block_sparse_tensors` 并返回稠密注意力

使用 CUDA 13.4 时,Windows 编译失败:缺少 /Zc:preprocessor、/std:c++17 限定 (此外没有 sm_121 gencode)

[RFC] FA4 — head_dim=256 & head_dim=512

在 SM89 (Ada) 上支持 head_dim=512，用于 Gemma 4 全局注意力层

如果令牌数量过大,则会发生 RuntimeError

[FA4/B200] return_lse=True 使 D64 向前运行速度提高了约 19%

无法在 Windows 上安装 - Aiter 路径太长

[FA4][SM120] flash_attn_varlen_func/flash_attn_func 在实际工作负载内存布局下,在 >=4 个可变长度段中发生非法内存访问 (b26/b29, GeForce Blackwell)

FA4 SM103 逆向预处理谓词形状不匹配,原因是填充头的尺寸不正确

splitkv 早期退出路径忽略了未填充的 LSE,将 -inf 写入错误的 LSE 插槽

FA4 对 RTX 6000 Pro Blackwell 的支持

在 Google Colab A100 上使用最新环境安装 pip install flash-attn 会卡死

使用 `torch.library.wrap_triton` 会在 `rotary` 中引入可衡量的 CPU 开销

[FA4] max_seqlen_q 向量在 varlen 前向传递时导致参数标注不匹配

测试/ test flash attn.py 不使用 einops 收集失败