使用官方 PyTorch FA3 版本
作者: varunneal创建于 2026年4月29日更新于 2026年8月2日
你好, Nanochat 朋友们, Pytorch 团队已经发布了 FA3 构建的官方版本,链接为: https://download.pytorch.org/whl/flash-attn-3/。 您可以通过 `pip install flash-attn-3 --find-links https://download.pytorch.org/whl/flash-attn-3/` 在 Hopper 机器上轻松安装这些构建。 我建议我们转向官方版本,远离 Huggingface Kernel (`varunneal/flash-attention-3`)。 (历史说明: 只有在 FA3 的官方分支与 `torch.compile` 不兼容时,这个 kernel 才是必要的。)
内容来源: karpathy/nanochat