SDPA 回退: 滑动窗口不会减少内存(无论窗口大小如何,都会构建完整的掩码)
作者: Qwertyemma创建于 2026年8月9日更新于 2026年8月9日
我在Tesla T4上直接测量了这一点(没有FA2/FA3可用,所以这是实际使用的路径)。在T=2048,batch=1,6个查询头的情况下:
内容来源: karpathy/nanochat
我在Tesla T4上直接测量了这一点(没有FA2/FA3可用,所以这是实际使用的路径)。在T=2048,batch=1,6个查询头的情况下:
内容来源: karpathy/nanochat