是否默认打开内存高效的注意力? 如果我不使用 flash attn
作者: wac81创建于 2023年4月7日更新于 2023年4月24日
或者,如果我想使用内存高效的注意力,我必须调用 torch.nn.functional.scaled_dot_product_attention 函数。
内容来源: lucidrains/PaLM-rlhf-pytorch
或者,如果我想使用内存高效的注意力,我必须调用 torch.nn.functional.scaled_dot_product_attention 函数。
内容来源: lucidrains/PaLM-rlhf-pytorch