在 TransformerXLLayer 代码片段中会遇到问题

作者: alokamgnaneswarasai创建于 2025年3月3日更新于 2025年3月3日

def forward(self, *, x: torch.Tensor, mem: Optional[torch.Tensor], mask: torch.Tensor): """ *x是形状为[seq_len, batch_size, d_model]的 token 层级特征向量张量 *mem是形状为[mem_len, batch_size, d_model]的过去 token 层级特征向量张量 *mask是形状为[seq_len, mem_len + seq_len, batch_size][seq_len, mem_len + seq_len, 1] 的矩阵。mask[i, j]如果 token 在i可以看到 token 在j`,则为真。

内容来源: labmlai/annotated_deep_learning_paper_implementations