mtla

MTLA: 多头时序潜在注意力

MTLA 是一种基于 DeepSeek MLA 的新型注意力机制,具有一个关键创新: 关键值缓存的时间压缩。这使得自注意力更加高效,并在推理过程中大大减少内存占用,使其特别适用于仅包含解码器的架构,例如 LLM。该项目基于 PyTorch,也是一个开源的仅包含解码器的工具包,用于端到端语音和语言处理,涵盖文本摘要、语音翻译、语音识别、口语语言理解等任务,并提供了功能齐全的设置配方。

• 注意力机制：多头注意力（MHA）、多查询注意力（MQA）、分组查询注意力（GQA）、多头潜在注意力（MLA）和多头时序潜在注意力（MTLA）

完整的设置配方

• 任务：语音翻译（MuST-C）、语音识别（AMI）、口语理解（SLURP）和文本摘要（XSum）