pytorch 层的代码?
作者: AngledLuffa创建于 2025年1月19日更新于 2025年1月19日
是否有可用的代码,无论是在这里还是其他地方,可以实现一个用于流式注意力的 pytorch 层,其中的 sink 与各个 LLM 无关,它们都会被传递到 LLM 中?
内容来源: mit-han-lab/streaming-llm
是否有可用的代码,无论是在这里还是其他地方,可以实现一个用于流式注意力的 pytorch 层,其中的 sink 与各个 LLM 无关,它们都会被传递到 LLM 中?
内容来源: mit-han-lab/streaming-llm