关于沉浸注意力的问题

作者: hujiaxin0创建于 2024年11月9日更新于 2024年11月9日

非常感谢您的开源退出流传输 - LLM! 我有一个关于汇点注意力的问题。通过调试此程序,我没有找到生成汇点注意力掩码的过程。随机注意力是否仍然用于生成第一个 token? 请您提供生成汇点注意力掩码的代码链接吗?

内容来源: mit-han-lab/streaming-llm