q 的位置 ID
作者: ofhwei创建于 2023年10月30日更新于 2024年10月31日
你好，我想知道查询的位置 ID 是否与关键字相同，或者生成的实际上下文长度是否与之相同（这个注释让我感到困惑）？例如，如玩具示例中所述，M 的关键字的位置 ID 是 9。M 的 q 的位置 ID 是 9 还是 12？更重要的是，为什么要做出这种选择？
内容来源: mit-han-lab/streaming-llm
你好，我想知道查询的位置 ID 是否与关键字相同，或者生成的实际上下文长度是否与之相同（这个注释让我感到困惑）？例如，如玩具示例中所述，M 的关键字的位置 ID 是 9。M 的 q 的位置 ID 是 9 还是 12？更重要的是，为什么要做出这种选择？
内容来源: mit-han-lab/streaming-llm