[功能]: [CPU][GLM5Next][KDA] 为 GLM-5.3-Flash 添加 CPU KDA 后端

• 特征、动机和投出

□动机

GLM-5.3-Flash("Glm5NextConditional Generation")是一种混合模型,包含:

• 少量司法协助层
• KDA(基米三角洲注意/有门三角洲规则)线性注意层

即使GLM5Next的稀有的MLA / KeyPool路径被使CPU兼容,该模型仍然无法在没有KDA后端的情况下在CPU上执行端到端.

我请求本地CPU支持GLM5Next KDA.

□ 当前状态

GLM5N 下一步 KDA 执行目前生活在加速器特定路径下:

页:1 vllm/型号/glm5next/nvidia/kda.py

并使用面向GPU的Flash Linear Content / Triton 运算符,例如:

页:1
块  kda  with fused gate
引信  经常性  kda

似乎没有相应的:

页:1 vllm/型号/glm5next/cpu/kda.py

或当前 “ main” 上的 GLM5Next 的其他 CPU KDA 执行路径。

这使得KDA成为来自稀少的MLA/KeyPool支持的独立CPU阻塞器.

GLM-5.3-Flash拥有大量的KDA层,因此这不能通过只支持模型中稀有-MLA部分来合理地围绕.

□ 相关的 CPU 基础设施已经存在

CPU后端已经有大量支持相关的线性注意/状态-空间工作量.

特别是,目前的CPU平台代码包含一个加速的GDN路径,使用:

页:1
AMX 瓷砖
或者说
AVX-512 BF16 / VDPBF16PS

VLLM已经拥有用于状态混合模型的CPU机械,包括:

• 经常状态缓存
• 革命状态
• 块预填
• 解码
• KV/状态缓存混合管理

KDA与GDN不同,但它们关系密切,有可能再利用大部分这种基础设施。

□ KDA 特有工作

据我所知,GLM5Next KDA需要相当于CPU的CPU,用于围绕现有门-德尔塔/状态机械的KDA特定操作,包括:

页:1 Q/K/V 短演化 │ ▼ KDA 门计算 │ ▼ 块状门- delta 预填 │ ▼ 最终经常状态 │ ▼ 单托式经常性解码 │ ▼ 有门/RMSNorm 输出

重要部分包括:

* q/k/v 演变和演变状态更新
* KDA 门计算
* 每道衰变/衰变行为
* 预填的“ tunk  kda  with fused gate” 等值
* 用于解码的`fused commerce kda'等值
* 初始状态收集
* 最终状态回信
* 混合解码/预填处理
* 状态-缓存地址
*块边界
* 前缀缓存/状态恢复正确性

□ 请求的特性

为 GLM5Next 添加 CPU KDA 后端.

即使在全面AMX优化之前,正确的第一个实施也是有用的。

一种可能的结构是:

页:1
vllm/型号/glm5next/
常见/
尼维迪亚/
页:1
+++ cpu/ (中文(简体) ).
Kda.py (英语).

带有明确的平台发送,而不是允许CPU到达NVIDIA执行.

□可能的执行阶段

第一阶段:参考CPU的执行

提供功能 . . . . . . .