ktransformers · Issues· 510 开放

安装起来似乎很困难

Intel 消费者级别 AVX-VNNI 支持

A100 不支持?

GLM5.2 int8: 'AMXMoEWrapper' 对象没有属性 'submit_write_weight_scale_to_buffer'

cache_salt/extra_key 计算并传输,但从未交付给 Req — radix-cache 租户隔离是无效操作(与上游 sglang 相比出现回退)

[功能请求] qwen4_exp 支持 (Qwen3.8-Flash-Next) — 通过 kt-kernel/sglang-kt 实现 CPU/GPU 混合专家卸载

常见问题 | FAQs

[MXFP4 分层预填] 根据功能白名单排除 SM 8.6 (Ampere) — 在双 A10 上的 DSV4 闪存会回退到序列化的全 GPU 路径

GeneralMoEWrapper.load_weights() 的 cpu 保存路径读取不存在的字典键, 导致 KeyError

DeepSeek-V4-Flash-0731 MTP 在 avx2 + sm89 上无法启动

kt- sft: 从断开 len 大小被块化 预填 大小, 从不按批量缩放 – 任何 per device train batch small > 1 硬度

使用 trtllm fp4 block scale moe 的 Depskepep 4 闪存出错

kvcache‑ai/sglang 何时会与 sgl‑project/sglang 同步

MiniMax M2.7: AttributeError: 'LlamafileMoEWrapper' 对象没有属性 'submit_write_weight_scale_to_buffer'

在 sglang-kt 中支持 DeepSeek-V4-Flash-0731 的 DSpark 探测性解码