#32663·onnxruntime

GatherBlockQuantized CUDA 内核对块 ID 使用平面索引,当被quartized 轴不是块大小的倍数时给出错误的结果

作者: tianleiwu创建于 2026年9月16日更新于 2026年9月17日
标签quantizationep:CUDA

BLOCK = 32 VOCAB = 64

内容来源: microsoft/onnxruntime