hpc-ops

HPC-Ops 是一个 生产级、高性能且易于使用的 LLM 推理运算库，由 Tencent 鸿远人工智能基础设施团队开发。 它专注于主导实际服务延迟和吞吐量的热路径：注意力、MoE、GEMM、采样、归一化和通信-计算融合。 这些内核专门针对现代 NVIDIA GPU 设计，并与广泛使用的推理框架和内核库（如 vLLM、SGLang、FlashInfer、NCCL、cuBLAS 和 TensorRT-LLM）进行了对比测试。

• SOTA 性能和生产实践验证:针对 NVIDIA H20 GPU 进行了深度优化的内核,可在注意力、GEMM、MoE、采样和融合通信-计算运算器中提供 SOTA 性能。为 Tencent 中的大规模生产推理提供支持。

更新

HPC-Ops 引入了一种动态任务调度路径,该路径将所有请求分割为统一的 KV 图块,在每个解码步骤之前分配图块,并使用贪婪的箱装策略在各个 CTA 之间进行平衡。