[mamf-finder] 添加 FP4 支持
作者: aflah02创建于 2026年3月25日更新于 2026年5月3日
Hi @stas00, 根据我们在 X 上的讨论,我查看了一下,EleutherAI Discord 上的某人指出了 `scaled_mm` API - https://GitHub.com/pytorch/pytorch/blob/88c77db9c862573f9d7a8eda58ae735415bc740d/torch/nn/functional.py#L6752,该 API 在 TorchAO 中被用于底层操作。他们还指出了 TorchAO 仓库中的这些基准函数,似乎暗示在 Torch 2.10.0 之后,您可以使用 MXPF4 与 scaled_mm 结合使用 - https://GitHub.com/pytorch/ao/blob/fe986580eaafc87f532534a8f222c7d11af18702/benchmarks/float8/bench_matmul.py#L166
内容来源: stas00/ml-engineering