开源的 CUDA、Triton 和 HIP 编译器,支持多种 GPU 和 CPU 架构。
Booth 是一个开源的 CUDA、HIP 和 Triton 编译器,针对多种 GPU 架构,无论是通过生成机器代码还是尽可能接近的方式进行编译。现在,它的“鱼骨”明显少了。
它的命名是为了纪念凯瑟琳·布思:第一个汇编语言的创造者,她所运行的计算机的共同创建者,神经网络的早期研究者,计算机领域女性的倡导者,一个税务员的女儿,出生于英国,选择成为加拿大人,也是一位母亲。我认为,以一个非凡的女性的名字来命名这个项目是非常恰当的,她创造了她的汇编语言运行的机器,这正是整个编译器所追求的那种自助"是的,为什么不呢?"的态度。
** 更新:** ggml-cuda,LLaMA.cpp 的 CUDA 部分,现在已经优化了。它的 67 个文件都进入了 Booth 的 IR,其中 47 个内核通过了新的原生 SASS 后端,该后端会生成一个 cubin,GPU 可以直接加载。到目前为止,NVIDIA 只支持 PTX 和驱动程序的 JIT。使用 kath --nvidia-cubin 来尝试一下。而且我再也不想看机器的内存转储了,lmao 天哪,这太艰难了。
最后一个仍然让我有些惊讶。你可以编写一个 Triton 内核、matmul 等,并在从头开始、没有 LLVM、直接到原生的机器上运行它,这种机器从未见过 GPU。我还没有遇到其他人这样使用 Triton,但我很乐意被证明是错误的,所以如果你在某个地方见过,请告诉我。
它还从大型机世界借来了一堆操作规范:在发生故障时生成真实的崩溃信息。
暂无开放 Issues,或尚未同步最近议题。