OLMo 生态系统的 PyTorch 构建块
## 安装 首先按照操作系统和硬件的特定说明安装 [PyTorch](https://pytorch.org)。 对于开发,我们建议从源码安装: ```bash git clone https://github.com/allenai/OLMo-core.git cd OLMo-core pip install -e .[all] ``` 或者,您可以使用以下命令从 PyPI 安装: ```bash pip install ai2-olmo-core ``` 此外,还需要安装一些可选的依赖项,以使用某些功能,包括:
flash-attn、ring-flash-attn 和 TransformerEngine 用于相应的注意力后端。 - Liger-Kernel 用于低内存的"融合线性"损失实现。 - torchao 用于 float8 训练。 - grouped_gemm 用于无损混合专家 (MoE) 模型。在 PR #21 发布 (v0.1.6 之后) 之前,您可能需要从源代码编译。 - QuACK 用于部分 CuTe 基础的内核。
它们不包含安装的 OLMo-core 包,仅包含其依赖项,以适应常规代码更改。 - 如果您的硬件或驱动程序不同,它们可能无法在您自己的集群上运行。
暂无开放 Issues，或尚未同步最近议题。