ColossalAI · Issues· 504 开放

[DOC]: 如何使用 sgd 优化器?

[DOC]:被添加的日本README

[DOC]:用来训练Colossal-LLaMA-2的数据集是什么??

[DOC]: 环境安装失败

[DOC]: 更新 1D、2D、2.5D、3D 张量并行的 ShardConfig 文档

[DOTry 直接使用 lora_finetune.py 却出现错误 /bin/bash: 第 1 行: export: `=/usr/bin/supervisord': 不是有效标识符

[DOC]: 可以使用 ColossalAI 训练自定义的模型

[DOC]: 如何在低版本的 CUDA 上运行 Colossal-AI

[BUG]:FP8内节点检测忽略了 OpenMPI 和 Slurm 本地大小值

[BUG]: `fused_rotary_emb` Triton 内核中的 Q/K 交叉连线

[BUG]: 使用 Adagrad 优化器时，使用 LowLevelZeroPlugin（初始缩放系数为 8.33）时出现 `KeyError: 'sum'` 错误

[BUG]: 使用小的 initial_scale 和关闭 CPU 卸载时, FusedLAMB 会出错

[BUG]: 使用 use_fp8=true 的 LowLevelZeroPlugin 会导致 `形状不匹配错误: 形状 [32, 512] 对于大小为 512 的输入是无效的`

[错误]: RuntimeError(f"无法计算 {kind} 目标 {target} 的元数据: {e}"

[BUG]: 使用带有 Gemini 插件的 CPUAdam 时,出现 `AssertionError: div_scale 应保持默认值`