[BUG]: 使用小的 initial_scale 和关闭 CPU 卸载时, FusedLAMB 会出错
作者: sdjasj创建于 2026年1月14日更新于 2026年4月14日
标签bug
import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader import colossalai from colossalai.booster import Booster from colossalai.nn.optimizer.fused_lamb import FusedLAMB from colossalai.booster.plugin import LowLevelZeroPlugin
内容来源: hpcaitech/ColossalAI