Transformers: 面向文本、视觉、音频和多模态模型的先进 机器学习 模型的模型定义框架,可用于推理和训练。
使用 tokenizer_class=LlamaTokenizerFast 的自动分词器会默默地为字节级别的 BPE 分词器 json 文件构建一个句子分词流程,从而忽略所有 CJK 输入。
编码器重复惩罚在束扇或采样回传扩展后使用了不正确的源行
ExponentialDecayLengthPenalty 与最小长度限制结合时会生成 NaN EOS 分数
[急切的 MOE] 选择的专家 ID 最好不要被视为 0-d GPU 张量
在使用 `torch.set_float32_matmul_precision("high")` 时, B200 (可能还有其他) 上的 TF32 导致 RoPE 数据损坏
在下一个主要版本中将 `gradient_checkpointing` 重命名为 `activation_checkpointing`
训练器将 GradScaler 跳过的 fp16 步骤视为已完成的更新步骤(`global_step`,`max_steps`,`on_optimizer_step`)
[serge] 集成失败分类 - 2026-10-01
在 Mamba 系列模型中,右边填充的预填充会导致缓存损坏(零转换状态,衰减的 SSM 状态)
原生 TP 不分片 qwen3_vl_moe 专家 (每个排名完全复制权重)