axolotl · Issues· 239 开放

通过 convert_lora_to_gguf.py 将 LoRA 适配器导出到 GGUF

GRPO 单 GPU / 与 TRL==0.18.x 共存

在 ring-flash-attention 中添加对新的 flash-attn (以及内核) 接口的支持

TokensPerSecondCallback 在自动恢复检测解析 resume_from_checkpoint 之前捕获了该信息,并默默地将令牌指标置为零

因果图 lm 评估和缺失日志的内存不足

模型支持系统后续工作

[功能] 根据数据集大小自动推荐 LoRA 等级

MLflow/WandB/Comet/Trackio 环境变量未在 Ray Train 工作节点上设置（use_ray: true）

使用文档打包的 Ring Attention 会产生不同的结果

量化 MoE 的专家级分层 CPU 卸载: 30B-A3B QLoRA 约为 7 GB (单个驻留专家层,延伸了层卸载思想)

极其缓慢（无法使用） - 处理长时间多回合对话的数据集 tokenization 到最后时

使用 sample_packing_eff_est 时, total_num_steps 计算结果不正确

[ 依赖冲突 ] FA4 使用 cutlass 4.6.0.dev0,而 sonicmoe EP 使用 4.6.0

[ 存储 ] 为 sonicmoe EP sentinel 打包并填充

DPO chat_template 策略不向聊天模板传递 tool_calls 和 Never Passes 工具