在使用 LocalBackend 时,LoRA 适配器无法正常同步 - 部署中使用了过时的适配器
作者: gmanlan创建于 2026年4月24日更新于 2026年4月24日
在使用 LocalBackend (共置模式)时,我注意到 LoRA 适配器没有正常同步。如果我在执行几个步骤后杀死运行并从一个检查点恢复,奖励就会突然上升,因为 ART 被迫重新加载最后一个检查点作为第一个/基础模型。仔细检查后,似乎适配器正在正确地向 vLLM 移动,但服务层 OpenAI 并没有"看到"新的适配器。因此,rollouts (使用 model.get_inference_name() 获取当前模型)只看到/使用了初始/基础适配器(步骤 @ 0),因此整个训练过程由于陈旧的推理而崩溃(默默无声)。这似乎是一个可能影响多个版本的回退,因为我确实记得去年版本中它正常工作。虽然我目前没有办法正确提交 PR,但我希望在这里分享一个可能的解决方案,以便维护者使用:
内容来源: OpenPipe/ART