(功能请求) EMA 模型

在我的微调实验中,我遇到了灾难性的遗忘现象,并且想知道使用 EMA 是否能够缓解这一问题。我不确定是否有必要仅针对图像编码器进行此操作,还是同时针对文本 + 图像编码器。如果有意义,我很乐意在得到指导的情况下尝试实现此操作。