FIM 对 StarCoder 预训练的影响

Hi! 很想了解更多关于 FIM 和其对预训练模型的影响的细节。以下是 SantaCoder 论文中的一段内容： > FIM 为廉价 我们观察到 FIM 模型的性能比 No-FIM 模型略有下降。具体来说，我们发现 FIM 模型的 pass@100 性能在 HumanEval 上低于 2-4%，在 MBPP 上低于 1%。虽然 Bavarian 等人 (2022) 提出了 FIM-for-free 特性存在的证据 (即，认为自回归模型可以使用 FIM 进行训练，而不会损害从左向右的能力)，但我们确实发现 FIM 模型在从左向右的 text2code 基准测试中性能下降了一点，但一致性较高。 1. 对 StarCoder 是否进行了类似的分析？ 2. StarCoder 是否在 FIM 和下一个 token 数据之间进行了 50-50 的分割？ (如 此 Megatron 脚本 中所示)