一个示例,多个配置文件

作者: delock创建于 2025年9月8日更新于 2025年9月8日

我想知道我们是否可以使用 ZenFlow 微调示例,并将此示例扩展为不同 DeepSpeed 技术的测试平台。 ZenFlow 微调示例: https://GitHub.com/deepspeedai/DeepSpeedExamples/tree/master/training/DeepSpeed-ZenFlow/finetuning 这是因为 DeepSpeed 主要是由配置驱动的,这意味着使用相同的训练脚本,只需要更改配置文件即可在不同模式下运行 DeepSpeed 训练。 我们可以将不同的配置文件放在目录中,例如 "z2_config.json"、"z3_config.json"、"z2_offload_config.json"、"zenflow_config.json" 等,然后更改 run.sh 使其将配置作为输入? 这可能是任何人快速开始使用 DeepSpeed 的一个很好的起点,可以使用真实示例。

内容来源: deepspeedai/DeepSpeedExamples