#173·TinyLlama为什么不是 DPP？作者: noforit创建于 2024年4月1日更新于 2024年8月13日我能否询问一下,鉴于 tinyllama 模型相对较小,为什么战略选择使用 FSDP(完全分片数据并行)而不是 DDP(分布式数据并行)? 内容来源: jzhang38/TinyLlama查看 GitHub 原文在 GitHub 查看讨论