支持在不预先计算目标缓存的情况下进行在线培训
作者: Ofir408创建于 2026年6月30日更新于 2026年8月5日
你好,根据 数据准备文档,训练需要一个离线步骤(prepare_target_cache.py)将目标模型的隐藏状态存储到磁盘上。文档中提醒,对于 Qwen/Qwen3-4B,此缓存约为 ~38 TB,在没有大规模存储空间的情况下是一个障碍。您能否添加一个在线训练模式,在运行时即时运行目标模型,而不是从预先计算的缓存中读取?我知道这会牺牲存储空间以换取更长的训练时间,但这将有助于存储受限的设置。像 SpecForge 这样的框架已经支持此功能。
内容来源: deepseek-ai/DeepSpec