#708·mergekit

跨架构合并:建议 — 规范化作为预处理变换

作者: mgillr创建于 2026年9月21日更新于 2026年9月21日

(#290) 允许用户尝试跨架构合并,但对两个真正的障碍(不兼容的参数名称和不兼容的形状)没有做任何处理。我想贡献一种解决这两个问题的方法,这个方法来自一个正在运行的系统:我们在 Hub 上发布了跨 4 个架构家族(Qwen、LLaMA、Mistral、Phi 系列)的最多 9 个模型的合并集,并提供了针对每个关键字的基准证据 - 在一个 A100 上运行 28.5 分钟,通过机器进行流式传输,输出字节完全相同。

内容来源: arcee-ai/mergekit