#953·exo

[HARD] 支持任意张量并行分割

作者: rltakashige创建于 2025年12月21日更新于 2026年9月11日
标签enhancement

上下文: 张量并行允许通过在多个设备之间分发权重将模型分割到多个设备。张量并行的自动并行策略使用 MLX LM 的 shard_linearshard_inplace 函数来均匀地分割张量。这些函数假设分片维度能够整除组大小。

内容来源: exo-explore/exo