工具介绍
xDiT: 一个具有大规模并行性的可扩展推理引擎,用于扩散转换器 (DiT)
目录
- [ 认识 xDiT](#meet-xdit)
- [ 开源社区](#updates)
- [ 支持的 DiT](#support-dits)
- [ 性能表现](#support-dits)
- [ 快速开始](#QuickStart)
- [️ 使用 xDiT 的 ComfyUI](#comfyui)
- [✨ xDiT 的武器库](#secrets)
- [并行方法](#parallel)
- [1. PipeFusion](#PipeFusion)
- [2. 统一序列并行](#USP)
- [3. 混合并行](#hybrid_parallel)
- [4. CFG 并行](#cfg_parallel)
- [5. 并行 VAE](#parallel_vae)
- [单 GPU 加速](#1gpuacc)
- [编译加速](#compilation)
- [缓存加速](#cache_acceleration)
- [ 开发指南](#dev-guide)
- [ 历史与贡献征集](#history)
- [ 引用我们](#cite-us)
认识 xDiT
扩散变换器（DiTs）正推动高质量图像和视频生成技术的进步。
随着 DiTs 中输入上下文长度的不断增加，注意力机制的计算需求呈**二次方**增长！
因此，多 GPU 和多机部署对于满足在线服务中的**实时**需求至关重要。
并行推理
为满足DiTs应用的实时需求，并行推理是必不可少的。
xDiT是一个专为DiTs大规模并行部署而设计的推理引擎。
xDiT为扩散模型提供了一套高效的并行方法，以及计算加速。
xDiT的概览如下所示。
1. 序列并行，[USP](https://arxiv.org/abs/2405.07719)是我们提出的一种统一序列并行方法，结合了DeepSpeed-Ulysses和Ring-Attention。
2. [PipeFusion](https://arxiv.org/abs/2405.14430)，一种序列级流水线并行，类似于[TeraPipe](https://arxiv.org/abs/2102.07988)，但利用了扩散模型输入时间冗余的特性。
3. 数据并行：并行处理多个提示词，或从单个提示词并行生成多张图像。
4. CFG 并行，也称为拆分批次：在使用无分类器引导（CFG）且并行度恒定为 2 时激活。