# img2img-turbo
[**论文**](https://arxiv.org/abs/2403.12036) | [**Sketch2Image 演示**](https://huggingface.co/spaces/gparmar/img2img-turbo-sketch)
#### **快速入门:** [**本地运行**](#getting-started) | [**Gradio（本地托管）**](#gradio-demo) | [**训练**](#training-with-your-own-data)
### 猫的素描
### 鱼的素描
我们提出了一种通用的方法,通过对抗学习将单步扩散模型(如 SD-Turbo)适应于新的任务和领域。这种方法可以利用预训练的扩散模型的内部知识,同时实现高效的推理(例如,对于 512x512 的图像,在 A6000 上为 0.29 秒,在 A100 上为 0.11 秒)。
我们的单步条件模型 **CycleGAN-Turbo** 和 **pix2pix-turbo** 可以执行各种图像到图像的转换任务,适用于无对应和有对应的设置。CycleGAN-Turbo 优于现有的基于 GAN 的方法和基于扩散的方法,而 pix2pix-turbo 与最近的作品(如 ControlNet for Sketch2Photo 和 Edge2Image)相比,具有单步推理。
[使用文本到图像模型的单步图像转换](https://arxiv.org/abs/2403.12036)
[Gaurav Parmar](https://gauravparmar.com/), [Taesung Park](https://taesung.me/), [Srinivasa Narasimhan](https://www.cs.cmu.edu/~srinivas/), [Jun-Yan Zhu](https://github.com/junyanz/)
CMU 和 Adobe, arXiv 2403.12036
### 生成多样化输出
**我们的生成器架构:**
我们将原始潜分布模型中的三个独立模块紧密集成到一个具有小可训练权重的单一端到端网络中。这种架构允许我们将输入图像 x 转换为输出 y，同时保留输入场景结构。我们在每个模块中使用 LoRA 适配器，引入跳过连接 a