ttt-video-dit

TTT-Video 是一个用于微调风格转换和上下文扩展的扩散转换器的仓库。我们使用 Test-Time Training (TTT) 层来处理全局上下文中的长距离关系，同时重用原始预训练模型的注意力层来对每个三秒钟的片段进行局部注意力。

在此仓库中，我们包含了 63 秒视频生成的训练和推理代码。我们首先在原始预训练的 3 秒视频长度上微调模型，并引入 TTT 层。然后，我们分阶段在 9 秒、18 秒、30 秒和 63 秒的视频长度上进行训练，以实现上下文扩展。

我们的架构采用了 CogVideoX 5B 模型，这是一种用于文本到视频生成的扩散 Transformer，并加入了 TTT 层。原始的预训练注意力层保留了对每个 3 秒钟的片段及其对应文本的局部注意力。此外，还插入了 TTT 层，用于处理全局序列及其反向版本，其输出通过残差连接进行门控。

依赖项

您可以使用 conda (推荐) 或虚拟环境安装此项目所需的依赖项。