Emu3

我们推出了 Emu3，这是一套全新的、仅使用 下一个 token 预测 进行训练的先进多模型套件！通过将图像、文本和视频分解为离散空间，我们从头开始在多模序列混合中训练了一个 Transformer。

• Emu3 仅通过预测下一个视觉标记就能生成高质量的图像,并自然支持灵活的分辨率和风格。- Emu3 具有强大的视觉-语言理解能力,可以观察物理世界并提供连贯的文本响应。值得注意的是,这种能力无需依赖 CLIP 和预训练的 LLM。- Emu3 通过预测视频序列中的下一个标记来简单地生成视频,这与 Sora 中的视频扩散模型不同。在上下文中,Emu3 还可以自然地扩展视频并预测接下来会发生什么。

新闻

• [2025.08] Emu3-Chat（https://huggingface.co/BAAI/Emu3-Chat） 使用 Transformers 后端，已被 VLLM 支持为 Emu3ForConditionalGeneration。
• [2024.10] 我们发布了预训练的图像模型 Emu3-Stage1 和 sft 脚本。该模型支持图像描述，可以生成分辨率为 512x512 的图像。您可以使用我们的训练脚本进行进一步的参数调整，以实现更多的图像生成和感知任务。
• [2024.09] 我们发布了**Emu3-Chat** 和**Emu3-Gen**,这两个模型分别用于视觉-语言理解和视觉生成。
• [2024.09] 我们推出 Emu3,一套全新的先进多模型,仅通过下一个 token 预测进行训练。

待办事项

• 发布模型