tinyworlds

TinyWorlds 是基于 Google Deepmind 的 Genie 架构 构建的最小自回归世界模型。世界模型无法像 VEO3 那样使用无动作的互联网视频进行扩展。Deepmind 的 Genie 通过使用无先前动作数据来推断帧之间的动作，解决了这个问题。TinyWorlds 的目的是帮助人们理解 Deepmind 可能使用的巧妙的自回归、无监督方法，以实现可扩展的世界模型。

目录

• 开始使用
• 概述
• 构建块
  • 时空 Transformer
  • 变分自编码器
  • 有限标量量化
• 架构
  • 视频分词器
  • 动作分词器
  • 动力学模型
  • TinyWorlds 推理
  • 数据
  • 训练/推理加速
  • 形状标注关键字
• 贡献

概述

我们的宇宙也可以被视为一个世界模型。它是一个从状态到状态的地图，每一刻都在遵循一组法则进行执行。人类经历着多层次的新兴行为，