monst3r

MonST3R 以主要是前馈的方式处理动态视频,生成随时间变化的动态点云,以及每帧的相机姿态和内参。这种表示方式可用于高效地计算下游任务,例如视频深度估计和动态/静态场景分割。

张军毅, 查尔斯·赫尔曼+, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole,

• 孙德清** (https://deqings.github.io/), ICLR, 2025. [项目页面] [论文] [交互式结果]

TODO

• 在 Google 云端硬盘 和 Hugging Face 上发布模型权重 (10/07)
• 发布用于全局优化的推理代码 (10/18)
• 发布 4D 可视化代码 (10/18)
• 发布训练代码和数据集准备工作 (10/19)
• 发布评估代码 (10/20)
• 内存高效优化 v1 (12/25): 全局优化的非批量化版本,速度较慢但内存占用较少
• 实时重建模式 (1/20): 一个完全前馈的实时重建模式 (样本结果)
• Gradio 演示

开始使用

MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion Ming-Hsuan Yang*