BundleSDF

BundleSDF: 神经网络 6-DoF 追踪和未知物体的 3D 重建

摘要 我们提出了一种近实时方法,用于从单目 RGBD 视频序列中追踪未知物体的 6-DoF 位置,同时对物体进行神经网络 3D 重建。我们的方法适用于任意刚体物体,即使视觉纹理大量缺失。物体假设仅在第一帧中进行了分割。不需要额外信息,也不对交互代理做出任何假设。我们方法的关键是一个神经对象域,该域在姿态图优化过程中同时被学习,以便稳定地将信息积累到一致的 3D 表示中,该表示同时捕捉了几何和外观。一个动态的姿态记忆帧池会自动维护,以促进这些线程之间的通信。我们的方法能够处理具有大幅度姿态变化、部分和完全遮挡、无纹理表面以及镜面高光的具有挑战性的序列。我们在 HO3D、YCBInEOAT 和 BEHAVE 数据集上进行了测试,证明我们的方法明显优于现有方法。

Bibtex

@InProceedings{bundlesdfwen2023,
author        = {Bowen Wen and Jonathan Tremblay and Valts Blukis and Stephen Tyree and Thomas M\"{u}ller and Alex Evans and Dieter Fox and Jan Kautz and Stan Birchfield},
title         = {{BundleSDF}: {N}eural 6-{DoF} Tracking and {3D} Reconstruction of Unknown Objects},
booktitle     = {CVPR},
year          = {2023},
}

数据下载

• 下载预训练的 分割网络权重, 并将其放置在 ./BundleTrack/XMem/saves/XMem-s012.pth
• 下载预训练的 LoFTR outdoor_ds.ckpt 权重, 并将其放置在 ./BundleTrack/LoFTR/weights/outdoor_ds.ckpt
• 下载 HO3D 数据。我们提供