存储库提供了与论文 VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation (ICRA 2024) 相关的代码。
存储库提供了与论文 VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation (ICRA 2024) 相关的代码。
VLFM: 视觉-语言边界图用于零样本语义导航 Naoki Yokoyama, Sehoon Ha, Dhruv Batra, 王纪光, Bernadette Bucher 项目网站、论文 (arXiv)
了解人类如何利用语义知识在陌生环境中导航并决定下一步要探索的目标，对于开发能够具有类似人类搜索行为的机器人至关重要。我们提出了一种零样本导航方法，即视觉-语言前沿地图（VLFM），该方法受人类推理启发，旨在在新环境中寻找未知的语义对象。VLFM 通过深度观测构建占用率地图，以确定前沿，并利用 RGB 观测和预先训练的视觉-语言模型生成基于语言的值地图。然后，VLFM 使用该地图确定最有希望的前沿，以探索给定目标对象类别的实例。我们在 Habitat 模拟器中的 Gibson、Habitat-Matterport 3D（HM3D）和 Matterport 3D（MP3D）数据集中对 VLFM 进行了评估。值得注意的是，VLFM 在 Object Goal Navigation 任务中以路径长度加权成功率（SPL）作为衡量标准，在所有三个数据集上均实现了最先进的结果。此外，我们还展示了 VLFM 的零样本性质使其能够在现实世界的机器人上轻松部署，例如 Boston Dynamics Spot 移动操作平台。我们在 Spot 上部署了 VLFM，并展示了其在现实世界中有效导航到办公楼内的目标对象的能力，而无需对环境有任何先验知识。VLFM 的成就强调了视觉-语言模型在推进语义导航领域方面的巨大潜力。
创建 conda 环境:
conda_env_name=vlfm
conda create -n $conda_env_name Python=3.9 -y
conda activate $conda_env_name
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html
pip install git+https://git暂无开放 Issues，或尚未同步最近议题。