OpenSeeD

开源

[ICCV 2023] 论文"一个简单的开放词汇分割和检测框架"的正式实现

762 stars0 点赞0 次浏览

工具介绍

[ICCV 2023] 论文"一个简单的开放词汇分割和检测框架"的正式实现

打开 OpenSeeD

这是对论文"一个简单的开放词汇分割和检测框架"的官方实现。 https://user-images.githubusercontent.com/34880758/225408795-d1e714e0-cfc8-4466-b052-045d54409a1d.mp4 您还可以在 Youtube 的视频链接中找到更详细的演示。 :point_right: [新]演示代码已提供 :point_right: [新] OpenSeeD 已被 ICCV 2023 接受! 训练代码已提供!

:rocket: 关键特性

一个简单的开放词汇分割和检测框架。
支持使用框输入进行交互式分割,以生成遮罩。

:bulb: 安装

bash

pip3 install torch==1.13.1 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu113
python -m pip install 'git+https://github.com/MaureenZOU/detectron2-xyz.git'
pip install git+https://github.com/cocodataset/panopticapi.git
python -m pip install -r requirements.txt
export DATASET=/pth/to/dataset

从这里下载预训练的检查点。

:bulb: 演示脚本

bash

python demo/demo_panoseg.py evaluate --conf_files configs/openseed/openseed_swint_lang.yaml  --image_path images/animals.png --overrides WEIGHT /path/to/ckpt/model_state_dict_swint_51.2ap.pt

:fire: 如果您想对开放词汇对象进行分割,请在 demo_panoseg.py 中修改 thing_classes 和 stuff_classes。