vimGPT

vimGPT

为多模态模型提供操作界面。

https://github.com/ishan0102/vimGPT/assets/47067154/467be2ac-7e8d-47de-af89-5bb6f51c1c31

概述

众多初创公司和开源项目正在探索将LLM用于网页浏览。在这个项目中，我感兴趣的是能否仅利用GPT-4V的视觉能力进行网页浏览。

问题在于，如果不将浏览器DOM以文本形式提供给模型，就很难确定模型想要点击什么。Vimium是一款Chrome扩展，让你仅用键盘就能浏览网页。我觉得看看能否利用Vimium为模型提供一种与网页交互的方式会很有趣。

使用方法

安装Python依赖：

pip install -r requirements.txt

在本地下载 Vimium（使用 Playwright 运行时需手动加载扩展程序）：

./setup.sh

运行脚本：

python main.py

语音模式

语音模式：使用语音命令与浏览器交互。只需说出您的目标，即可实时观看 vimGPT 执行操作。

python main.py --voice

想法

欢迎与我合作，我有很多想法：

• 一旦 Assistant API 发布，就使用它进行自动上下文检索。Assistant API 会创建一个线程，我们可以向其中添加消息，以保留操作历史，但它目前还不支持 Vision API。
• 用于元素叠加的 Vimium 分支。一个专门版本的 Vimium，能够根据上下文有选择地叠加元素，可能会很有用，实际上是根据用户查询进行剪枝。测试不同大小的框或颜色是否有帮助，可能值得一试。
• 使用更高分辨率的图像，因为它在低分辨率下似乎会失败。我注意到，低于某个阈值时，模型什么都检测不到。使用更高分辨率的图像可能会改善这一点，但这需要更多 token。
• 对 LLaVa 或 CogVLM 或 Fuyu-8B 进行微调来实现这一点。可能会更快或更便宜。C