一套标记的限制

我尝试了`访问YC官方网站,并将W25 B2B标签下的所有企业信息汇编成一个清晰、结构完善的表格。 一定要找到所有的东西。 从马努斯人的一个使用案例:https://manus.im/share/rVGPb6ocLpsjFkchJaP7iN?replay=1.

特工顺利地打开了YC网站. 然而,它未能选择 " W25 " 标记,因为标记的图像有太多的标记。 见下文:

(https://GitHub.com/user-attachments/assets/0e9574c8-0249-49f3-bebc-83b23fabcf0b) (中文(简体) ).

这提出了一套标记的限制问题。 为了解决这一问题,可以有三种方式:

1. ** 在案文中选择要素**。 我们真的需要在截图上打出一组标记吗? 我们能只是描述一些要素和标记吗?
2. ** 支持带有标记和 " (x,y) " 轴法的混合方法**,因为有一些限制,并非所有互动要素都可以确定;使用 " (x,y) " 轴法与未列出要素进行互动
3. ** 减少标记重叠**。 也许更好的办法来标记标记以避免重叠,如果要素过多,可能就行不通。
4. ** 代理SoM**。 SOM可以关闭SOM,或者只有在它想要与元素互动时才能打开. 现在看来,1,3,6,8是很有希望的解决办法
5. ** Allow 缩放入出**。 可能消耗更多的代币,并要求模型知道何时放大出入出.
6. ** 完全删除一套标记**。 我们需要标记吗? 由于计算机使用[Claude-3-7-sonnet'](https://www.ZAnthropic.com/news/ZClaude-3-7-sonnet)和OpenAI[计算机-使用-审查' (https://platre.ZOpenAI.com/docs/guides/tools-computer-use])等模型可在`(x,y)'轴上运行,也许没有必要使用这套标记。 限制:一些模型不具备输出"(x,y)"轴的能力.
7. ** 显示为多幅图像**。 将标记分配到多个图像中。 但这可能会消耗很多代币.
8. ** 添加一个令人叹息的步骤**。 象导航数码世界一样做人:通用视觉定位GUI> 代理人:https://arxiv.org/abs/2410.05243。 但更多的是计算,依靠地平模型的性能.

以上项目按优先顺序排序