CLS 令牌

作者: harrygcoppock创建于 2022年12月20日更新于 2025年2月3日

感谢您提供的伟大的论文和代码仓库,这个想法非常棒。 您在论文中提到,您尝试在末尾添加一个 CLS 标记,并使用它进行分类。 我很好奇,您如何处理这个 CLS 标记 - 是它关注所有 patch,还是仅仅是落在其局部区域内的 patch(在 swin 自注意过程中)? 我也找不到代码中实现了这个功能,这会很有帮助。

内容来源: microsoft/Swin-Transformer