我们提出使用四种不同攻击的集成来可靠地评估鲁棒性: + APGD-CE,我们在交叉熵上新推出的无步长版本的 PGD, + APGD-DLR,我们在新的 DLR 损失上新推出的无步长版本的 PGD, + FAB,它最小化了对抗扰动的范数 (Croce & Hein, 2019), + Square Attack,这是一种查询效率高的黑盒攻击 (Andriushchenko et al, 2019)。
注意: 我们修复了攻击的所有超参数,因此不需要调整就可以测试每个新的分类器。
资讯
- [2021年9月] 我们添加了针对可能的情况,标准版的AA可能不适合或不足以进行鲁棒性评估的自动检查。
- 对于CIFAR-10和CIFAR-100的模型评估不再维护。最新的排行榜可在RobustBench中找到。
- [2021年3月] 一个针对L1的AutoAttack版本,其中包括APGD和Square Attack (Croce & Hein, 2021)的扩展,现已可用!
- [2020年10月] AutoAttack被用作新基准测试RobustBench的标准评估,其中包括一个包含最鲁棒分类器的模型动物园。请注意,本页面和RobustBench的排行榜同时维护。
- [2020年8月]
- 更新版本:为了i)将AutoAttack(AA)扩展到具有许多类的数据集,以及ii)实现更快速、更准确的评估,我们使用了APGD-DLR和FAB的目标版本。
- 我们添加了针对Linf的CIFAR-100和针对L2的CIFAR-10的模型评估。
- [2020年7月] 论文的简短版被ICML'20 UDL 研讨会接受,用于聚焦演示!
- [2020年6月] 论文被接受了。
https://arxiv.org/abs/2003.01690