noisystudent

噪声学生训练是一种半监督学习方法,在 ImageNet 上实现了 88.4% 的 top-1 准确率(当前 SOTA),并在鲁棒性和对抗基准上取得了令人惊讶的成绩。噪声学生训练基于自训练框架,通过 4 个简单步骤进行训练:

1. 在带标签数据上训练分类器(教师)。
2. 根据更大的未标记数据集推断标签。
3. 使用合并集对更大的分类器进行训练,添加噪声(噪声学生)。
4. 返回步骤 2,以学生为教师

SVHN 实验 这里展示了在 SVHN 上实现噪声学生训练的实现,该实现将监督模型的准确率从 97.9% 提升到 98.6%。