# RepDistiller
此仓库:
**（1）涵盖以下 ICLR 2020 论文的实施：**
"对比表征蒸馏" (CRD)。[论文](http://arxiv.org/abs/1910.10699)、[项目页面](http://hobbitlong.github.io/CRD/)。
**（2）在 PyTorch 中比较了 12 种先进的知识蒸馏方法，包括：**
(KD) - 从 神经网络 中提炼知识 (FitNet) - Fitnets: 关于薄型深度网络的提示 (AT) - 更加关注注意力: 通过注意力转移提高卷积神经网络的性能 (SP) - 保持相似性的知识蒸馏 (CC) - 相关一致性知识蒸馏 (VID) - 变分信息蒸馏知识传播 (RKD) - 关系知识蒸馏 (PKT) - 为深度表征学习进行概率知识传播 (AB) - 通过隐藏神经元形成的激活边界蒸馏进行知识传播 (FT) - 复杂网络的翻译: 通过因子转移进行网络压缩 (FSP) - 知识蒸馏的礼物: 快速优化、网络最小化和迁移学习 (NST) - 喜欢什么就传什么: 通过神经元选择性转移进行知识蒸馏
## 安装
其中标记的含义如下： - `--path_t`: 指定教师模型的路径 - `--model_s`: 指定学生模型，请参阅 'models/\_\_init\_\_.py' 以查看可用的模型类型。 - `--distill`: 指定提取方法 - `-r`: 权重