为什么使用不同的 weight_decay？
作者: fabiozappo创建于 2022年2月28日更新于 2025年2月3日
https://GitHub.com/microsoft/Swin-Transformer/blob/main/optimizer.py#:~:text=def%20set_weight_decay(model,no_decay%2C%20%27weight_decay%27%3A%200.%7D%5D, 在此代码片段中,您将某些层的权重衰减设置为零。您这样做是否有什么原因?这会对训练结果产生什么影响?
内容来源: microsoft/Swin-Transformer