关于优化器的问题
Author: yanyvjiangnanCreated Aug 31, 2024Updated Sep 12, 2024
当我运行MLDG方法在PACS数据集上,此时优化器是默认的SGD ===========epoch 1=========== total_loss:0.8481 train_acc:0.7129,valid_acc:0.7092,target_acc:0.5942 total cost time: 179.1731
但是当我把SGD换成Adam后发现: ===========epoch 1=========== total_loss:4.0192 train_acc:0.1492,valid_acc:0.1555,target_acc:0.1401 total cost time: 203.3469
还有就是algs/opt.py文件中的get_params方法中的 args.lr_decay1 * initlr，初始学习率乘以args.lr_decay1这个参数的作用是？
Source: jindongwang/transferlearning