俄罗斯 GPT-2 Google colab 笔记本用于微调。 https://colab.research.google.com/drive/1jwFks82BLyy8x3oxyKpiNdlL1PfKSQwW?usp=sharing G…
俄罗斯 GPT-2 Google colab 笔记本用于微调。 https://colab.research.google.com/drive/1jwFks82BLyy8x3oxyKpiNdlL1PfKSQwW?usp=sharing G…
| GPT-2 | 小型, 124M. BS 64 | 中型, 355M. BS 32 |
|---|---|---|
| 解冻 0, LR 24e-4 | 80 个 epoch, 85-90 | 80 个 epoch, 81-85 |
| 解冻 0, LR 3e-4 | 80 个 epoch, 75-76 | 100 个 epoch, 64-65 |
| 解冻 0, LR 6e-5 | 80 个 epoch, 73-73.5 | 40 个 epoch, 63-63.5 |
| 解冻 1, LR 3e-4 | 118 个 epoch, 51-52 | 142 个 epoch, 42.3-43.7 |
| 解冻 1, LR 6e-5 | 80 个 epoch, 49-49.5 | 40 个 epoch, 41.-41.6 |
| 解冻 2, LR 3e-4 | 70 个 epoch, 45.5 | 68 个 epoch, 37.2-38.6 |
| 解冻 2, LR 6e-5 | 200 个 epoch, 41.18-42.19 | 87 个 epoch, 35.4-35.9 |
| 解冻 7, LR 3e-4 | 90 个 epoch, 35.3 - 35.9 | 163 个 epoch, 28.6 - 29.6 |
| 解冻 7, LR 6e-5 | 88 个 epoch, 32.6-33.0 | 90 个 epoch, 27.2-27.5 |
| 解冻 -1 (全部), LR 6e-5 | 160 个 epoch, 30.5-30.9 | 163 个 epoch, 23.8-24.15 |
经典数据集。 它只有 500Mb，GPT-2 很快就过拟合了。
暂无开放 Issues，或尚未同步最近议题。