请问默认模型训练用到了哪些数据集?

Author: bayesruleCreated Nov 4, 2021Updated Dec 20, 2023

根据论文,pretraining用到了PKU (news), Weibo (web), and CTB8 (hybrid)三个数据集,那么default model是在这个pretraining之后进一步finetune了吗?还是直接用这个pretraining得到的model?谢谢回答哈!