GPT2 **免责声明: 这不是官方的 GPT2 实现! 我尽力遵循原始 GPT2 模型的规范,但请注意,我无法使用此代码完全复制原始模型的性能。我不知道这是为什么,我无法找到任何可能导致此问题的错误。 **
要下载模型,请运行: pip3 install requests tqdm
要生成数据集(除了 Tensorflow 以外),请运行: pip3 install ftfy tqdm newspaper3k
下载预训练模型 如果您想使用我的模型,目前我有 "117M", "PrettyBig" 和 "1.5B" 可供使用。 117M 经过一周的训练(可能比原始的 OpenAI 模型还要短),PrettyBig 比 345M 大一点,并且在 v2-256 pod 上进行了一周的训练。 ~~ 最初我还计划发布我的 1.5B 模型,但后来放弃了。您可以在 这里 阅读我的理由。~~ 由于 OpenAI 发布了他们的模型,我现在也发布了我的(较差的) 1.5B 模型,该模型在 v3-512 pod 上进行了一周的训练。
这将创建两个目录,一个命名为模型,另一个命名为"编码器"。请更改对应于模型的 .json 中的"model_dir"和"encoder_path"参数,以分别指向这些路径。