打开 OpenAI 的未发布 WebText 数据集抓取程序的克隆。此版本使用 pushshift.io 文件而不是 API 来提高速度。
打开 OpenAI 的未发布 WebText 数据集抓取程序的克隆。此版本使用 pushshift.io 文件而不是 API 来提高速度。
Joshua Peterson、Stephan Meylan 和 David Bourgin 合作开发了 OpenAI 尚未发布的 WebText 数据集的开源克隆版本 (博客、论文、代码)，用于训练 GPT-2。目前的结果是超过 2300 万个 URL 和超过 1000 万个 HTML 页面。
此实现从预先下载的 (每月) pushshift.io Reddit 提交数据库中挖掘和智能去重 +3 karma URL (这比连续调用 Web API 要快得多),下载原始 HTML 并提取文本。为了节省时间,您可以使用预先过滤的 URL 列表 这里,将 140GB 的 pushshift 数据缩减到实际需要的 2GB 的 URL 以用于内容抓取。此外,我们还提供了一个初始的分词工具,并计划很快添加 BPE 编码。此代码库功能齐全,但正在积极开发中,因此请随时发布问题或建议改进(欢迎提交请求)。
如果您使用 pipenv(pip install --user pipenv)，请切换到项目根目录并运行
要处理多个 pushshift 文件,请指定年份范围:
暂无开放 Issues，或尚未同步最近议题。