用于对话式 AI 的大型数据集
此仓库提供了用于创建可重现的数据集的工具，用于训练和评估对话响应的模型。其中包括：
机器学习 方法在处理这种大型数据集时表现最佳。在 PolyAI，我们使用庞大的对话数据集来训练对话响应模型，然后将这些模型调整到对话 AI 中的特定领域任务。这种在大型数据集上预先训练大型模型的通用方法在图像领域中早已流行，现在也在 NLP 社区中逐渐兴起。
我们提供脚本和说明，让您自己生成数据，而不是提供原始处理数据。这样您可以查看和可能操作预处理和过滤过程。说明定义了标准数据集，具有确定的训练/测试分割，可用于在研究论文中定义可重现的评估。
| | | 训练集大小 | 测试集大小 | |-------------------------------- |------------------------------------- |---------------- |--------------- | | Reddit | 2015 - 2019 | 6.54 亿条 | 7.2 百万条 | | OpenSubtitles | 英语 (其他语言可用) | 2.86 亿条 | 3.3 百万条 | | Amazon QA | - | 300 万条 | 330 万条 |
请注意,这些是经过过滤和其他处理后的数据集大小。例如,Reddit 数据集基于 37 亿条评论的原始数据库,但包含 7.26 亿个示例,因为脚本 f
暂无开放 Issues，或尚未同步最近议题。