DataComp: 寻找下一代多模态数据集
[ 论文 ] [ 网站 ] [ 博客 ] 欢迎参与我们的比赛。此仓库包含参赛者所需的工具,可用于从我们的数据池下载数据、训练 CLIP 模型、在下游任务中评估模型并提交到我们的排行榜中。
DataComp 是一项关于为 CLIP 模型进行预训练的数据集设计竞赛。与传统的基准测试不同，在 DataComp 中，您的任务是整理具有图像-文本对的多模态预训练数据集，从而在下游任务中实现高精度。模型架构和超参数是固定的，这使参赛者能够在数据集设计上进行创新。作为基准测试的一部分，我们提供了来自公共互联网的大量未整理的图像-文本对。
我们的基准提供了两个轨道:一个是参与者必须仅使用我们提供的池中的样本("过滤"),另一个是参与者可以使用外部数据,包括我们池中的样本("自带数据","BYOD")。
如果使用云存储服务（例如 AWS S3），您需要安装额外的依赖项（例如 pip install 'cloudpathlib[s3]'）。
暂无开放 Issues，或尚未同步最近议题。