SparK

开源

[ICLR'23 焦点] 在任何卷积网络上首次成功进行 BERT/MAE 预训练; Pytorch 实现 "为卷积网络设计 BERT:

1.4K stars0 点赞1 次浏览

工具介绍

[ICLR'23 焦点] 在任何卷积网络上首次成功进行 BERT/MAE 预训练; Pytorch 实现 "为卷积网络设计 BERT:

关于我们的 ICLR 海报,英文版简介可在这里找到! [录制视频,海报和幻灯片].
5月11日 我们将在 OpenMMLab & ReadPaper (bilibili) 进行另一场直播! [录制视频].
4月27日 (UTC+8 晚上8点) 我们将在 OpenMMLab (bilibili) 进行另一场直播! [录制视频].
3月22日 (UTC+8 晚上8点) 我们将在极市平台 (bilibili) 进行另一场直播! [录制视频].
我们很荣幸被 Synced ("机器之心机动组视频号" 在微信上) 邀请来为 SparK 发表演讲,时间为 2月27日 (UTC+0 上午11点,UTC+8 晚上7点),欢迎! [录制视频].
这项工作已被 ICLR 2023 接受为 Spotlight (顶尖作品中排名前 25% 的作品)。
其他文章: [Synced] [DeepAI] [TheGradient