看透大脑: 人类视觉解码的蒙版建模条件扩散模型
MinD-Vis 是一个用于从大脑记录中解码人类视觉刺激的框架。本文介绍了在《Seeing Beyond the Brain: Masked Modeling Conditioned Diffusion Model for Human Vision Decoding》中重现结果所需的流程。
摘要 从大脑记录中解码视觉刺激旨在加深我们对人类视觉系统的理解,并为通过脑机接口桥接人类和计算机视觉奠定坚实基础。然而,由于数据标注的稀缺性和大脑信息的复杂性,要想解码出具有忠实细节和有意义语义的图像是一项具有挑战性的任务。在本工作中,我们提出了 MinD-Vis：带有双条件潜藏的稀疏 Masked Brain Modeling 方法,用于人类 Vision 解码。具体来说,通过提高从大规模静息状态 fMRI 数据集中学习的特征表示的信息容量,我们证明,我们的 MinD-Vis 可以从大脑记录中重建具有语义匹配细节的高度可信的图像,而只需极少的配对标注。我们对我们的模型进行了定性和定量的对比;实验结果表明,我们的方法在语义映射（100 种语义分类）和生成质量（FID）方面分别比现有的最先进方法优越了 66% 和 41%。
概述