Fast-FoundationStereo: 实时零样本立体匹配
这是我们的论文被 CVPR 2026 采纳的正式实现
[网站] [论文] [视频]
作者: Bowen Wen、Shaurya Dewan、Stan Birchfield
摘要 立体基础模型实现了强大的零样本泛化能力,但对于实时应用而言,其计算成本仍然过高。另一方面,高效的立体架构则牺牲了鲁棒性,以换取速度,并且需要昂贵的针对各领域的微调。为了弥补这一差距,我们提出了 Fast-FoundationStereo,这是一系列架构,首次在实时帧速率下实现了强大的零样本泛化能力。我们采用了分而治之的加速策略,该策略包含三个组件:(1) 知识蒸馏,将混合后端压缩为一个高效的学生;(2) 块级神经网络架构搜索,可在延迟预算下自动发现最优的成本过滤设计,从而大幅降低搜索复杂度;(3) 结构化剪枝,可消除迭代优化模块中的冗余。此外,我们引入了一种自动伪标记流程,用于整理 140 万个野生环境立体对,以补充合成训练数据,并促进知识蒸馏。所得模型的运行速度比 FoundationStereo 快 10 倍以上,且其零样本准确性与 FoundationStereo 非常接近,因此在实时方法中确立了新的先进水平。
[注意] 此模型是专为实时应用设计的。若要进行离线计算以获得最佳精度，请查看我们之前的工作FoundationStereo。