Scaffold-GS

Scaffold-GS: 结构化 3D 高斯函数用于视图自适应渲染 Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai [项目页面][arxiv][查看器] 新闻 [2024.09.25] 我们提出了 Octree-AnyGS,一种基于锚点的通用框架,支持显式高斯函数(2D-GS, 3D-GS)和神经高斯函数(Scaffold-GS)。此外,Octree-GS已被适应到上述的高斯原语,从而为大型场景提供细节级别的表示。该框架有潜力用于其他基于高斯函数的方法,相关的 SIBR 可视化即将推出。(https://GitHub.com/city-super/Octree-AnyGS) [2024.05.28] 我们更新了查看器,使其符合训练时的文件结构。 [2024.04.05] Scaffold-GS 被选为 CVPR2024 的亮点。 [2024.03.27] 我们发布了 Octree-GS,支持显式 LOD 表示,在大型场景中更快地进行渲染并保持高质量。 [2024.03.26] 我们发布了 GSDF,该方法同时提高了渲染和重建质量。 [2024.02.27] 通过 CVPR 2024。 [2024.01.22] 我们在 Scaffold-GS 中添加了外观嵌入,以处理野生场景。 [2024.01.22] Scaffold-GS 的查看器现已可用。 [2023.12.10] 我们发布了代码。 TODO 列表 - [ ] 探索删除 MLP 模块的方法 - [ ] 改进训练配置系统 概览 我们引入了 Scaffold-GS,该方法使用锚点来分布局部 3D 高斯函数,并根据观看方向和视图锥体内的距离即时预测其属性。我们的方法在具有具有挑战性观看视角的场景中表现优异。例如,透明度、镜面反射、反射、无纹理区域和细节。 安装 我们在配置了 Ubuntu 18.04、cuda 11.6 和 gcc 9.4.0 的服务器上进行了测试。其他类似的配置也应该能够正常工作,但我们并未单独验证每个配置。 1. 克隆此仓库: git clone https://GitHub.com/city-super/Scaffold-GS.git --recursive cd Scaffold-GS 2. 安装依赖项 SET DISTUTILSUSESDK=1 # Windows 仅适用 conda env create --file environment.yml conda activate scaffoldgs 数据 首先,在项目路径下创建一个 data/ 文件夹,通过 mkdir data 创建数据结构 该 data 文件夹包含以下文件: 1. 场景文件: 场景文件是用于训练的数据集,它包含了 3D 场景的描述,包括 3D 点云、材质、光照和纹理。 2. 训练数据: 训练数据包含了 3D 场景的训练样本,包括 3D 点云、材质、光照和纹理。 3. 测试数据: 测试数据包含了 3D 场景的测试样本,包括 3D 点云、材质、光照和纹理。 4. 训练脚本: 训练脚本用于训练模型,包括模型的训练参数、优化器、损失函数等。 5. 测试脚本: 测试脚本用于测试模型的性能,包括模型的测试参数、输出结果等。 6. 结果文件: 结果文件包含了训练和测试的结果,包括模型的性能指标、损失函数等。 7. 代码: 代码包含了模型的实现代码、训练和测试的代码等。 8. 文档: 文档包含了模型的使用说明、训练和测试的说明等。