ICLR2025新研究：Robust-Ego3D基准测试和CorrGS方法提升噪声视频三维重建鲁棒性。
原文标题：【ICLR2025】无噪声自我运动与噪声视频三维重建的可扩展基准测试与鲁棒学习
原文作者：数据派THU
冷月清谈：
本文介绍了ICLR2025的一项研究，旨在解决现有三维重建模型对无噪声数据过度依赖的问题。研究者指出，现实世界的噪声（如动态运动、传感器缺陷和同步误差）会显著降低模型性能。为此，他们构建了一个名为Robust-Ego3D的基准测试，包含可扩展的噪声数据合成管道，用于模拟复杂的真实场景。该基准揭示了噪声对当前基于学习的三维重建方法的影响，并提出了一个名为CorrGS的新方法来提升模型的鲁棒性。CorrGS通过将噪声观测与干净三维地图的渲染RGB-D帧对齐，逐步完善内部干净的三维表示，从而提高在快速运动和动态光照场景下的性能。实验证明，CorrGS优于现有方法。
怜星夜思：
1、Robust-Ego3D 数据集除了模拟运动、传感器和同步噪声外，还考虑了哪些现实世界的噪声因素？这些因素对三维重建的影响如何？
2、CorrGS 方法如何处理不同类型的噪声？它对不同噪声的鲁棒性如何？
3、除了 CorrGS，还有哪些方法可以提高三维重建在噪声环境下的鲁棒性？这些方法与 CorrGS 相比有哪些优缺点？
2、CorrGS 方法如何处理不同类型的噪声？它对不同噪声的鲁棒性如何？
3、除了 CorrGS，还有哪些方法可以提高三维重建在噪声环境下的鲁棒性？这些方法与 CorrGS 相比有哪些优缺点？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们解决了三个核心挑战：可扩展的数据生成、全面的基准测试和模型鲁棒性的提升。
我们的目标是通过解决一个关键的局限性来重新定义鲁棒的自我运动估计和逼真的三维重建：现有模型对无噪声数据的依赖。尽管这种经过清理的数据简化了评估过程，但它们未能捕捉到现实环境中不可预测、嘈杂的复杂性。动态运动、传感器缺陷和同步误差在这些模型实际应用时会导致性能急剧下降，暴露出亟需能够应对并在现实世界噪声下表现优异的框架。为填补这一空白，我们解决了三个核心挑战：可扩展的数据生成、全面的基准测试和模型鲁棒性的提升。首先，我们提出了一种可扩展的噪声数据合成管道，生成模拟复杂运动、传感器缺陷和同步误差的多样化数据集。其次，我们利用这一管道创建了Robust-Ego3D，一个经过严格设计的基准，旨在揭示噪声引起的性能下降，突出当前基于学习的方法在自我运动精度和三维重建质量上的局限性。第三，我们提出了一种新的方法——基于对应引导的高斯溅射（CorrGS），通过将噪声观察与来自清洁三维地图的渲染RGB-D帧对齐，逐步完善内部的清洁三维表示，通过视觉对应提升几何对齐和外观恢复。通过在合成数据和真实世界数据上的广泛实验，结果表明，CorrGS在涉及快速运动和动态光照的场景中，始终优于现有的最新方法。
