VGGSfM，Meta AI开源的从2D图像中重建相机视角和场景3D.

输入一个物体的多角度图片，在3D场景中重建物体的形状和镜头视角，在3个数据集上达到了最佳效果。

VGGSfM，Meta AI开源的从2D图像中重建相机视角和场景3D插图

运动结构 （SfM） 是计算机视觉社区中一个长期存在的问题，它旨在从一组不受约束的 2D 图像中重建相机姿势和场景的 3D 结构。经典框架通过检测和匹配关键点、配准图像、对 3D 点进行三角测量以及进行束平差，以增量方式解决了这个问题。最近的研究工作主要围绕着利用深度学习技术的力量来增强特定元素（例如，关键点匹配），但仍然基于原始的、不可微分的管道。取而代之的是，我们提出了一种新的深度 SfM 流水线 VGGSfM，其中每个组件都是完全可微的，因此可以以端到端的方式进行训练。为此，我们引入了新的机制和简化。首先，我们基于深度 2D 点跟踪的最新进展，提取可靠的像素精确轨迹，从而消除了链接成对匹配的需要。此外，我们根据图像和跟踪特征同时恢复所有摄像机，而不是逐步注册摄像机。最后，我们优化了相机，并通过可微分束调整层对3D点进行三角测量。我们在三个流行的数据集上获得了最先进的性能，即 CO3D、IMC Phototourism 和 ETH3D。

开源项目地址：https://github.com/facebookresearch/vggsfm

在线体验地址：https://huggingface.co/spaces/facebook/vggsfm



微信扫描下方的二维码阅读本文

VGGSfM，Meta AI开源的从2D图像中重建相机视角和场景3D插图1

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。