The Multipath Blind Spot: $K$-Agnostic Robust Calibration for Sparse-Anchor Metric Depth from Frozen Foundations

TL;DR

MRAC方法在无参数增加的情况下,显著提高了深度估计的鲁棒性。

cs.CV 🔴 高级 2026-07-05 33 次浏览
Sohag Roy Rajesh Misra Swami Shastravidyananda Tamal Maharaj
深度估计 多路径盲点 鲁棒校准 稀疏锚点 机器学习

核心发现

方法论

本文提出了一种名为MRAC的多路径鲁棒锚点校准方法。该方法在推理时通过基础一致性筛选锚点,利用Theil-Sen拟合和中位绝对偏差测试来过滤异常值,然后调用校准头。MRAC无需学习参数,能在CPU上以约50微秒的速度运行,适用于从5到200的锚点预算。

关键结果

  • MRAC在320个测试单元中,赢得了84%的相同骨干单元,并在所有受损多路径单元和KITTI单元中胜出,将KITTI多路径AbsRel从0.489减少到0.151,提升3.2倍。
  • 在四个数据集上,MRAC在12个受损多路径单元和16个KITTI单元中均表现优异,显著优于VI-Depth。
  • MRAC在无重训练的情况下,显著降低了KITTI多路径AbsRel,表现出色。

研究意义

MRAC方法在不增加计算复杂度的情况下,显著提高了稀疏锚点深度估计的鲁棒性,解决了现有方法在锚点存在错误值时的失效问题。该方法无需重新训练,适用于多种数据集和锚点预算,具有广泛的应用潜力。

技术贡献

MRAC方法通过在推理时筛选锚点,提高了深度估计的鲁棒性。与现有方法不同,MRAC不依赖于锚点的清洁性,能够处理多路径、丢失和混合像素等异常情况。

新颖性

MRAC是首个在推理时通过基础一致性筛选锚点的校准方法。与VI-Depth等方法相比,MRAC无需依赖锚点的清洁性,显著提高了鲁棒性。

局限性

  • MRAC在某些极端情况下可能仍会遇到挑战,例如当大多数锚点都受到严重干扰时。
  • 该方法的性能可能受限于基础模型的预测精度。

未来方向

未来的研究方向包括进一步优化MRAC的筛选机制,以提高在极端情况下的鲁棒性,并探索其在其他计算机视觉任务中的应用。

AI 总览摘要

在单目深度估计中,现有方法通常假设锚点数据是干净的,但真实传感器往往会产生异常值,如多路径和混合像素。这导致了现有方法在锚点存在错误值时的失效。本文提出了一种名为MRAC的多路径鲁棒锚点校准方法,通过在推理时筛选锚点,提高了深度估计的鲁棒性。MRAC方法无需增加学习参数,能够在CPU上快速运行,适用于多种锚点预算。实验结果表明,MRAC在多个数据集上显著优于现有方法,特别是在处理多路径异常时表现出色。尽管如此,MRAC在某些极端情况下可能仍会遇到挑战,未来的研究将致力于进一步优化其筛选机制,并探索其在其他领域的应用潜力。

深度分析

研究背景

单目深度估计近年来取得了显著进展,许多方法通过训练跨数据集的模型来预测相对深度。然而,这些方法通常缺乏绝对尺度,需要额外的锚点来进行校准。现有的稀疏锚点校准方法假设锚点数据是干净的,但真实传感器往往会产生异常值,如多路径和混合像素。

核心问题

现有的稀疏锚点校准方法在锚点存在错误值时容易失效,特别是在多路径和混合像素等异常情况下。这些异常值不仅影响校准精度,还可能导致整个模型的失效。

核心创新

MRAC方法通过在推理时筛选锚点,提高了深度估计的鲁棒性。• 利用Theil-Sen拟合和中位绝对偏差测试来过滤异常值。• 无需增加学习参数,能够在CPU上快速运行。• 适用于多种锚点预算,具有广泛的应用潜力。

方法详解

  • �� 使用Theil-Sen拟合估计锚点与相对深度之间的关系。• 通过中位绝对偏差测试筛选异常锚点。• 将筛选后的锚点传递给校准头进行最终校准。

实验设计

实验在四个数据集上进行,涵盖室内和室外场景。使用320个测试单元,评估MRAC在不同异常类型和比例下的表现。与VI-Depth和其他基线方法进行对比,验证MRAC的鲁棒性。

结果分析

MRAC在320个测试单元中,赢得了84%的相同骨干单元,并在所有受损多路径单元和KITTI单元中胜出,将KITTI多路径AbsRel从0.489减少到0.151,提升3.2倍。

应用场景

MRAC方法适用于需要高鲁棒性深度估计的场景,如自动驾驶和机器人导航。其快速运行和无需重新训练的特点使其具有广泛的应用潜力。

局限与展望

MRAC在某些极端情况下可能仍会遇到挑战,例如当大多数锚点都受到严重干扰时。该方法的性能可能受限于基础模型的预测精度。

通俗解读 非专业人士也能看懂

想象你在厨房做饭,MRAC就像一个聪明的助手,它能在你做菜时帮你挑选出最好的食材,而不是让你用所有的食材。即使有些食材不新鲜,它也能帮你挑选出最好的组合,让你的菜肴更加美味。这个助手不需要额外的培训,只需根据已有的经验和判断来选择食材,就像MRAC在不增加学习参数的情况下,通过筛选锚点来提高深度估计的鲁棒性。

简单解释 像给14岁少年讲一样

想象一下,你在玩一个游戏,需要用一些道具来完成任务。有时候,这些道具可能会有问题,比如坏掉或不够用。MRAC就像一个聪明的助手,它能帮你挑选出最好的道具,让你在游戏中表现更好。即使有些道具有问题,它也能帮你找到最合适的组合,让你轻松过关。这个助手不需要额外的培训,只需根据已有的经验和判断来选择道具,就像MRAC在不增加学习参数的情况下,通过筛选锚点来提高深度估计的鲁棒性。

术语表

Theil-Sen估计

一种稳健的线性回归方法,使用中位数斜率来估计线性关系。

用于估计锚点与相对深度之间的关系。

中位绝对偏差

一种稳健的统计量,用于衡量数据集中值的离散程度。

用于筛选异常锚点。

多路径效应

信号在多个路径上传输导致的干扰现象。

导致锚点数据异常的原因之一。

稀疏锚点

从传感器获取的少量深度测量点。

用于校准相对深度模型。

AbsRel

绝对相对误差,用于衡量深度估计的精度。

用于评估MRAC的性能。

开放问题 这项研究留下的未解疑问

  • 1 如何在极端情况下提高MRAC的鲁棒性?现有方法在大多数锚点受到严重干扰时可能失效。
  • 2 如何进一步优化MRAC的筛选机制,以提高在不同数据集上的性能?

应用场景

近期应用

自动驾驶

MRAC可以提高自动驾驶系统中深度估计的鲁棒性,减少传感器异常对驾驶决策的影响。

远期愿景

机器人导航

MRAC可以应用于机器人导航,提高其在复杂环境中的导航能力,减少传感器异常对路径规划的影响。

原文摘要

Monocular depth foundations predict domain-general relative depth but lack absolute scale; a handful of sparse metric anchors from a range sensor can calibrate them to metric depth, an attractive alternative to metric-supervised training. Existing sparse-anchor calibration methods, however, assume the anchors are clean, whereas real sensors produce outliers that are present with the wrong value -- time-of-flight multipath, mixed pixels -- not merely missing. We show that the established residual-on-CFA calibration recipe collapses under such outliers, and that the strongest publicly deployed method, VI-Depth, has a structural multipath blind spot: robust to missing anchors, it falls behind an unprotected baseline on three of four datasets when anchors are present but wrong. We propose Multipath-Robust Anchor Calibration (MRAC), a parameter-free, inference-time wrapper that gates anchors by foundation consistency -- a Theil--Sen fit and a median-absolute-deviation test against the foundation's own relative-depth ordering -- before a single call to the calibration head. MRAC adds no learned parameters, runs its selection in $\approx 50\,μ$s on CPU, and serves anchor budgets $K \in [5,200]$ from one checkpoint. On a $320$-cell benchmark with a same-backbone, same-architecture control, MRAC strictly wins $84\%$ of same-backbone cells across all four outlier families and, against VI-Depth, wins all twelve corrupted multipath cells and all sixteen KITTI cells, reducing KITTI multipath AbsRel by $3.2\times$ ($0.489$ to $0.151$) at zero retraining.

cs.CV