GptGet

AI-based single-shot structured-light depth reconstruction for real-time laparoscopic surgical guidance

TL;DR

采用VQ-VAE与U-Net的单次结构光深度重建，MAE为3.70mm，实时性能达26Hz。

eess.IV 🔴 高级 2026-08-06 106 次浏览
Wayne Wonseok Rodgers Xiangyi Le Seonghoon Jang Shuwen Wei Justin Opfermann Michael Kam Axel Krieger Jin U. Kang
AI 阅读器 Arxiv 原文 下载 PDF
深度感知 结构光 机器人手术 深度学习 医疗成像

核心发现

方法论

本文提出一种基于被动LED照明的二值掩模单次结构光深度重建平台，结合VQ-VAE先验和自定义U-Net深度头实现端到端深度估计。系统通过在双通道腹腔镜中集成微型投影模块，将被动二值掩模投影到目标表面，利用单帧图像实现高精度深度重建。训练过程中，利用独立的Zivid结构光相机获取参考深度，将深度映射投影到内窥镜图像中作为监督信号。VQ-VAE编码输入图像为离散潜在表示，U-Net在潜在空间中预测深度，无需单独的掩模预测分支。模型在722对模拟标本数据集上，MAE为3.70mm，AbsRel为0.0326，δ=1.1精度为0.962，δ=1.1^2为0.970，优于传统MaskNet+DepthNet和现有单目深度模型，且在NVIDIA A100 GPU上实现每秒26帧的实时推理。

关键结果

  • 提出模型在722对模拟标本数据集上，MAE为3.70mm，显著优于基线方法的2.28mm，验证了在单帧条件下的高精度深度重建能力。AbsRel指标为0.0326，表明重建误差占真实深度的比例极低。模型在δ=1.1和δ=1.12的准确率分别达到0.962和0.970，显示出极高的深度估计可靠性。与现有单目深度模型相比，模型在误差和阈值准确率上均有明显提升，验证了任务定制训练的优势。系统在连续301帧测试中稳定运行，频率达26Hz，满足实时手术引导需求。
  • 通过引入VQ-VAE潜在空间正则化，有效避免了多余的掩模预测分支，简化了模型结构，增强了推理稳定性。此外，利用Zivid深度相机提供的独立参考深度，避免了对传统多次投影的依赖，提升了系统的鲁棒性和校准精度。实验还验证了二值掩模在不同工作距离下的可视性，确保在实际手术场景中的应用可行性。

研究意义

该研究突破了传统结构光系统对同步和多帧采集的依赖，实现了被动、同步自由的单帧深度感知，为机器人辅助手术提供了高效、可靠的深度信息。其在医疗机器人、微创手术导航等领域具有重要应用潜力，特别是在复杂环境下的实时深度估计，极大地推动了内窥镜成像技术的智能化发展。通过优化硬件设计与深度学习算法的结合，解决了传统方法在临床转化中的多项瓶颈问题，为未来智能手术系统的普及奠定了基础。

技术贡献

本文的核心技术创新在于引入被动LED照明的二值掩模结构光方案，避免了DMD投影器的复杂性和体积限制。结合VQ-VAE的离散潜在空间正则化，有效约束输入图像的结构特征，提升深度预测的稳定性和精度。设计了端到端的深度预测网络，省去了传统多分支掩模预测的复杂流程，显著简化了系统架构。实验中，模型在保证实时性能的同时，达到了行业领先的深度重建精度，为内窥镜深度感知提供了新思路。

新颖性

该工作首次将被动LED二值掩模与VQ-VAE深度重建结合，实现单帧同步自由的内窥镜深度估计。相较于以往依赖DMD投影和多帧采集的方案，创新性地采用离散潜在空间正则化，有效提升模型鲁棒性和泛化能力。其在医疗成像领域实现了从多次投影到单次图像的质变，为微创手术中的实时深度感知提供了全新解决方案。

局限性

  • 系统在极端光照变化或表面反射强烈的环境下，可能会影响二值掩模的可视性和深度重建效果。由于依赖校准精度，微调和校准误差可能引入深度偏差。模型在极端距离或非标本表面上的泛化能力仍需验证。硬件集成方面，微型投影模块的散热和光学一致性也存在一定挑战。未来需进一步优化算法鲁棒性和硬件稳定性，以适应临床复杂环境。

未来方向

未来将探索多模态信息融合，如结合光学相干断层扫描(OCT)或超声成像，提升深度感知的鲁棒性。还计划引入自适应校准机制，减小校准误差对深度重建的影响。此外，将优化硬件设计，提升系统的紧凑性和散热性能，推动其在实际手术中的临床应用。进一步研究模型的泛化能力，适应不同类型的组织和手术场景，为微创手术的智能化提供更全面的解决方案。

AI 总览摘要

在微创手术中，获取精确的深度信息一直是临床医生和机器人系统的核心需求。传统的结构光方法虽然能提供毫米级别的精度，但其多帧采集、硬件同步和复杂的光学配置限制了其在实际手术中的应用。为突破这一瓶颈，本文提出了一种基于被动LED照明的单次结构光深度重建系统，结合深度学习中的VQ-VAE和自定义U-Net架构，实现同步自由、实时高精度的深度估计。

该系统通过在腹腔镜中集成微型投影模块，将被动二值掩模投影到目标表面，利用单帧图像完成深度重建。训练过程中，利用独立的Zivid结构光相机获取参考深度，将深度信息映射到内窥镜图像中作为监督信号。模型采用VQ-VAE编码输入图像为离散潜在表示，避免了传统掩模预测的复杂性，提升了系统的稳定性和鲁棒性。

在722对模拟标本数据集上的实验结果显示，模型达到MAE为3.70mm，AbsRel为0.0326，δ=1.1精度为0.962，δ=1.1^2为0.970，优于多种基线模型。系统在连续测试中保持每秒26帧的推理速度，满足手术实时性需求。这一技术创新不仅简化了硬件结构，还显著提升了深度估计的精度和鲁棒性，为微创手术中的深度感知提供了全新解决方案。

未来，系统将结合多模态成像和自适应校准技术，进一步增强在复杂手术环境中的表现。该研究为医疗机器人和微创手术导航提供了坚实的技术基础，推动智能手术系统的快速发展。

深度解读

原文摘要

Significance. Accurate intraoperative depth perception is important for autonomous and semi-autonomous robotic laparoscopic surgery. Conventional fringe projection profilometry can achieve millimeter-scale accuracy but often requires multi-shot acquisition, digital-micromirror-device projection, and projector-camera synchronization, complicating integration into compact laparoscopic systems. Aim. To develop a synchronization-free, single-shot depth-sensing platform using a passive LED-illuminated binary mask and a VQ-VAE prior with a custom U-Net depth head. Approach. A compact projection module was coupled to one channel of a dual-channel laparoscope, while the second channel imaged the fringe-illuminated target. A Zivid 3D camera acquired reference depth for 722 paired phantom images. Zivid depth maps were reprojected into the SSLE image frame for supervised training and evaluation. The VQ-VAE encoded each input into a discrete latent representation, and a latent-space U-Net predicted depth without a separate mask-prediction branch. Results. Using a fixed train/validation/test split, the proposed model achieved an MAE of 3.70 mm, AbsRel of 0.0326, delta=1.1 accuracy of 0.962, and delta=1.1^2 accuracy of 0.970. It achieved lower MAE than the dual U-Net MaskNet + DepthNet baseline and outperformed off-the-shelf monocular depth models in MAE, AbsRel, and threshold accuracy. The pipeline operated at 26.0 Hz over 301 consecutive frames on an NVIDIA A100 GPU. Conclusions. The LED-illuminated binary-pattern platform with latent-space depth reconstruction enables synchronization-free, video-rate endoscopic depth estimation. Results demonstrate Zivid-referenced phantom reconstruction without an explicit segmentation stage, while emphasizing the importance of dataset size and SSLE-Zivid calibration accuracy.

eess.IV cs.RO physics.optics

参考文献 (20)

Neural Discrete Representation Learning

Aäron van den Oord, O. Vinyals, K. Kavukcuoglu

2017 7732 引用 ⭐ 高影响力 查看解读 →

Deep-learning-based endoscopic single-shot fringe projection profilometry

R. Zuo, Shuwen Wei, Yaning Wang 等

2025 3 引用 ⭐ 高影响力

Recent progresses on real-time 3D shape measurement using digital fringe projection techniques

Song Zhang

2010 1021 引用

Assessment and Calibration of a RGB-D Camera (Kinect v2 Sensor) Towards a Potential Use for Close-Range 3D Modeling

E. Lachat, H. Macher, T. Landes 等

2015 211 引用

Demonstration of a laparoscopic structured-illumination three-dimensional imaging system for guiding reconstructive bowel anastomosis

Hanh N. D. Le, Hieu Nguyen, Zhaoyang Wang 等

2018 39 引用

Deep point cloud landmark localization for fringe projection profilometry.

Shuwen Wei, M. Kam, Yaning Wang 等

2022 9 引用

Image quality assessment: from error visibility to structural similarity

Zhou Wang, A. Bovik, H. Sheikh 等

2004 58712 引用

Semi-autonomous Robotic Anastomoses of Vaginal Cuffs Using Marker Enhanced 3D Imaging and Path Planning

M. Kam, H. Saeidi, Shuwen Wei 等

2019 15 引用

Depth Map Prediction from a Single Image using a Multi-Scale Deep Network

D. Eigen, Christian Puhrsch, R. Fergus

2014 4786 引用 查看解读 →

Structured-light 3D surface imaging: a tutorial

J. Geng

2011 1520 引用

Single-shot fringe projection profilometry based on Deep Learning and Computer Graphics

Fanzhou Wang, Chenxing Wang, Qingze Guan

2021 75 引用 查看解读 →

Phase shifting algorithms for fringe projection profilometry: A review

Chao Zuo, Shijie Feng, Lei Huang 等

2018 1106 引用

Toward real-time remote processing of laparoscopic video

Z. Ronaghi, Edward B. Duffy, D. Kwartowitz

2015 6 引用

Automatic and real-time tissue sensing for autonomous intestinal anastomosis using hybrid MLP-DC-CNN classifier-based optical coherence tomography

Yaning Wang, Shuwen Wei, R. Zuo 等

2024 6 引用

Accurate 3D Shape Reconstruction from Single Structured-Light Image via Fringe-to-Fringe Network

Hieu Nguyen, Zhaoyang Wang

2021 34 引用

Dense Depth Estimation in Monocular Endoscopy with Self-supervised Learning Methods

Xingtong Liu, Ayushi Sinha, M. Ishii 等

2019 166 引用 查看解读 →

Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba

2014 169447 引用 查看解读 →

Advanced Geometric Camera Calibration for Machine Vision

Minh Vo, Zhaoyang Wang, Long Luu 等

2011 83 引用

Surface reconstruction of abdominal organs using laparoscopic structured light for augmented reality

J. Ackerman, K. Keller, H. Fuchs

2002 35 引用

Hyper-accurate flexible calibration technique for fringe-projection-based three-dimensional imaging

Minh Vo, Zhaoyang Wang, B. Pan 等

2012 93 引用