核心发现
方法论
本文提出了一种基于图像的视觉伺服模型预测控制（VMPC）的自动化四旋翼无人机近距离管道检查框架。该框架通过将四旋翼动力学与图像特征运动学相结合，形成统一的预测模型，直接在控制回路内进行图像空间预测。为解决低频视觉更新、测量噪声和环境不确定性的问题，开发了一种带有图像特征预测的扩展状态卡尔曼滤波方案（ESKF-PRE），并将估计的总扰动纳入VMPC预测模型，形成ESKF-PRE-VMPC框架。
关键结果
- 在真实世界测试中，所提出的方法在无风条件下的直管道检查中，将管道方向和图像中的横向偏差的均方根误差（RMSE）分别减少了52.63%和75.04%。
- 在风扰动和弯管任务中，该方法成功完成了任务，而基线方法则失败。
- 在高保真Gazebo模拟和真实实验中验证了该框架的有效性，展示了其在复杂三维场景中的稳定性和跟踪鲁棒性。
研究意义
该研究在学术界和工业界具有重要意义。它解决了无人机在复杂三维环境中进行自主检查的长期难题，尤其是在GPS信号不可靠或缺失的情况下。通过结合视觉伺服和模型预测控制，该方法提供了一种有效的解决方案，能够提高检查效率，降低操作风险，并减少人力需求。这一框架的成功应用将推动无人机在能源运输领域的广泛应用，确保管道的结构完整性和安全性。
技术贡献
本文的技术贡献在于提出了一种新的ESKF-PRE-VMPC框架，该框架将扩展状态卡尔曼滤波与图像特征预测相结合，增强了对测量噪声、低频视觉更新和扰动的鲁棒性。与现有的非模型IBVS方案不同，该方法显式地将系统动力学和约束纳入有限时域优化框架中，提高了运动质量和可视性保持能力。此外，本文还引入了一种地形自适应速度设计，能够在未知地形坡度上生成垂直速度参考。
新颖性
该研究首次将扩展状态卡尔曼滤波与图像特征预测相结合，应用于无人机的管道检查任务中。与现有方法相比，该框架不仅考虑了四旋翼动力学，还解决了低频视觉更新和测量噪声的问题，显著提高了系统的鲁棒性和稳定性。
局限性
- 在极端天气条件下，如强风或暴雨，该框架的性能可能会受到影响，因为扰动的估计和补偿可能不足以应对剧烈的环境变化。
- 该方法依赖于高质量的视觉特征提取，因此在光照条件极差或图像质量低下的情况下，可能会出现性能下降。
- 在复杂的城市环境中，可能需要进一步的优化和调整，以应对多种障碍物和动态变化。
未来方向
未来的研究方向包括进一步优化ESKF-PRE-VMPC框架，以提高其在极端环境条件下的鲁棒性和适应性。此外，可以探索将该框架应用于其他类型的基础设施检查任务，如桥梁或电力线检查。还可以研究如何结合其他传感器数据，如激光雷达或红外成像，以增强系统的感知能力和环境理解。
AI 总览摘要
管道是现代能源运输的关键基础设施，确保其结构完整性至关重要。然而，由于管道网络分布广泛，且常常暴露在老化、腐蚀和恶劣的操作条件下，定期检查变得不可或缺。传统的人工检查方法效率低下、成本高昂且存在潜在危险，因此，无人机因其机动性和灵活的感知能力，成为了一种有吸引力的替代方案。
尽管如此，许多无人机检查系统仍然严重依赖于人工操作或操作者的监督。实现更高水平的自主性需要一种在近距离检查场景中保持准确和可靠的控制策略。本文提出了一种基于图像的视觉伺服模型预测控制（VMPC）的自动化四旋翼无人机近距离管道检查框架。该框架通过将四旋翼动力学与图像特征运动学相结合，形成统一的预测模型，直接在控制回路内进行图像空间预测。
为解决低频视觉更新、测量噪声和环境不确定性的问题，开发了一种带有图像特征预测的扩展状态卡尔曼滤波方案（ESKF-PRE），并将估计的总扰动纳入VMPC预测模型，形成ESKF-PRE-VMPC框架。此外，本文引入了一种地形自适应速度设计，能够在未知地形坡度上生成垂直速度参考。
在高保真Gazebo模拟和真实实验中验证了该框架的有效性。在真实世界测试中，所提出的方法在无风条件下的直管道检查中，将管道方向和图像中的横向偏差的均方根误差（RMSE）分别减少了52.63%和75.04%。在风扰动和弯管任务中，该方法成功完成了任务，而基线方法则失败。
该研究在学术界和工业界具有重要意义。它解决了无人机在复杂三维环境中进行自主检查的长期难题，尤其是在GPS信号不可靠或缺失的情况下。通过结合视觉伺服和模型预测控制，该方法提供了一种有效的解决方案，能够提高检查效率，降低操作风险，并减少人力需求。
然而，在极端天气条件下，如强风或暴雨，该框架的性能可能会受到影响。此外，该方法依赖于高质量的视觉特征提取，因此在光照条件极差或图像质量低下的情况下，可能会出现性能下降。未来的研究方向包括进一步优化ESKF-PRE-VMPC框架，以提高其在极端环境条件下的鲁棒性和适应性。
深度分析
研究背景
管道作为现代能源运输的关键基础设施，其安全性和完整性对于防止泄漏、服务中断和环境污染至关重要。传统的管道检查方法通常依赖于人工巡检，这种方法不仅效率低下，而且在偏远地区和复杂地形中存在潜在的安全风险。近年来，无人机因其灵活的机动性和感知能力，成为了一种有吸引力的替代方案。然而，尽管无人机在检查领域展现出巨大的潜力，但许多现有系统仍然依赖于人工操作或操作者的监督，难以实现完全自主的检查任务。为了克服这些挑战，研究人员一直在探索如何利用先进的控制策略和感知技术来提高无人机的自主性和检查效率。
核心问题
在无人机自主检查中，如何在复杂的三维环境中实现准确和可靠的近距离检查是一个核心问题。传统的基于GPS的导航在信号被遮挡或失效的情况下往往不可靠，而现有的视觉伺服方法通常忽略了无人机的动力学特性，导致在低惯性和有限负载能力的四旋翼无人机上难以应用。此外，视觉测量通常以较低的更新率和较差的质量提供，进一步增加了控制的难度。因此，开发一种能够在低频视觉更新、测量噪声和环境不确定性条件下，仍能保持稳定和高效的检查框架，具有重要的研究价值。
核心创新
本文的核心创新在于提出了一种新的ESKF-PRE-VMPC框架，用于无人机的管道检查任务。• 该框架通过将四旋翼动力学与图像特征运动学相结合，形成统一的预测模型，直接在控制回路内进行图像空间预测。• 为解决低频视觉更新、测量噪声和环境不确定性的问题，开发了一种带有图像特征预测的扩展状态卡尔曼滤波方案（ESKF-PRE），并将估计的总扰动纳入VMPC预测模型。• 此外，本文引入了一种地形自适应速度设计，能够在未知地形坡度上生成垂直速度参考。• 这些创新使得该框架在复杂三维环境中具有更高的鲁棒性和稳定性。
方法详解
本文的方法论包括以下几个关键步骤：• 统一预测模型：通过将四旋翼动力学与图像特征运动学相结合，形成统一的预测模型，直接在控制回路内进行图像空间预测。• 扩展状态卡尔曼滤波（ESKF-PRE）：为解决低频视觉更新、测量噪声和环境不确定性的问题，开发了一种带有图像特征预测的扩展状态卡尔曼滤波方案，并将估计的总扰动纳入VMPC预测模型。• 地形自适应速度设计：引入了一种地形自适应速度设计，能够在未知地形坡度上生成垂直速度参考，保持所需的巡航速度。• 高保真Gazebo模拟和真实实验：在高保真Gazebo模拟和真实实验中验证了该框架的有效性。
实验设计
实验设计包括在高保真Gazebo模拟和真实世界环境中进行验证。• 数据集：使用真实世界的管道模型进行实验，模拟各种实际场景，如直管段、弯管段、上坡和下坡段。• 基线：与传统的IBVS方法和不考虑四旋翼动力学的MPC方法进行比较。• 评价指标：使用均方根误差（RMSE）评估管道方向和图像中的横向偏差。• 超参数：在VMPC中使用的预测时域长度和采样时间等关键参数进行了详细设置。
结果分析
实验结果表明，所提出的ESKF-PRE-VMPC框架在无风条件下的直管道检查中，将管道方向和图像中的横向偏差的均方根误差（RMSE）分别减少了52.63%和75.04%。此外，在风扰动和弯管任务中，该方法成功完成了任务，而基线方法则失败。这些结果表明，该框架在复杂三维场景中的稳定性和跟踪鲁棒性显著优于现有方法。
应用场景
该框架可直接应用于能源运输领域的管道检查任务，尤其是在偏远地区和复杂地形中。• 先决条件：需要高质量的视觉特征提取和可靠的无人机平台。• 行业影响：通过提高检查效率和降低操作风险，该框架有望在能源运输领域得到广泛应用，确保管道的结构完整性和安全性。
局限与展望
尽管该框架在实验中表现出色，但在极端天气条件下，如强风或暴雨，性能可能会受到影响。此外，该方法依赖于高质量的视觉特征提取，因此在光照条件极差或图像质量低下的情况下，可能会出现性能下降。未来的研究方向包括进一步优化ESKF-PRE-VMPC框架，以提高其在极端环境条件下的鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象一下你在家里有一个小型机器人，它可以自动在家里巡逻，检查所有的管道是否有泄漏。这个机器人有一个摄像头，可以看到管道的图像，并根据这些图像来调整自己的位置和速度。为了确保它能准确地跟踪管道，即使在光线不好的地方，它也会使用一种叫做“扩展状态卡尔曼滤波”的技术来预测管道的位置。这就像是机器人在黑暗中用手电筒照亮前方的路，然后根据看到的东西来决定下一步怎么走。即使在风吹或地面不平的情况下，这个机器人也能保持稳定，因为它会根据环境的变化来调整自己的速度和方向。这个系统就像是给机器人装上了一双“聪明的眼睛”和一个“聪明的大脑”，让它能在复杂的环境中自如地移动和工作。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你有一个超级酷的无人机，它可以自己飞来飞去，检查那些长长的管道，确保没有漏水或其他问题。它就像是一个空中的小侦探！这个无人机有一个特别的“眼睛”，可以看到管道的图像，然后用这些图像来决定怎么飞。它还会用一种叫做“卡尔曼滤波”的技术来预测管道的位置，就像是在玩一个高科技的捉迷藏游戏！即使外面刮风或者地面不平，这个无人机也能保持稳定，因为它会根据环境的变化来调整自己的飞行路线。这样一来，它就能在各种复杂的环境中完成任务，真是太厉害了！
术语表
无人机 (UAV)
无人机是一种不需要飞行员直接操控的飞行器，通常用于执行各种任务，如监控、检查和运输。
在本文中，无人机用于执行管道检查任务，提供灵活的感知平台。
视觉伺服 (Visual Servoing)
视觉伺服是一种利用视觉信息来控制机器人运动的方法，通常用于精确定位和跟踪目标。
本文中使用视觉伺服来控制无人机的运动，使其能够准确地跟踪管道。
模型预测控制 (Model Predictive Control)
模型预测控制是一种通过优化未来控制序列来实现系统控制的方法，能够显式地考虑系统动力学和约束。
本文中使用模型预测控制来提高无人机的运动质量和可视性保持能力。
扩展状态卡尔曼滤波 (Extended State Kalman Filtering)
扩展状态卡尔曼滤波是一种用于状态估计的滤波技术，能够在存在噪声和不确定性的情况下提供可靠的状态估计。
本文中使用扩展状态卡尔曼滤波来增强对测量噪声和扰动的鲁棒性。
扰动抑制 (Disturbance Rejection)
扰动抑制是一种通过补偿外部扰动来提高系统稳定性和性能的方法。
本文中通过估计和补偿扰动来提高无人机检查任务的鲁棒性。
三维检查 (3D Inspection)
三维检查是指在三维空间中对目标进行全面的检查和评估，通常需要考虑复杂的地形和环境因素。
本文中提出的框架能够在复杂的三维环境中进行自主检查。
图像特征预测 (Image Feature Prediction)
图像特征预测是一种通过预测未来图像特征位置来提高视觉伺服性能的方法。
本文中使用图像特征预测来解决低频视觉更新的问题。
地形自适应速度设计 (Terrain-Adaptive Velocity Design)
地形自适应速度设计是一种根据地形变化调整速度的策略，确保在复杂地形中保持稳定的运动。
本文中引入地形自适应速度设计来生成垂直速度参考。
均方根误差 (Root Mean Square Error)
均方根误差是一种用于评估预测模型精度的统计指标，表示预测值与实际值之间的差异。
本文中使用均方根误差来评估无人机检查任务的精度。
高保真模拟 (High-Fidelity Simulation)
高保真模拟是一种通过精确建模和仿真来逼真再现真实世界环境的方法。
本文中使用高保真Gazebo模拟来验证提出框架的有效性。
开放问题 这项研究留下的未解疑问
- 1 如何在极端天气条件下，如强风或暴雨，进一步提高无人机检查框架的鲁棒性和稳定性？现有方法可能无法充分估计和补偿剧烈的环境变化，因此需要开发更为先进的扰动估计和补偿策略。
- 2 在光照条件极差或图像质量低下的情况下，如何确保高质量的视觉特征提取？这需要结合其他传感器数据，如激光雷达或红外成像，以增强系统的感知能力和环境理解。
- 3 如何在复杂的城市环境中优化无人机检查框架，以应对多种障碍物和动态变化？这需要进一步的算法优化和调整，以提高系统的适应性和灵活性。
- 4 如何将ESKF-PRE-VMPC框架应用于其他类型的基础设施检查任务，如桥梁或电力线检查？这需要对不同任务场景进行详细的需求分析和框架调整。
- 5 在无人机检查任务中，如何结合机器学习技术来增强系统的自主性和智能性？这需要探索将深度学习与传统控制方法结合的可能性，以提高系统的决策能力和适应性。
应用场景
近期应用
管道检查
该框架可直接应用于能源运输领域的管道检查任务，尤其是在偏远地区和复杂地形中。通过提高检查效率和降低操作风险，该框架有望在能源运输领域得到广泛应用。
桥梁检查
通过调整框架参数和算法，该方法可以应用于桥梁结构的检查任务，确保桥梁的安全性和完整性，特别是在难以到达的区域。
电力线检查
该框架可以用于电力线的检查和维护，特别是在山区或森林等复杂地形中，通过无人机的灵活性和自主性，提高检查效率和安全性。
远期愿景
智能城市基础设施监控
随着技术的进步，该框架可以集成到智能城市的基础设施监控系统中，实现对城市中各种关键设施的实时监控和维护。
无人机自主导航系统
该框架的成功应用将推动无人机自主导航系统的发展，使无人机能够在复杂的环境中自主完成各种任务，如物流运输、灾害救援等。
原文摘要
Reliable pipeline inspection is critical to safe energy transportation, but is constrained by long distances, complex terrain, and risks to human inspectors. Unmanned aerial vehicles provide a flexible sensing platform, yet reliable autonomous inspection remains challenging. This paper presents an autonomous quadrotor near-proximity pipeline inspection framework for three-dimensional scenarios based on image-based visual servoing model predictive control (VMPC). A unified predictive model couples quadrotor dynamics with image feature kinematics, enabling direct image-space prediction within the control loop. To address low-rate visual updates, measurement noise, and environmental uncertainties, an extended-state Kalman filtering scheme with image feature prediction (ESKF-PRE) is developed, and the estimated lumped disturbances are incorporated into the VMPC prediction model, yielding the ESKF-PRE-VMPC framework. A terrain-adaptive velocity design is introduced to maintain the desired cruising speed while generating vertical velocity references over unknown terrain slopes without prior terrain information. The framework is validated in high-fidelity Gazebo simulations and real-world experiments. In real-world tests, the proposed method reduces RMSE by 52.63% and 75.04% in pipeline orientation and lateral deviation in the image, respectively, for straight-pipeline inspection without wind, and successfully completes both wind-disturbance and bend-pipeline tasks where baseline method fails. An open-source nano quadrotor is modified for indoor experimentation.
参考文献 (20)
On extended state based Kalman filter design for a class of nonlinear time-varying uncertain systems
Wenyan Bai, Wenchao Xue, Yi Huang 等
Computationally efficient infinite-horizon indefinite model predictive control with disturbance preview information
Siyuan Zhan, Wen‐Hua Chen, T. Steffen 等
DR-MPC: Disturbance-Resilient Model Predictive Visual Servoing Control for Quadrotor UAV Pipeline Inspect
Wen Li, Jinya Su, Cunjia Liu 等
Model Predictive Control using Efficient Gaussian Processes for Unknown Disturbance Inputs
J. Grasshoff, G. Männel, H. S. Abbas 等
Robust Online Predictive Visual Servoing for Autonomous Landing of a Rotor UAV
Lingjie Yang, Xiangke Wang, Zhihong Liu 等
DA-MPPI: Disturbance-Aware Model Predictive Path Integral via active disturbance estimation and compensation
Haodi Zhang, Jinya Su, Jun Yang 等
Crazyflie 2.0 quadrotor as a platform for research and education in robotics and control engineering
Wojciech Giernacki, Mateusz Skwierczynski, Wojciech Witwicki 等
Autonomous Power Line Inspection with Drones via Perception-Aware MPC
Jiaxu Xing, Giovanni Cioffi, Javier Hidalgo-Carrió 等
Disturbance-Observer-Based Control and Related Methods—An Overview
Wen‐Hua Chen, Jun Yang, Lei Guo 等
qpOASES: a parametric active-set algorithm for quadratic programming
Hans Joachim Ferreau, C. Kirches, A. Potschka 等
A review of GNSS-independent UAV navigation techniques
N. Gyagenda, Jasper V. Hatilima, H. Roth 等
Dynamic visual servoing with image moments for a quadrotor using a virtual spring approach
R. Ozawa, F. Chaumette
Multirotor Aerial Vehicles: Modeling, Estimation, and Control of Quadrotor
R. Mahony, Vijay R. Kumar, Peter Corke
Predicting the future state of disturbed LTI systems: A solution based on high-order observers
A. Castillo, P. Garcia
An overview of null space projections for redundant, torque-controlled robots
Alexander Dietrich, C. Ott, A. Albu-Schäffer
Disturbance observer based adaptive model predictive control for uncalibrated visual servoing in constrained environments.
Zhoujingzi Qiu, Shiqiang Hu, Xinwu Liang
Robust model predictive control using tubes
W. Langson, I. Chryssochoos, S. Raković 等
What Matters in Constructing a Visual Servoing Scheme: A Review of Key Issues and Solutions
Fan Xu, Hesheng Wang, Huijun Gao
Inspection and maintenance of oil & gas pipelines: a review of policies
Hassan Iqbal, S. Tesfamariam, Husnain Haider 等
Disturbance Rejection MPC for Tracking of Wheeled Mobile Robot
Zhongqi Sun, Yuanqing Xia, Li Dai 等