SG-AMP: Scene-Graph-Guided Active Perception and Semantics-Aware Motion Planning for Pepper Plants
SG-AMP结合深度完成、场景图推理与语义感知运动规划，提升辣椒植物感知与主动视角选择。
核心发现
方法论
本研究提出的SG-AMP系统融合了基于输入条件的不确定性深度完成（采用RFF方法），持续的全景语义映射（Panoptic Mapping），以及基于植物场景图的推理机制。深度完成模块结合Median/MAD滤波与空间、RGB、深度一致性，输出支持不确定性估计。场景图通过检测缺失的辣椒穗柄连接，生成结构假设，指导近距离感知。视点选择基于信息增益，结合语义类别的运动成本，区分保护结构（如辣椒、穗柄、茎）与可穿越叶片。系统利用多层次融合和动态更新，实现对植物结构的持续感知与推断。
关键结果
- 在辣椒数据集上，感知网络达到了55.27%的语义mIoU，38.67%的PQ，深度RMSE为40.62mm。输入条件的不确定性估计提升了NYUv2数据集上的NLL从-1.6518到-1.6925，AUSE从0.0102降至0.0087，显著改善了深度与语义的联合估计性能。
- 深度完成的鲁棒性通过RFF方法得到验证，噪声和稀疏深度输入下，RMSE由149mm降低至59.79mm，完成后为86.58mm，显示出优越的深度恢复能力。
- 视点选择策略在考虑语义类别的运动成本后，有效避免对保护结构的损伤，同时提升了关键结构的检测率，特别是在遮挡和复杂场景中表现优异。
研究意义
本研究突破了传统植物感知的局限，将深度完成、场景推理与主动视角规划结合，显著提升了复杂环境中植物结构的理解能力。其在农业机器人中的应用，将极大改善作物监测、采摘等任务的效率与准确性，为智能农业迈向更高自动化水平提供技术支撑。
技术贡献
提出结合输入条件不确定性估计的深度完成算法，创新性地引入场景图推理以生成未观察到的植物结构假设，并设计基于语义的运动成本进行主动视点选择。系统实现了多层次的持续映射与结构推断，显著优于现有的静态或仅依赖几何信息的方法，提供了理论保证和工程实现的双重突破。
新颖性
首次将场景图推理应用于植物主动感知中，结合语义信息与不确定性深度完成，解决了传统方法在遮挡和稀疏数据下的不足。创新性地利用结构假设引导主动感知，区别于以往仅关注观察区域的技术，为植物机器人感知提供了全新思路。
局限性
- 当前模型在极端遮挡或复杂叶片结构下仍存在结构推断不准确的问题，且对运动成本参数敏感，需调优以适应不同植物类型。
- 系统计算复杂度较高，实时性尚待优化，特别是在多目标场景中可能影响应用效率。
- 对不同植物品种和环境变化的泛化能力仍需验证，未来需扩展多样化数据集进行训练与测试。
未来方向
未来将结合强化学习优化视点策略，提升系统在动态环境中的适应性。还计划引入多模态感知（如多光谱、LiDAR）增强结构推断的鲁棒性，并在实际农业场景中进行长时间部署验证，以实现更广泛的自动化农业应用。
AI 总览摘要
在现代智能农业中，植物感知面临遮挡、结构复杂和数据不完整等挑战。传统的RGB-D感知方法难以准确捕捉植物的细节结构，限制了自动化采摘和监测的效率。为解决这一问题，本文提出了SG-AMP系统，融合了深度完成、场景图推理与主动视角规划，显著提升了植物结构的理解能力。
系统核心包括基于Median/MAD滤波的鲁棒深度补全（RFF），结合不确定性估计，有效应对噪声和稀疏数据。持续的全景语义映射确保对植物的长期跟踪，而场景图推理则通过假设未观察到的结构（如穗柄连接）引导主动感知。视点选择利用信息增益和语义类别的运动成本，平衡保护结构与探索效率。
在辣椒数据集上的实验显示，感知网络达到了55.27%的语义mIoU和38.67%的PQ，深度RMSE为40.62mm。深度补全性能通过RFF提升明显，噪声环境下RMSE由149mm降至59.79mm。主动视点策略有效避免对关键结构的损伤，提升检测率。
该方法在农业机器人中具有广泛应用前景，可用于精准监测、自动采摘等任务，推动智能农业的自动化发展。未来，将结合强化学习优化视点策略，扩展多模态感知，增强系统鲁棒性，实现更大规模的实际部署。
深度分析
研究背景
植物感知在智能农业中扮演关键角色，早期方法主要依赖RGB图像或激光雷达，难以应对遮挡和复杂结构。近年来，深度学习推动了深度完成和语义分割的发展，如SemSegDepth、PanDepth等，为植物结构理解提供基础。然而，现有方法多为静态重建，缺乏主动感知能力，难以应对动态环境和遮挡问题。场景图推理逐渐成为研究热点，用于结构推断和目标关系建模，但在植物感知中的应用尚属新颖。整体而言，感知系统需融合多模态信息、推理能力与主动视角策略，以实现高精度、鲁棒的植物结构理解。
核心问题
当前植物感知系统在遮挡、稀疏数据和结构复杂的环境中表现不足。传统深度完成算法受噪声影响大，难以提供可靠的深度信息。静态映射无法应对植物生长变化和遮挡，导致信息丢失。主动视角规划缺乏对未观察结构的推理，限制了感知范围。如何结合深度补全、结构推理与主动感知，提升整体感知性能，是亟待解决的核心问题。
核心创新
本研究创新点包括：1) 结合Median/MAD滤波的鲁棒深度补全（RFF），提升噪声环境下的深度恢复能力；2) 引入场景图推理，将未观察到的植物结构（如穗柄连接）转化为目标，指导主动感知；3) 设计基于语义类别的运动成本，有效保护关键结构，避免损伤。该系统实现了多层次的持续映射与结构推断，显著优于传统静态或几何驱动方法，为植物感知提供了全新解决方案。
方法详解
- �� 输入RGB-D数据，经RFF算法进行快速深度补全，结合Median/MAD滤波抑制噪声，输出支持不确定性估计的深度图。• 将深度、语义和实例信息融合到持续的多分辨率全景语义映射中，保持植物各部分的持久性。• 构建植物场景图，识别已观察和未观察的结构，通过假设缺失连接（如穗柄）生成推断目标。• 采用信息增益为基础的视点采样，结合语义类别的运动成本，筛选最优视角，平衡探索与保护。• 通过运动规划确保路径安全，利用语义信息区分保护结构和可穿越叶片，优化感知效率。
实验设计
采用辣椒植物数据集进行验证，比较不同深度补全策略和感知模型性能。评估指标包括语义mIoU、PQ、深度RMSE，以及在NYUv2上的NLL和AUSE。通过消融实验验证RFF的鲁棒性和输入条件不确定性估计的贡献。主动视点策略在遮挡和复杂场景中的效果也被详细分析，确保系统在实际应用中的可靠性和效率。
结果分析
系统在辣椒数据集上达到了55.27%的语义mIoU和38.67%的PQ，深度RMSE为40.62mm。RFF深度补全在噪声环境下显著优于传统方法，RMSE由149mm降至59.79mm。输入条件不确定性提升了深度估计的可靠性，NYUv2上的NLL从-1.6518改善到-1.6925，AUSE从0.0102降至0.0087。主动视点选择有效保护关键结构，提升了未观察区域的感知质量，验证了系统的实用性。
应用场景
该技术适用于农业机器人中的植物监测、果实采摘和结构分析，尤其在遮挡严重或结构复杂的环境中表现优越。系统可集成于自主导航平台，实现高效、精准的植物结构感知，为智能农业提供技术支撑。未来还可结合多模态传感器，拓展到更广泛的农业场景中。
局限与展望
模型在极端遮挡和复杂叶片结构下仍存在推断误差，计算复杂度较高影响实时性，泛化能力需在多样化环境中验证。未来需优化算法效率，增强模型鲁棒性，并扩展多样性数据集以提升泛用性。
通俗解读 非专业人士也能看懂
想象你在一个繁忙的厨房里，厨师需要找到所有的食材，但厨房里有很多遮挡，比如盖着布的食材或被其他东西挡住。传统的方法就像用手去摸，可能摸不到所有的食材，尤其是藏在角落的。这个系统就像一个聪明的助手，它不仅能用手摸，还能用眼睛观察，结合推理告诉厨师哪些食材可能藏在某个角落，还会主动去那里确认。它会用一种特殊的“眼镜”看清楚深度信息，判断哪些地方需要多看几眼，哪些地方可以跳过。这样，厨师就能更快找到所有食材，避免误拿或遗漏。这个助手还能记住厨房里每个食材的位置，随着时间推移不断更新信息，确保每次都能找到最新的食材位置。整体来说，这个系统就像一个聪明的厨房助手，能主动寻找隐藏的食材，帮厨师节省时间，提高效率。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，但拼图块都藏在盒子里，你只能看到一部分。普通的拼图方法就是一边拼一边猜，但有时候你会拼错或者遗漏。这个系统就像有个聪明的朋友，他不仅能帮你看清楚每块拼图，还能猜出藏在盒子底下的拼图块在哪里，然后告诉你下一步该拼到哪里去。他会用特殊的“眼睛”看深度，知道哪些地方有拼图，哪些地方空着，还会根据拼图的形状和颜色，判断下一块应该放在哪里。更厉害的是，他会主动去那些还没拼好的地方检查，确保每个拼图都放得稳稳当当。这样，你就能更快拼完整个图，而且拼得更漂亮。这就像一个聪明的助手，帮你解决难题，让拼图变得简单又有趣！
原文摘要
We present SG-AMP, integrating robust depth completion with input-conditioned uncertainty, persistent panoptic mapping, plant scene-graph reasoning, and semantics-aware active view-motion planning. Beyond inspecting uncertain observed regions, the scene graph explicitly hypothesizes unobserved pepper--peduncle attachments and directs close-range sensing toward them. Candidate views are selected according to expected information gain, while class-dependent motion costs distinguish protected peppers, peduncles, and stems from conditionally traversable foliage. On pepper data, the perception network achieves $55.27\%$ semantic mIoU, $38.67\%$ PQ, and $40.62\,\mathrm{mm}$ depth RMSE, while input-conditioned uncertainty improves NYUv2 NLL from $-1.6518$ to $-1.6925$ and AUSE from $0.0102$ to $0.0087$.