Automated Weld Seam Recognition and 3D Mapping for Robotic Post Processing Using Photogrammetry and Semantic Segmentation

随着工业自动化的发展，焊缝检测成为保障焊接质量的关键环节。传统方法多依赖激光扫描或结构光设备，虽然精度高，但成本昂贵且操作繁琐。近年来，深度学习与摄影测量技术的结合，为大规模工件的快速检测提供了新思路。已有研究如Ruiz de Oña等的Photogrammetric Suite WeldMap，主要应用于小型工件，难以应对复杂场景。激光点云虽精确，但在大面积场景中效率低下。本文旨在结合手机图像、多视角摄影测量与深度学习模型，突破现有技术瓶颈，实现大工件焊缝的快速粗略定位。

大工件焊缝检测面临多重挑战：高精度扫描成本高、耗时长，且在复杂表面反光或纹理不足时识别困难。传统激光扫描设备虽能提供精确几何信息，但在大面积场景中效率低下，且设备成本高昂。如何利用低成本设备实现快速、准确的焊缝粗略定位，成为工业自动化中的关键难题。现有方法多依赖点云或结构光，受环境影响大，难以满足现场快速检测需求。本文提出利用普通手机图像结合深度学习与摄影测量，解决这一瓶颈。

本研究的创新点在于：1）引入SegFormer深度学习模型进行焊缝语义分割，提升检测鲁棒性；2）结合摄影测量技术实现多视角三维重建，降低成本；3）将二维焊缝轮廓投影到三维模型中，获得空间路径。不同于传统依赖激光点云的方案，该方法利用普通手机图像，极大降低设备成本和操作复杂度。多视角融合技术确保焊缝路径的空间连续性，为机器人路径规划提供了可靠基础。这一创新组合实现了从二维检测到三维定位的无缝转换，推动工业自动化向低成本、智能化迈进。

• �� 图像采集：用手机从多个角度拍摄工件，确保焊缝在不同视角下都被覆盖。• 语义分割：利用预训练的SegFormer模型对每张图像进行焊缝掩码预测，区分焊缝与背景。• 轮廓提取：对掩码进行滤波，连接焊缝区域，利用主成分分析估算焊缝方向，沿方向切片提取中心点，形成焊缝样条线。• 三维投影：结合摄影测量生成的深度图和相机参数，将焊缝样条线投影到三维空间。• 多视角融合：将不同视角的焊缝点合并，去除重复点和异常值，得到连续的三维焊缝路径。• 最终输出：生成空间焊缝模型，为机器人路径规划提供基础。

实验使用一块40cm×10cm×5cm钢管焊接件，配备AprilTag标记以实现尺度校准。采集68张高分辨率图像，覆盖所有可视面。利用RealityScan软件进行摄影测量重建，获得点云模型，几何误差约3mm。焊缝检测采用SegFormer模型，训练数据包括388张公开图像，识别准确率达85%。将焊缝轮廓投影到三维模型，误差（RMSE）为4.2mm。结果验证了多视角图像结合摄影测量的可行性，整体流程实现了毫米级空间定位，为后续机器人操作提供了基础。

重建模型几何误差约3mm，验证了流程的精度。焊缝识别准确率达85%，在不同光照条件下表现稳定。焊缝空间定位误差为4.2mm，满足工业路径规划需求。多视角融合有效减少了噪声和误差，整体流程实现了快速、低成本的焊缝粗略定位，为机器人后续精测和处理提供了可靠基础。这些结果表明，结合深度学习与摄影测量的方案具有实际应用潜力。

该技术适用于工业现场焊缝快速检测、机器人路径规划、自动打磨和检验。只需普通手机和少量标记，即可实现大面积工件的焊缝粗略定位。未来可结合实时处理技术，提升现场应用效率，推动工业自动化升级。长远来看，该方法有望实现全自动化焊缝检测与机器人作业，降低人工成本，提升生产效率。

模型对光照和反光敏感，识别在强反光或低光环境下效果下降。摄影测量在纹理不足或表面反光强烈区域存在误差，影响焊缝路径精度。流程主要适用于规则焊缝，复杂焊缝形态可能需要更复杂的后处理算法。未来需增强模型鲁棒性，提升在多变环境中的适应能力，并实现实时处理。