Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective
提出LanEvil++基准，评估环境错觉对自主驾驶车道感知的鲁棒性，模型性能平均下降5.27%。
核心发现
方法论
本文构建了LanEvil++基准，利用CARLA模拟器生成94个高保真3D场景，涵盖14类环境错觉。通过设计多级别的扰动，系统性模拟阴影、反射、道路损伤等错觉，评估传统车道检测（LD）和视觉-语言模型（ADVLMs）在不同错觉下的性能。采用指标包括准确率、F1-score、GPT-score等，结合闭环仿真和实地案例，验证模型在复杂环境中的鲁棒性缺陷。引入MIDA方法，通过硬样本增强提升模型抗错觉能力。
关键结果
- 在LanEvil++测试集上，LD模型平均Accuracy下降5.27%，F1-score下降10.49%，阴影类错觉导致最高7.20%的性能损失。ADVLMs的GPT-score平均降低2.03%，其中交通阻塞类影响最大，下降3.51%。闭环仿真显示错觉可能引发错误驾驶决策，实地案例揭示安全风险。
- 引入MIDA后，LD模型性能提升4.23%，ADVLMs提升3.82%，显著增强抗错觉能力。模拟和实地测试均验证其有效性，为未来鲁棒自主驾驶提供技术路径。
- 系统性分析了环境错觉的类型、生成机制及其对感知模型的影响，为设计更鲁棒的感知系统提供理论基础。
研究意义
该研究填补了环境错觉对自主驾驶鲁棒性系统性评估的空白，强调阴影、反射等自然现象在实际交通中的潜在威胁。通过模拟与实测结合，为行业提供了科学的评估工具，有助于推动安全可靠的自动驾驶技术发展。研究成果对未来感知模型的设计、环境鲁棒性提升具有重要指导意义，有望降低因环境错觉引发的交通事故风险。
技术贡献
本文首次提出LanEvil++基准，系统性涵盖14类环境错觉，结合高保真模拟生成大规模标注数据。引入多级别扰动设计，全面评估模型鲁棒性。提出MIDA方法，利用硬样本增强机制显著提升模型抗错觉能力。对比传统方法，显著改善在复杂环境中的感知性能，为多模态和深度学习模型的鲁棒性研究提供新思路。
新颖性
首次系统性构建涵盖多类别环境错觉的鲁棒性评估基准，结合模拟和实地验证，揭示阴影等自然错觉对模型的深远影响。引入多模态硬样本增强策略，提升模型抗干扰能力。与现有单一场景或单一模型评估不同，提供全面、多维度的性能分析，推动行业向更安全的自主驾驶迈进。
局限性
- 模拟环境虽高保真，但仍难完全覆盖实际复杂场景中的所有错觉类型，存在一定偏差。
- 模型优化策略主要针对特定错觉类别，泛化到未知或新出现的错觉仍需进一步研究。
- 在极端天气或多错觉叠加情况下，模型表现仍存在不确定性，需持续优化。
未来方向
未来将结合多源传感器信息，提升环境感知的鲁棒性；探索自适应模型以应对未知错觉；扩展到多模态融合与端到端优化，增强系统整体安全性。还将关注实际部署中的环境变化，推动行业标准制定。
AI 总览摘要
随着自动驾驶技术的快速发展，环境中的自然错觉如阴影、反射等成为影响感知系统安全的重要因素。现有研究多集中于算法性能，缺乏对这些错觉的系统性评估。本文提出了LanEvil++基准，通过在CARLA模拟器中生成94个高保真场景，涵盖14类环境错觉，全面测试传统车道检测（LD）和视觉-语言模型（ADVLMs）在复杂环境中的鲁棒性。
实验结果显示，阴影等错觉导致模型性能平均下降5.27%，其中阴影影响最大，达7.20%。ADVLMs的GPT-score平均下降2.03%，交通阻塞类错觉影响显著。闭环仿真验证了错觉可能引发错误驾驶决策，实地案例进一步揭示潜在安全风险。
为应对这一挑战，作者提出了多模态错觉防御方法（MIDA），通过硬样本增强显著提升模型抗错觉能力，LD模型提升4.23%，ADVLMs提升3.82%。该研究不仅丰富了环境鲁棒性评估工具，也为未来自主驾驶系统的安全设计提供了理论基础。未来工作将结合多源传感器和自适应机制，推动行业标准制定，降低环境错觉带来的交通安全隐患。
深度分析
研究背景
自动驾驶感知技术经历了从传统基于规则的算法到深度学习的快速演进。早期依赖激光雷达和摄像头的感知系统在稳定性方面取得一定成效，但在复杂环境中的鲁棒性仍不足。近年来，深度神经网络（如LaneNet、SCNN）推动了车道线检测的突破，但对阴影、反射等环境干扰的敏感性成为瓶颈。现有数据集（如CULane、BDD-100K）虽提供丰富场景，但缺乏针对环境错觉的系统评估工具。行业逐渐认识到环境鲁棒性对安全的关键作用，亟需标准化的评估体系和针对性解决方案。
核心问题
环境中的自然错觉如阴影、反射等，容易误导感知模型，导致误识别或漏检，严重威胁驾驶安全。现有模型在标准测试集表现良好，但在实际复杂环境中表现大打折扣。缺乏系统性评估工具和针对性鲁棒性提升策略，使得模型在真实场景中存在巨大安全隐患。如何全面衡量模型对环境错觉的敏感度，并提出有效的防御机制，成为行业亟待解决的核心问题。
核心创新
本研究的创新点包括：1）构建涵盖14类环境错觉的LanEvil++基准，提供大规模、多类别、多场景的评估平台；2）利用CARLA模拟器，系统生成高保真、多级别扰动场景，真实模拟阴影、反射等错觉；3）提出多模态硬样本增强（MIDA），结合模型内部注意力机制，有效提升模型抗错觉能力；4）在闭环仿真和实地测试中验证方法的有效性，为行业提供可行的技术路径。这些创新突破了传统单一场景、单一模型的局限，为环境鲁棒性研究提供了全面解决方案。
方法详解
- �� 设计环境模型：定义静态基础设施、动态对象和环境条件。
- �� 生成错觉场景：在CARLA中模拟阴影、反射、道路损伤等，设定多级别扰动。
- �� 构建基准：采集94个场景，标注90,292图像，设计6类ADVLM任务，生成丰富测试集。
- �� 模型评估：在不同错觉条件下测试LD和ADVLM模型，指标包括准确率、F1-score、GPT-score。
- �� 提出MIDA：结合硬样本和注意力机制，训练模型增强抗干扰能力。
- �� 仿真验证：在OpenPilot和LMDrive中进行闭环测试，分析驾驶决策变化。
- �� 实地案例：采集真实交通场景，验证模型在实际环境中的表现。
实验设计
采用CARLA模拟环境，生成94个场景，涵盖阴影、反射、道路裂缝等14类错觉。对比多种主流LD模型（如SCNN、LaneATT）和ADVLM（如LMDrive、Dolphins），在正常和错觉条件下评估性能。指标包括准确率、F1-score、GPT-score等。通过不同扰动级别，分析模型性能变化，进行消融实验验证硬样本增强效果。闭环仿真中，结合OpenPilot和LMDrive，观察模型决策变化，实地采集交通场景，验证模型在真实环境中的鲁棒性。
结果分析
实验显示，阴影错觉导致LD模型平均Accuracy下降5.27%，最高达7.20%；F1-score下降10.49%。ADVLM的GPT-score平均降低2.03%，交通阻塞影响最大，下降3.51%。硬样本增强（MIDA）后，LD性能提升4.23%，ADVLM提升3.82%。闭环仿真中，错觉引发的误判可能导致车辆偏离车道甚至事故。实地案例验证了模型在真实复杂环境中的潜在安全风险，强调鲁棒性提升的必要性。
应用场景
该基准和方法可应用于自动驾驶感知系统的鲁棒性评估与优化，帮助企业在模型部署前识别潜在安全隐患。未来可结合多源传感器信息，提升环境感知的抗干扰能力，推动行业标准制定，降低环境错觉引发的交通事故风险。长远来看，有望实现更智能、更安全的自动驾驶系统，普及于城市和高速公路场景。
局限与展望
模拟环境虽高保真，但仍难完全复制真实交通中的复杂错觉，存在偏差。模型针对特定错觉优化，面对未知或新型错觉时表现仍不足。极端天气、多错觉叠加等场景尚未充分覆盖，模型在极端条件下的鲁棒性仍需提升。未来需结合多模态信息和自适应机制，增强系统的泛化能力和安全性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，突然天花板上的灯光投下阴影，或者镜子里的反射让你误以为门外有人。这些自然出现的阴影和反射，就像在自动驾驶中遇到的环境错觉，会让车辆的感知系统迷糊，误判道路和障碍。研究人员就像厨师一样，设计了各种“调料”——不同的错觉场景，测试自动驾驶的“厨艺”。他们发现，这些阴影和反射会让“厨师”——模型——变得不灵光，甚至做出错误的决定。于是，他们开发了“调料包”——MIDA，帮助“厨师”更好地应对这些“调料”，确保“菜肴”——车辆的决策——安全可靠。这个研究就像改良厨艺，让自动驾驶车在各种复杂“厨房”环境中都能稳稳当当地“做菜”。
简单解释 像给14岁少年讲一样
想象你在玩一款赛车游戏，突然屏幕上出现阴影或者反光，让你以为前面有障碍物，其实没有。这就像在现实中，自动驾驶的车也会遇到阴影、反射这些“恶作剧”，让它们误以为路上有东西，从而做出错误反应。科学家们就像游戏设计师一样，设计了很多不同的“场景”——比如阴影、反光、道路裂缝——来测试车的“眼睛”。他们发现，这些“恶作剧”会让车变得不靠谱，甚至可能出事故。于是，他们还发明了“超级护盾”——一种让车更聪明的技术，能帮它更好地识别这些“恶作剧”，确保它在复杂环境中也能安全行驶。这个研究就像让赛车变得更聪明、更安全，让它在任何天气和光线条件下都能稳稳当当跑完全程。
术语表
环境错觉 (Environmental Illusion)
自然存在但误导感知的视觉现象，如阴影和反射，影响自动驾驶的感知准确性。
论文中分析阴影、反射等错觉对模型性能的影响。
车道检测 (Lane Detection)
识别道路上的车道线和边界的任务，是自动驾驶的基础感知模块。
评估模型在不同错觉场景下的鲁棒性。
ADVLM (Vision-Language Model for AD)
结合视觉信息和自然语言理解的多模态模型，用于增强场景理解和决策能力。
本文测试其在环境错觉中的表现。
CARLA模拟器
开源的自动驾驶仿真平台，用于生成高保真、多类别的交通场景。
用于构建测试场景和生成数据。
MIDA (Multimodal Illusion Defense Approach)
结合硬样本和注意力机制的模型增强策略，提高模型抗错觉能力。
论文提出的核心防御方法。
开放问题 这项研究留下的未解疑问
- 1 当前模拟环境难以完全复制真实交通中的复杂错觉，存在偏差。未来需结合多源传感器信息，提升模型泛化能力。
- 2 对未知或新出现的环境错觉模型适应性不足，需开发更通用的鲁棒性提升技术。
原文摘要
Environmental illusions (eg., shadows, reflections, and tire marks) are naturally existing yet overlooked phenomena in real-world driving environments. They can disturb visual perception, leading to misinterpretation of the scene and posing serious safety risks to autonomous driving (AD) systems. However, existing researches largely overlook these phenomena, leaving a critical gap. To address this issue, we study AD robustness through the lane perception perspective, a fundamental task supporting core functions like cruise control and lane centering. We focus on two representative models: conventional lane detection (LD) and vision-language model-based systems (ADVLMs). In this work, we introduce the first benchmark, LanEvil++, for evaluating the robustness of lane perception under environmental illusions. LanEvil++ encompasses 14 types of illusions and leverages the CARLA simulator to generate 94 high-fidelity, fully controllable 3D scenes, yielding a dataset of 90,292 annotated images, 1,596 video clips, and 41,855 visual question answering pairs. Extensive evaluations demonstrate that environmental illusions substantially degrade the performance of state-of-the-art LD methods. On average, LD models experience a 5.27% drop in Accuracy and a 10.49% decline in F1-score, while ADVLMs show a 2.03% reduction in GPT-score and a 0.75% drop in Language-score. Among all illusions, shadows emerge as the most disruptive factor, reducing accuracy by up to 7.20%. Furthermore, closed-loop simulations reveal that these illusions can lead to incorrect driving decisions. Complementary real-world case studies highlight safety-critical failures in actual traffic scenes. To enhance robustness, we propose the Multimodal Illusion Defense Approach (MIDA). MIDA achieves substantial gains under challenging conditions, boosting robustness by 4.23% on LD models and 3.82% on ADVLMs.