核心发现
方法论
采用定量比较方法，结合指标如精确率、召回率和F1分数，评估四名专家与两款AI模型（GPT-4o和Gemini 2.5 Flash）在界面可用性检测中的表现。通过设计标准化的提示语，利用静态界面截图进行检测，统计识别的缺陷数和误报率，分析不同方法的互补性。实验中还结合了人工与AI的联合检测，验证其协同效果。数据采集涵盖缺陷识别数量、检测时间和误报情况，确保结果的科学性和可重复性。
关键结果
- 人类专家在精确率和整体覆盖率方面表现最佳，平均精确率达85%，覆盖率达90%。AI模型虽在个体表现上接近专家（精确率约78%，覆盖率约85%），但发现了大量新颖缺陷，尤其在界面细节方面表现突出。AI的误报率较高（约20%），但联合检测显著提升整体检测效率，减少遗漏。结合AI与专家，检测的缺陷总数提升至95%，误报率降低至12%。
研究意义
本研究为AI在软件可用性检测中的应用提供了实证依据，揭示了生成模型在识别新颖缺陷方面的潜力与局限。结果表明，AI尚不能完全取代人类专家，但作为辅助工具能显著提升检测效率和覆盖面，降低成本。此发现对软件开发流程中的质量保证具有重要启示，有助于推动AI辅助检测的标准化和规模化应用，促进软件工程自动化与智能化发展。
技术贡献
本研究首次系统性比较了GPT-4o和Gemini 2.5 Flash在界面可用性检测中的性能，采用标准化指标（精确率、召回率、F1分数）进行量化分析。提出了结合多模型与专家的混合检测策略，验证其优越性。引入细粒度误报分析，揭示AI模型在界面细节理解上的不足，为未来模型优化提供了理论基础。研究还结合了提示工程技术，提升模型检测的准确性和一致性，为生成式AI在软件质量保证中的应用提供了技术路径。
新颖性
本工作是首个系统性对比两款先进生成模型与人类专家在界面可用性检测中的表现，采用量化指标全面评估模型的检测能力。不同于以往仅关注单一模型或少量案例的研究，本研究结合多模型、多专家、多指标，揭示了AI与人类的互补性，为未来AI辅助检测提供了实证基础。创新点还在于提出联合检测策略，显著提升检测效果，推动AI在软件质量保证中的实际应用。
局限性
- 当前模型在复杂界面和多任务场景下表现仍有限，误报率较高，影响实际应用效果。
- 实验仅基于静态界面截图，未考虑动态交互和用户行为，限制了模型的泛化能力。
- 模型对设计意图和上下文理解不足，可能导致无关或不合理的检测建议，需进一步优化提示策略。
未来方向
未来将结合动态交互数据和用户行为信息，提升模型对界面设计意图的理解能力。探索多模态模型融合，提高检测的全面性和准确性。同时，研究模型在真实开发环境中的集成方案，优化提示工程，减少误报，推动AI在软件质量保证中的规模化应用。还需关注模型的可解释性和可信度，确保其在实际场景中的可靠性与可控性。
AI 总览摘要
软件界面的人机交互体验直接影响用户满意度与产品竞争力。传统的可用性检测依赖经验丰富的专家进行手工评估，既耗时又成本高昂。随着生成式人工智能（GenAI）技术的发展，研究者开始探索其在界面检测中的潜力。本研究系统比较了GPT-4o和Gemini 2.5 Flash两款先进模型与专业专家在静态界面截图上的检测表现。实验结果显示，虽然专家在精确率和覆盖率方面表现优越，AI模型在发现新颖缺陷方面表现也十分突出，尤其在界面细节识别上具有优势。结合AI与专家的联合检测策略，显著提升了缺陷识别的全面性和效率，降低了误报率。这表明，AI目前尚不能完全取代人类，但作为辅助工具能极大增强检测能力，降低成本，推动软件质量保障的自动化。研究还揭示了模型在复杂场景下的局限性，如误报率偏高和对设计意图理解不足。未来，结合动态交互数据、多模态融合和提示工程优化，AI在软件检测中的应用前景广阔，将成为软件工程自动化的重要支撑。整体而言，本研究为AI辅助可用性检测提供了实证基础，开启了智能化软件质量保障的新篇章。
深度分析
研究背景
软件界面的人机交互研究经历了从手工评估到自动化检测的演变。早期方法如启发式评估（Nielsen的10个启发式原则）广泛应用，但受限于专家主观性和效率。近年来，深度学习和自然语言处理技术推动了生成式AI的发展，尤其是大规模语言模型（LLMs）如GPT系列，显著提升了自动化检测的潜力。相关研究包括利用AI模拟用户行为（如Lu等的UXAGENT）和自动生成检测报告（Duan等的Figma插件）。尽管取得一定成果，但模型在理解设计意图、上下文和动态交互方面仍存在挑战。现有工作多集中在单一模型或少量案例，缺乏系统性对比分析。本研究填补了这一空白，结合多模型、多指标，全面评估AI在界面检测中的表现，为未来智能检测提供理论和实践基础。
核心问题
传统可用性检测依赖专家经验，存在成本高、效率低、主观性强的问题。现有AI模型虽具潜力，但在准确性、泛化能力和理解复杂设计意图方面仍有限。如何有效结合AI与人类专家，提升检测的全面性和准确性，成为亟待解决的核心难题。特别是在复杂界面、多任务场景下，模型的误报和漏检问题严重影响实际应用效果。缺乏系统性评估和量化指标，难以指导模型优化和实际部署。解决这一问题对于推动软件自动化检测、降低开发成本具有重要意义。
核心创新
本研究的创新点包括：1）首次系统性比较了GPT-4o和Gemini 2.5 Flash在界面可用性检测中的性能，采用多指标量化分析；2）提出联合检测策略，将AI模型与专家结合，显著提升检测效果；3）引入细粒度误报分析，揭示模型在界面细节理解上的不足，为模型优化提供方向；4）利用标准化提示工程技术，提升模型检测的准确性和一致性。这些创新突破了现有单一模型评估的局限，为AI在软件质量保证中的实际应用提供了技术路径。
方法详解
- �� 选择两款主流生成模型（GPT-4o和Gemini 2.5 Flash）作为检测工具，设计标准化提示语引导模型分析界面截图。• 采集真实用户界面原型的静态截图，确保界面问题未在训练集中出现。• 由专家团队独立进行人工检测，使用Nielsen的10个启发式原则，记录缺陷和建议。• 将AI模型的检测结果整理到电子表格中，进行缺陷归类（真阳性、误报、重复）。• 计算指标如精确率、召回率和F1分数，评估模型与专家的检测能力。• 结合多模型检测结果，采用投票和融合策略，验证联合检测的效果。• 通过统计分析（如Fisher检验）验证不同方法的显著性差异。
实验设计
实验采用设计的界面原型，包含特意植入的缺陷，确保模型能检测到多样化问题。使用标准指标（精确率、召回率、F1）评估模型性能。对比单一模型、专家和联合检测的效果，分析误报和漏检情况。设置不同复杂度的界面场景，测试模型的鲁棒性。通过多轮调优提示语，优化模型检测一致性。还进行了误报分析，识别模型在细节理解上的不足。实验结果验证了模型在新颖缺陷检测中的潜力与局限，为后续优化提供依据。
结果分析
模型在缺陷检测中表现出色，AI模型的平均精确率达78%，覆盖率85%，比单一专家略低，但在新颖缺陷发现方面优势明显。联合检测后，缺陷总数提升至95%，误报率降低至12%。具体数据表明，AI在细节识别和重复检测方面表现优异，但在复杂界面和设计意图理解上仍存在不足。实验还显示，结合多模型检测策略能有效弥补单一模型的缺陷，提升整体检测效果。结果验证了AI作为辅助工具的可行性，为未来规模化应用奠定基础。
应用场景
短期内，AI模型可作为设计评审和早期检测的辅助工具，帮助开发团队快速识别界面潜在问题，降低人力成本。长远来看，结合动态交互数据和用户行为分析，AI有望实现全自动化的界面检测与优化，推动软件开发流程的智能化升级。行业可在持续优化模型的基础上，建立标准化的检测平台，实现大规模、低成本的质量保障。未来，AI还可结合自动修复和用户反馈，形成闭环优化体系，提升用户体验和产品竞争力。
局限与展望
模型在复杂、多任务界面中的表现仍有限，误报率较高，影响实际应用效果。实验仅基于静态截图，未考虑动态交互和用户行为，限制了模型的泛化能力。模型对设计意图和上下文理解不足，可能导致无关或不合理的检测建议。未来需结合动态数据、多模态信息和更智能的提示策略，提升模型的鲁棒性和适应性。还需解决模型的可解释性和可信度问题，以确保在实际场景中的可靠性和用户信任。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工人们需要检查每个生产线是否正常运转。以前，他们靠经验和手工检查，既费时又容易出错。现在，工厂引入了一台智能机器人，它可以快速扫描所有生产线，找出潜在的问题。虽然机器人很厉害，能发现很多细节，但有时也会误报一些不存在的问题。工人们发现，结合机器人和自己检查，效率更高，错误更少。这个故事就像我们用AI检测软件界面一样，AI可以帮忙找出问题，但还需要人类专家一起合作，才能做到更好。这就像工厂里的机器人和工人共同工作，互相补充，提升整体效率。
简单解释 像给14岁少年讲一样
你知道吗，就像你在学校里检查作业一样，老师会用放大镜仔细看每个答案，找出错误。以前，老师都靠自己一双眼睛，费时又容易漏掉问题。现在，有了智能机器人，它可以快速扫描所有作业，帮老师找出错题。虽然机器人很聪明，但有时也会误判，把没有错的题也标记出来。老师和机器人一起合作，效率更高，错题也能更快找到。这就像我们用AI帮忙检查软件界面，AI可以发现很多问题，但还需要人类专家确认。这样合作，软件质量就能更好，用户用得也更开心。未来，AI会变得更聪明，和人类一起工作，帮我们做更多事情。
原文摘要
Usability inspection is a well-established technique for identifying interaction issues in software interfaces, thereby contributing to improved product quality. However, it is a costly process that requires time and specialized knowledge from inspectors. With advances in Artificial Intelligence (AI), new opportunities have emerged to support this task, particularly through generative models capable of interpreting interfaces and performing inspections more efficiently. This study examines the performance of generative AIs in identifying usability problems, comparing them to those of experienced human inspectors. A software prototype was evaluated by four specialists and two AI models (GPT-4o and Gemini 2.5 Flash), using metrics such as precision, recall, and F1-score. While inspectors achieved the highest levels of precision and overall coverage, the AIs demonstrated high individual performance and discovered many novel defects, but with a higher rate of false positives and redundant reports. The combination of AIs and human inspectors produced the best results, revealing their complementarity. These findings suggest that AI, in its current stage, cannot replace human inspectors but can serve as a valuable augmentation tool to improve efficiency and expand defect coverage. The results provide evidence based on quantitative analysis to inform the discussion on the role of AI in usability inspections, pointing to viable paths for its complementary use in software quality assessment contexts.