核心发现
方法论
本研究采用Meta Project Aria智能眼镜采集多条件下的场景文本图像，构建定制数据集。应用EAST检测器结合启发式合并字符框，利用CRNN和PyTesseract进行OCR。通过调节分辨率、距离和光照，分析其对CER的影响。采用ICDAR 2024竞赛框架评估，重点在字符错误率（CER）指标。引入图像放大预处理显著提升识别性能，CER由0.65降至0.48。结合眼动追踪，优化检测区域，提升效率。
关键结果
- 分辨率和距离对识别准确率影响显著，低分辨率（1408×1408）在1米距离下CRNN几乎失效，但放大后CER降至0.48，提升约26%。
- PyTesseract表现更稳定，CER在不同条件下变化较小，但整体准确率低于CRNN。光照变量对识别影响不显著，相关性较弱。
- 预处理（放大）有效缓解低质量图像的识别困难，尤其在远距离和低分辨率场景中表现优异。
研究意义
本研究首次系统分析环境因素对基于Egocentric视觉的场景文本识别影响，为AR辅助应用提供实证基础。通过结合眼动追踪，实现用户关注区域的动态优化，推动智能AR系统的个性化和鲁棒性发展。研究成果对资产检测、食品营养分析等场景具有实际指导意义，促进可穿戴设备在复杂环境下的文本理解能力提升。
技术贡献
提出结合EAST检测器与CRNN的多阶段文本识别框架，创新性引入图像放大预处理策略，有效缓解低分辨率带来的识别性能下降。引入眼动追踪信息，优化检测区域，实现计算资源的动态分配。系统性分析环境变量对识别性能的影响，为未来多模态、场景适应性模型奠定基础。
新颖性
首次在真实可穿戴设备采集的多环境条件下，系统评估场景文本识别性能。创新融合眼动追踪与图像预处理技术，显著提升低质量图像的识别效果。相比传统单一模型，本研究强调环境适应性和用户关注区域的动态调整，为AR场景文本识别提供新思路。
局限性
- 数据集规模有限，主要依赖静态场景，难以覆盖复杂背景和动态变化。
- 眼动追踪数据获取存在延时，难以实现实时优化，限制了即时应用。
- 预处理策略对不同环境条件的适应性尚需进一步验证，模型泛化能力待提升。
未来方向
未来将扩展多场景、多动态环境数据，增强模型的泛化能力。探索端到端实时处理方案，结合深度学习与边缘计算。进一步优化眼动追踪与检测算法的融合策略，实现更高效的用户关注区域识别。推动多模态融合，提升复杂场景下的文本理解能力。
AI 总览摘要
随着可穿戴设备的普及，场景文本检测与识别（STDR）在增强现实（AR）中的应用变得尤为重要。传统方法在复杂环境中表现有限，受光照、距离和分辨率等因素影响显著。本研究利用Meta Project Aria智能眼镜，采集多环境、多条件下的图像数据，构建定制数据集，系统分析这些环境变量对STDR性能的影响。采用高效的EAST检测器结合启发式字符框合并策略，配合CRNN和PyTesseract两种OCR模型，进行多角度评估。结果显示，低分辨率和远距离显著降低识别准确率，CER从0.65通过图像放大预处理降至0.48，提升约26%。光照变量对识别影响较弱，但在实际应用中，结合眼动追踪技术，动态调整检测区域，显著提升处理效率。此项工作首次在真实环境中系统验证了环境因素对Egocentric视觉文本识别的影响，为未来智能AR系统的个性化和鲁棒性提供基础。尽管存在数据规模有限、实时性不足等局限，但本研究为多模态融合、场景适应性模型的发展提供了宝贵经验，推动可穿戴设备在复杂环境中的文本理解能力迈向新高度。
深度分析
研究背景
场景文本检测与识别（STDR）作为文档分析的重要分支，经历了从传统图像处理到深度学习的演变。早期方法如基于模板匹配和边缘检测，受环境影响大，鲁棒性不足。近年来，深度学习模型如EAST、CTPN、Transformer等显著提升了检测与识别性能，尤其在自然场景中表现优异。然而，现有模型多在理想条件下训练，面对低光、远距离、低分辨率等复杂环境时，性能大幅下降。Meta的Project Aria提供了高质量的可穿戴设备数据，为研究真实场景下的文本识别提供了新平台。此前，相关工作多集中在静态图片或视频中的文本检测，缺乏对环境变量影响的系统分析。本研究填补了在Egocentric视觉环境中，光照、距离、分辨率等因素对识别性能影响的空白，推动了个性化、场景感知的AR文本识别技术发展。
核心问题
现有场景文本识别模型在复杂环境中表现不稳定，尤其在低光、远距离和低分辨率条件下识别率大幅下降。传统方法多依赖静态数据集，难以应对动态、个性化的AR场景。如何在真实、多变的环境中实现鲁棒、实时的文本识别，成为亟待解决的问题。环境因素的复杂交互进一步加剧了模型的适应难度，尤其是在有限数据和计算资源限制下，提升模型的泛化能力和效率成为关键挑战。
核心创新
本研究的创新点包括：1）利用Meta Aria眼镜采集多环境数据，构建真实场景的定制数据集；2）提出结合EAST检测器与启发式字符框合并的多阶段检测方法，有效提升文本区域的完整性；3）引入图像放大预处理策略，缓解低分辨率带来的识别性能下降；4）融合眼动追踪信息，动态调整检测区域，实现用户关注区域的优化。这些创新解决了传统模型在复杂环境下鲁棒性不足的问题，推动了场景文本识别的实用化和智能化。
方法详解
- �� 数据采集：使用Meta Aria智能眼镜在不同光照、距离和分辨率条件下录制场景文本图像。• 数据预处理：对低分辨率图像进行放大，提升细节信息。• 文本检测：采用EAST模型检测文本区域，利用启发式算法合并字符框，形成完整文本块。• 识别模型：分别使用CRNN和PyTesseract进行字符识别，比较性能差异。• 结合眼动追踪：获取用户关注点，缩小检测范围，提升效率。• 评估指标：采用ICDAR 2024标准的CER和IOU指标，分析环境变量对性能的影响。• 改进策略：基于初步分析，调整预处理参数，优化模型鲁棒性。• 实地测试：在实际场景中验证模型效果，结合用户关注区域进行动态检测。
实验设计
实验使用ICDAR 2024 Aria数据集和自建定制数据集，涵盖不同光照、距离和分辨率条件。采用F1、Precision、Recall和CER指标，比较EAST+CRNN与EAST+PyTesseract的性能。通过调节图像放大、亮度增强等预处理技术，观察识别效果变化。设置不同距离（50cm、1m）和分辨率（1048×1408、2880×2880），进行多场景测试。引入眼动追踪数据，评估检测区域优化效果。采用交叉验证确保结果的稳健性，并进行统计分析以确认环境变量的影响程度。
结果分析
低分辨率和远距离显著降低CRNN的识别性能，CER由0.65提升至0.78，放大后降至0.48，提升约26%。PyTesseract表现更稳定，CER变化较小，但整体准确率低于CRNN。光照变量对识别影响较弱，相关性较低。预处理（放大）有效缓解低质量图像的识别困难，尤其在远距离和低分辨率场景中表现优异。结合眼动追踪实现区域缩小，提升检测效率，验证了多模态融合的潜力。
应用场景
本技术可应用于智能AR导航、资产管理、食品标签识别等场景，特别适合在复杂环境中实现高效、鲁棒的文本识别。结合眼动追踪，实现个性化、动态检测，提升用户体验。未来可扩展至自动驾驶、机器人导航等领域，推动场景理解的智能化发展。
局限与展望
数据集规模有限，难以覆盖所有复杂背景和动态变化；眼动追踪存在延时，限制实时应用；预处理策略对不同环境适应性不足，模型泛化能力有待提升。未来需扩大数据、多模态融合，优化算法效率，增强系统的实用性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一家繁忙的超市里买东西，货架上满是标签和商品。用眼镜看东西时，光线可能明亮，也可能昏暗，商品远近不同，标签的清晰度也会变化。传统的识别方法就像用放大镜看标签，但在光线暗或标签模糊时就会出错。这个研究就像给放大镜加了智能助手，它可以自动放大模糊的标签，还能根据你盯着的区域集中注意力，快速找到你需要的商品。通过让眼镜“知道”你在看哪个标签，它可以更快、更准确地帮你识别信息。这就像你有个聪明的助手，帮你在复杂环境中找到正确的标签，节省时间，避免出错。这个技术未来可以让我们在任何环境下都能轻松识别标签、菜单、路标等信息，无论光线多暗、距离多远，都能帮我们搞定。
简单解释 像给14岁少年讲一样
想象你在超市里买东西，看到很多标签和商品。用普通相机拍照时，有时候光线不好，标签又远又模糊，就很难看清楚。这就像用放大镜看东西，但如果光线太暗或距离太远，放大镜也帮不上忙。这个研究就像给普通放大镜装上了聪明的眼睛，它可以自动放大模糊的标签，还能知道你在看哪个标签，帮你更快找到需要的商品。它还会根据你盯着的地方，集中注意力，省掉看不清的部分，让识别变得更快更准。就像你有个超级助手，帮你在繁忙的超市里轻松找到商品信息，不管光线多暗、距离多远，都能帮你搞定。这项技术未来可以用在很多地方，比如帮盲人看菜单、导航，甚至让机器人更聪明地理解环境。是不是很酷？
原文摘要
In an era where wearable technology is reshaping applications, Scene Text Detection and Recognition (STDR) becomes a straightforward choice through the lens of egocentric vision. Leveraging Meta's Project Aria smart glasses, this paper investigates how environmental variables, such as lighting, distance, and resolution, affect the performance of state-of-the-art STDR algorithms in real-world scenarios. We introduce a novel, custom-built dataset captured under controlled conditions and evaluate two OCR pipelines: EAST with CRNN, and EAST with PyTesseract. Our findings reveal that resolution and distance significantly influence recognition accuracy, while lighting plays a less predictable role. Notably, image upscaling emerged as a key pre-processing technique, reducing Character Error Rate (CER) from 0.65 to 0.48. We further demonstrate the potential of integrating eye-gaze tracking to optimise processing efficiency by focusing on user attention zones. This work not only benchmarks STDR performance under realistic conditions but also lays the groundwork for adaptive, user-aware AR systems. Our contributions aim to inspire future research in robust, context-sensitive text recognition for assistive and research-oriented applications, such as asset inspection and nutrition analysis. The code is available at https://github.com/josepDe/Project_Aria_STR.