核心发现
方法论
Localized Narratives方法要求标注者用语音描述图像，同时用鼠标指向描述区域。语音与鼠标同步，提供每个词的视觉定位。我们标注了COCO、Flickr30k、ADE20K和Open Images数据集中的849k图像。
关键结果
- 结果1：在COCO数据集上，标注时间平均为144.7秒，比Flickr30k Entities快4.4倍。
- 结果2：语义准确率为98.0%，语音转录准确率高。
- 结果3：鼠标轨迹与对象位置匹配良好，提供密集的视觉定位。
研究意义
该研究为视觉和语言的结合提供了一种高效且准确的方法。Localized Narratives不仅提高了标注效率，还为图像描述生成等应用提供了更丰富的数据支持。
技术贡献
Localized Narratives提供了每个词的视觉定位，与现有数据集相比，显著提高了标注的密集度和准确性。该方法简化了标注流程，降低了成本。
新颖性
首次实现每个词的视觉定位，创新性地结合语音和鼠标轨迹，提供比现有方法更细致的标注。
局限性
- 局限1：自动语音识别的错误可能影响标注质量。
- 局限2：鼠标轨迹可能不完全覆盖对象。
未来方向
未来工作可探索改进语音识别精度，并将该方法应用于更多场景，如视频标注。
AI 总览摘要
视觉和语言的结合是计算机视觉领域的重要研究方向。现有方法多依赖于稀疏的标注，无法提供每个词的准确定位。
Localized Narratives通过语音和鼠标轨迹同步，实现了每个词的视觉定位。标注者用语音描述图像，同时用鼠标指向描述区域，提供了密集的视觉定位。
实验结果表明，该方法在标注效率和准确性上优于现有方法。Localized Narratives为图像描述生成、视觉问答等应用提供了更丰富的数据支持，具有广泛的应用前景。
深度分析
研究背景
随着深度学习的发展，视觉和语言的结合成为热门研究方向。现有数据集如COCO和Flickr30k提供了图像和文本的配对，但缺乏细致的视觉定位。
核心问题
现有方法多依赖于稀疏的标注，无法提供每个词的准确定位，限制了视觉和语言结合的应用。
核心创新
Localized Narratives通过语音和鼠标轨迹同步，实现了每个词的视觉定位。该方法简化了标注流程，降低了成本。
方法详解
- �� 标注者用语音描述图像，同时用鼠标指向描述区域。 • 语音与鼠标同步，提供每个词的视觉定位。 • 语音转录后进行手动校对，确保准确性。
实验设计
在COCO、Flickr30k、ADE20K和Open Images数据集上进行标注，比较标注时间和准确性。
结果分析
标注时间平均为144.7秒，比Flickr30k Entities快4.4倍。语义准确率为98.0%，语音转录准确率高。
应用场景
Localized Narratives可用于图像描述生成、视觉问答等应用，提供更丰富的数据支持。
局限与展望
自动语音识别的错误可能影响标注质量，鼠标轨迹可能不完全覆盖对象。
通俗解读 非专业人士也能看懂
想象你在描述一幅画。你用手指指着画中的每个部分，同时用语言描述它们。Localized Narratives就像这样，只不过你用鼠标代替手指，用语音代替文字。这样，每个词都有一个对应的图像位置。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你需要用语音描述屏幕上的东西，同时用鼠标指着它们。Localized Narratives就是这样一种方法，它能让计算机更好地理解你说的每个词对应的图像位置。
术语表
Localized Narratives (局部叙述)
一种结合语音和鼠标轨迹的多模态图像标注方法。
用于提供每个词的视觉定位。
COCO (通用物体识别)
一个广泛使用的图像数据集，包含多种日常物体的标注。
用于验证Localized Narratives的有效性。
Flickr30k (Flickr30k)
一个包含图像和文本描述的数据集。
用于测试Localized Narratives的标注效率。
Automatic Speech Recognition (自动语音识别)
将语音转换为文本的技术。
用于初步转录语音描述。
Visual Genome (视觉基因组)
一个提供图像区域短语描述的数据集。
与Localized Narratives进行对比。
开放问题 这项研究留下的未解疑问
- 1 如何提高自动语音识别的准确性，以减少标注错误。
- 2 如何在视频标注中应用Localized Narratives。
应用场景
近期应用
图像描述生成
利用Localized Narratives的数据，生成更准确的图像描述。
远期愿景
视觉问答系统
通过更细致的标注，提高视觉问答系统的性能。
原文摘要
We propose Localized Narratives, a new form of multimodal image annotations connecting vision and language. We ask annotators to describe an image with their voice while simultaneously hovering their mouse over the region they are describing. Since the voice and the mouse pointer are synchronized, we can localize every single word in the description. This dense visual grounding takes the form of a mouse trace segment per word and is unique to our data. We annotated 849k images with Localized Narratives: the whole COCO, Flickr30k, and ADE20K datasets, and 671k images of Open Images, all of which we make publicly available. We provide an extensive analysis of these annotations showing they are diverse, accurate, and efficient to produce. We also demonstrate their utility on the application of controlled image captioning.