核心发现
方法论
采用DIDEC语料库，结合眼动追踪与语音数据，量化描述起始时间、描述多样性与注视变异。通过Spearman相关分析，揭示视觉与语言信号间的内在联系。利用CLIP和ViT等预训练视觉编码器，采用相似度预测方法，评估模型对人类变异的捕获能力。分析结果显示模型对变异的捕获程度从弱到中等，反映其对人类认知偏差的缺乏理解。
关键结果
- 人类描述的语音起始时间平均为3.42秒，变异范围达25.37秒，显著表明认知负荷差异。描述起点的变异与描述内容的相似性呈中等负相关（ρ=-0.516），说明偏离起点会导致描述多样性增加。眼动变异与语音起始时间正相关（ρ=0.455），表明注视变化伴随描述延迟。预训练模型的视觉特征与人类变异的相关性较低（最大相关性约为0.4），提示模型缺乏对视觉复杂性与认知负荷的偏见。
- 结果强调人类视觉-语言变异受图像属性影响显著，模型在捕获此类变异方面仍有限，未来需增强模型对认知偏差的理解能力。
研究意义
本研究首次系统量化人类在视觉描述中的多模态信号变异，揭示视觉特征与语言行为的内在联系。结果对理解人类认知机制具有重要意义，为多模态模型的偏差校正和人类行为模拟提供理论基础。强调引入人类信号的模型训练，有助于提升自然语言生成的自然性与多样性，推动人机交互向更符合人类认知的方向发展。
技术贡献
提出结合眼动与语音数据的多模态变异量化框架，创新性地使用预训练视觉编码器（如CLIP和ViT）进行变异预测，验证其在捕获人类认知偏差方面的局限性。引入相似度预测方法，量化模型对视觉-语言变异的敏感度，为多模态模型偏差分析提供新工具。该工作丰富了多模态学习中的人类行为信号建模理论，为未来多模态认知模型设计提供了技术路线。
新颖性
首次结合眼动追踪和语音起始时间，系统分析人类视觉-语言信号变异。提出利用预训练视觉编码器进行变异预测的创新方法，验证模型在捕获认知偏差方面的不足。相较于传统仅依赖文本或图像特征的研究，此工作强调多模态信号的多样性与复杂性，填补了多模态模型对人类认知偏差理解的空白。
局限性
- 模型对视觉复杂性偏差的捕获能力较弱，未充分考虑认知负荷与个体差异。实验仅基于Dutch语料，跨语言适应性有限。眼动与语音信号的同步分析仍有改进空间，未来需引入更丰富的认知指标。模型在复杂场景中的表现未充分验证，存在一定局限性。
未来方向
未来将结合更多认知指标（如反应时间、脑电信号）丰富多模态信号模型，探索跨语言和多任务场景中的认知偏差。计划引入强化学习机制，使模型能自主学习认知复杂性特征，提升对人类变异的理解与模拟能力。还将开发更高效的多模态融合算法，增强模型对视觉-语言复杂交互的捕获能力。
AI 总览摘要
本研究基于Dutch图像描述语料库（DIDEC），系统分析了人类在视觉描述中的多模态信号变异。通过结合眼动追踪和语音数据，揭示了描述起始时间、描述多样性和注视行为之间的内在联系。实验发现，描述起点和语音起始时间存在中等相关性，注视变异与描述延迟也显著相关，反映出认知负荷和视觉复杂性对行为的影响。进一步，利用预训练的CLIP和ViT模型，采用相似度预测方法，评估模型对人类变异的捕获能力。结果表明，模型对视觉-语言变异的理解较为有限，提示其缺乏对认知偏差的偏向性。这一发现强调了引入人类行为信号的重要性，有助于未来多模态模型更贴近人类认知，提升自然交互的自然性与多样性。研究不仅丰富了多模态认知理解的理论基础，也为模型偏差校正和人类行为模拟提供了新的技术路径。未来工作将结合更多认知指标，开发更智能的多模态融合机制，推动人机交互向更符合人类认知的方向发展。
深度分析
研究背景
多模态学习领域经历了从单一模态到多模态融合的快速发展。早期研究主要关注图像或文本的单模态理解（如ImageNet、BERT），而近年来，结合视觉与语言的多模态模型（如VisualBERT、CLIP）逐渐成为主流。尽管如此，关于人类在视觉描述中的行为信号（如眼动、语音起始）在模型中的应用仍较少，相关研究多集中在模型性能提升，缺乏对认知偏差的深入理解。已有工作如Sugano和Bulling（2016）利用眼动数据增强图像描述，但未系统分析信号变异的内在机制。本文基于Dutch语料库，结合眼动追踪与语音数据，首次系统量化描述行为的多模态变异，填补了认知行为信号在多模态学习中的空白。
核心问题
当前多模态模型多忽视人类在视觉描述中的行为信号，导致生成的描述缺乏自然性和多样性。模型在捕获视觉复杂性与认知负荷方面表现不足，无法反映人类描述的变异性。如何量化这些信号的变异，并让模型理解其背后的认知机制，成为亟待解决的问题。特别是在多模态融合中，缺乏有效的指标衡量模型对人类行为偏差的捕获能力，限制了模型的自然交互能力。
核心创新
本研究提出结合眼动追踪和语音起始时间的多模态信号变异量化框架，创新性地使用预训练视觉编码器（CLIP、ViT）进行变异预测。引入相似度预测方法，量化模型对视觉-语言变异的敏感度，首次系统分析模型在捕获认知偏差方面的局限。研究强调引入人类行为信号，推动多模态模型更贴近人类认知，提升自然交互的真实性。
方法详解
- �� 数据采集：利用Dutch图像描述语料库（DIDEC），结合眼动追踪和语音数据。
- �� 信号提取：将眼动数据转化为注视区域掩码，利用SAM模型识别注视目标；提取语音起始时间和描述内容。
- �� 信号量化：计算描述起始时间的平均值与标准差，分析起点变异；采用BLEU-2指标衡量描述多样性；设计基于IoU的眼动变异距离。
- �� 相关分析：使用Spearman相关系数，分析不同信号变异间的关系。
- �� 预测模型：利用CLIP和ViT的特征向量，采用相似度预测方法，评估模型对人类变异的捕获能力。
实验设计
实验采用DIDEC语料库，包含307张真实场景图像，45名参与者描述，平均每图15次。通过提取语音起始时间、描述起点、眼动掩码，量化信号变异。对比不同模型的视觉特征（CLIP、ViT）与人类变异指标的相关性，验证模型捕获能力。还进行消融实验，分析不同信号对模型预测性能的贡献。指标包括Spearman相关系数、BLEU-2变异分数等，确保结果的统计显著性。
结果分析
人类描述的语音起始时间平均为3.42秒，变异范围达25.37秒，明显显示个体差异。描述起点变异与描述多样性呈中等负相关（ρ=-0.516），说明起点偏离会增加描述差异。眼动变异与语音起始时间正相关（ρ=0.455），表明注视变化伴随描述延迟。预训练模型的视觉特征与人类变异的相关性最高约为0.4，显示模型对认知偏差的理解有限。这些结果强调了引入人类信号的重要性，并指出模型在模拟复杂认知行为方面仍有提升空间。
应用场景
该研究可应用于提升自动图像描述的自然性与多样性，增强人机交互的自然感。未来可结合认知指标优化模型，适应不同用户的行为偏好，广泛应用于智能助手、辅助技术等场景。长远来看，推动多模态模型理解人类认知机制，实现更智能、更贴近人类的交互系统。
局限与展望
模型对视觉复杂性偏差的捕获能力有限，未充分考虑个体差异和认知状态。实验仅基于Dutch语料，跨语言适应性不足。信号同步与多模态融合仍需优化，复杂场景中的表现尚未验证。未来需引入更多认知指标，提升模型对人类行为的理解能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。每次准备食材、调味料都像是在观察图片，心里想着怎么搭配。你会注意到不同的食材放置位置（类似眼动），以及你开始准备的时间（像语音起始）。有的人喜欢先切菜，有的人先调味，这就像描述的起点不同。每次做饭，菜的味道和摆盘也会不同，反映出你的习惯和心情。这个过程就像人们描述图片时，注意力、用词和表达方式都不一样。研究发现，这些差异和图片的复杂程度有关，就像厨房里不同的食材难度不同。模型就像一个厨师，试图模仿这些变化，但还不够聪明，不能完全理解每个人的偏好和心情。未来，如果厨师能更好地理解这些细节，就能做出更符合每个人口味的菜肴。
简单解释 像给14岁少年讲一样
想象你和朋友一起玩拼图游戏。每次看到拼图，你的反应时间、注意力集中点和拼图顺序都不一样。有些拼图很简单，你一眼就能找到拼块，开始拼得很快；有些拼图复杂，你会花更多时间观察、思考。每个人的拼图习惯也不同，有的人喜欢从角落开始，有的人喜欢从中心拼起。这就像人们描述图片时，起点、用词和描述方式都不同。这些差异其实和图片的复杂程度有关，就像拼图难度影响你的反应时间。科学家们用眼动追踪和语音记录，试图理解这些差异背后的原因。虽然现在的电脑模型也能描述图片，但还不能完全模仿人类的多样性。未来，如果模型能更好理解这些细节，就能像人一样，讲出更自然、更丰富的描述，让我们和机器的交流更贴近真实人类的感觉！
原文摘要
There is an intricate relation between the properties of an image and how humans behave while describing the image. This behavior shows ample variation, as manifested in human signals such as eye movements and when humans start to describe the image. Despite the value of such signals of visuo-linguistic variation, they are virtually disregarded in the training of current pretrained models, which motivates further investigation. Using a corpus of Dutch image descriptions with concurrently collected eye-tracking data, we explore the nature of the variation in visuo-linguistic signals, and find that they correlate with each other. Given this result, we hypothesize that variation stems partly from the properties of the images, and explore whether image representations encoded by pretrained vision encoders can capture such variation. Our results indicate that pretrained models do so to a weak-to-moderate degree, suggesting that the models lack biases about what makes a stimulus complex for humans and what leads to variations in human outputs.