Learning to Think Like a Cartoon Captionist: Incongruity-Resolution Supervision for Multimodal Humor Understanding

幽默理解是人类智能的一个重要方面，涉及视觉感知、文化知识和创造性推理的整合。近年来，随着多模态学习和自然语言处理技术的发展，研究人员开始探索计算机如何理解和生成幽默。然而，大多数现有方法将幽默理解视为黑箱预测任务，忽视了幽默理解背后的结构化推理过程。这种方法在处理复杂的幽默任务时存在局限性，因为幽默不仅仅是选择或排序字幕的问题，而是一个识别和解决不一致的过程。

《纽约客》漫画字幕比赛（NYCC）是研究多模态幽默的关键资源，它将视觉输入、语言创造力、专家判断和人群偏好结合在一起。尽管先前的工作主要将NYCC视为分类或排序基准，但它也提供了关于视觉幽默背后推理过程的见解。为了提高幽默理解，研究人员提出了不一致-解决监督（IRS）框架，该框架将幽默理解分解为三个组件：不一致建模、解决建模和偏好对齐。

幽默理解的核心问题在于如何将视觉场景中的不一致识别出来，并将其转化为连贯且有趣的解释。这一过程涉及识别期望与观察之间的差异，并以一种连贯但出人意料的方式解决它。尽管现有的多模态语言模型在幽默理解任务中表现出一定的能力，但它们在识别和解决不一致方面仍存在显著差距。为了填补这一空白，研究人员提出了不一致-解决监督（IRS）框架，通过结构化的推理轨迹对中间推理过程进行监督。

IRS框架的核心创新在于其将幽默理解分解为三个明确的、可学习的阶段：不一致建模、解决建模和偏好对齐。

• �� 不一致建模：识别视觉场景中的不一致，帮助模型识别期望与观察之间的差异。

• �� 解决建模：构建这些不一致的连贯解释，使模型能够将不一致转化为连贯且有趣的解释。

• �� 偏好对齐：在人的判断下评估候选解释，确保模型生成的解释符合人类的幽默偏好。这种方法不仅在幽默理解领域具有创新性，还为其他复杂的推理任务提供了新的思路。

IRS框架通过以下步骤实现幽默理解：

• �� 不一致建模：通过域自适应预训练，识别视觉场景中的不一致。使用经过精心策划的captionist讨论、编辑分析和caption写作指南等语料库，模型的表示向幽默相关概念倾斜。

• �� 解决建模：通过captionist推理轨迹对解决建模进行监督，教会模型如何将不一致重新解释为连贯的幽默阅读。生成的轨迹经过人工监督验证，以确保与专家推理模式的一致性。

• �� 偏好对齐：通过幽默特定的奖励进行强化学习，优化推理过程。使用GRPO优化，直接优化推理过程而不使用价值网络，确保模型生成的解释符合人类的幽默偏好。

实验设计包括在NYCC上评估IRS框架的性能，使用7B、32B和72B模型进行匹配和排序任务。实验还包括零样本转移到外部幽默基准（如YesBut和DeepEval），以测试IRS的泛化能力。实验使用的关键参数包括模型规模、预训练语料库和推理轨迹的生成与验证。消融实验用于评估不一致建模、解决建模和偏好对齐对性能的贡献。

实验结果表明，IRS框架在NYCC上表现优异，尤其是在排序任务上接近专家水平。72B模型在排序任务上实现了76.10%的准确率，超过了所有基线模型，包括封闭模型o3。消融实验表明，解决建模（RM）是性能提升的主要来源，尤其是在结合不一致建模（IM）时，在更具挑战性的排序任务中提供了额外的增益。此外，IRS在零样本转移到外部幽默基准时表现出良好的泛化能力，表明IRS学习到了一般化的推理模式。

IRS框架在多个应用场景中具有潜在价值，包括创意辅助工具、教育系统和人机交互研究。在创意辅助工具中，IRS可以帮助生成更符合人类幽默偏好的内容。在教育系统中，IRS可以用于开发更具解释性和风格意识的教学工具。在人机交互研究中，IRS可以提高模型在处理复杂、文化依赖现象（如幽默）时的透明性和解释性。

IRS在处理文化差异时可能存在局限性，因为幽默具有主观性和文化依赖性。训练于特定幽默传统的模型可能无法在不同文化或社区中普遍适用。此外，IRS的计算成本较高，尤其是在大规模模型上进行训练时，可能限制其在资源有限的环境中的应用。未来的研究方向包括扩展IRS框架以处理更广泛的幽默类型和文化背景，以及在其他复杂的推理任务中应用IRS的结构化推理方法。