核心发现
方法论
KRIS-Bench采用教育学中的知识分类体系，将图像编辑任务划分为事实、概念和程序三类，设计22个任务覆盖7个推理维度。基于1,267个高质量标注实例，结合视觉语言模型（VLM）提出知识合理性指标，并通过人类评估校准。模型评估采用多维指标，包括视觉一致性、质量、指令遵循和知识合理性，旨在系统检测模型的知识推理能力。
关键结果
- 在10个先进模型中，平均知识合理性得分仅为37.15，明显低于视觉一致性（80.09）和视觉质量（62.41），显示模型在知识推理方面存在显著缺陷。
- GPT-4o在知识合理性上表现优异（53.36），但仍不足以完全满足复杂推理需求，表明当前模型对知识的理解和应用仍有限。
- 不同任务中，事实知识任务表现较好（平均得分80+），而程序性推理任务（如指令分解）得分最低（约30），揭示模型在多步骤推理方面的不足。
研究意义
本研究通过引入认知理论构建的知识分类体系，为图像编辑模型提供了更细粒度的推理能力评估工具，有助于推动多模态生成模型向知识理解和推理方向发展。该基准填补了现有方法在认知层面评估的空白，为未来模型设计提供明确目标，促进模型在科学、教育、工业等领域的应用落地。
技术贡献
提出基于教育认知的知识分类体系，系统设计22个任务和7个推理维度，结合知识合理性指标和人类校准机制，构建了规模最大、最细粒度的认知推理评估基准。通过多模型评估揭示模型在知识推理中的不足，推动模型在知识理解、程序推理等方面的技术突破。
新颖性
首次将教育学中的知识分类体系引入图像编辑模型评估，结合认知推理维度设计大规模任务集，提出知识合理性指标，并通过人类校准验证，显著提升评估的科学性和细粒度，为多模态模型的认知能力评估树立新标杆。
局限性
- 目前评估主要依赖视觉语言模型的自动判定，仍存在一定偏差，未来需结合更多人类主观评价以完善指标。
- 任务设计偏重科学和认知推理，实际应用中对复杂场景和多模态交互的适应性尚待验证。
- 模型在多步骤、跨领域推理中表现仍有限，未来需结合知识图谱和推理引擎进行优化。
未来方向
未来将扩展任务类型，涵盖更复杂的推理场景，结合知识图谱和推理引擎提升模型推理能力。还计划引入多模态交互和动态知识更新机制，推动模型在真实世界中的知识应用能力，促进认知推理在工业和教育中的落地。
AI 总览摘要
近年来，多模态生成模型在指令驱动的图像编辑方面取得了显著进展，能够根据文本提示实现丰富的视觉变换。然而，这些模型在知识推理和认知能力方面的表现仍存在明显不足。传统评估多集中于视觉质量和指令遵循，缺乏对模型理解和应用知识能力的系统检测。为此，KRIS-Bench应运而生，借鉴教育学中的知识分类体系，将任务划分为事实、概念和程序三类，设计了22个具有代表性的任务，覆盖7个推理维度，构建了规模庞大的数据集和评估指标体系。
该基准引入了知识合理性指标，通过人类校准和知识提示，提升自动评估的可靠性。实验证明，尽管部分模型在视觉一致性和质量方面表现优异，但在知识合理性和复杂推理任务中仍表现平平，揭示了当前模型在知识理解和推理方面的巨大差距。这一发现强调了将认知能力纳入模型评估的重要性，为未来多模态模型的设计提供了明确的目标。
KRIS-Bench的提出不仅丰富了图像编辑模型的评估体系，也为推动模型向更高层次的认知能力发展提供了技术路径。未来，结合知识图谱、多模态交互和动态知识更新，将进一步提升模型的知识推理能力，推动其在科学研究、教育和工业应用中的广泛落地。该工作标志着多模态生成技术迈向更深层次的认知理解，开启了智能图像编辑的新篇章。
深度分析
研究背景
多模态生成模型的发展经历了从早期的条件生成到近年来基于扩散模型和大规模预训练的跃升。OpenAI的DALLE系列、Stable Diffusion、Imagen等模型在视觉质量和多样性方面表现出色，但对模型的推理能力和知识理解关注不足。现有评估多偏重于视觉一致性和指令匹配，缺乏对认知推理的系统检测。近年来，RISEBench和IntelligentBench等尝试引入推理维度，但仍缺乏明确的知识分类体系和细粒度任务设计。KRIS-Bench借鉴教育学中的知识分类体系，提出更系统的认知推理评估框架，填补了该领域的空白。
核心问题
当前多模态图像编辑模型在知识推理方面表现不足，尤其是在涉及科学、社会常识和程序性推理的任务中。模型虽能生成视觉上合理的结果，但缺乏对知识背景的理解，导致在复杂场景下的推理失误。缺乏系统的评估工具限制了模型的优化方向，亟需引入认知理论指导的评估体系，以促进模型在知识理解和推理能力上的提升。
核心创新
本研究的核心创新在于：1）引入教育学中的知识分类体系，将知识划分为事实、概念和程序三类，为推理任务提供理论基础；2）设计22个任务，覆盖7个推理维度，系统检测模型在不同知识层次的能力；3）提出知识合理性指标，结合人类校准，提升自动评估的科学性；4）构建规模最大、内容丰富的标注数据集，支持多模型评估，推动认知推理研究发展。
方法详解
- �� 任务设计：基于教育学知识分类体系，定义事实、概念、程序三类知识，设计对应的22个任务，涵盖属性感知、空间理解、科学推理等维度。
- �� 数据采集：从互联网、生成模型和公开数据集收集图片，结合专家标注和ChatGPT扩充指令，确保多样性和真实性。
- �� 评估指标：提出视觉一致性、质量、指令遵循和知识合理性四维指标，知识合理性通过知识提示和人类校准实现。
- �� 模型评估：对10个主流模型进行测试，分析不同任务和维度的表现差异，揭示模型在知识推理方面的不足。
实验设计
采用公开的图像编辑数据集和自制任务集，评估包括GPT-4o、Gemini 2.0、Doubao等模型。指标涵盖视觉一致性、质量、指令遵循和知识合理性，采用GPT-4o作为评估模型，结合人类标注进行校准。通过对不同知识类型和推理维度的分析，揭示模型在多步骤、多领域推理中的性能差距。实验还包括消融分析，验证知识提示和任务设计的有效性。
结果分析
模型在视觉一致性和质量方面表现优异（平均80+），但在知识合理性和复杂推理任务中得分明显偏低（平均37.15），显示模型在知识理解上的不足。GPT-4o在知识合理性上表现较好（53.36），但仍未达到理想水平。事实知识任务得分较高（80+），而程序性推理任务最低（约30），反映模型在多步骤推理和知识应用方面的挑战。这些结果强调了模型在认知推理方面的巨大提升空间。
应用场景
该基准可用于评估未来多模态模型在科学、教育、工业中的知识推理能力。具体应用包括智能编辑辅助、科学知识验证、教育内容生成等。模型在理解和应用知识方面的提升，将推动自动化科学研究、个性化教育和工业设计的创新发展。
局限与展望
评估依赖自动化指标，仍需结合人类评价以确保准确性。任务设计偏重科学和认知推理，实际复杂场景中的适应性有限。模型在多领域、多步骤推理中表现仍不足，未来需结合知识图谱和推理引擎进行优化。
通俗解读 非专业人士也能看懂
想象你在厨房做菜。不同的任务需要不同的知识：比如知道食材的颜色（事实知识），理解为什么苹果会变软（概念知识），以及按照食谱一步步操作（程序知识）。如果你只知道这些表面信息，做出来的菜可能看起来不错，但味道可能差很多。真正的厨师不仅知道食材，还懂得科学和技巧，能灵活应对各种变化。类似地，图像编辑模型也需要这些不同层次的知识，才能做出既漂亮又符合逻辑的作品。KRIS-Bench就像是一个厨房测试，帮我们检查模型是否懂得这些深层次的知识，确保它们不仅会“看起来”好，还能“理解”背后的道理。
简单解释 像给14岁少年讲一样
想象你在学校里学做手工艺品。你知道用什么材料（事实知识），明白为什么要按照步骤（程序知识），还要理解为什么某些颜色搭配会更漂亮（概念知识）。如果你只是记住了步骤，却不知道为什么要这么做，做出来的作品可能不够好。真正厉害的人，不仅会做，还懂得背后的原理，能自己创新。现在，想象一台机器人也在学做这些东西。它需要学习很多知识，才能像人一样聪明地做出漂亮的作品。KRIS-Bench就像是给机器人打分的老师，看它是不是懂得这些深层次的知识，能不能像人一样聪明地做事。这个方法帮助我们让机器人变得更聪明，更懂得“为什么”而不是只会“怎么做”。
原文摘要
Recent advances in multi-modal generative models have enabled significant progress in instruction-based image editing. However, while these models produce visually plausible outputs, their capacity for knowledge-based reasoning editing tasks remains under-explored. In this paper, we introduce KRIS-Bench (Knowledge-based Reasoning in Image-editing Systems Benchmark), a diagnostic benchmark designed to assess models through a cognitively informed lens. Drawing from educational theory, KRIS-Bench categorizes editing tasks across three foundational knowledge types: Factual, Conceptual, and Procedural. Based on this taxonomy, we design 22 representative tasks spanning 7 reasoning dimensions and release 1,267 high-quality annotated editing instances. To support fine-grained evaluation, we propose a comprehensive protocol that incorporates a novel Knowledge Plausibility metric, enhanced by knowledge hints and calibrated through human studies. Empirical results on 10 state-of-the-art models reveal significant gaps in reasoning performance, highlighting the need for knowledge-centric benchmarks to advance the development of intelligent image editing systems.