Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models
BloomBench以布卢姆分类法评测VLM，含7747条英阿样本，质量率98.45%。
核心发现
方法论
论文提出BloomBench，将布卢姆修订分类法的Remember、Understand、Apply、Analyze、Evaluate、Create六层认知能力映射为106类视觉问答任务。流程由Gemini 2.5 Pro生成场景与VQA，指令微调模型转换四选一题并翻译为现代标准阿拉伯语，再以LLM-as-a-judge和人工分层抽检完成验证。
关键结果
- 数据集含7747条英阿图像—问题—答案样本：Remember 2948、Understand 1592、Apply 499、Analyze 1431、Evaluate 592、Create 685，覆盖106个叶节点。
- 对Qwen2-VL-7B、Qwen2.5-VL-7B、Gemma 3/4系列及GPT-4o mini的零样本评测显示明显认知不对称：语义理解达到较高水平，但事实回忆与创造性综合显著困难；论文未报告统一总分。
- 969条分层代表样本由Gemini 3 Pro审核，仅标记15条潜在错误，人工复核确认这些错误，对应质量率98.45%；英语整体优于阿拉伯语，显示跨语言多模态推理缺口。
研究意义
BloomBench把“模型答对多少题”推进为“模型在哪一层认知上答对”。它能揭示单一总分掩盖的能力断层，帮助研究者区分视觉识别、关系理解、知识迁移、分析判断和创造综合。英阿并置还将语言公平性与文化包容性纳入核心评估，对教育、公共服务和全球化AI部署具有直接意义。
技术贡献
技术上，论文贡献的是一套可扩展的认知分层数据工程与评测协议，而非新的VLM架构。其关键机制包括层级任务树、真实网络图像、四选一干扰项（含陷阱选项）、Gemini 2.5 Pro半自动生成、现代标准阿拉伯语翻译、Gemini 3 Pro审核及人工验证。评测同时采用Regex-based Answer Extraction和Likelihood-based Scoring，比较显式答案与选项概率。
新颖性
作者称BloomBench是首个以布卢姆分类法为明确认知骨架、同时支持英语—阿拉伯语和真实图像的多模态VLM基准。相较MMMU、MMT-Bench和VLM2-Bench等任务集合，它强调认知层级、诊断性和跨语言一致性，而非仅扩大任务数量或覆盖专家领域。
局限性
- 数据分布并不均衡，Remember占2948条而Apply仅499条；各认知层分数因此不宜直接按样本量解释。
- 主要采用四选一题，Create被操作化为“辨别最佳创意”，不能等同于开放式生成、长期规划或真实创造。
- 质量验证依赖Gemini 3 Pro与人工确认的969条抽样，且结果部分仅给出趋势，缺少完整模型分数和显著性分析。
未来方向
后续应扩展阿拉伯方言、更多语言和文化场景，平衡106类任务的样本量；加入开放式生成、过程监督、校准与人工认知实验，并报告逐模型逐层分数、置信区间和统计检验。还可研究训练数据污染、视觉证据引用及认知层级是否真正具有累积性。
AI 总览摘要
视觉语言模型已经能够看图、读文并回答问题，但一个漂亮的总分并不说明它拥有接近人类的多模态推理能力。传统基准往往把视觉问答、知识、空间关系和推理拆成互不相连的任务，模型可以利用数据分布捷径，却难以暴露究竟是记忆、理解还是判断能力出了问题。
Almieyar-Oryx-BloomBench提出一种认知化解决方案：以布卢姆分类法的Remember、Understand、Apply、Analyze、Evaluate、Create六层为骨架，构建106类英阿双语图像问答任务。半自动流程使用Gemini 2.5 Pro设计文化多样场景、生成VQA，随后制作四选一题和阿拉伯语版本；Gemini 3 Pro与人工对969条分层样本进行混合质检。数据集共7747条样本，质量率为98.45%。
对Qwen2系列、Gemma 3/4系列和GPT-4o mini的零样本实验揭示，模型在语义理解上出现较高性能上限，却在事实回忆和创造性综合上明显受限；英语表现也整体优于阿拉伯语。研究的价值不在提出新网络，而在提供可解释的能力剖面：未来模型评测应同时关注答对率、置信度、认知层级和语言公平性。
深度分析
研究背景
Transformer、规模化语料和LLM推动了VLM发展。CLIP促进图文对齐，GPT-4o mini、Qwen2.5-VL和Gemma系列进一步支持VQA、文档理解与复杂推理。然而MMMU、MMT-Bench、VLM2-Bench等虽覆盖广泛，仍常以任务拼盘呈现，难以说明模型是否具备从感知到创造的连续认知能力。
核心问题
核心问题是如何用真实图像系统诊断VLM的认知深度，而不是仅提供一个混合平均分。模型可能在理解关系时很强，却缺乏事实回忆、跨语言迁移或创造性判断；英语中心的数据还会掩盖阿拉伯语和文化场景中的失败。
核心创新
创新包括：以Bloom六层建立层级任务树；将视觉 grounding、空间关系、组合意义、逻辑、科学推理、安全判断和创意选择纳入统一框架；用真实网络图像替代纯合成场景；同时生成英语和现代标准阿拉伯语版本；结合RAE与LBS，分别考察输出格式成功率和答案概率。
方法详解
- �� Gemini 2.5 Pro读取层级路径、技能和领域，生成西方、MENA及阿拉伯场景与检索关键词。
- �� 根据关键词获取真实图像，并生成仅依赖视觉内容的开放式VQA。
- �� 指令微调模型生成正确项、三个干扰项及一个陷阱项，再翻译为现代标准阿拉伯语。
- �� LLM先过滤无效样本；从106个叶节点分层抽取969条，每类至少4条，由Gemini 3 Pro审核并人工复核。
- �� 对八类VLM零样本、temperature=0评测，使用RAE解析A/B/C/D，并以LBS比较各选项条件对数概率。
实验设计
模型包括Qwen2-VL-7B、Qwen2.5-VL-7B、Gemma 3-4B/12B/27B、Gemma 4-26B-A4B/31B和GPT-4o mini。数据覆盖7747条双语样本，按六层统计。实验分别在英语和阿拉伯语上使用Regex-based Answer Extraction与Likelihood-based Scoring，并考察模型规模、语言和认知层级差异。
结果分析
最稳定的结论是认知剖面不均衡：语义Understand相关能力形成性能上限，但Remember与Create更脆弱。英语—阿拉伯语存在关键落差。质量抽检的969条中仅15条被确认错误，得到98.45%质量率。论文摘要与所给正文未提供各模型逐层具体百分比，因此不能据此重建排名或统计显著性。
应用场景
教育平台可按认知层级定位学生或AI辅导员的能力缺口；阿拉伯语公共服务可用其检查图文问答的语言公平性；模型开发者可将106类任务用于回归测试、数据配比和安全评估。实际部署前仍需开放式回答、领域专家和方言测试。
局限与展望
样本量在层级和任务间不均衡，四选一形式尤其限制Create的外推性。半自动生成、机器翻译和LLM评审可能引入共同偏差；969条抽样验证不能替代全量人工审计。现有结果主要是趋势性认知诊断，缺乏完整分数表、置信区间、污染检测和人类基线。
通俗解读 非专业人士也能看懂
把BloomBench想成一所给“会看图的机器人”开的综合学校。普通考试可能只问它认不认识猫，或者能不能说出图片内容；这就像只看学生会不会认字。BloomBench把考试分成六级：先认出东西，再理解它们的关系，把学过的规则用到新图片上，分析原因，判断答案是否可靠，最后从几个创意方案中选出最好的。
老师先找来真实生活照片，再设计英语和阿拉伯语题目，并放入容易迷惑人的错误选项。模型不仅要选答案，还要用两种方式被检查：一种看它实际说了哪个选项，另一种看它心里最相信哪个选项。研究发现，机器人理解画面意思时相当不错，却常在记事实和组合新想法时失误；用阿拉伯语考试也通常不如英语。
所以，这套考试不只是给机器人排名，更像体检报告：告诉我们它强在哪里、弱在哪里，以及下一步该怎么训练。
简单解释 像给14岁少年讲一样
想象你在玩一款“看图答题”游戏。第一关是认东西：图片里有没有狗？第二关是理解：狗在追球，谁在做什么？第三关是应用：根据图片和学过的数学规则算答案。后面还有分析、判断信息是否靠谱，以及从几个故事结尾中选最精彩的一个。
这就是BloomBench的玩法。它给AI看真实照片，再用英语和阿拉伯语提问，题目分成六个难度等级。研究人员还专门设计了很像正确答案的陷阱选项，看看AI是真的看懂，还是只是猜中了。总共有7747条双语题目，覆盖106种任务。
结果有点像一个偏科学生：AI理解场景和意思很厉害，但背诵事实、创造新组合却比较弱。换成阿拉伯语后表现也会下降。为什么？它可能见过更多英语图片和文字，也可能不熟悉某些文化表达。
这项研究最酷的地方是，它不只说“AI得了多少分”，而是告诉我们AI的哪种“脑力”需要加强。就像游戏角色面板一样，知道短板后，训练才不会盲目升级！
术语表
Vision-Language Model（视觉语言模型）
同时处理图像与文字的模型。它需要把视觉证据连接到语言回答。
BloomBench评测Qwen、Gemma和GPT-4o mini。
Bloom’s Taxonomy（布卢姆分类法）
按认知复杂度组织Remember至Create六个层级的教育学框架。高层通常需要更复杂的基础能力。
论文用它构建106类任务。
RAE（基于正则表达式的答案提取）
从模型自由文本中解析A、B、C或D。格式错误被记为错误答案。
衡量实际输出和指令遵循。
LBS（基于似然的评分）
比较各选项在给定图像和问题条件下的对数概率。它减少格式影响并反映模型置信度。
与RAE并行使用。
LLM-as-a-judge
让大型语言模型自动审查题目质量、答案和语言。它提高规模化质检效率，但可能带来评审偏差。
Gemini 3 Pro审核969条样本。
开放问题 这项研究留下的未解疑问
- 1 六层是否真正具有累积依赖关系仍未证明。需要与人类被试、学习曲线和逐步提示实验比较。
- 2 英语优势来自训练数据、翻译质量还是文化熟悉度尚不清楚。未来应加入方言、平衡语料和跨文化等价题。
- 3 RAE与LBS可能反映不同能力。需要研究概率校准、答案解释与开放式生成之间的关系。
应用场景
近期应用
VLM回归测试
模型团队可按六层和106类任务建立发布前检查，定位版本升级后在Remember、Arabic或Create上的退化，而不是只看总体平均分。
双语教育辅助
教育机构可用英阿平行题检查AI辅导员是否准确理解课堂图片、科学图表与安全情境，并把失败题转为人工复核清单。
远期愿景
认知对齐的多语言AI
长期可将BloomBench式能力剖面用于训练数据配比、奖励建模和跨文化安全评估，推动更公平、可解释的全球多模态系统。
原文摘要
Despite the rapid progress of Vision-Language Models (VLMs), the field lacks benchmarks that rigorously diagnose their true reasoning abilities and chart meaningful progress toward human-like multimodal intelligence. Most existing evaluations focus on piecemeal or disconnected tasks, obscuring critical cognitive weaknesses and providing little insight for targeted improvement. To address this gap, we introduce BloomBench, part of the Almieyar benchmarking series, the first cognitively human-grounded, bilingual (English-Arabic) multimodal benchmark for VLMs. Grounded in Bloom's Taxonomy, BloomBench systematically evaluates six levels of cognition (Remember, Understand, Apply, Analyze, Evaluate, Create) through carefully designed image-question-answer tasks. Built with a semi-automated pipeline and validated through a stratified hybrid quality assurance protocol, it ensures scalability, cultural inclusivity, and linguistic fidelity. Leveraging this framework, we conduct a comprehensive study of state-of-the-art VLMs to diagnose their cognitive profiles. Our analysis reveals a sharp cognitive asymmetry: while state-of-the-art models achieve strong performance ceilings in semantic understanding, they struggle substantially with factual recall and creative synthesis. This demonstrates that current general multimodal proficiency masks deeper limitations in specific cognitive layers. Furthermore, our study highlights a critical performance gap between Arabic and English, exposing limitations in current cross-lingual multimodal reasoning. These findings establish a foundation for developing more cognitively aligned and inclusive VLMs. The benchmark framework and dataset is available at: https://github.com/qcri/Almieyar-Oryx-BloomBench.