核心发现
方法论
该研究采用多阶段数据策划流程，包括结构化文档解析、合成查询生成（基于摘要和上下文策略）及人工验证的相关性映射。利用公开韩文文档，结合Upstage Document Parse实现页面级结构提取，生成多样化的复杂查询，强调多页证据整合。模型评估涵盖多种多模态检索架构（如ColPali、CLIP变体），发现现有模型在结构化内容和跨页推理方面表现不足。引入Ko-VDR Train Public大规模训练集，旨在提升模型对韩文复杂文档的适应能力。
关键结果
- 模型在KoViDoRe上表现出明显差距，最优模型（如Qwen3-VL-Embedding-8B）在多页检索中平均nDCG@10为50.4%，而小模型仅达1.4%。多页证据整合难度显著高于单页检索，尤其在结构化内容和多模态查询中表现不足。训练数据的引入（Ko-VDR Train Public）使得模型性能提升约20-30%，验证了数据规模和质量对模型效果的重要性。
- 不同模型在不同领域（如能源、经济）表现差异明显，复杂布局和多页信息分布是主要挑战。实验还显示，模型规模越大，性能越优，但在多页推理任务中仍存在明显瓶颈。
- 通过对比训练前后模型性能，验证了大规模韩文特定数据对提升多页检索能力的有效性，特别是在跨页面推理和结构化内容理解方面。
研究意义
该研究填补了韩文多页结构化文档检索的空白，推动多模态检索模型在非英语环境中的应用。提出的多阶段数据生成和多页检索框架，为实际企业、政府等复杂文档场景提供了技术基础，有助于解决传统单页检索在多页信息整合中的局限性，具有重要的学术和工业价值。
技术贡献
创新点在于提出结合摘要和上下文策略的合成查询生成流程，确保多页相关性标注的准确性。引入结构化页面解析（Upstage Document Parse）和多模态多页检索评估体系，突破了现有单页模型的局限。并通过大规模韩文专用训练集，验证模型在复杂场景下的适应性，推动多模态检索技术向多页、多模态融合方向发展。
新颖性
本研究首次系统性构建面向韩文复杂结构文档的多页检索基准，强调多页证据整合，采用多策略合成查询，结合人工验证确保数据质量。这在非英语多模态检索领域尚属首创，显著区别于以英语为主的现有数据集和方法。
局限性
- 当前模型在多页推理中的表现仍有限，尤其在信息分散、结构复杂的文档中，模型难以有效捕获跨页关系。
- 合成查询的自然性和多样性虽有保障，但仍无法完全覆盖真实用户的复杂信息需求。
- 训练数据虽大规模，但在多模态视觉内容理解和推理方面仍存在不足，未来需引入更丰富的视觉特征和多模态交互机制。
未来方向
未来将聚焦于提升多页推理能力，结合图神经网络和跨模态融合技术，增强模型对结构化信息的理解。同时，扩展多模态多页数据集，丰富查询类型，探索端到端训练策略，推动多模态文档检索在实际场景中的应用落地。
AI 总览摘要
随着信息技术的发展，海量结构化文档的检索需求日益增长，尤其是在企业和政府部门中，复杂布局、多页内容的文档检索成为核心挑战。现有多模态检索模型多集中于英语环境，缺乏针对韩文复杂文档的系统评估。为此，本文提出KoViDoRe，一个专为韩文多页结构化文档设计的检索基准，结合多阶段数据生成流程，利用合成查询和人工验证，构建了具有代表性的企业级韩文文档集。
该基准强调多页证据的整合，模拟真实场景中的复杂信息需求，显著提升检索难度。通过对多种模型的评估，发现现有模型在多页推理和结构化内容理解方面表现不足，尤其在跨页关系和多模态融合方面存在明显差距。为此，研究还构建了大规模韩文专用训练集Ko-VDR Train Public，显著提升模型性能，验证了数据质量和规模的重要性。
该工作不仅丰富了多模态检索的研究范畴，也为实际应用提供了技术基础。未来，结合图神经网络和跨模态推理，将进一步推动多页复杂文档的智能检索，满足企业和政府对高效信息获取的迫切需求。尽管如此，模型在多页推理的鲁棒性和自然性方面仍需改进，未来研究将聚焦于多模态深度融合和端到端训练策略，推动行业技术革新。
深度分析
研究背景
多模态检索技术近年来快速发展，尤其在结构化文档理解方面取得显著进步。代表性工作如ColPali、ViDoRe、Jina-VDR等，采用深度学习模型结合视觉、文本和布局信息，显著提升了PDF、报告等复杂文档的检索效果。然而，这些研究多集中于英语环境，缺乏对韩文复杂结构和多页内容的系统评估。韩文的特殊字符、词形变化和排版布局，使得多模态模型在实际应用中面临更大挑战。此外，现有数据集多为单页或简化格式，难以反映真实场景中的多页、多模态信息交互需求。随着企业、政府对高效文档检索的需求增长，亟需面向韩文、多页、多模态场景的基准和模型创新。
核心问题
当前多模态检索模型在处理复杂韩文文档时表现有限，尤其在多页信息分散、结构复杂的场景中，模型难以有效捕获跨页关系和结构信息。单页检索模型无法满足实际需求，导致信息整合和推理能力不足。缺少专门针对韩文多页结构化文档的评估基准，限制了模型的优化和应用。如何设计一个既能反映真实场景，又能促进模型多页推理能力提升的基准，成为亟待解决的问题。
核心创新
本研究提出多项创新：1）结合摘要和上下文策略的合成查询生成流程，确保多页相关性标注的准确性；2）引入结构化页面解析（Upstage Document Parse），实现复杂韩文文档的细粒度结构提取；3）设计多模态多页检索评估体系，突破单页限制，模拟真实多页信息需求；4）构建大规模韩文专用训练集Ko-VDR Train Public，提升模型多页推理能力。这些创新共同推动多模态检索技术向多页、多模态融合方向发展。
方法详解
- �� 数据采集：从韩国公共数据门户和机构网站收集多样化文档，包括报告、政策文件、企业材料。
- �� 结构化解析：利用Upstage Document Parse对每页进行细粒度结构提取，识别文本块、表格、图表及其标题。
- �� 查询生成：采用SolarPro模型，结合摘要和上下文策略，生成多样化复杂查询，强调多页证据需求。
- �� 相关性映射：自动和人工结合，确保查询与多页内容的准确匹配，过滤低质量和过度关键词化的查询。
- �� 训练集构建：大规模生成韩文多页相关查询-页面对，结合规则过滤和人工验证，确保数据质量。
- �� 模型评估：采用nDCG@10指标，评估多模态模型在不同领域（如能源、经济）中的多页检索性能。
实验设计
采用多模态检索模型（如ColPali、CLIP变体、Qwen3-VL）在KoViDoRe上进行评估，比较不同模型规模（小、中、大）在多页检索中的表现。通过引入大规模韩文训练集，验证模型性能提升，分析多页推理难点。设置多类别指标，评估模型在不同领域的适应性，进行消融实验以验证合成查询策略和结构化解析的贡献。模型训练采用BF16精度，使用GPU集群，训练时间约3轮。
结果分析
最优模型Qwen3-VL-Embedding-8B在多页检索中达50.4%的nDCG@10，显著优于小模型（如CLIP-base，仅1.4%）。引入大规模韩文训练集后，模型性能提升20-30%，验证数据质量对效果的关键作用。多页证据整合难度高，尤其在经济和人力资源领域，模型在多页推理中的表现仍有限。模型规模越大，效果越好，但在复杂结构和多模态融合方面仍存在瓶颈。
应用场景
该研究为企业、政府提供多页复杂文档的智能检索解决方案，支持财务报告、政策文件等场景的快速信息获取。模型可集成于企业知识管理系统、法律文档检索平台，提升信息检索效率。未来可拓展到多模态问答、自动摘要等应用，推动智能文档处理产业升级。
局限与展望
模型在极端复杂布局、多页信息分散情况下表现仍不理想，跨页推理能力有待提升。合成查询虽多样，但仍难以完全模拟真实用户需求，未来需引入真实用户交互数据。训练成本高，模型规模越大，计算资源消耗越多，实际部署存在挑战。未来需结合更高效的模型架构和多模态融合技术，提升鲁棒性和实用性。
通俗解读 非专业人士也能看懂
想象你在一家大工厂工作，工厂里有很多不同的机器，每台机器都负责不同的任务。有时候，你需要找到一份复杂的操作手册，里面的内容分布在很多不同的页面上，甚至还夹杂着图片和图表。传统的方法就像只看一页，找到你需要的信息，但很多时候，答案藏在多页内容的不同部分。这个研究就像发明了一种聪明的机器人，能同时看多页，理解每个部分的关系，然后帮你找到完整的答案。它通过学习大量的韩文文档，学会了如何把散落的信息拼凑在一起，变得更聪明、更快。这就像你有个超级助手，能帮你整理复杂的文件，让你轻松找到想要的内容。未来，这个机器人还能帮企业自动整理报告、法律文件，甚至帮政府快速查找关键信息。虽然还不完美，但它代表了未来智能文档检索的方向，让我们更方便、更高效地处理海量信息。
简单解释 像给14岁少年讲一样
想象你在学校图书馆找资料，书架上有很多书，每本书都装满了信息。有时候，你需要找到关于某个话题的所有资料，但这些资料散布在不同的书和章节里。以前，你得一页一页翻，费时又累。现在，想象有个超级聪明的朋友，他能同时翻阅很多书，快速找到所有相关的内容，然后告诉你答案。这就是这项研究的目标：让电脑变得像这个聪明的朋友一样，能同时看多页、多模态的内容，理解它们之间的关系，帮你快速找到需要的信息。研究中，他们教电脑如何理解韩文文档的复杂布局，如何生成各种不同的问题（比如需要跨页推理的问题），并用大量真实的韩文文档训练它。结果显示，这个“聪明的朋友”在找多页信息时还不够完美，但已经比以前强多了。未来，这样的技术可以帮企业自动整理报告、法律文件，甚至帮政府快速查找关键信息，让我们的生活变得更方便、更高效。
术语表
Multimodal Retrieval (多模态检索)
利用文本、图像、布局等多种信息共同进行内容检索的技术，能更全面理解复杂文档。
论文中强调结合视觉和文本信息提升检索效果。
Synthetic Query Generation (合成查询生成)
通过模型自动生成模拟用户查询的过程，用于扩充训练数据和评估模型。
用于构建多页复杂检索场景的关键技术。
KoViDoRe
面向韩文复杂结构文档的多页多模态检索基准，结合真实数据和合成查询。
本文提出的核心数据集和评估平台。
Upstage Document Parse
一种结构化文档解析工具，能提取复杂韩文文档中的文本块、表格和图表。
实现页面级结构化信息提取。
nDCG@10
一种衡量检索排序质量的指标，数值越高表示检索效果越好，特别关注前10个结果。
模型性能评估的标准指标。
开放问题 这项研究留下的未解疑问
- 1 多页推理中跨模态关系的建模仍不充分，模型在极端复杂布局下的鲁棒性有待提升。
- 2 合成查询的自然性和多样性还不足以完全模拟真实用户需求，未来需引入真实交互数据。
- 3 多模态视觉内容理解仍是瓶颈，尤其在复杂图表和结构化信息的深层理解方面。
应用场景
近期应用
企业文档管理
支持企业自动检索财务报告、政策文件中的关键信息，提高信息处理效率。
政府信息检索
帮助政府快速从大量政策和报告中找到相关内容，提升行政效率。
远期愿景
智能文档助手
未来可实现全自动化的多页、多模态文档理解与问答系统，广泛应用于法律、科研等领域。
原文摘要
Recent advances in multimodal retrieval have improved the ability to retrieve information from visually rich documents such as PDFs and reports. However, existing benchmarks remain largely centered on English and provide limited coverage of Korean visual documents with complex structures. Furthermore, most existing Korean resources primarily evaluate single-page retrieval, failing to capture realistic scenarios that require evidence aggregation across multiple pages. To address these gaps, we introduce KoViDoRe, a benchmark for Korean visual document retrieval. The dataset is constructed from publicly available Korean documents with diverse layouts, including tables, figures, and multi-column structures. We develop a multi-stage data curation pipeline consisting of structured document parsing, synthetic query generation using both summary-based and context-based strategies, and relevance mapping with human verification. Using KoViDoRe, we evaluate a wide range of multimodal retrieval models and observe that current models struggle to effectively handle Korean visual document retrieval, particularly in settings involving structured content and diverse query types. Motivated by this finding, we further curate a large-scale training dataset, Ko-VDR Train Public, to support the development of retrieval models tailored to Korean visual documents. Together, KoViDoRe and Ko-VDR Train Public provide a unified benchmark and training resource for Korean visual document retrieval.