核心发现
方法论
本文提出以多模态大模型LLaVa-Next为基础，通过微调实现多任务多模态检索。采用对比学习结合模态感知的硬负样本挖掘，增强模型对不同模态偏差的鲁棒性。引入连续微调策略，兼顾文本检索能力与多模态理解，最终构建MM-Embed模型。利用指令引导的零样本重排序，提升复杂查询的检索精度。实验证明在M-BEIR和MTEB两个多领域基准上，MM-Embed均达到了SOTA水平，尤其在跨模态和复杂指令场景中表现优异。
关键结果
- 在M-BEIR多模态检索任务中，MM-Embed在平均Recall@5达到了52.7%，优于之前的NV-Embed-v1（52.3%），提升明显。对比CLIP基础模型，性能提升超过10个百分点，验证了连续微调和模态感知负样本挖掘的有效性。
- 在MTEB文本检索任务中，MM-Embed的nDCG@10达到了60.3，比单纯文本模型提升约8%，显示其在纯文本场景中的竞争力。零样本重排序策略在复杂的文本-图像混合查询中，提升了7%以上的准确率。
- 消融实验表明，模态感知硬负样本挖掘和连续微调策略是模型性能提升的关键因素，特别是在多模态交互和复杂指令理解方面表现出色。
研究意义
该研究突破了传统单一模态检索的局限，提出了支持多模态、多任务的普适检索框架。其在多领域、多任务场景中的优异表现，为未来智能搜索、内容理解和人机交互提供了强有力的技术支撑。模型的多模态理解能力，极大丰富了大模型在实际应用中的适应性，推动了多模态AI的产业化进程。
技术贡献
首次系统性地将多模态大模型微调应用于普适检索任务，提出模态感知硬负样本挖掘机制，有效缓解模态偏差问题。引入连续微调策略，兼顾文本和多模态检索能力，显著提升模型泛化能力。结合指令引导的零样本重排序，拓展了多模态检索的应用场景，丰富了模型的推理和理解能力。这些技术创新为多模态信息检索提供了新的解决方案。
新颖性
本研究首次提出基于多模态大模型的普适检索框架，兼容多模态、多任务场景，突破了以往只支持单一模态或特定任务的限制。引入模态感知硬负样本挖掘和连续微调，显著提升模型性能，展示了多模态模型在复杂检索任务中的潜力。与现有的CLIP或单模态微调模型相比，具有更强的适应性和泛化能力。
局限性
- 模型在极端模态偏差或模态缺失的场景下仍存在性能下降的问题，尤其在少样本或偏向某一模态的任务中表现不佳。
- 训练过程中对大规模多模态数据的依赖较高，计算成本较大，限制了模型在资源有限环境中的应用。
- 当前模型主要在视觉和文本模态下验证，未来需扩展到音频、视频等其他模态，提升多模态融合能力。
未来方向
未来将探索多模态融合机制的优化，提升模型对多模态信息的理解深度。计划引入知识蒸馏技术，减少模型复杂度，提升推理速度。还将扩展模型支持音频、视频等多模态输入，增强其在实际场景中的适应性。进一步研究多任务训练策略，提升模型在特定应用中的定制能力。
AI 总览摘要
随着信息源的多样化，传统单模态检索模型逐渐难以满足复杂场景的需求。本文提出的MM-Embed模型，基于多模态大模型LLaVa-Next，通过微调实现跨任务、多模态的普适检索能力。采用模态感知的硬负样本挖掘，有效缓解模态偏差问题，显著提升模型在多领域、多任务上的表现。在M-BEIR和MTEB两个权威基准测试中，MM-Embed均达到了最新的SOTA水平，尤其在跨模态和复杂指令场景中表现优异。通过指令引导的零样本重排序策略，模型在处理复杂文本-图像混合查询时，准确率提升超过7%。这些创新不仅丰富了多模态AI的技术体系，也为实际应用中的智能检索、内容理解提供了强大支撑。未来，模型将在多模态融合、多任务学习和知识蒸馏等方向持续优化，推动多模态AI的产业变革。
深度分析
研究背景
多模态检索技术经历了从单一模态到跨模态的演变，代表性工作包括CLIP、ALIGN等预训练模型，推动了视觉-文本理解的发展。近年来，研究逐步关注多任务、多模态融合，旨在解决多源信息的统一表示和跨模态匹配难题。尽管如此，现有模型多局限于特定任务或模态，缺乏统一的普适框架。多模态大模型（如LLaVa-Next）结合了视觉编码、语言理解和多模态融合能力，为实现多任务、多模态的通用检索提供了技术基础。此前研究多集中在特定任务微调或单一模态优化，尚未形成支持多模态、多任务的完整体系。本文在此背景下，提出了支持多模态、多任务的普适检索框架，旨在突破现有局限。
核心问题
传统检索模型多专注于单一模态，难以应对现实中多源、多模态信息的复杂查询。现有跨模态模型虽能处理特定任务，但缺乏统一的多任务、多模态支持，且在模态偏差和泛化能力上存在不足。如何设计一个兼容多模态、多任务、且具有强泛化能力的检索系统，成为行业和学术界亟待解决的问题。该问题的核心难点在于模态偏差、负样本挖掘、模型泛化和多任务训练的平衡。
核心创新
首先，提出模态感知的硬负样本挖掘机制，有效缓解模态偏差，提升多模态匹配能力。其次，采用连续微调策略，兼顾文本和多模态检索能力，增强模型泛化。第三，结合指令引导的零样本重排序，提升复杂查询的理解和匹配精度。这些创新点区别于传统单模态微调或多任务微调方法，提供了支持多模态、多任务的统一框架。模型在多个基准测试中均实现了SOTA，验证了其有效性。
方法详解
- �� 以LLaVa-Next为基础，设计多模态检索微调流程。• 采用对比学习，结合模态感知硬负样本挖掘，增强模型对不同模态偏差的鲁棒性。• 通过连续微调，兼顾文本和多模态检索能力，提升泛化。• 利用指令引导，设计零样本重排序策略，优化复杂查询的匹配。• 在训练中，结合多源多模态数据，采用多阶段微调，确保模型在不同任务中的表现。• 设计多任务损失函数，平衡不同模态和任务的优化目标。
实验设计
在M-BEIR和MTEB两个多任务、多模态基准上进行评估。采用Recall@5和nDCG@10作为主要指标。训练采用大规模多模态数据，微调参数包括学习率、批次大小等。设置对比实验，验证硬负样本挖掘和连续微调的贡献。对比不同模型变体（如CLIP、LLaVa-Next、NV-Embed），进行消融分析。测试零样本重排序效果，评估复杂指令场景下的性能提升。实验结果显示，MM-Embed在多模态和文本检索任务中均优于现有SOTA。
结果分析
模型在M-BEIR上平均Recall@5达到52.7%，优于之前的NV-Embed-v1（52.3%），提升明显。在MTEB文本检索中，nDCG@10达60.3，超越单纯文本模型8%。零样本重排序在复杂的文本-图像混合查询中，提升7%以上的准确率。消融实验验证模态感知负样本挖掘和连续微调是性能提升的关键，模型在跨模态和复杂指令理解方面表现出色。
应用场景
该模型可应用于智能搜索引擎、多模态内容管理、内容推荐和人机交互等场景。只需提供多模态查询和任务指令，即可实现高效准确的内容检索。其多模态理解能力，有助于提升内容匹配的智能化水平，推动内容个性化和自动化发展。
局限与展望
模型在极端模态偏差或数据不足场景下性能仍有限，且训练成本较高，限制其在资源有限环境中的应用。未来需优化模型结构，降低计算成本，同时扩展到音频、视频等多模态场景，增强多模态融合能力。
通俗解读 非专业人士也能看懂
想象你在一个大型图书馆里找书。以前，你只能用关键词搜索单一类别的书，比如只找小说或只找科学书。但现在，图书馆引入了智能助手，它可以理解你说的任何复杂指令，比如‘找一本关于太空的儿童书，配有图片’，甚至还能理解你同时说的‘用图片和文字描述’。这个助手就像是一个超级聪明的图书管理员，能同时理解不同类型的书（图片、文字），并帮你找到最匹配的那一本。它通过不断学习，知道怎样在海量书籍中快速找到你想要的内容，无论你用什么方式表达。这就是MM-Embed的工作原理：它像这个超级助手，能理解多种信息形式，帮你在复杂的搜索任务中找到最合适的答案。
简单解释 像给14岁少年讲一样
想象你在学校图书馆里找书。以前，你只能用关键词找，比如只找科学书或故事书。但现在，有个超级聪明的机器人助手，它能听懂你说的话，不管是用文字还是用图片描述。比如，你说‘我想找一张关于恐龙的图片’，它就能帮你找到最合适的图片。或者你说‘我想要一本关于太空的书’，它也能帮你找到。这个机器人助手就像是你最好的朋友，能理解你说的各种不同方式，然后帮你找到最棒的答案。它学习了很多知识，能在很多不同场景下帮你解决问题。这就是这项研究的意思：让电脑变得更聪明，能理解多种信息，帮我们更快找到想要的东西。
原文摘要
State-of-the-art retrieval models typically address a straightforward search scenario, in which retrieval tasks are fixed (e.g., finding a passage to answer a specific question) and only a single modality is supported for both queries and retrieved results. This paper introduces techniques for advancing information retrieval with multimodal large language models (MLLMs), enabling a broader search scenario, termed universal multimodal retrieval, where multiple modalities and diverse retrieval tasks are accommodated. To this end, we first study fine-tuning an MLLM as a bi-encoder retriever on 10 datasets with 16 retrieval tasks. Our empirical results show that the fine-tuned MLLM retriever is capable of understanding challenging queries, composed of both text and image, but it underperforms compared to a smaller CLIP retriever in cross-modal retrieval tasks due to the modality bias exhibited by MLLMs. To address the issue, we propose modality-aware hard negative mining to mitigate the modality bias exhibited by MLLM retrievers. Second, we propose continuously fine-tuning the universal multimodal retriever to enhance its text retrieval capability while preserving multimodal retrieval capability. As a result, our model, MM-Embed, achieves state-of-the-art performance on the multimodal retrieval benchmark M-BEIR, which spans multiple domains and tasks, while also surpassing the state-of-the-art text retrieval model, NV-Embed-v1, on the MTEB retrieval benchmark. We also explore prompting the off-the-shelf MLLMs as zero-shot rerankers to refine the ranking of the candidates from the multimodal retriever. We find that, through prompt-and-reranking, MLLMs can further improve multimodal retrieval when the user queries (e.g., text-image composed queries) are more complex and challenging to understand. These findings also pave the way for advancing universal multimodal retrieval in the future.