Diversed Model Discovery via Structured Table Discovery

随着机器学习模型数量的爆炸式增长，模型湖作为集中管理和共享模型及其相关文档的基础设施日益重要。模型卡作为模型行为的官方记录，包含训练数据、性能指标和配置等信息，成为理解和比较模型的核心资源。现有模型搜索系统如HuggingFace、ModelScope等，主要依赖关键词检索、元数据过滤或基于文本的语义检索，虽能找到相关模型，但结果往往集中于同一模型家族，缺乏多样性，难以支持用户对模型性能和特性的深入比较。与此同时，模型卡中结构化的表格（如性能汇总、配置列表）承载了高密度、决策关键的证据，且格式规范，易于比较，然而传统搜索系统未充分利用这些结构化信息。数据湖领域的表格发现技术，如关键词搜索、表格连接与联合，为跨源表格的发现和整合提供了成熟方法，启发了本文将其引入模型卡检索的思路。此外，信息检索中的nugget评估方法通过分解答案为原子信息单元，解决了传统文档级评价无法全面覆盖用户信息需求的问题，为模型卡检索的细粒度评估提供了理论基础。

核心问题在于如何在海量模型卡中检索出既符合查询任务需求，又在性能、配置等方面具有差异化的模型集合。传统基于文本语义相似度的检索方法倾向于返回同质化的模型，限制了用户对模型多样性的探索和权衡决策。模型搜索的本质是比较性检索，用户不仅需要相关模型，还需发现可度量的差异以支持选择。文本描述冗长且风格多样，难以直接比较，而结构化表格中蕴含的高质量、凝练的证据尚未被充分利用。此外，模型湖动态增长，固定的金标准标签难以维护，检索评估需具备可扩展性和可审计性。如何设计结合语义与结构化表格的检索框架，提升检索结果的多样性和覆盖度，同时实现细粒度、动态的评估，是本文重点解决的问题。

本文的核心创新包括：

• �� 结合语义检索与结构化表格发现，提出了StructuredSemanticSearch框架，利用Blend系统的关键词搜索、表格连接（joinability）和联合（unionability）操作符，扩展检索候选集，突破文本同质化限制。

• �� 提出方向感知的表格整合算法，自动识别并处理表格转置及部分重叠，生成紧凑且可比的集成视图，提升用户比较体验。

• �� 设计基于nugget的双阶段评估协议，抽取模型卡中的结构化证据单元，结合提示模型实现查询到nugget的映射，量化检索结果的证据覆盖率和多样性，支持动态模型湖的持续扩展和自动标注。

这些创新有效融合了信息检索、数据湖表格发现和模型管理领域的技术，填补了模型搜索中结构化证据利用不足的空白。

• �� 语义检索（NL2Card）：使用Sentence-BERT编码器结合FAISS实现密集检索，支持稀疏检索（Pyserini）及混合检索，作为基线。

• �� 表格发现（NL2Card2Tab2Card）：基于语义检索选取锚模型卡，提取其关联表格作为锚表。

• �� 表格关键词搜索：对锚表的表头和首列构造关键词查询，利用Blend的值基关键词搜索操作符检索相关表格，按匹配频率排序。

• �� 表格连接搜索（Joinable Search）：以锚表首列为查询列，检索可通过该列连接的表格，按连接列重叠度排序。

• �� 表格联合搜索（Unionable Search）：检索与锚表列可对齐的表格，支持外联合，按可对齐列数排序。

• �� 表格映射回模型卡：每个检索表格关联一个或多个模型卡，选取与查询语义相似度最高的模型卡作为代表，避免重复。

• �� 方向感知表格整合：识别表格是否转置，通过比较表头与首列关键词，自动转置后整合，解决部分重叠和格式异构问题，生成紧凑集成视图。

• �� Nugget抽取：利用提示模型从模型卡中抽取固定六元组结构的nugget（模型、基模型、变体、数据集、指标名、指标值），标准化结构化证据。

• �� 查询到nugget映射：通过提示模型将查询文本映射为nugget属性及约束，支持模糊与具体查询。

• �� 证据覆盖评分：计算检索候选集覆盖的唯一查询相关nugget数量，衡量多样性和覆盖度。此评分不依赖排序，适合动态模型湖。

实验基于HuggingFace模型湖，包含超过6万份模型卡及其结构化表格。筛选紧凑表格（行数<200，列数<100）以保证信息浓缩。查询集由597条改写自科学文献推荐的查询组成，保持原始检索意图。比较了纯语义检索（密集、稀疏及混合）与结构感知表格发现管线的nugget覆盖率。评估指标为覆盖的唯一查询相关nugget数量，反映检索结果的证据丰富度和多样性。实验还包括方向感知表格整合的用户体验评估，验证整合视图的可比性和紧凑性。通过消融实验分析各表格发现操作符的贡献，确保整体框架的有效性和稳定性。

结构感知管线在597条查询上的nugget覆盖率显著优于纯语义基线，覆盖更多模型变体、数据集和性能指标，提升了检索结果的多样性和比较价值。方向感知整合有效处理了表格转置和重叠，生成的集成视图更加紧凑且易于比较。关键词、连接和联合三种表格发现操作符协同作用，扩展了候选模型集合，避免了语义检索中因文本同质化导致的结果单一性。消融实验显示，缺少任一操作符均导致覆盖率下降，验证了各组件的重要性。整体方法在动态扩展的模型湖中表现稳定，支持持续更新和自动化评估。

本方法适用于大型模型湖中模型的高效搜索与比较，支持研究人员和工程师快速发现任务相关且性能多样的模型。可集成于模型管理平台，辅助模型选择和部署决策。通过结构化证据整合，提升模型卡的可读性和比较性，有助于模型文档标准化和质量提升。未来可扩展至多模态模型搜索，结合代码、权重等多源信息，推动模型生态系统的智能化管理和应用。

本方法依赖模型卡中结构化表格的完整性和规范性，若表格缺失或格式不统一，检索效果受限。Blend系统的表格发现操作符在极大规模数据下的计算效率和扩展性尚需优化。nugget抽取和查询映射依赖提示模型，面对格式多样和语义模糊的查询时准确率有待提升。此外，当前方法未充分考虑用户个性化需求和交互反馈，未来可引入动态调整机制。