MESS: Fast and Private Semantic Search on Multi-Graph HNSW

TL;DR

提出MESS系统,结合二值编码、LSH和多图HNSW实现隐私保护高效语义搜索。

cs.CR 🔴 高级 2026-07-31 63 次浏览
Haoyu Cui Zengpeng Li Tien Tuan Anh Dinh Mei Wang
隐私保护 语义搜索 多图索引 差分隐私 高效算法

核心发现

方法论

MESS系统通过将原始向量映射为二值编码,应用局部敏感哈希(LSH)和随机响应机制,构建多图层次结构的HNSW索引,实现对扰动编码的快速近似最近邻搜索。系统同时采用两阶段查询扰动策略,保障数据、查询和访问模式隐私。多图设计减缓扰动对搜索精度的影响,结合差分隐私机制确保隐私保护。搜索在扰动编码上直接进行,避免了同态加密和ORAM的高开销,提升效率。

关键结果

  • 在SIFT100M数据集上,MESS实现每次查询平均52.53毫秒,较最先进方法提升15.08倍的响应速度,显著降低延迟。通信开销比Compass减少了35.28倍,表现出优异的扩展性和实用性。
  • 在多项实验中,MESS保持了超过90%的召回率,即使在扰动条件下,搜索结果仍接近非私有方案的质量,验证了多图结构在保持准确性方面的有效性。
  • 系统在保证隐私的同时,避免了复杂的加密和多轮交互,显著提升了实际应用中的效率,适合大规模云端语义搜索场景。

研究意义

该研究突破了在保证数据、查询和访问隐私的同时实现高效、准确语义搜索的难题,为云端私有搜索提供了可行的解决方案。通过结合差分隐私与多图索引技术,解决了现有方案在效率和准确性上的短板,推动了隐私保护技术在大规模向量数据库中的应用。该方法不仅适用于个人隐私保护,也为企业级敏感数据检索提供了技术基础,具有广泛的产业应用潜力。

技术贡献

系统创新点在于结合LSH随机响应机制与多图HNSW索引,提出了扰动编码的高效索引与搜索方案。采用多图结构缓解扰动带来的召回率下降,提出两阶段查询扰动策略保护搜索模式。系统在理论上提供了隐私边界分析,实验验证了其在延迟、通信和隐私方面的优越表现,突破了Homomorphic Encryption和ORAM方案的性能瓶颈。

新颖性

首次将差分隐私机制与多图HNSW索引结合应用于私有语义搜索,创新性在于扰动编码的多图设计和两阶段扰动策略,有效平衡隐私保护与搜索精度,超越现有单一加密或隐私机制方案的局限。

局限性

  • 系统对扰动参数敏感,过高扰动影响召回率,过低则隐私保护不足,参数调优仍需经验。
  • 多图索引增加存储和维护成本,对于极大规模数据,索引更新和维护仍具挑战。
  • 在极端扰动条件下,部分查询的召回率可能下降,未来需优化多图融合策略。

未来方向

未来将探索自适应扰动机制,结合深度学习优化索引结构,提升在动态数据环境下的性能。还计划引入联邦学习和多方安全协议,增强多用户场景下的隐私保护能力,推动系统在实际云端环境中的部署应用。

AI 总览摘要

随着大规模向量数据的快速增长,语义搜索成为信息检索和人工智能的重要支撑。然而,云端部署带来的隐私风险限制了其广泛应用。现有方案多依赖复杂的加密技术或访问模式隐藏机制,导致效率低下或实现困难。本文提出的MESS系统,通过结合二值编码、局部敏感哈希(LSH)和多图HNSW索引,有效平衡了隐私保护、搜索精度与效率。系统采用差分隐私机制,保障数据、查询和访问模式的隐私安全,同时利用多图结构缓解扰动带来的召回率下降。在实验中,MESS在SIFT100M数据集上实现了平均52.53毫秒的查询响应时间,比最优基线提升15倍,通信开销降低35倍,显示出极强的实用性和扩展性。该方案不仅满足高隐私保护需求,也适应大规模云端环境,推动私有语义搜索的产业化落地。未来,系统将结合深度学习优化索引结构,支持动态数据和多用户场景,进一步提升性能和安全保障。

深度分析

研究背景

近年来,向量空间模型在语义搜索和推荐系统中得到广泛应用。代表性工作如HNSW、Annoy和FAISS等,已实现高效的近似最近邻搜索。然而,随着数据隐私需求的增加,如何在保证隐私的同时保持搜索效率成为难题。现有方案如Homomorphic Encryption、ORAM和差分隐私技术各有优势,但都存在性能瓶颈或准确率下降的问题。特别是在云端环境下,数据和查询的隐私保护尤为关键,推动了私有向量搜索的研究热潮。

核心问题

核心问题在于如何在保证数据、查询和访问模式隐私的前提下,实现高效且准确的语义搜索。传统加密方案计算复杂,难以满足大规模场景的实时性;ORAM方案虽能隐藏访问模式,但通信和计算开销巨大;差分隐私虽然提供理论保障,但扰动引起的召回率下降限制了实际应用。如何结合多图索引与扰动机制,兼顾隐私与性能,成为亟待解决的难题。

核心创新

本研究提出结合差分隐私的扰动编码、多图HNSW索引和两阶段扰动策略的创新方案。具体包括:

  • �� 利用LSH随机响应机制实现扰动编码,保障数据和查询隐私;
  • �� 构建多图索引缓解扰动带来的召回率下降问题;
  • �� 设计两阶段扰动机制,保护搜索模式不被泄露;
  • �� 采用多图融合策略,提升搜索的鲁棒性和准确性。此方案突破了单一加密或扰动技术的局限,兼具隐私保护和高效性能。

方法详解

  • �� 离线阶段:
  • 客户端将原始向量通过IsoHash映射为二值编码。
  • 应用LSHRR机制对编码进行扰动,增强隐私。
  • 将扰动编码和加密数据上传至多个索引碎片(多图结构)。
  • 每个碎片使用不同参数进行索引构建。
  • �� 在线阶段:
  • 客户端对查询向量进行相同扰动处理。
  • 服务器在所有碎片中进行汉明距离搜索,获取候选集。
  • 多碎片候选集汇总后返回客户端。
  • 客户端解密、去重并排序,输出最终结果。

实验设计

在SIFT100M和LAION数据集上,分别测试不同扰动参数对召回率和响应时间的影响。基线包括非私有FAISS、Homomorphic Encryption方案和ORAM方案。指标涵盖查询延迟、通信开销和召回率。通过调节扰动强度,验证多图融合在保持高召回率中的作用。实验还包括不同候选集大小的敏感性分析,确保在隐私保护和搜索效果之间取得平衡。

结果分析

实验显示,MESS在SIFT100M上实现平均52.53毫秒查询时间,比Compass快15倍,通信成本降低35倍。扰动参数的调节使得召回率保持在90%以上,验证多图设计有效缓解扰动带来的性能损失。多图融合显著提升了在扰动条件下的搜索稳定性,确保了系统在大规模环境中的实用性。

应用场景

该系统适用于企业云端私有数据检索、个人隐私保护的多媒体搜索和敏感信息存储场景。用户可在不泄露原始数据的情况下,实现高效的相似内容检索。未来还可结合联邦学习,支持多方协作的私有搜索,推动隐私保护技术在金融、医疗等行业的应用。

局限与展望

当前系统对扰动参数敏感,参数调优复杂,且多图索引维护成本较高。在极端扰动条件下,部分查询召回率仍有下降空间。未来需优化多图融合策略,降低存储和计算成本,增强系统的动态更新能力。

通俗解读 非专业人士也能看懂

想象你在一家工厂里,工厂每天都生产各种商品。为了保护工厂的秘密,你不让别人知道每个商品的详细信息,而是用一种特殊的编码方式把商品信息变成一串二进制数字。这些数字经过特殊处理后,即使有人偷看,也难以知道商品的真实内容。工厂还建立了多个仓库,每个仓库都存放不同的编码版本,这样即使一个仓库被人盯上,其他仓库仍能帮你找到商品。每次有人想找某个商品时,他们会用相似的编码来搜索多个仓库,然后把结果合起来,找到最接近的商品。这种方法既保护了秘密,又能快速找到商品,就像在工厂里用不同的编码和多个仓库合作,既安全又高效。

简单解释 像给14岁少年讲一样

想象你在学校里,有很多不同的书,每本书都有一个特殊的编号。你想找和某本书类似的内容,但又不想让别人知道你在找哪本书。于是,你用一种特殊的方式,把每本书的编号变成一串0和1的数字,这个过程会稍微改变一些数字,让别人不知道你真正想找的内容。你还把这些编号放到几个不同的书架上,每个书架用不同的方法存放。每次你要找书时,你也用相同的方法变换你的查询,然后在每个书架上找最接近的编号。最后,把所有找到的编号合起来,找到最相似的书。这种方法既能保护你的隐私,又能帮你快速找到想要的内容,就像用不同的密码和多个书架合作,既安全又快!

原文摘要

Semantic search systems map data to a high-dimensional vector space and support retrieval of similar data via approximate nearest neighbor search. When the system is hosted by an untrusted cloud provider, there is no privacy for the data or the query. Our goal is to design a system with three properties: privacy, accuracy, and efficiency. Existing works adopt either homomorphic encryption (HE), oblivious RAM (ORAM), or a differential privacy (DP) approach. They fall short of achieving all three properties. In this paper, we present MESS, a system that realizes our goal. It maps the original vectors into binary codes, applies locality-sensitive hashing (LSH) and randomized response, and constructs a multi-graph Hierarchical Navigable Small World (HNSW) index over the perturbed codes. MESS ensures data, query, and access pattern privacy. It also ensures search pattern privacy via a two-phase query perturbation mechanism. The multi-graph index mitigates the impact of perturbation on result quality, thereby achieving accuracy. MESS is efficient because search is performed directly over perturbed codes, without the overhead of homomorphic encryption or ORAM. We give formal analysis of the system's privacy and extensive evaluation of its performance. The results show that MESS achieves up to 15.08\times lower latency than state-of-the-art baselines.

cs.CR