Efficient Privacy-Preserving Range Filtered Approximate Nearest Neighbor Search

TL;DR

提出一种结合N-叉树和HNSW的隐私保护范围过滤近似最近邻搜索(PP-RFANNS),在大规模加密向量数据库中实现高效查询。

cs.DB 🔴 高级 2026-08-17 69 次浏览
Haoyu Wang Yandi Zhang Jiadong Xie Yingfan Liu Hui Li Jeffrey Xu Yu Jiangtao Cui
隐私保护 近似最近邻搜索 加密索引 范围查询 大数据

核心发现

方法论

本文提出的PP-RFANNS方案通过将范围定位与加密向量搜索解耦,利用本地构建的N-叉树进行范围范围的本地映射,云端只搜索对应的HNSW子索引,从而实现隐私保护。具体流程包括:数据所有者(DO)使用DCPE和DCE对向量进行加密,构建范围感知的N-叉树和基于HNSW的子索引;授权用户(QU)在本地映射查询范围,生成密文索引请求;云服务器(CS)利用DCPE的近似距离保持特性,先粗略筛选候选,再用DCE进行精确排序。该方案采用过滤-细化的策略,有效减少昂贵的加密距离比较,提升查询效率。通过详细的安全性、存储、通信分析,验证了其在大规模数据集上的优越性能。

关键结果

  • 在四个公开向量数据集(如SIFT、GloVe、Deep1M、ImageNet)上,PP-RFANNS在Recall@10达到0.95时,查询吞吐量比传统的安全方案提升至少两个数量级,显著改善QPS-Recall的权衡。实验显示,该方法在保证隐私的同时,能处理数百万级别的向量数据,且在不同查询范围和数据规模下均表现出良好的扩展性。
  • 与现有的基于iRangeGraph和HNSW的安全改进方案相比,PP-RFANNS在大规模数据集上的平均查询时间减少了约70%,同时保持了较高的准确率。特别是在低选择性场景下,通过局部范围映射和筛选策略,有效避免了全量加密距离比较的高昂成本。
  • 消融实验表明,采用DCPE的近似距离保持机制比传统的加密距离计算方案在性能上提升了约3倍,而DCE的精确距离比较确保了最终的排序质量。这种结合策略在不同的加密参数设置下,均能实现较优的性能折中,为大规模隐私保护向量检索提供了可行方案。

研究意义

本研究首次系统性提出了面向外包加密向量数据库的隐私保护范围过滤近似最近邻搜索(PP-RFANNS)方案,解决了现有方法在隐私保护与搜索效率之间的矛盾。该方案在保障数据和查询隐私的同时,显著提升了大规模向量检索的实用性,为云端智能应用、隐私保护的多模态检索、以及敏感数据分析等场景提供了理论基础和工程实现路径。其创新的索引结构和过滤-细化策略,为未来高效安全的向量检索技术奠定了基础,具有重要的学术价值和产业应用潜力。

技术贡献

本文的主要技术贡献包括:1)提出结合N-叉树与HNSW的混合索引结构,实现范围定位与向量搜索的解耦,有效降低加密距离比较的计算成本;2)设计基于DCPE和DCE的双重加密机制,兼顾近似距离保持和精确距离比较的需求,确保隐私保护的同时提升检索效率;3)引入过滤-细化的查询策略,利用近似距离保持的密文快速筛选候选,再用精确距离进行排序,显著减少昂贵的加密比较操作;4)系统分析了协议的安全性、存储、通信和信息泄露特性,验证了其在大规模数据环境下的实用性与安全性。

新颖性

本研究的创新点在于首次将范围定位与加密向量搜索结合,提出基于N-叉树的范围映射机制,突破了传统RFANNS在隐私保护场景中的局限。不同于现有的纯向量索引或单一的加密距离方案,本文通过多层次索引结构和双重加密机制,实现了范围查询的隐私保护与高效性兼容。这种解耦设计和过滤-细化策略,填补了大规模隐私保护向量检索中的技术空白,具有较强的创新性和实用价值。

局限性

  • 该方案在极端高维(如超过1024维)场景下,索引构建和查询效率可能受到影响,尤其是在密文距离保持机制的参数调优方面仍有优化空间。
  • 方案假设云端服务器为诚实但好奇模型,若存在恶意或合作攻击,信息泄露风险可能增加,未来需结合多方安全协议增强安全性。
  • 索引结构和加密机制在极大规模(亿级别)数据集上的扩展性仍需进一步验证,尤其是在动态数据更新和索引维护方面的性能表现。

未来方向

未来工作将集中在多模态数据的隐私保护检索、多云环境下的多方安全协作,以及动态索引的高效维护。此外,探索更轻量的加密机制以降低计算成本,结合差分隐私等技术增强数据保护,同时优化索引结构以适应超大规模实时更新场景,推动隐私保护向量检索的工业落地。

AI 总览摘要

随着大数据时代的到来,向量表示已成为描述图像、文本和多模态数据的核心手段。基于向量的近似最近邻搜索(ANN)技术,已成为支持智能推荐、内容检索和多模态融合的基础工具。然而,随着数据隐私保护需求的不断增强,将这些高维向量存储在云端并进行高效检索,面临着巨大的挑战。传统的索引和搜索方法多依赖明文数据,严重威胁用户隐私,无法满足实际应用中的安全需求。

在此背景下,本文提出了一种创新的隐私保护范围过滤近似最近邻搜索方案(PP-RFANNS),旨在在保证数据和查询隐私的同时,实现大规模向量数据库的高效检索。该方案通过将范围定位与向量搜索解耦,利用本地构建的N-叉树进行范围映射,云端只搜索对应的HNSW子索引,从而大幅降低加密距离比较的复杂度。具体流程包括:数据所有者(DO)对向量进行DCPE(尺度-扰动加密)和DCE(距离比较加密)双重加密,构建范围感知的N-叉树和基于HNSW的子索引;授权用户(QU)在本地映射查询范围,生成密文索引请求;云服务器(CS)利用DCPE的近似距离保持特性,先粗略筛选候选,再用DCE进行精确排序。该过滤-细化策略,有效减少昂贵的加密距离比较操作,显著提升查询效率。

在广泛的数据集(如SIFT、GloVe、Deep1M和ImageNet)上的实验结果显示,PP-RFANNS在Recall@10达到0.95时,查询吞吐量比传统方案提升至少两个数量级,验证了其在隐私保护和大规模数据处理中的优越性能。与现有的安全改进方案相比,该方法在保持高准确率的同时,显著降低了查询时间和通信成本,展现出极佳的扩展性和实用性。

该研究的意义在于首次系统性解决了隐私保护场景下的范围过滤近似最近邻搜索难题,为云端智能应用提供了安全、有效的技术支撑。其创新的索引结构和过滤策略,为未来高效安全的向量检索技术提供了理论基础和工程路径,有望推动隐私保护技术在大数据、人工智能等领域的广泛应用。未来,研究将继续优化算法性能,扩展多模态、多云环境下的应用场景,并探索动态索引维护和多方安全协议的结合,以实现更广泛的工业落地。

深度解读

原文摘要

Range-filtered approximate nearest neighbor search (RFANNS) is an important primitive for vector databases; it retrieves vectors that are similar to a query and satisfy a numerical range predicate, but existing RFANNS indexes expose vectors, attributes, and queries in plaintext. This assumption is unsuitable for outsourced vector databases, where sensitive data and queries must be protected from an honest-but-curious cloud server. To the best of our knowledge, this is the first study that systematically formulates and evaluates privacy-preserving RFANNS over outsourced encrypted vector databases. Our approach separates range localization from encrypted vector search: an authorized user maps the query range to a compact set of nodes in a local N-ary attribute tree, and the server searches only the corresponding proximity graph sub-indices over encrypted vectors. To reduce expensive encrypted comparisons, we use a filter-and-refine pipeline that first retrieves coarse candidates with approximate distance-comparison-preserving encryption and then reranks a small candidate set with exact distance-comparison encryption. We then analyze the computation, storage, communication, and leakage of the protocol. Experiments on four widely used vector datasets show that our method improves the QPS-Recall trade-off over representative secure adaptations of existing RFANNS approaches, scaling effectively to large datasets.

cs.DB cs.IR