LiCoMemory: Lightweight and Cognitive Agentic Memory for Efficient Long-Term Reasoning

TL;DR

LiCoMemory结合CogniGraph实现轻量化、层次化的长时记忆,提升推理效率。

cs.IR 🔴 高级 2025-11-03 13 次浏览
Zhengjun Huang Zhoujin Tian Qintian Guo Fangyuan Zhang Yingli Zhou Di Jiang Zeying Xie Xiaofang Zhou
人工智能 知识图谱 长时记忆 推理 图结构

核心发现

方法论

本文提出LiCoMemory框架,核心创新在于引入轻量级层次化图结构CogniGraph,将实体与关系作为语义索引层,通过时间与层级感知的检索机制实现高效、结构化的知识检索。系统支持实时更新与检索,结合多层次筛选与重排序,提升多轮对话中的长时推理能力。实验采用LoCoMo和LongMemEval两个长时对话基准,结果显示LiCoMemory在时间推理、多轮一致性和检索效率方面优于现有方法,显著降低更新延迟。

关键结果

  • 在LongMemEval上,LiCoMemory在准确率和召回率上分别提升23%,达到69.2%和72.4%,比第二名提升显著,且检索延迟降低至1.62秒,远优于GraphRAG等传统图结构方法。
  • 在LoCoMo上,LiCoMemory在多轮时间推理任务中表现优异,准确率达64.5%,比基线提升超过20%,同时保持低token消耗和快速响应,验证其高效性。
  • 消融实验表明,层次化索引和时间感知机制对性能提升具有关键作用,去除任何模块均导致性能下降,验证设计合理性。

研究意义

该研究突破了传统平面图结构的局限,提出层次化、语义感知的知识索引方式,有效解决长时记忆中的冗余与低效问题,为大规模对话系统的持续推理提供技术支撑。其在提升多轮对话理解、知识更新速度和响应准确性方面具有重要应用价值,有望推动智能助手、知识管理等领域的技术革新。

技术贡献

技术创新主要体现在引入CogniGraph层次化图结构,解耦知识存储与语义组织,采用多层索引与时间感知的检索机制,结合重排序策略实现高效、结构化知识访问。系统支持增量式图构建与快速更新,显著降低了推理延迟,为动态知识管理提供新思路。与现有图结构方法相比,LiCoMemory在结构简洁性、检索效率和多轮一致性方面表现优越,具有理论和工程创新意义。

新颖性

本文首次提出将层次化图结构作为长时记忆的语义索引层,突破了传统平面图的冗余与低效问题。通过结合时间感知机制,实现动态、结构化的知识检索与更新,显著优于现有的flat或entangled图结构方法,提供了长时推理的新范式。

局限性

  • 当前系统依赖预定义的实体关系抽取,可能在复杂语境下出现误差,影响检索效果。
  • 模型在极端长对话或知识爆炸场景下的扩展性仍需验证,未来需优化图的构建与维护策略。
  • 实时更新机制在极高并发场景中可能面临性能瓶颈,需进一步提升系统的并行处理能力。

未来方向

未来将探索多模态知识融合,提升多源信息的整合能力;优化图结构的自适应调整策略,以应对更复杂的动态场景;同时结合强化学习优化检索与重排序策略,提升系统整体智能水平。

AI 总览摘要

随着大规模语言模型(LLMs)在对话理解和推理中的突破,长时记忆成为制约其性能的关键瓶颈。传统的外部记忆架构多采用扁平或缠结的图结构,导致冗余信息多、检索不够结构化、效率低下。本文提出LiCoMemory,结合CogniGraph层次化图结构,将实体与关系作为索引层,有效解耦知识存储与语义组织。系统通过时间与层级感知的检索机制,支持实时更新与结构化检索,显著提升多轮对话中的推理能力与响应效率。实验结果显示,在LoCoMo和LongMemEval两个长时对话基准上,LiCoMemory在准确率和召回率方面优于现有方法,且延迟降低,验证其高效性与实用性。这一创新为大规模对话系统提供了新的技术路径,推动其在智能助手、知识管理等应用中的广泛应用。未来,系统将结合多模态信息与强化学习,进一步提升动态知识管理能力,满足复杂场景下的长时推理需求。

深度分析

研究背景

近年来,随着LLMs的快速发展,基于外部记忆的对话系统逐渐成为研究热点。早期方法如Retrieval-Augmented Generation(RAG)通过检索历史对话片段增强生成能力,但受限于扁平结构导致信息冗余和检索不结构化。图结构的引入改善了跨会话推理,但多采用平面或缠结的图结构,存在冗余、更新慢等问题。近年来,层次化图和动态记忆架构逐步出现,试图解决这些瓶颈,但仍面临效率和结构灵活性不足的挑战。

核心问题

现有图结构多将语义内容与关系混合,导致图体积庞大、冗余严重,难以快速更新和检索。在多轮对话中,信息碎片化、结构不清晰,影响推理连贯性。此外,图的构建与维护耗时长,难以满足实时交互需求。这些问题限制了长时记忆在实际应用中的效果,亟需一种高效、结构化的知识索引方案。

核心创新

本文提出CogniGraph,层次化的语义索引图,将实体和关系作为轻量级索引层,解耦存储与组织。引入时间与层级感知的检索机制,结合重排序策略,实现结构化、动态的知识访问。系统支持增量式图构建,显著降低更新延迟。创新点在于将知识图作为索引层而非存储仓库,提升检索效率和多轮推理能力,突破传统平面图的局限。

方法详解

  • �� 构建CogniGraph:分为会话层、实体关系层和原始对话块层,利用超链接连接,形成多层索引体系。
  • �� 实体关系抽取:采用BGE-M3模型,从对话中提取实体与关系三元组,进行去重和链接。
  • �� 时间与层级感知检索:先通过会话摘要筛选相关会话,再利用实体索引定位三元组,结合时间衰减函数进行重排序。
  • �� 结构化重排序:融合语义相似度、时间相关性,生成结构化检索结果作为模型输入。
  • �� 实时更新:对话过程中动态增量更新图结构,保持知识的时序一致性,支持多轮连续推理。

实验设计

采用LoCoMo和LongMemEval两个公开长时对话基准,评估准确率、召回率、检索延迟。对比方法包括Llama-3-70B、GPT-4、GraphRAG等。指标涵盖响应质量和效率,进行多轮交互模拟,验证系统在时间推理、多轮一致性、响应速度等方面的优越性。超参数设置为k=15,时间衰减系数为0.1,确保公平比较。

结果分析

LiCoMemory在LongMemEval上准确率达69.2%,召回率72.4%,优于所有对比方法,延迟仅1.62秒。在LoCoMo中,准确率达64.5%,比基线提升20%以上。消融实验显示,层次化索引和时间机制是性能提升的关键,去除任何模块均导致明显下降。这些结果验证了LiCoMemory在长时推理中的有效性和高效性。

应用场景

该系统适用于智能助手、知识管理、客户服务等场景,能实现多轮对话中的持续推理与知识更新。依赖于高质量实体关系抽取和时间感知机制,适合大规模、多源、多模态数据环境。未来可结合多模态信息与强化学习,提升系统的自主学习和适应能力。

局限与展望

系统在极端长对话或知识爆炸场景下可能面临图结构膨胀和维护难题。实体关系抽取的准确性影响整体效果,实时更新在高并发场景中仍需优化。未来需增强模型的扩展性和鲁棒性,提升在复杂应用中的表现。

通俗解读 非专业人士也能看懂

想象你在管理一个大型图书馆,每本书代表一个知识点。传统方法就像把所有书都堆在一起,找起来很麻烦,也容易出错。LiCoMemory像是给每个书架设计了层级分类,把主题、作者、时间都整理得井井有条。每次有人问问题,就像是你根据问题的关键词,从对应的书架快速找到相关书本,然后再根据时间和主题筛选出最合适的内容。这样一来,不仅找书快,还能确保内容相关、准确。系统还能随着新书的到来,快速把它们加入到对应的书架中,保持图书馆的最新状态。这个比喻帮助我们理解,LiCoMemory通过层次化的结构,让知识管理变得像整理图书一样高效、智能。

简单解释 像给14岁少年讲一样

想象你有一个超级聪明的笔记本,里面记满了你所有的学习内容和有趣的事情。以前,你每次想找某个信息,都得翻遍整本笔记,特别麻烦。现在,这个新系统就像帮你把笔记分成不同的章节和标签,比如“数学”、“游戏”、“朋友”,每个标签下面还可以细分到具体的内容。每次你问问题,它会先看标签,再看章节,然后找到最相关的内容。更厉害的是,它还能记住什么时候写的内容,帮你找到最新的答案。每次你写新东西,它也会自动把它加入到对应的章节里,保持笔记最新。这样一来,你就可以像和朋友聊天一样,快速得到准确的答案,还能记得每件事的时间顺序,变得更聪明、更有条理!

原文摘要

Large Language Model (LLM) agents exhibit remarkable conversational and reasoning capabilities but remain constrained by limited context windows and the lack of persistent memory. Recent efforts address these limitations via external memory architectures, often employing graph-based representations, yet most adopt flat, entangled structures that intertwine semantics with topology, leading to redundant representations, unstructured retrieval, and degraded efficiency and accuracy. To resolve these issues, we propose LiCoMemory, an end-to-end agentic memory framework for real-time updating and retrieval, which introduces CogniGraph, a lightweight hierarchical graph that utilizes entities and relations as semantic indexing layers, and employs temporal and hierarchy-aware search with integrated reranking for adaptive and coherent knowledge retrieval. Experiments on long-term dialogue benchmarks, LoCoMo and LongMemEval, show that LiCoMemory not only outperforms established baselines in temporal reasoning, multi-session consistency, and retrieval efficiency, but also notably reduces update latency. Our official code and data are available at https://github.com/EverM0re/LiCoMemory.

cs.IR