Rethinking Memory as Continuously Evolving Connectivity

随着人工智能的发展，记忆机制在大规模语言模型（LLM）中的作用日益凸显。早期的模型多采用静态存储结构，如Memory Networks（Weston et al., 2014）和Neural Turing Machines（Graves et al., 2014），试图模拟人类的长时记忆能力。然而，这些方法在面对动态环境和多任务场景时，表现出连接不灵活、信息更新缓慢等问题。近年来，Memory-Augmented Neural Networks（Santoro et al., 2016）引入了可扩展的存储机制，但仍依赖硬编码的存取流程，缺乏自我演化能力。与此同时，研究者开始关注记忆的结构化和动态演化（Zhou et al., 2023），试图通过图结构、层次抽象等手段提升记忆的适应性。代表性工作包括Hierarchical Memory（Han et al., 2022）和Graph-based Memory（Long et al., 2023），但大多仍停留在静态或半动态阶段，难以应对环境反馈的持续变化。本文的创新在于，将记忆视为一个不断演化的异构图，通过三阶段机制实现连接的动态调整和长远整合，为记忆系统的自我优化提供了新思路。

现有大部分记忆增强模型依赖静态存储和硬编码检索流程，难以适应环境反馈的持续变化。静态结构导致连接不足或过载，影响信息的准确性和完整性，进而限制模型的推理和学习能力。此外，传统方法在任务多样性和长远学习方面表现不足，无法实现记忆的持续优化和结构自我调整。这些问题在复杂、多变的实际应用场景中尤为突出，亟需一种能够动态适应环境变化、持续演化的记忆机制。

本研究提出FluxMem，核心创新在于将记忆建模为一个由语义、 episodic和程序层组成的异构图，并引入三阶段演化机制。第一阶段通过融合多种相似性指标和LLM验证，建立初步连接，确保信息的基础完整性。第二阶段利用环境反馈，动态修正连接关系，包括添加遗漏链接、剪除干扰连接，以及调整抽象粒度，以适应任务需求。第三阶段通过轨迹聚类和技能归纳，将成功经验转化为程序节点，实现记忆的长远整合。引入Procedure Evolution Maturity Score（PEMS）指标，实时监控记忆的演化成熟度，确保结构的稳定性和适应性。这一机制突破了静态存储的限制，实现了记忆的持续优化和自我演化，为智能系统提供了更强的自主学习能力。

• �� 连接形成：在任务开始时，系统通过融合语义相似性、词汇匹配和LLM验证，检索相关事实、经验和技能，建立初步连接，形成局部子图。• 反馈驱动修正：在任务执行过程中，根据环境反馈，动态调整连接关系。若发现遗漏，增加缺失链接；若出现干扰，剪除无关连接；同时调整抽象层级，优化信息粒度。• 长远整合：任务完成后，轨迹被聚类成多个簇，通过LLM提取共通技能，归纳为程序节点，并用PEMS指标监控演化状态，确保记忆的稳定性和丰富性。• 连接修正机制：利用余弦相似性和LLM验证，实时修正连接关系，确保信息的相关性和准确性。• 技能归纳：通过轨迹聚类，将经验转化为可重用的程序节点，增强模型的推理和操作能力。• 记忆演化监控：引入PEMS指标，动态评估记忆的成熟度，指导演化过程中的参数调节和终止条件。整个流程在任务执行时实时在线进行，结合离线长远整合，形成自我优化的记忆网络。

实验采用LoCoMo（长上下文推理）、Mind2Web（网页导航）和GAIA（通用助手）三个具有代表性的数据集，验证FluxMem在不同任务场景中的表现。对比基线包括Memory-Augmented模型（如MemoryOS、Nemori）和最新的记忆演化方法（如MemEvolve、Flash-Searcher）。评估指标涵盖LMJ得分、成功率（SR）、Action F1（AF1）和Element Accuracy（EA）等。通过调节参数T（修正轮数）、ϵ（收敛阈值）等，分析记忆演化的效果。还进行了消融实验，验证三阶段机制的重要性。实验结果显示，FluxMem在所有任务中均优于对比模型，尤其在复杂推理和长远记忆方面表现出明显优势。

在LoCoMo任务中，FluxMem的LMJ得分从81.23提升至95.06，超越所有对比模型，显示出极强的长上下文推理能力。在Mind2Web网页导航任务中，无筛选环境下，成功率从52.12跃升至73.6，优于AWM（56.10）和MemoryOS（59.81），验证其在真实复杂场景中的适应性。在GAIA任务中，成功率从52.12提升至73.6，表现优于MemEvolve和Flash-Searcher，说明其跨任务迁移能力强。消融实验表明，第二阶段（反馈修正）对性能提升至关重要，第三阶段（长远整合）则在复杂多步任务中发挥关键作用。参数调优显示，适当的修正轮数（T）和收敛阈值（ϵ）能显著提升记忆演化效率，模型逐步趋于稳定，达到了最佳性能。

该技术适用于需要长时间自主学习和知识管理的智能体系统，如自动问答、智能助理、复杂推理和多任务协作平台。通过动态调整记忆连接，系统能更好地应对环境变化和任务多样性，提升信息检索的准确性和推理的深度。在工业界，可应用于智能客服、自动化决策支持和知识库管理，帮助企业实现更智能的知识运营。未来，结合多模态信息和强化学习，有望实现更具自主性和适应性的智能体，推动人工智能向更高层次的自主学习和知识自我组织迈进。

当前系统在高频率、多任务环境中可能面临计算资源消耗过大的问题，尤其在多轮反馈和连接修正过程中，响应时间可能变长。此外，实验主要基于静态数据集，尚未在真实连续流环境中验证其长期在线学习和记忆遗忘机制。参数敏感性较高（如T、ϵ等阈值），在不同任务和模型背后需要调优，缺乏自适应调节机制。未来需优化算法效率，降低计算成本，增强系统在实际场景中的适应性和鲁棒性。