核心发现
方法论
本文提出的复杂状态传播器（CSP）采用复数向量表示隐藏状态，通过输入依赖的相位旋转进行更新。模型仅依赖状态传播，无中间输出投影，结合块级跳跃连接、元素级复数归一化和SiLU激活，增强深层传播稳定性。核心机制包括输入的元素级旋转、复数递归和归一化，确保信息主要编码在相位中。实验中，CSP在奇偶检测、模3计数和括号匹配任务中均达100%准确，验证其在精确记忆和组合推理中的优越性。
关键结果
- 在三项任务中，CSP实现了100%的准确率和F1值，训练时间为奇偶检测约50轮，括号匹配约150轮，显示出强泛化能力。通过消融实验验证旋转机制、块跳跃和复杂归一化的关键作用。Focal Loss在不平衡类别中显著提升模型学习能力，确保任务成功。
- 模型采用3层、隐藏维度64，使用Adam优化器，学习率初始为10^-3，训练300轮，验证了深层状态传播的稳定性和有效性。对比传统Transformer和线性状态空间模型，CSP在任务复杂度和记忆精度方面表现优越，特别是在离散周期性任务中。
- 消融分析显示，去除旋转机制或复杂归一化会导致性能崩溃，验证相位旋转在离散状态追踪中的核心作用。块级跳跃连接有效缓解深层网络训练中的梯度消失问题，确保信息流通畅。Focal Loss在极端类别不平衡条件下尤为关键。
研究意义
该研究突破了传统序列模型对全局注意力的依赖，提出仅用状态传播实现精确的离散状态追踪，为低复杂度、参数高效的序列建模提供新思路。复数域的引入赋予模型更强的表示能力，特别适合需要精确记忆和周期性推理的任务。此方法在理论上验证了复数状态空间的优越性，为未来设计更简洁高效的序列模型奠定基础，有望推动硬件友好型AI系统的发展。
技术贡献
本文提出的CSP模型以复数向量作为隐藏状态，创新性地结合元素级旋转、复数递归和块级跳跃连接，显著简化模型结构，减少参数量。通过复数域的相位旋转实现精确的周期性状态转移，提供了理论上的连续性和离散性兼容性。模型在任务中实现100%准确，验证了其在确定性状态追踪中的有效性，突破了线性状态空间模型在记忆能力上的限制，为深层递归网络提供了新的设计范式。
新颖性
本研究首次提出仅依赖状态传播的复杂值状态空间模型，利用复数相位旋转实现离散周期性状态转移，突破了传统线性模型在精确记忆方面的局限。与Transformer和线性SSM不同，CSP无需全局注意力机制，表现出更优的参数效率和泛化能力，特别适合离散、周期性任务。其结构设计和训练策略为序列建模提供了全新思路。
局限性
- 模型主要在离散、周期性任务中验证，泛化到连续或模糊任务仍需探索。复数旋转机制对噪声和扰动敏感，可能在实际应用中表现不佳。训练过程中对相位边界的处理较为敏感，需精细调参，提升鲁棒性仍是挑战。模型在极长序列或复杂任务中的表现尚未充分验证，未来需扩展到更广泛场景。
未来方向
未来将探索更高效的复数解码机制，减少参数开销，提升模型的可扩展性。引入低秩层间耦合以增强深层网络的参数共享和信息流动，提升模型在复杂任务中的表现。还计划将CSP应用于连续状态追踪、多模态序列理解及硬件友好型AI系统，推动其在实际场景中的落地。
AI 总览摘要
序列建模一直是人工智能领域的核心挑战之一。传统的Transformer架构凭借注意力机制实现了强大的表达能力，但在长序列和离散任务中存在参数膨胀和效率瓶颈。为解决这一问题，本文提出了复杂值状态空间模型（CSP），其核心思想是仅通过状态传播实现离散周期性状态的精确追踪。
CSP采用复数向量表示隐藏状态，通过输入依赖的相位旋转进行更新，避免了中间输出投影的参数冗余。模型设计包括元素级旋转、复数递归、块级跳跃连接和复杂归一化，确保深层传播的稳定性和信息的完整性。在奇偶检测、模3计数和括号匹配等任务中，CSP均达到了100%的准确率，验证了其在精确记忆和组合推理中的优越性。
实验结果显示，模型在训练过程中表现出“grokking”现象，即长时间停滞后突然实现完美泛化。这一行为被解释为模型在优化中的相位边界突破，利用复数旋转的特性实现了对离散周期的精确建模。模型的参数效率和泛化能力为未来低复杂度、硬件友好的序列模型提供了新思路。
未来工作将集中在优化解码机制、引入层间低秩耦合以及扩展到连续状态和多模态任务，推动该方法在实际应用中的广泛落地。整体而言，CSP为序列建模提供了一种全新的、参数高效的解决方案，具有重要的理论和实践价值。
深度分析
研究背景
序列建模是人工智能中的基础任务，Transformer凭借注意力机制实现了卓越性能，但在长序列和离散任务中存在参数膨胀和效率瓶颈。近年来，线性状态空间模型（如S4、Mamba）被提出以降低复杂度，但多偏向连续时间或存储记忆，难以应对精确离散记忆需求。线性模型在周期性任务中的表现有限，尤其在需要精确记忆的任务中表现不佳。复数域的引入为模型提供了更强的表示能力，激发了对新型离散状态追踪模型的探索。
核心问题
传统序列模型在处理离散、周期性任务时存在记忆不精确、参数冗余和训练不稳定的问题。现有线性状态空间模型难以实现精确的周期性状态转移，且深层网络训练时梯度消失或爆炸。如何设计一种既能高效表达离散周期，又能深层稳定训练的模型，成为核心难题。这限制了模型在复杂推理和精确记忆任务中的应用潜力。
核心创新
提出复数值状态空间模型（CSP），核心创新在于：
1）仅依赖状态传播，无中间输出投影，简化模型结构；
2）利用复数相位旋转实现离散周期性状态转移，提供精确的周期建模能力；
3）引入块级跳跃连接和复杂归一化，增强深层网络的训练稳定性；
4）采用元素级旋转，增强表示能力。此设计突破了线性模型在离散记忆上的限制，为深层递归网络提供了新路径。
方法详解
- �� 输入序列通过线性变换映射为复数向量。• 每个时间步，计算旋转角度θt，从输入中学习得出。• 复数向量经过元素级旋转，更新相位信息。• 旋转后的输入与上一时刻状态进行复数递归，控制信息的记忆与更新。• 引入块级跳跃连接，残差连接确保梯度流通。• 通过复杂归一化，将状态投影到单位圆，主要编码在相位中。• 多层堆叠实现深层状态传播，训练中采用Adam优化，调节学习率和梯度裁剪以确保稳定。
实验设计
在奇偶检测、模3计数和括号匹配任务中，使用隐藏维度64，3层网络，训练300轮，验证模型在长序列和复杂推理中的表现。采用Focal Loss应对类别不平衡，消融实验验证旋转机制和跳跃连接的重要性。模型训练过程中观察到“grokking”现象，即长时间停滞后突现完美泛化，验证了模型的离散周期性建模能力。与Transformer和线性SSM相比，表现出更优的参数效率和泛化能力。
结果分析
模型在所有任务中均达100%准确率，训练轮数明显少于传统模型。消融实验显示，去除旋转机制或复杂归一化会导致性能崩溃，验证其关键作用。Focal Loss在类别极度不平衡时显著提升学习效果。训练中观察到“grokking”现象，模型在数十轮后突然实现完美泛化，表明其在优化中的相位突破机制。整体结果表明，CSP在离散、周期性任务中具有极强的表达和泛化能力。
应用场景
该模型适用于需要精确记忆和周期性推理的任务，如符号处理、逻辑推理、编码解码等。其参数高效、训练稳定，适合资源有限的边缘设备或嵌入式系统。未来可结合硬件优化，推广到自然语言理解、程序分析等场景，推动智能系统在复杂推理中的应用。
局限与展望
模型主要在离散、周期性任务中验证，泛化到连续或模糊任务仍需探索。复数旋转对噪声敏感，训练对参数调节较为敏感。深层网络在极长序列中的表现尚未充分验证，未来需扩展到更复杂、多模态场景。
通俗解读 非专业人士也能看懂
想象你在操控一个旋转的风车，每次风车转动的角度都由风的强弱决定。这个模型就像用风的变化来告诉风车该转多快、多远。每次输入一个信息，就像风吹过，风车会根据风的强度旋转不同的角度。风车的转动角度代表了信息的状态，随着时间推移，风车不断旋转，形成一个周期性的图案。这个过程让风车能记住过去的风向，从而预测未来的风向。模型用这种旋转的方式，特别擅长处理那些需要记住和重复周期性信息的任务，比如判断一串符号是否平衡，或者统计某个数字出现的次数。它就像用风的节奏来记忆和处理信息，不需要复杂的机械结构，只靠简单的旋转和记忆，就能完成复杂的任务。
简单解释 像给14岁少年讲一样
想象你在玩一个旋转的陀螺，每次你用手推它，它会转动不同的角度。这个模型就像用陀螺的旋转来记住一串数字。每次输入一个数字，就像推陀螺一样，陀螺会转到一个特定的角度。随着输入的变化，陀螺不断旋转，形成一个节奏。这个节奏能帮你记住数字的奇偶性或者是否匹配括号。它不用复杂的记忆方法，只用旋转的角度来代表信息。就像你用手转动陀螺来告诉自己“我记住了这个数字”，然后用旋转的角度判断下一步。这个方法特别适合那些需要记住周期性规律的任务，比如判断一串符号是不是平衡，或者统计某个数字出现的次数。它用简单的旋转和记忆，就能解决复杂的问题，像个旋转的魔法师一样聪明！
原文摘要
Transformer-based architectures have dominated sequence modeling, largely due to the expressive power of attention mechanisms. However, for a class of deterministic state tracking tasks---such as parity checking, modular counting, and parenthesis matching---attention may be overkill. In this paper, we show that \textbf{state propagation alone is sufficient}. We propose the \textbf{Complex State Propagator (CSP)}, a minimalistic recurrent architecture that \textbf{only propagates hidden states} across layers without output projections at intermediate steps. The state is represented as a complex-valued vector, updated via input-dependent rotations in the complex domain. To enable deep propagation without gradient vanishing or degradation, we introduce a \textbf{block-level skip connection} alongside element-wise complex normalization and SiLU activation at sequence boundaries. Applied with Focal Loss, CSP achieves \textbf{100\% accuracy} with perfect F1 scores across canonical tasks.