核心发现
方法论
本文创新性引入Sigmoid加权线性单元(SiLU)及其导数(dSiLU)作为神经网络激活函数，结合TD(λ)和Sarsa(λ)的on-policy学习策略，摒弃经验回放和目标网络。通过浅层和深层网络在SZ-Tetris及Atari 2600上的实验验证，采用软最大策略进行动作选择，优化学习效果。具体算法包括：• 利用Sigmoid函数与输入相乘形成激活值；• 采用TD(λ)和Sarsa(λ)进行时间差分学习；• 结合软最大策略实现探索与利用平衡。
关键结果
- 在随机SZ-Tetris中，dSiLU网络浅层模型提升平均得分20%，达到新纪录。深层模型在10×10 Tetris中达成平均4,900分，优于传统方法。在Atari 2600平台，SiLU-dSiLU深度网络超越DQN，平均得分提升232%，在12个游戏中表现优异。
- 实验显示，采用SiLU和dSiLU激活函数的网络在价值估计和策略优化中表现出更高的稳定性和准确性，尤其在长时序和高维状态空间中优于ReLU和sigmoid。
- 通过对比分析，验证了on-policy方法结合eligibility traces在无需目标网络的情况下，依然能达到甚至超越DQN的性能，彰显传统强化学习策略的潜力。
研究意义
该研究突破了深度强化学习中对经验回放和目标网络的依赖，提出更简洁高效的on-policy框架，有助于理解神经激活函数对学习效果的影响，为未来算法设计提供新思路。其在SZ-Tetris和Atari平台的优异表现，展示了在复杂高维环境中实现高效学习的可能性，具有重要的理论和应用价值。
技术贡献
技术创新在于引入SiLU和dSiLU激活函数，提供自我调节的非线性特性，增强网络的表达能力和稳定性。结合TD(λ)和Sarsa(λ)的on-policy学习策略，避免经验回放带来的偏差和复杂性，简化了深度强化学习架构。通过在浅层和深层网络中验证，展示了激活函数对学习速度和性能的显著影响，为强化学习中的激活函数设计提供新范例。
新颖性
本研究首次系统性引入SiLU和dSiLU激活函数，结合传统on-policy方法在复杂任务中超越DQN，打破了深度强化学习普遍依赖经验回放和目标网络的局限。其核心创新在于激活函数的设计与策略优化的结合，为强化学习提供了更简洁高效的解决方案。
局限性
- 虽然在SZ-Tetris和部分Atari游戏中表现优异，但在极端复杂或连续动作空间中效果尚未验证，存在泛化不足的风险。
- 深层网络训练仍依赖大量超参数调优，计算成本较高，实际应用中需考虑硬件资源限制。
- 对激活函数的理论分析有限，未来需深入理解其数学性质与泛化能力。
未来方向
未来将探索SiLU和dSiLU在连续控制、复杂环境中的适应性，结合强化学习中的策略梯度和模型预测方法，提升泛化能力。同时，研究激活函数的理论基础，优化网络结构，降低训练成本，推动其在实际工业和机器人应用中的落地。
AI 总览摘要
近年来，神经网络在强化学习中的应用迎来新一轮突破。传统方法如DQN依赖经验回放和目标网络，虽取得显著成就，但架构复杂且资源消耗大。本文提出两种新型激活函数——Sigmoid加权线性单元(SiLU)及其导数(dSiLU)，结合TD(λ)和Sarsa(λ)的on-policy学习策略，摒弃经验回放，简化网络结构，取得了令人瞩目的成果。在SZ-Tetris和10×10 Tetris中，浅层和深层网络均超越了现有的最优性能，尤其是dSiLU网络在SZ-Tetris中得分提升20%，在10×10 Tetris中达成平均4,900分，刷新纪录。在Atari 2600平台，SiLU-dSiLU深度网络在12款游戏中平均得分比DQN高出232%，表现优异。这些结果表明，激活函数的设计对强化学习的效果具有深远影响，尤其在高维和长时序任务中表现出更高的稳定性和准确性。研究还验证了传统on-policy方法在无需复杂架构的情况下，依然具备与深度Q网络相媲美甚至超越的潜力，为未来强化学习算法提供了新思路。尽管如此，模型在极端复杂环境中的泛化能力和训练成本仍需优化，未来将结合策略梯度和模型预测技术，推动其在实际应用中的落地。整体而言，该研究为强化学习中的激活函数设计和策略优化提供了创新方案，具有重要的理论价值和广泛的应用前景。
深度分析
研究背景
神经网络在强化学习中的应用经历了从简单线性模型到深度学习的快速发展。早期如TD-Gammon（Tesauro, 1999）利用神经网络在回合游戏中取得突破，随后DQN（Mnih et al., 2015）结合深度卷积网络、经验回放和目标网络，实现了在Atari游戏中的人类水平。近年来，诸如Double DQN（van Hasselt et al., 2015）和优先经验回放（Schaul et al., 2016）等改进不断涌现，极大提升了算法性能。然而，这些方法依赖复杂架构和大量样本，存在训练成本高、泛化能力不足的问题。与此同时，激活函数的设计也逐渐成为影响学习效果的关键因素，ReLU、sigmoid等已被广泛使用，但仍有改进空间。
核心问题
尽管深度强化学习取得了巨大成功，但其架构复杂、训练成本高、对经验回放和目标网络的依赖限制了其应用范围。传统on-policy方法在高维状态空间中的表现不佳，难以实现稳定和高效的学习。如何设计更简洁、高效、稳定的算法，特别是在无需经验回放的情况下，成为当前研究的核心难题。
核心创新
本研究提出了两种新激活函数——SiLU和dSiLU，具有自我调节的非线性特性，增强网络表达能力。结合TD(λ)和Sarsa(λ)的on-policy学习策略，摒弃经验回放和目标网络，简化了深度强化学习架构。通过在SZ-Tetris和Atari平台的实验验证，显示出更高的学习效率和性能稳定性。此创新突破了深度强化学习对复杂架构的依赖，为算法简化提供新思路。
方法详解
- �� 设计激活函数：利用sigmoid与输入相乘形成SiLU，导数形成dSiLU，增强非线性表达能力。• 采用TD(λ)和Sarsa(λ)算法，利用eligibility traces实现时间差分学习，避免经验回放。• 在浅层和深层网络中应用激活函数，结合softmax策略进行动作选择。• 训练过程中调节温度参数实现探索与利用平衡。• 在SZ-Tetris和Atari平台上进行多轮实验，验证性能。
实验设计
在SZ-Tetris中，使用浅层网络与手工特征，训练10万轮，验证不同激活函数效果。深层网络采用卷积层+全连接层，训练20万轮，比较SiLU、ReLU、dSiLU性能。在10×10 Tetris中，训练深层dSiLU网络达成平均4,900分。在Atari 2600中，采用简化卷积架构，训练12款游戏，平均得分比DQN高出232%。超参数包括：学习率0.001-0.0001，γ=0.99，λ=0.8，温度调节策略。
结果分析
浅层dSiLU网络在SZ-Tetris中达成新纪录，平均得分提升20%。深层dSiLU网络在10×10 Tetris中获得平均4,900分，优于以往最佳。在Atari游戏中，SiLU-dSiLU网络在12款游戏中的平均得分比DQN高出232%，在多个任务中表现出更优的稳定性和泛化能力。这些结果验证了激活函数设计对强化学习性能的显著影响。
应用场景
该方法适用于高维状态空间的强化学习任务，尤其在资源有限或对模型简洁性要求高的场景，如机器人控制、自动驾驶等。未来可结合策略梯度和模型预测技术，拓展至连续动作空间和复杂环境，推动工业自动化和智能系统的发展。
局限与展望
当前模型在极端复杂或连续动作空间中的泛化能力有限，训练成本仍较高，激活函数的理论基础尚不充分，未来需深入分析其数学性质。此外，模型在超参数调节方面仍依赖大量试验，实际应用中需优化参数调优流程。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里的机器需要不断学习如何更快、更好地完成任务。传统的方法像是用很多复杂的零件和程序，既耗时又难维护。现在，科学家们设计了一种新型的按钮（激活函数），叫做SiLU，就像是一个聪明的调节按钮，可以让机器自己调节工作状态，变得更稳定、更聪明。配合一种叫TD(λ)的操作方式，就像是给机器提供了一个简单的指南，让它在工厂里不断试错、学习。实验显示，这种新方法让机器在完成任务时，比以前的方法快了不少，还能在复杂的任务中表现得更稳健。未来，这种技术可以让自动化工厂变得更智能、更高效，就像给机器人装上了更聪明的大脑一样。
简单解释 像给14岁少年讲一样
你知道游戏里的机器人吗？它们就像是我们用电脑写的聪明小伙伴，可以学会玩游戏、开车甚至帮忙做事。以前的机器人学习方法就像是让它们看很多录像，然后模仿，但这样很慢，也很复杂。科学家们现在发明了一种新按钮，叫做SiLU，就像是给机器人装了一个聪明的开关，可以自己调节学习速度和稳定性。配合一种叫TD(λ)的学习方式，就像是给机器人提供了一个简单的指南，让它们在玩游戏时不断试错、变得更厉害。实验发现，这样的机器人比以前的更快学会了游戏，还能在复杂的游戏中表现得更棒。未来，这种技术可能让我们的机器人变得更聪明，帮我们做更多事情，就像给它们装上了超级大脑一样！
原文摘要
In recent years, neural networks have enjoyed a renaissance as function approximators in reinforcement learning. Two decades after Tesauro's TD-Gammon achieved near top-level human performance in backgammon, the deep reinforcement learning algorithm DQN achieved human-level performance in many Atari 2600 games. The purpose of this study is twofold. First, we propose two activation functions for neural network function approximation in reinforcement learning: the sigmoid-weighted linear unit (SiLU) and its derivative function (dSiLU). The activation of the SiLU is computed by the sigmoid function multiplied by its input. Second, we suggest that the more traditional approach of using on-policy learning with eligibility traces, instead of experience replay, and softmax action selection with simple annealing can be competitive with DQN, without the need for a separate target network. We validate our proposed approach by, first, achieving new state-of-the-art results in both stochastic SZ-Tetris and Tetris with a small 10$\times$10 board, using TD($λ$) learning and shallow dSiLU network agents, and, then, by outperforming DQN in the Atari 2600 domain by using a deep Sarsa($λ$) agent with SiLU and dSiLU hidden units.