LINE通过优化第一、二阶邻近关系，能在百万级节点网络中高效学习低维嵌入。
Jian Tang, Meng Qu, Mingzhe Wang 等
Exp3.G证明反馈图分三类：强可观测为~√(αT)，弱可观测为~δ^(1/3)T^(2/3)，不可观测为Θ(T)。
Noga Alon, Nicolò Cesa-Bianchi, Ofer Dekel 等
提出强适应性在线学习算法，将低遗憾算法转化为在任意时间段表现接近最优。
Amit Daniely, Alon Gonen, Shai Shalev-Shwartz
TRPO（信赖域策略优化）通过近似理论保证单调提升，优化深层神经网络策略，实验显示在机器人控制和Atari游戏中表现优异。
John Schulman, Sergey Levine, Philipp Moritz 等
利用多层LSTM学习视频序列表征，通过自编码和未来预测提升动作识别性能。
Nitish Srivastava, Elman Mansimov, Ruslan Salakhutdinov
MADE通过参数掩码实现自回归约束，显著提升分布估计效率。
Mathieu Germain, Karol Gregor, Iain Murray 等
提出批归一化（Batch Normalization）技术，通过标准化层输入加速深度网络训练，减少内部协变量偏移。
Sergey Ioffe, Christian Szegedy
提出了一种基于视觉注意力的图像描述生成模型，在MS COCO上取得了最先进的性能。
Kelvin Xu, Jimmy Ba, Ryan Kiros 等
提出深度炸鸡卷（Deep Fried ConvNets），用Fastfood层替代全连接层，参数减少90%，性能不变。
Zichao Yang, Marcin Moczulski, Misha Denil 等
Adam算法结合一阶梯度估计与自适应学习率，提升大规模随机优化效率。
Diederik P. Kingma, Jimmy Ba
提出Elastic Averaging SGD（EASGD）算法，通过弹性力机制在深度学习分布式训练中实现高效通信与探索，显著提升训练速度和模型性能。
Sixin Zhang, Anna Choromanska, Yann LeCun
通过隐式正则化控制深度学习中的容量，而非网络规模。
Behnam Neyshabur, Ryota Tomioka, Nathan Srebro
通过在自编码器中加入交叉协方差惩罚，发现深度网络中的隐藏变化因素。
Brian Cheung, Jesse A. Livezey, Arjun K. Bansal 等
用球面自旋玻璃理论解释SGD在大网络中趋向低能量、高质量局部极小值。
Anna Choromanska, Mikael Henaff, Michael Mathieu 等
研究深度神经网络特征的可迁移性，发现特征在不同层次的迁移效果差异显著。
Jason Yosinski, Jeff Clune, Yoshua Bengio 等
本研究分析神经网络训练的计算复杂性，提出超规格网络易训练的正面结果及深度多项式网络的高效算法。
Roi Livni, Shai Shalev-Shwartz, Ohad Shamir
体积跨架以至多12d个点构造低方差探索基，并实现一般凸集上的高效近最优BLO。
Elad Hazan, Zohar Karnin, Raghu Mehka
提出基于图谱谱的谱网络与局部连接网络，参数与输入规模无关，适用于低维图。
Joan Bruna, Wojciech Zaremba, Arthur Szlam 等
深度专家混合模型在MNIST上表现出色，自动学习位置和类别特定专家。
David Eigen, Marc'Aurelio Ranzato, Ilya Sutskever
提出四类梯度估计方法用于随机二值神经元，促进条件计算与稀疏表示。
Yoshua Bengio, Nicholas Léonard, Aaron Courville