The Loss Surfaces of Multilayer Networks
用球面自旋玻璃理论解释SGD在大网络中趋向低能量、高质量局部极小值。
Anna Choromanska, Mikael Henaff, Michael Mathieu 等
用球面自旋玻璃理论解释SGD在大网络中趋向低能量、高质量局部极小值。
Anna Choromanska, Mikael Henaff, Michael Mathieu 等
Falling Rule Lists是一种分类模型,使用有序的if-then规则列表,成功概率单调递减。
Fulton Wang, Cynthia Rudin
提出超列(Hypercolumns)用于像素级目标检测,提升分割准确率,SDS从49.7提升至60.0。
Bharath Hariharan, Pablo Arbeláez, Ross Girshick 等
提出基于深度循环网络的图像描述模型,BLEU-4达27.7,显著优于以往方法。
Oriol Vinyals, Alexander Toshev, Samy Bengio 等
提出长短期循环卷积网络(LRCN),结合CNN与LSTM实现视频识别与描述,显著优于单一模型。
Jeff Donahue, Lisa Anne Hendricks, Marcus Rohrbach 等
提出全卷积网络(FCN)用于像素级语义分割,超越SOTA,精度62.2% mIU。
Jonathan Long, Evan Shelhamer, Trevor Darrell
采用字典学习与`1-范数优化实现图像稀疏编码,提升视觉识别效果。
Julien Mairal, Francis Bach, Jean Ponce
研究深度神经网络特征的可迁移性,发现特征在不同层次的迁移效果差异显著。
Jason Yosinski, Jeff Clune, Yoshua Bengio 等
提出A*采样算法,基于Gumbel过程实现连续空间的精确采样,显著优于自适应拒绝采样。
Chris J. Maddison, Daniel Tarlow, Tom Minka
神经图灵机通过外部记忆资源扩展神经网络能力,能推理简单算法如复制、排序等。
Alex Graves, Greg Wayne, Ivo Danihelka
Graph-Sparse LDA利用本体图压缩主题,在ASD数据中将119个诊断词概括为6个概念且预测性能不降。
Finale Doshi-Velez, Byron Wallace, Ryan Adams
记忆网络结合推理与长期记忆,提升问答任务表现。
Jason Weston, Sumit Chopra, Antoine Bordes
本研究分析神经网络训练的计算复杂性,提出超规格网络易训练的正面结果及深度多项式网络的高效算法。
Roi Livni, Shai Shalev-Shwartz, Ohad Shamir
提出基于梯度反转层的无监督域适应方法,提升图像分类中的跨域性能。
Yaroslav Ganin, Victor Lempitsky
提出Inception架构,通过多尺度卷积模块提升深度网络性能,参数仅为Krizhevsky的12%,在ILSVRC 2014获最佳分类检测。
Christian Szegedy, Wei Liu, Yangqing Jia 等
提出基于多层LSTM的端到端序列到序列学习方法,在英法翻译中BLEU达34.8,优于传统统计模型。
Ilya Sutskever, Oriol Vinyals, Quoc V. Le
利用光子-原子频率梳协议在20米铒离子掺杂光纤中实现1532 nm光子存储,保持高保真度和纠缠。
Erhan Saglamyurek, Jeongwan Jin, Varun B. Verma 等
基于ImageNet的ILSVRC挑战,采用深度卷积神经网络(如AlexNet、VGG、ResNet)实现百万级图像分类与检测,显著提升准确率。
Olga Russakovsky, Jia Deng, Hao Su 等
提出结合软对齐的神经机器翻译模型,有效缓解长句信息瓶颈。
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
提出一种基于数据的扩展动态模态分解(EDMD)方法,用于逼近Koopman算子特征值、特征函数和模态。
Matthew O. Williams, Ioannis G. Kevrekidis, Clarence W. Rowley