Theoretical insights into the optimization landscape of over-parameterized shallow neural networks
利用二次激活函数分析过参数浅层神经网络的优化地形,证明无局部极小点且梯度下降可全局收敛。
Mahdi Soltanolkotabi, Adel Javanmard, Jason D. Lee
利用二次激活函数分析过参数浅层神经网络的优化地形,证明无局部极小点且梯度下降可全局收敛。
Mahdi Soltanolkotabi, Adel Javanmard, Jason D. Lee
Deep BSDE方法在100维PDE上达0.17%–0.46%相对误差。
Jiequn Han, Arnulf Jentzen, Weinan E
基于高维数据的模型选择方法,采用贝叶斯、惩罚和模型选择策略,有效筛选变量提升聚类效果。
Michael Fop, Thomas Brendan Murphy
提出一种在点云中检测抓取姿态的方法,实现了93%的抓取成功率。
Andreas ten Pas, Marcus Gualtieri, Kate Saenko 等
提出规模十倍的E2E数据集,强调词汇丰富、句法多样和内容选择挑战,推动自然语言生成更自然多样。
Jekaterina Novikova, Ondřej Dušek, Verena Rieser
提出连续滤波卷积层,构建SchNet模型,准确预测分子能量与力,突破传统网格限制。
Kristof T. Schütt, Pieter-Jan Kindermans, Huziel E. Sauceda 等
提出基于谱范数归一化边际的神经网络泛化界,验证其与Lipschitz常数和边际的相关性。
Peter Bartlett, Dylan J. Foster, Matus Telgarsky
提出基于图的采样策略提升神经网络协同过滤效率,最高达30倍加速。
Ting Chen, Yizhou Sun, Yue Shi 等
提出CausE算法,通过因果嵌入优化推荐系统,实现显著性能提升。
Stephen Bonner, Flavian Vasile
提出噪声约束贝叶斯优化方法,结合拟蒙特卡洛近似提升高噪声环境下的优化效率。
Benjamin Letham, Brian Karrer, Guilherme Ottoni 等
提出基于2D卷积的点云生成框架,利用伪渲染优化单图三维重建,显著优于3D卷积方法。
Chen-Hsuan Lin, Chen Kong, Simon Lucey
比较深度神经网络与人类在信号减弱时的物体识别能力,发现人类更具鲁棒性。
Robert Geirhos, David H. J. Janssen, Heiko H. Schütt 等
提出非凸非光滑优化的广义第一阶方法,突破Lipschitz连续限制,应用于稀疏约束二次反问题。
Jérôme Bolte, Shoham Sabach, Marc Teboulle 等
提出基于鲁棒优化的对抗训练方法,显著提升模型对多种攻击的抵抗力。
Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt 等
提出DeepLabv3,利用多尺度空洞卷积和空间金字塔池化显著提升语义分割性能。
Liang-Chieh Chen, George Papandreou, Florian Schroff 等
提出端到端学习模型用于多轮谈判,结合对话滚动规划显著提升表现。
Mike Lewis, Denis Yarats, Yann N. Dauphin 等
通过Hessian矩阵分析过参数化神经网络的损失面,揭示谱的两部分结构。
Levent Sagun, Utku Evci, V. Ugur Guney 等
提出SmoothGrad,通过加入噪声平滑梯度图,显著提升深度模型敏感性图的清晰度。
Daniel Smilkov, Nikhil Thorat, Been Kim 等
提出Transformer模型,完全基于注意力机制,显著提升机器翻译性能,训练时间缩短。
Ashish Vaswani, Noam Shazeer, Niki Parmar 等
基于人类偏好的深度强化学习,利用少于1%的交互实现复杂任务。
Paul Christiano, Jan Leike, Tom B. Brown 等