由康奈尔大学运营维护着的arXiv网站，是一个在学术论文还未被出版时就将之向所有人开放的地方。这里汇聚了无数科学领域中最前沿的研究，机器学习也包括在内。它反映了学术界当前的整体趋势，我们看到，近来发布的机器学习研究有许多都与深度学习有关。
HuhoLarochelle博士是加拿大舍布鲁克大学（UniversitédeSherbrooke）机器学习教授，Twitter的研究员，有名的神经网络研究者，以及深度学习狂热爱好者。从2015年夏天开始，他就一直在撰写并发布他对于arXiv上他感兴趣的机器学习论文所做的笔记。
以下是HuhoLarochelle评选出的arXiv深度学习年度十佳论文。
1、无穷维度的词向量
InfiniteDimensionalWordEmbeddings
EricNalisnick,SachinRavi
2015/11/17
摘要：
我们描述了一种用随机维度（stochasticdimensionality）学习词向量的方法。对于给定的某个词向量、它的语境向量（contextvector）、以及它们的维度，我们的无穷Skip-Gram模型（iSG）给出了一种基于能量的联合分布（energy-basedjointdistribution）。通过运用追踪无穷受限玻尔兹曼机（InfiniteRestrictedBoltzmannMachine）变化的技术，我们定义了可数无穷范围内的词向量维度，使得向量在训练中可以根据需要增加。
Hugo的点评：
这是对于我们在iRBM中引入的“无穷维度（infinitedimensionality）”的一种相当有创意的用法。这并不完全是一个“即插即用（plugandplay）”的方法，所以作者们需要聪明地估算所需的iSG的训练量。
定性结果显示出了维度数量的条件如何隐含了多义性信息，非常简单利落！分布式词向量背后的假定之一就是它们应该能够表征出一个词的多种含义，所以看到这一点得到验证是一件让人愉快的事。
我觉得这篇论文唯一缺少的东西就是与传统skip-gram（可能还有其他词向量方法）在某个特定任务或是词语相似性任务中进行比较。论文的第二个版本中，作者们的确提到了他们正在做这件事，所以我非常期待能看到结果！
2、利用可逆学习进行基于梯度的超参数优化
Gradient-basedHyperparameterOptimizationthroughReversibleLearning
DougalMaclaurin,DavidDuvenaud,RyanP.Adams
2015/2/11
通过在整个训练过程中不断向后链接导数（chainingderivativesbackwards），我们计算了对于所有超参数交叉验证的表现的具体梯度。这些梯度让我们能够优化数以千计的超参数，包括步长（stepsize）和动量（momentum）、初始权重分布、丰富参数化的正则化方法（richlyparameterizedregularizationschemes）、以及神经网络结构。
“对训练集做训练”的实验——生成10个例子（每个类别一个例子），使得通过这些例子进行训练的网络的验证集损失最少——是一个相当酷的想法（它在本质上是在MNIST上学习从数字0到数字9的原型图像）。
3、在线加速学习
SpeedLearningontheFly
Pierre-YvesMassé,YannOllivier
2015/11/8
我们将学习轨迹的整体表现视为是关于步长（stepsize）的函数，提出了通过对步长本身做梯度下降来适应（adapt）步长。重要的是，这种适应的计算可以用很少的代价在线进行，无需向后迭代全部数据。
我觉得作者们准确无误地击中了在线学习面临的挑战。如果是在线训练神经网络的话，我想这些挑战可能会变得更艰巨，现在对此几乎没有让人满意的解决方法。所以这是一个让我非常兴奋的研究方向。
4、空间变换网络
SpatialTransformerNetworks
MaxJaderberg,KarenSimonyan,AndrewZisserman,KorayKavukcuoglu
2015/6/5
我们引入了一个全新的可学习（learnable）模块，空间变化模块（theSpatialTransformer），使得我们能够对网络内的数据进行空间变换操作。这个模块可以被插到现有的卷积结构中，赋予神经网络主动对特征图进行空间转换的能力，无需任何额外增加训练时的监督或是对于优化步骤的调整。
虽然之前就有对于DRAW做的研究，也提出了相似的方法来进行图像的学习变换，但这篇论文比DRAW的那一篇深入得多，并且让这种方法能够实现更多样的变换种类。我也非常喜欢他们在卷积神经网络中应用这种空间变换的想法，这也是那篇DRAW论文中所没有的。
对于这篇论文我实在挑不出什么问题，它太严谨了！
5、聚类对于近似最大内积搜索来说是高效的
ClusteringisEfficientforApproximateMaximumInnerProductSearch
AlexAuvolat,SarathChandar,PascalVincent,HugoLarochelle,YoshuaBengio
2015/7/21
“MIPS到MCSS”的变换加上球形聚类，我感到这一组合既精巧又简洁。鉴于与哈希算法相比它的结果相当出色，我认为这个方向非常值得研究。
6、在线无回溯训练递归神经网络
TrainingRecurrentNetworksOnlinewithoutBacktracking
YannOllivier,GuillaumeCharpiat
2015/7/28
RNN的在线训练是一个巨大的尚未解决的问题。
目前人们使用的方法是将反向传播截到只剩几步，这只是一种摸索出来的办法。
这篇论文向一种更为理论式的方法做了努力。我非常喜欢作者们在公式7中展现出来的小技巧，棒极了！并且这也是这个方法的关键步骤。
作者们展示了初步的研究结果，他们也的确没有与截断式反向传播作比较。我非常希望他们能在未来做一下比较。另外，我不认为我对他们“随机梯度下降理论可以应用”的说法买账。
7、利用梯形网络进行半监督式学习
Semi-SupervisedLearningwithLadderNetwork
AnttiRasmus,HarriValpola,MikkoHonkala,MathiasBerglund,TapaniRaiko
2015/7/9
我们将深度学习网络中的监督式学习和非监督式学习混合在一起。我们提出的这个模型，训练后用于同时将监督式学习和非监督式学习的反向传播成本降到最低，无需再使用一层一层处理（layer-wise）的预训练。这基于Valpola（2015）提出的梯形网络，我们将监督式方法加入其中，进一步拓展了梯形网络模型。我们展示了最终获得的这个模型在多种任务中——半监督式环境下MNIST和CIFAR-10分类，以及半监督式和全标记（full-labels）环境下置换不变（permutationinvariant）的MNIST——都有顶尖水准的表现。
这篇论文最让我感到兴奋的就是模型的表现。在MNIST中，只有100个标记过的例子，而这个模型的错误率却可以低到1.13%！这可以与用全部训练集训练的堆叠去噪自编码器（stackeddenoisingautoencoders）媲美了（虽然这是指在做ReLUs和批量正态化之前训练出的自编码器，而这篇论文的模型已经用到了这两种操作）！这与现在深度学习中的一种想法吻合：虽然深度学习领域最近应用于大体量已标记数据集的研究进展都不依赖于任何非监督式学习方法（不像深度学习2000年代中期“起步”的时候），半监督式环境下的非监督式学习可能才是最适合少量已标记数据的数据集的方法。
不幸的是，作者们提到了实验中有一个小问题：虽然训练时他们没有使用多少标记好的数据，模型选择时仍然用到了验证集中全部10k个标记。这当然是不够理想的。
8、通往基于神经网络的推理
TowardsNeuralNetwork-BasedReasoning
BaolinPeng,ZhengdongLu,HangLi,Kam-FaiWong
2015/8/22
我们提出了“神经推理器（NeuralReasoner）”，一种基于神经网络对自然语言语句进行推理的架构。对于给定的问题，神经推理器会从多个得到支持的事实中进行推测，随后为这个问题找出答案。神经推理器具有1）一种特殊的池化交互（interaction-pooling）机制，使得它能够查阅多个事实，以及2）一个深度的架构，使得它能够为推理任务中复杂的逻辑关系进行建模。在问题和事实中没有特别的结构的情况下，神经推理器能够适应不同类型的推理和不同形式的语言表述。我们的实证研究显示，神经推理器完胜现存的其他神经推理系统，在2种困难的人工任务（位置推理和路径规划）中都有不俗的优势。
9、对递归神经网络序列预测的定期采样
ScheduledSamplingforSequencePredictionwithRecurrentNeuralNetworks
SamyBengio,OriolVinyals,NavdeepJaitly,NoamShazeer
2015/6/9
递归神经网络可以被训练用于对给定的输入生成字符序列（sequenceoftokens），比如在机器翻译和读图方面最近的一些成果就是例子。现在进行这种训练的方法包括了在给定当前（递归）状态和之前的字符（previoustoken）的情况下最大化序列中每个元素的可能性（likelihood）。在推断时，之前的字符未知的位置就会被模型自己生成的一个字符所取代。训练和推断之间的差异会导致误差在生成序列的的过程中快速积累。我们提出了一种略微改变训练过程的学习策略，从完全使用真实的之前的字符变成大部分时候使用模型生成的替代字符。我们进行了数个序列预测任务实验，结果显示，这种方法带来了显著的提升效果。
我对于ScheduledSampling方法为何能够起效还有另一种解释。机器学习训练并不会让模型知道它产生的误差的相对质量。从机器学习的角度来说，对一个仅有1个字符错误的输出序列分配高概率，和对一个所有字符都错误的输出序列分配同样高的概率，是一样糟糕的。但是，在读图生成语句的任务中，输出一句只有一个词语与实际情况不同的句子显然是更理想的。
通过将模型训练得稳健于它自己产生的错误，ScheduledSampling方法确保了误差不会累积，让做出离谱预测的可能性大大减小。
10、LSTM：漫游搜索
LSTM:ASearchSpaceOdyssey
KlausGreff,RupeshKumarSrivastava,JanKoutník,BasR.Steunebrink,JürgenSchmidhuber