选自Medium,作者:NityeshAgarwal,机器之心编译。
在一个Quora问答《IwanttopursuemachinelearningasacareerbutnotsureifIamqualified.HowcanItestmyself》中,问到如何测试某人是否达到了从事机器学习职业的标准。吴恩达说(只要不断学习)任何人都可胜任机器学习的工作。他说,在完成一些机器学习课程之后,「进一步的学习,阅读研究论文。最好是尝试复现研究论文中的结果。」
OpenAI的研究员DarioAmodei说,「为了测试自己是否适合从事AI安全或者机器学习的工作,只要尝试快速实现大量模型。从最近的论文中找到一个机器学习模型,实现它,快速的让它能跑起来。」
这表明,读研究论文,对个人进一步了解这个领域极为重要。
arXiv是预印本论文的网上发布平台,研究者一般在著名的学术期刊或会议论文发表之前就先将其发布到该平台。
所以,研究者在预印本资源库arXiv上发表论文以快速传播他们的研究,并获得快速反馈。
ArxivSanityPreserver
让研究者能轻松的预印论文自然很不错。但对于阅读的人而言,预印论文的数量太多了,对于新手而言肯定不适合(个人观点,想试试也无妨)。
MachineLearning-Reddit上的WAYRthread
WAYR是WhatAreYouReading的简写。这是一个Reddit的子网站(subreddit)MachineLearning上的一个thread,其中人们在上面推送近期阅读的机器学习论文,并讨论他们发现的有趣结果。
如我所说,每周在arXiv上发表的机器学习领域的研究论文数量非常多。这意味着几乎不可能让个人每周都把它们全部读完,同时还能兼顾其它事情。同时,也不是所有论文都值得一读的。
因此,你需要把精力集中在最有潜力的论文上,而以上介绍的thread就是我推荐的一种方式。
Newsletter、Newsletter、Newsletter!
我已经订阅了以下Newsletter:
但我要怎么「开始」?
没错,这才是更加迫切的问题。
首先,确保你理解机器学习的基础,例如回归和其它算法;理解深度学习的基础,一般神经网络、反向传播、正则化,以及一些进阶内容,例如卷积网络(CNN)、循环网络(RNN)和长短期记忆网络(LSTM)的工作方式。我不认为阅读研究论文是理清基础的好办法,有很多其它资源可以用来打好基础。比如吴恩达的《MachineLearning》、《DeepLearning》在线课程,周志华的《机器学习》(西瓜书)、Bengio等著的《深度学习》教材。
学好基础后,你应该从阅读引入那些基本概念、思想的研究论文开始。从而你可以聚焦于习惯研究论文的形式,不要太担心对第一篇研究论文的真正理解,你已经对那些概念很熟悉了。
我推荐从AlexNet这篇论文开始。
为什么推荐这一篇?看看下图:
我们可以看到,计算机视觉和模式识别(ComputerVisionandPatterRecognition)的论文发表数从2012年开始暴涨,而这一切都源于AlexNet这篇论文。
AlexNet的作者是AlexKrizhevsky、IlyaSutskever和GeoffreyHinton,论文标题为《ImageNetClassificationwithDeepConvolutionalNetworks》。这篇论文被认为是该领域中影响力最大的论文。它介绍了研究者如何使用称为AlexNet的卷积神经网络赢得了2012年的ImageNet大规模视觉识别挑战赛(ILSVRC)的冠军。
让计算机观察和识别目标是计算机科学最早期的研究目标之一。ILSVRC就像是计算机视觉的奥林匹克,其中参赛者(计算机算法)需要准确识别图像属于1000个类别的哪一个。而且,在2012年,AlexNet在这项竞赛中远远超越了竞争对手:
它获得了15.3%的top-5准确率,第二名仅获得26.2%的top-5准确率。
毋庸置疑,整个计算机视觉社区都非常令人兴奋,该领域的研究正前所未有地向前加速。人们开始意识到深度神经网络的强大力量,你也可以在该领域尝试获得更多的成果。只要你们了解一些卷积网络的基础,那么掌握AlexNet论文的内容就会很简单,它们将会给你带来更多的知识与力量。
当然目前还有很多渠道获取重要的研究论文,例如在GitHub中就有非常多的论文集合。
此外,最后还有一个非常优秀的平台Distill,是一个现代的交互、视觉化期刊平台,面向现有以及新的机器学习研究成果。Distill使用了现代用户界面,注重对研究的理解与诠释。