运筹OR帷幄大话“人工智能数据科学机器学习”综述

【运筹OR帷幄】大话“人工智能、数据科学、机器学习”--综述

编者按:写作此文当年花了我10小时,或许很多内容现在看来显得有些“稚嫩”,但决定予以保留,也算是我对读博那段青春的追忆吧:)

本文包含4个带图实例,目的是从宏观上剖析和理解这三个术语,适合刚入门人工智能(缩写AI)、数据科学、机器学习(缩写人数机)的爱好者,完整阅读可能需要20分钟。由于我的研究领域仅限于机器学习和计算机视觉,浅谈其他领域的时候还劳驾该领域的大牛拍砖。

机器学习、深度学习、增强学习,这些“学习”都是什么鬼?3中的回答或许会让你大跌眼镜。

本文提纲:

1,人数机的概念2,AI的应用领域3,AI的解法-机器学习4,机器学习底层的模型-运筹、统计5,AI的算法6,强AIvs弱AI7,AI学术界、工业界的全球排名

--------------------------------------------------------------------

书归正传,我们一起逐点击破人数机这个大泡泡,力求以最通俗易懂的语言还原他们高大上外表下弱小的真面目(数学模型+算法)。

------------------------------------------------------------------------

下文我尝试把这些术语按照概念、应用、模型、方法、算法来进行分类。

这三个术语最大,放在第一个说--他们属于概念。

简单地说,计算机能像人一样思考并自动处理任务,就可以称为人工智能,即教计算机完成人想完成的复杂的或具有高度重复性的任务。(这里需要注意计算机能理解的只是数据,包括向量和矩阵)

从这个概念出发,那么计算机从发明至今,可以说就顶着“人工智能”的帽子了。比如我们学习任何一门计算语言的循环语句,就很好地服务于这个宗旨。你写一个fori=1..100,就等于让计算机给你重复做了100遍活。还嫌不够多?把100改成1个亿吧。让(“教”)电脑给你干活,这就是人工智能。

由于人工智能“教”计算机处理的,通常都是很大的数据。例如图像处理,对于计算机来说,一张1000*1000的图片在它看来只是100万个像素(灰度图是100万个数字,RGB图是100万*3的一个向量)。

因此数据科学、大数据也属于人工智能概念的范畴,它们和人工智能一样,仅仅是被炒起来的“术语”。而理解上面三段话,你就拥有了和小白吹牛的资本。

这些行业到底有多热,看看薪资就能略知一二。

再举个比循环语句稍稍复杂点的例子:预测(Forecasting、Prediction)。

给你一堆点(x_i,y_i),人眼一看,根据数据以往的趋势,下一个点x_n的y坐标--y_n应该出现在箭头所指的地方。但是如果有1000堆类似数据等你预测呢?你需要1000个人来描这个点么?NO,你只需要教会计算机如何根据x_n预测出y_n的值。--很简单,学过统计的应该都知道线性回归(LinearRegression),用最小二乘法根据以往的数据(x_i,y_i)算出线性系数b_0和b_1,那么预测函数y=b_0+b_1*x,电脑就可以根据这个公式来预测后面所有的y值。当然有进阶版的分段线性回归(piecewiselinearfitting),欢迎听下回分解。

这些都属于人工智能和大数据的应用场景。

模式识别:把一堆杂乱无章的数据或像素(图像)里深藏的“模式”或规则用计算机自动识别出来。

计算机视觉:“教”计算机像人一样理解图像或视频,并作出解释(例如分割、追踪、分类等)。

数据挖掘:从一大堆数据里挖掘出你想要的有用的信息。怎么样,是不是和模式识别有点异曲同工之妙?不过其主要数据对象是数据库(Database),类似的还有文本挖掘(textmining)。

物联网:把所有东西(例如家电)都联网,并实时保持数据的连通,然后计算机处理这些数据。例如根据主人的生活习性自动开关暖气。

商业智能:人工智能应用在商业大数据领域。例如银行欺诈性交易的监测。

自动驾驶:顾名思义,内置在汽车甚至设置在云端的计算机自动给你开车。利用的是计算机处理汽车上的摄像头实时产生的图片信息,以及雷达产生的信号。

云计算:把计算任务传送到“云端”,得出结果后再传送回来。云端可能是一个大的计算机集群(Cluster),难点在于如何协同CPU和GPU。

虚拟、增强现实(VR、AR):VR眼镜应该都体验过吧?未来的趋势,3D电影演唱会等,足不出户体验现场感。PokemonGo是AR最好的例子,使虚拟和现实混合在一起。俩者的核心技术都在计算机视觉里,包括校准、3D重建、识别、追踪等等。

通过以上九个术语的翻译,相信妈妈再也不用担心我被“概念”的炒作蒙蔽双眼了。

再举个例子:模式识别(PatternRecognition)里的图像分割(ImageSegmentation)。

给你一张图片,你自然知道描出图里所有物体的轮廓,把该图分割成了几块,该图的“模式”就被识别出来了。但是给你100,1000张图呢?你还有耐心一张张用手描轮廓?这时候你需要教计算机如何画这个轮廓,并且不仅仅限于几张图,这个模型或算法必须适用于绝大多数的图片。这就是模式识别和图像分割。

前面讨论了概念和应用,那么用什么方法来实现2中的应用呢?机器学习便是最有力的方法之一。把机器学习单独放在方法里,是为了体现其重要性。虽然它是一门建立在统计和优化上的新兴学科,但是在人工智能、数据科学等领域,它绝对是核心课程中的核心。

机器学习,顾名思义,教机器如何“学习”,或让机器自己“学习”。因此从字面上看就天然的属于人工智能范畴。“学习”这个看似高深的术语,在1线性回归的例子里,仅仅指求解(学习)b0,b1这俩个系数。任何其他炒得火热的“xx学习”,也只是求解一些参数-说得都很好听,仅此而已。

对于统计和运筹学这俩门基础学科来说,机器学习又是应用(见下面四类问题),因为它大量地用到了统计的模型如马尔可夫随机场(MarkovRandomField--MRF),和其他学科的模型,如偏微分方程(变分法等),最后通常转化成一个能量函数最小化的优化问题。

机器学习的核心在于建模和算法,学习得到的参数只是一个结果(见5)。

机器学习里最重要的四类问题(按学习的结果分类):

预测(Prediction)--可以用如回归(Regression)等模型。

聚类(Clustering)--如K-means方法。

分类(Classification)--如支持向量机法(SupportVectorMachine,SVM)。

降维(Dimensionalreduction)--如主成份分析法(Principalcomponentanalysis(PCA)--纯矩阵运算)。

前三个从字面意思就好理解,那么为什么要降维呢?因为通常情况下,一个自变量x就是一个维度,机器学习中动不动就几百万维,运算复杂度非常高。但是几百万维度里,可能其中几百维就包含了95%的信息。因此为了运算效率,舍弃5%的信息,我们需要从几百万维中找出这包含95%信息的维度。这就是降维问题。

机器学习按学习方法的分类:

监督学习(SupervisedLearning,如深度学习),

无监督学习(Un-supervisedLearning,如聚类),

半监督学习(Semi-supervisedLearning),

强化学习(ReinforcementLearning)。

这里不从晦涩的定义上深入展开,举俩个例子或许效果更好。

邮件分类的例子:

当然分类可不止用在判别垃圾邮件,其他应用例如银行欺诈交易的判别(商业智能范畴),计算机视觉里给计算机一张图片,分类为狗还是猫(著名的ImagNet,可是把图片分成了2万多类)。等等。

前面讲了监督学习,无监督学习即在没有人工标记的情况下,计算机进行预测、分类等工作。

再来一个例子--聚类(Clustering)--无监督的学习

事先没有对图中的点进行标记类别,左图在计算机看来,仅仅是12个点(x,y坐标),但是人眼可以判别它大致可以分为三类(这时,123,321,132代表的都是相同的聚类,顺序没有关系)。如何教计算机把数据归类呢?这就是聚类问题。其中最经典的算法叫K-means。

半监督介于俩者之间,强化学习牵扯到更深的运筹、随机过程、博弈论基础,这里暂时不展开。

机器学习作为新创的学科或方法,被广泛地应用于人工智能和数据科学等问题的求解。按照行业的说法,神经网络、深度学习、增强学习等模型都属于机器学习的范畴。

本节最后出一个思考题,1中的线性回归属于监督还是无监督学习呢?

把它们归到一类,因为他们都是一种解决实际问题的模型。例如解决图像分割问题,你可以用统计的模型(如马尔可夫随机场),也可以用神经网络模型,当然也可以用深度学习,即卷积神经网络模型(ConvolutionalNeuralNetworks)。

统计和运筹作为有深厚渊源的学科,这俩个名词本身就能成为一个专业,其下又有无数的分支和方向。他们本身研究的对象就是大数据,因此和人工智能、数据科学有着天然的渊源。最近因为人数机的兴起,统计、凸优化模型也再度热了起来(特别是概率图模型)。相信他们和人工智能会起到相辅相成、互相促进的效果。

当然人工智能,特别是深度学习有过热的趋势,导致炒概念这样不良风气的产生,甚至有偷换概念之嫌。下面链接乃计算机视觉领军人物之一加州大学洛杉矶分校UCLA统计学和计算机科学教授Song-ChunZhu的访谈录,给深度学习泼一点冷水。初探计算机视觉的三个源头、兼谈人工智能|正本清源

由于O.R.出身,把运筹放在最后一点--楼主必须正本清源O.R.的在人工智能中扮演的重要角色。

在机器学习里我已提到,这里再强调一遍,几乎所有的人工智能问题最后会归结为求解一个优化问题(OptimizationProblem)。而研究如何求解优化问题的学科,正是运筹学。

运筹学的作用,不仅限于求解其他模型(如统计)最后产生的优化问题,也可以作为模型本身(优化模型)来解决人工智能问题。

[运筹帷幄]大数据和人工智能时代下的运筹学-知乎专栏

最后唠叨一句楼主的科研方向,就是用运筹学中的混合整数规划(MixedIntegerNonlinearProgramming)模型建模,解决人工智能中的应用,如图像分割。

由于版面有限,不再具体展开。

关于运筹学你所要知道的几乎一切,都在下面:

K-means在3的聚类问题中已提到,这里重点讲讲最大流以及算法和模型之间的关系。

Ford-Fulkerson算法属于运筹学或图论-网络流问题(NetworkFlowProblem)中一个非常经典的问题-最大流问题(MaxFlowProblem)的算法,它在图像处理特别是图像分割中,有着极为重要的应用。

如图:把一张3*3像素的图像看作3*3个点的图(图论术语里的图),并且把上下左右相邻的点用边连接起来,组成edge(图论里的边)。这么一来,图像分割问题就完美地转换成了一个基于图论(或者networkflow)的优化问题。如下图,九个像素的图被最大流算法用绿线分割成了俩个部分(segment),绿线即为最小分割(mincut),这里s点和t点是为了构建网络流模型额外增加的俩个点(terminalnode)。

这里强调下数学建模的重要性,为何要数学建模呢?的确很多naive的算法完全不需要建立在数学模型之上,比如clustering里面经典的EM算法,是一个iterativemethod,基本一眼就能看出算法的思路然后编程实现。那么基于数学模型上的算法有何妙处呢?答案是一个好的数学模型,往往是被研究了几十甚至几百年的学科,比如图论,很多性质都已经被研究得很透彻可以直接使用。回到上面的例子,我建立的这个网络流的模型,是一个被研究了很久的模型,因此我可以直接使用其很多已知的好定理或算法来服务我的问题,比如这里基于里maxflow的Ford-Fulkerson算法,如果能在其基础上做改进,等于站在巨人的肩膀。因此这就是数学建模的重要之处。

往往同一个问题,从不同的角度去看可以有千百种数学建模方法,而不同的数学模型差别往往巨大。而数学建模又是解决一个实际问题的第一步,在这基础上才考虑算法和数据结构设计。因此,数学模型和背后的数学基础在我看来是重中之重,也是我推荐学习的课程的核心。当然了,计算机系出生的朋友,数学这个层面学习得不是很深,可以偏向于算法的设计和实现,它们也是重要的。

上面唠叨了那么多,说来说去都是建立在以二进制为机理的图灵计算机上的“弱人工智能”,即计算机需要人去“教”它怎么做。而人工智能、神经网络的最终目的,是模仿人脑的机理和组成(脑神经元、神经网络),让计算机能像人一样具有思维、自主意识,自行学习和决策,称为“强人工智能”。

这里不得不提到母校德国海德堡大学物理系和英国曼彻斯特大学牵头的欧盟“人脑计划”,其最终目的就是打破计算机的二进制机理,模仿人脑神经元(Neuron)放电(spark)的随机性,打造出一台能像人脑一样“思考”的计算机。从此计算机不再二进制(0或1),而是可以取[0,1]间的随机值。另外工业界如IBM也在打造此类计算机。

此机一旦面世,以往一切惯例将被打破,“强人工智能”的新纪元或许会随之到来。

按照本文作者的尿性,最后不出意外会给个排名。今天也不例外,排名不分先后。

学术界:人工智能等新兴学科通常设置在计算机系,此处可参考CS排名

美国凭借教授数量一如既往地排在前头:CMU、斯坦福、MIT、UC伯克利、哈佛、普林斯顿、康奈尔、UIUC等等

英国伦敦也是AI重地:牛津、剑桥、帝国理工再加爱丁堡,还有UCL

加拿大可谓深度学习孵化地,DL三杰都和枫叶国国有渊源:多伦多、滑铁卢、蒙特利尔、麦克吉尔大学、英属哥伦比亚大学UBC

欧洲因教职稀少排名自然弱,瑞士俩校拔得头筹,ETH、EPFL,海德堡HCI五教授之阵容理应占得一席--哦,原来三个隶属物理系。

日本东大山河日下,中国清华异军突起,姚班功不可没。

工业界:凭借着财大气粗吸引人才,以及计算能力和数据量的优势,工业界在AI领域或许已经赶超学术界

美国自然是全球AI中心(硅谷、西雅图、波士顿、纽约):Google刚请来了斯坦福李飞飞(sabbatical)以及多大的GeoffreyHinton,Facebook有NYU的YannLeCun,微软、IBM研究院早已名声在外,Amazon云计算一家独大,还有Uber、Airbnb、LinkedIn等新贵互联网公司的助力。

英国伦敦:DeepMind被Google收购,Google、微软等在伦敦都设有研究院。

欧洲:IBM、Google在苏黎世和慕尼黑都有研究院,扩招中;amazon在卢森堡有研究院;德国传统公司,如拜耳、博世、西门子等纷纷发力AI建立研究院,宝马奔驰奥迪等车场也投注自动驾驶。最后说说海德堡,SAP总部所在地,还有NEC、ABB等欧洲研究院。

加拿大:加拿大政府在多伦多刚成立人工智能研究院-VectorInstitute,GHinton任首席科学顾问,Google在蒙特利尔准备成立新研究院,可见YoshuaBengio领导的深度学习研究院名声在外。

中国:北有科技之都北京,得天独厚的优势,微软亚洲研究院培养起了中国一大批AI大佬;百度、京东以及地平线机器人、滴滴等一大批互联网新贵开始崭露头角。南有深圳,华为、腾讯、大疆、顺丰等也毫不示弱。

到此,相信读者们可以更有自信地吹“人工智能、数据科学、机器学习”的牛逼了。

THE END
1.人工智能优化研究:历史现状与未来展望随着人工智能的不断发展,优化研究在其中扮演着关键的角色。本文将深入探讨优化研究在人工智能领域的发展,遇到的问题以及未来的展望,同时关注其与其他方向的交叉结合,技术的应用,国际研究趋势等方面。 1. 优化研究的发展 1.1 传统优化算法 进化算法与遗传算法:传统优化算法在早期为问题提供了一些解决方案,特别是进化算法https://blog.csdn.net/BetrayFree/article/details/135257103
2.基于智能优化算法的高效用项集挖掘方法综述基于智能优化算法的高效用项集挖掘方法综述,高效用项集挖掘,智能优化算法,粒子群优化算法,进化算法,启发式算法,高效用项集挖掘(HUIM)能够挖掘事务数据库中具有重要意义的项集,从而帮助用户更好地进行决策。针对智能优化算法的应用能够显著https://wap.cnki.net/touch/web/Journal/Article/JSJY202306003.html
3.基于群智能优化算法的医学图像分割综述随着智能技术的快速发展,越来越多的人将智能优化算法应用到医学图像分割中,其中群智能优化算法是当今热门的研究课题。群智能优化算法是指人类参考群体生活的昆虫、动物的复杂社会行为而提出的模拟生物系统中群体生活习性的一种新算法。本文主要介绍了包括粒子群算法(PSO)、萤火虫算法(FA)、布谷鸟搜索算法(CS)、蝙蝠算法https://www.cnki.com.cn/Article/CJFDTotal-GJSX201905014.htm
4.科学网—智能算法综述智能算法综述 摘要:随着计算机技术的飞速发展,智能计算方法的应用领域也越来越广泛,本文介绍了当前存在的一些智能计算方法,阐述了其工作原理和特点,同时对智能计算方法的发展进行了展望。 关键词:人工神经网络 遗传算法 模拟退火算法 群集智能 蚁群算法 粒子群算https://blog.sciencenet.cn/blog-85556-44718.html
5.边缘计算资源分配与任务调度优化综述腾讯云开发者社区区别于启发式规则,智能算法力争全局的优化性能。文献[62]利用GA优化任务-边缘节点群的分配。文献[12]采用概率表征任务间的前后位置关系,在基于启发式方法的DAG预分割后,利用双变量相关的分布估计算法排序任务,同时优化应用整体完成时间和边缘节点能耗。文献[27]考虑任务截止时间信息,利用EDA优化总拖期。针对任务-节点分https://cloud.tencent.com/developer/article/1909425
6.人工智能算法综述本文通过对若干智能算法的综述,在一定程度上集合总结了大部分算法的基本原理、功能特点、应用领域,并对其加以比较,使人们能够对人工智能算法有更清晰明了的认识,减少对算法应用方面上的失误让使用者能够方便快速的了解到各算法的相关资料从而提高运算效率。 人工智能算法要解决的一般是最优化问题,智能算法最优化问题是一http://www.360doc.com/content/15/1009/10/17040482_504355165.shtml
7.智能汽车中人工智能算法应用及其安全综述智能汽车环境感知算法作为智能汽车规划决策和控制执行的基础环节,是智能汽车研究的关键技术之一,也是智能汽车当前研究的热点问题。本文对智能车中的环境感知算法进行综述,其次总结了当前决策规划层的研究情况。 1)目标检测算法 目标检测的任务是找出图像或视频中的感兴趣物体,同时检测出它们的位置和大小,是机器视觉领域的核https://www.yoojia.com/ask/17-11900815188486720700.html
8.TCCT通讯Newsletter2017No.01保证智能轮椅平滑通过狭窄通道的路径曲率优化算法 自动化学报, 2016 Vol. 42 (12): 1874-1885 Abstract | PDF 杜惠斌, 赵忆文, 韩建达, 赵新刚, 王争, 宋国立 基于集员滤波的双Kinect人体关节点数据融合 自动化学报, 2016 Vol. 42 (12): 1886-1898 Abstract | PDF 王晓峰, 李醒, 王建辉 基于无模型自适应https://tcct.amss.ac.cn/newsletter/2017/201701/journal.html
9.决策树算法综述8篇(全文)决策树算法综述(精选8篇) 决策树算法综述 第1篇 随着数据库技术的发展,人们搜集数据的能力大幅度提高,可以非常方便地获取和存储大量的数据,但却无法从这些数据中发现潜在的规律,无法预测未来的发展趋势。如何有效的利用这些数据为人类服务,已成为人们研究的热点之一。数据挖掘技术能自动和智能地从大型数据库中提取隐含https://www.99xueshu.com/w/ikeyyv1ig3dg.html
10.蚂蚁金服核心技术:百亿特征实时推荐算法揭秘阿里妹导读:本文来自蚂蚁金服人工智能部认知计算组的基础算法团队,文章提出一整套创新算法与架构,通过对TensorFlow底层的弹性改造,解决了在线学习的弹性特征伸缩和稳定性问题,并以GroupLasso和特征在线频次过滤等自研算法优化了模型稀疏性,在支付宝核心推荐业务获得了uvctr的显著提升,并较大地提升了链路效率。 https://maimai.cn/article/detail?fid=1010621115&efid=mIQCHnkj0zjxlpygUmo5mg
11.综述:基于多维光场调控的超构表面先进成像与显示据麦姆斯咨询报道,南京大学物理学院固体微结构物理国家重点实验室的科研团队结合相关智能算法,综述了超构表面在多维成像、全息显示以及这些技术交叉领域的应用,探讨了其在计算成像、超分辨成像、可调谐显示技术,以及与光学微操控和量子技术协同发展方面的潜力。最后,对超构表面技术在成像与显示领域的广泛应用前景及未来研究https://www.eet-china.com/mp/a355598.html
12.虚拟电厂,豹变前夜虚拟电厂能够聚合分布式发电、储能、可控负荷资源,利用通信技术和软件算法优化电力调度,参与需求侧响应或电力交易从而最大化收益,较其他形式的电厂具有成本低、效率高的优势,投入成本约为火电厂的1/8,是全球智能电网发展的重要技术之一。 全球虚拟电厂已发展出欧洲、美国两种主要模式。海外虚拟电厂以欧洲、美国两种模式为https://wallstreetcn.com/articles/3664491
13.灰狼优化算法(GreyWolfOptimizer).pdf最原始的灰狼优化算法,全面解释了灰狼优化算法的来源和基础应用,适合初学者。群智能优化算法,灰狼优化算法https://www.iteye.com/resource/merry_hj-11449641