机器实现人类大脑的认知功能的能力,如感知,推理,学习和解决问题的能力。使用AI技术解决商业问题的案例包括机器人技术、自动驾驶,计算机视觉,语言能力,虚拟助理和机器学习。
近期,AI领域的许多新进展都是将机器学习应用于大数据当中实现的。
机器学习
机器学习算法不是通过接收明确的编程指令,而是通过对数据及过往经验的处理,来进行模式识别并学习如何做出预测和建议。算法也可以处理新的数据和经验,从而逐步达到更好的效果。
机器学习主要可分为监督学习、无监督学习和强化学习三类。我们将分别对其进行介绍。
监督学习
概念界定
适用情形
你知道如何对输入的数据和将要预测的行为进行分类,但你需要的是将算法应用于新的数据所得出的结果。
操作步骤
2.使用给定数据训练机器学习模型,以找到输入和输出的变量间的联系
3.一旦训练完成——通常是模型精准度足够高时,该算法将应用于新的数据
具体算法及商用案例
算法商用案例
1.线性回归
高度可解释的标准方法,用于对输入的自变量和输出的因变量(可以有无限多个值)之间的过往关系进行建模,以帮助预测输出变量的未来值
·确定最优价格并估算产品价格弹性
2.逻辑回归
线性回归的扩展,用作分类任务,这意味着输出变量是二进制的(例如,只有黑色或白色),而不是连续的(例如,无限多种可能的颜色)
根据客户偿还贷款的可能性对客户进行分类
·根据皮肤特征(大小,形状,颜色等)预测皮肤病变是良性还是恶性
3.线性/二次判别分析
升级逻辑回归以处理非线性问题:其中输入变量的变动不会导致输出变量的按比例变动
·预测客户流失
·预测销量领先的局面将在何时终结
4.决策树
高度可解释的分类/回归模型,可将数据特征值在决策节点处拆分为多个分支(例如,如果以颜色为特征,则每种可能的颜色都将成为一个新分支),直到做出最终决策输出为止
·提供雇用新员工的决策模型
·了解产品所具有的最容易让人做出购买决策的属性。
5.朴素贝叶斯
应用贝叶斯定理的分类技术。该技术基于已知的所有可能会影响某事件的因素,计算出该事件发生的概率(例如,如果电子邮件中包含“金钱”一词,则其为垃圾邮件的可能性很高)。
·通过分析交易情绪,评估市场对产品的看法
·创建分类器以过滤垃圾邮件
6.支持向量机
一项通常用于分类的技术,但也可以将其转化成回归的工具。它可以很好地划分不同地类别(极尽广泛)。它也可以被很快地一般化以解决非线性问题。
7.随机森林
一种分类/回归模型。通过生成多个决策树并进行多数表决来预测输出,从而提高了单个决策树的准确性。其中,输出变量在回归问题中是连续的(比如年龄),而在分类问题中是离散的(比如黑色、白色、红色)。
·预测呼叫中心的呼叫量以决定其人员配备
·预测配电网中的用电量
8.自适应增强
分类/回归技术,使用多种模型得出决策,并根据不同模型预测的准确性对它们进行加权
·检测信用卡交易中的欺诈活动。无法达到深度学习的准确性
·简单、低成本的图像分类方法(例如,从卫星图像中识别土地使用情况以构建气候变化模型)。
9.渐变树
按序列生成决策树的分类/回归技术,其中每棵决策树都会纠正前一颗树模型上的错误。最终输出的是所有树的结果的组合。
·预测产品需求和库存水平
·根据汽车的特性(例如,使用年限和里程)预测汽车的价格
10.简单神经网络
人工神经元(基于软件的计算器)组成三层(输入层,进行计算的隐藏层和输出层)的模型,可用于对数据进行分类或查找回归问题中变量之间的关系。
·预测患者加入医疗保健计划的可能性
·预测已注册用户是否愿意为产品支付特定价格
无监督学习
一种在没有给出明确的输出变量的情况下探索输入数据的算法(例如,探索客户群体数据来识别该群体的模式)。
你不知道如何对数据进行分类,你想要算法帮你找到一种模式并进行数据分类。
1.模型接收未标记的数据(例如,网站上一组描述客户旅程的数据)
2.算法会从数据集推断数据结构
3.算法识别出表现相似的数据并分组(例如,形成具有相似购买行为的客户群体)
算法和商用案例
1.K均值聚类
将数据分为多个组(假设有k个),每个组内是具有相似特征的数据(特征由模型决定,而不是由人事先决定)。
按特征(如年龄段)将客户分组——为了更好地布局市场营销或防止客户流失。
2.高斯混合模型
k均值聚类的一般化,在组(集群)的大小和形状方面更具灵活性。
·使用更不易区分的特征(例如,产品偏好)对客户进行细分,以更好地布局营销活动。
·基于离职可能性对员工进行细分。
3.层次聚类
沿层次树对集群进行拆分或整合,以形成分类系统。
·将持有会员卡的顾客的分类进一步细化。
4.推荐系统
常使用集群行为预测的方法来识别给出建议所需的重要数据。
·基于其他具有相似特征的顾客的喜好,为顾客推荐电影。
强化学习
一种仅通过最大化其行动所获得的回报来学习如何执行任务的算法(例如,最大化其所获得的得分以增加投资组合的回报)。
你没有很多可供训练的数据;无法清晰地定义理想的结果或状态;或是你了解环境的唯一办法就是与环境联动。
1.该算法会对外部环境采取行动(例如,进行投资组合的交易)
2.如果该行动使结果更接近于总回报最大化,那么算法将得到奖励(例如,在投资组合中最高的总回报率)
3.该算法随时进行自我校正,并以此来不断优化自己的一套最佳行动流程
商业应用案例
·优化期权交易组合的交易策略
·在不同的需求周期中平衡电网负荷
·使用机器人按照清单进行仓储和拣货
·优化自动驾驶汽车的自动驾驶行为
·对限量品的在线拍卖进行实时的价格优化
深度学习
深度学习是机器学习的一种,仅需进行更少的数据预处理,就可以处理范围更大的数据资源。且相比于传统的机器学习,它可以得出更准确的结果。在深度学习中,以基于软件的计算机作为“神经元”,这些“神经元”相互连接构成层级,即为神经网络。
该网络可容纳大量的输入数据,并通过其复杂的层次来处理它们,从而在每一层学习越来越复杂的数据特征。接下来,该网络可以对数据做出决策,并通过学习来判断其决策是否正确,最后利用所学对新数据进行决策。例如,只要了解了对象物体的外观,便可以在新图像中识别该物体。
卷积神经网络
通过提取每一层数据的逐渐复杂的特征来决定输出的,具有特殊架构的多层神经网络。
当你想从一个非结构化数据集(例如图像)中推断某些信息时。
1.卷积神经网络(CNN)接收图像,例如字母“A”的图像,并将其作为像素的集合进行处理
2.在模型的隐藏内层中,它会识别出对象独一无二的特征,例如,组成“A”的每条单独的线
3.如果CNN在其他图像中找到了先前识别为组成该字母的独特特征,则会将其归类为字母“A”
商业案例
·通过医学影像诊断疾病
·在社交媒体上搜索某公司的logo,以更好地判断联合营销的机会(例如,联名推出某商品)
·通过图像了解客户的品牌认知度和使用情况通过图像监察生产线上的不良产品
循环神经网络
可以在前后相连的节点中存储信息,使其能够学习数据的序列并输出数字或其他序列的多层神经网络
预测句子“Areyoufree____”中的下一个单词
1.递归神经网络(RNN)神经元接收指示句子开头的命令
2.神经元收到单词“Are”,然后输出一个数字向量,反馈给神经元以帮助它“记住”它收到了“Are”(并且一开始就收到了)。当它收到“you”和“free”时,也会重复相同的过程。每接收一个单词,神经元的状态就会更新一次。
3.在接收“free”这个词之后,神经元会为英语词汇中的每个单词指定一个完成该句子的概率。如果训练得好,RNN就会让“tomorrow”成为概率最高的词汇之一,并将选择它来完成句子。
·为证券交易员生成分析报告
·提供语言翻译
·追踪某区域发生灾难后的视觉变化,以评估潜在的损害赔偿(与CNN结合使用)
·评估一笔信用卡交易为欺诈行为的可能性
·为图像生成字幕
·功能强大的聊天机器人,可以为客户解决更为细致的需求及问询。
算法演进,数据爆炸以及计算/存储力提升,三者共同使AI从炒作变为现实。
1805
算法演进:勒让德(Legendre)为机器学习打下基础
法国数学家Adrien-MarieLegendre出版了最小二乘回归方法,他用这种方法从天文学观测中确定了天体围绕太阳运转的轨道。尽管此方法是作为统计框架被发明出来的,但它将为当今许多机器学习模型提供基础。
1958
算法演进:Rosenblatt发明了第一个自学习算法
美国心理学家和计算机科学家FrankRosenblatt创建了感知机算法——一种早期的人工神经网络(ANN),它是第一个可以自行学习的算法模型。美国计算机科学家ArthurSamuel在第二年为这类自学习模型创造了“机器学习”一词(并开发出突破性的Checkers程序,该程序被视为AI在早期取得的成功).
1965
算法演进:深度学习的诞生
乌克兰数学家AlexeyGrigorevichIvakhnenko开发了第一个用于监督多层人工神经网络(ANN)的通用的工作学习算法,其中多个ANN相互堆叠,一个ANN层的输出会注入下一个ANN层。这与当今的深度学习架构非常相似。
计算/存储力提升:摩尔意识到芯片功率呈指数增长
英特尔联合创始人戈登·摩尔指出,自发明以来,集成电路上每平方英寸的晶体管数量每年都会增长一倍。他的观察被称作摩尔定律,该定律预测这种趋势将持续到可预见的未来(尽管后来证明大约每18个月就会翻倍)。当时,最新的计算速度约为每秒三百万个浮点运算(FLOPS)。
1986
算法演进:反向传播技术问世
1989
算法演进:用于图像识别的CNN诞生
法国计算机科学家,现为FacebookAI研究总监的YannLeCun等人发表了一篇论文,描述了一种称为卷积神经网络(CNN)的人工神经网络是怎样地极其适用于形状识别任务。以构建自动邮件分拣机为最初目标,LeCun及其团队将CNN应用于识别手写字符。今天,CNN是用于图像识别和分类的最先进的模型之一。
1991
数据爆炸:万维网的开放
欧洲核研究组织(CERN)开始向公众开放万维网。
1992
算法演进:升级的SVM提供了早期的自然语言处理的解决方案
计算机工程师BernhardE.Boser(瑞士),IsabelleM.Guyon(法国)和俄罗斯数学家VladimirN.Vapnik发现称为支持向量机(SVM)的算法模型通过使用“内核技巧”技术,可以轻松实现性能提升,以处理非线性问题。这一发现使得SVM在许多自然语言处理的问题中被广泛使用,例如对情感进行分类和理解人类语音。
1997
算法演进:RNN获得“记忆”,从而使RNN能够用于将语音转换为文本的任务中。
1991年,德国计算机科学家SeppHochreiter展示了一种称为循环神经网络(RNN)的特殊类型的人工神经网络(ANN),如果它可以更好的记忆部分序列的行为,则可以在排序任务(例如语音到文本)中使用。1997年,Hochreiter和计算机科学家JürgenSchmidhuber通过开发长短期记忆(LSTM)解决了这一问题。如今,具有LSTM的RNN被用于许多主要的语音识别应用中。
计算/存储力提升:计算能力的提高推动IBM深蓝战胜GarryKasparov
深蓝战胜国际象棋世界冠军,这在很大程度上归功于精湛的工程技术和当时计算机所拥有的强大性能。深蓝的运算能力达到约11gigaFLOPS(110亿FLOPS)。
1998
算法演进:Brin和Page发布PageRank算法
一个网页链接到的其他网页越多,算法就会使该网页排名更靠前,这就是Google搜索引擎的原型。Google创始人谢尔盖·布林(SergeyBrin)和拉里·佩奇(LarryPage)的这个创意使互联网搜索发生了革命性变化,为在万维网上创造和消费更多内容和数据打开了大门。该算法还将成为商业领域最重要的算法之一,因为它们在日益扩张的互联网上帮助企业获取人们的注意力.
1999
计算/存储力提升:出现了更多用于AI算法的计算能力......但没人能意识到这一点
英伟达发布了GeForce256显卡,该显卡是世界上第一个真正的图形处理器(GPU)。该技术将通过比中央处理器(CPU)更快的运算速度来证明它成为深度学习的基础。
2000
算法演进:家庭互联网用户开始采用宽带技术
宽带使用户能够越来越快速地访问互联网连接,而1990年代末,拨号下载的速度仅为56kbps,今天,可用的宽带速度可以超过100mbps(1mbps=1,000kbps)。如果没有宽带的出现,像YouTube这样的需要高带宽的应用在商业上仍不可行。
2002
计算/存储力提升:亚马逊将云存储和云计算推向了大众
亚马逊推出亚马逊网络服务,为用户提供基于云的存储和计算能力。云计算将带来数据存储和计算的革命性变革和民主化,使数百万用户可以以相对较低的成本访问强大的IT系统(以前只有大型科技公司才能使用)。
2004
数据爆炸:Facebook首次亮相
哈佛学生马克·扎克伯格和他的团队推出了最初名为“Thefacebook”的游戏。到2005年底,能够生成数据的Facebook的用户数量已接近600万。
数据爆炸:Web2.0大步向前,开创了用户生成数据的时代
Web2.0是指网络范式从被动查看内容到交互式和协作创建内容,以及社交媒体,博客,视频和其他渠道的转变。发行人TimO’Reilly和DaleDougherty推广了该术语,尽管它是由设计师DarcyDiNucci于1999年创造的。
计算/存储力提升:Dean和Ghemawat推出了MapReduce算法来应对数据爆炸
随着万维网的兴起,谷歌开始寻找一些新奇想法来应对由此产生的数据扩散。计算机科学家JeffDean(GoogleBrain的现任负责人)和Google软件工程师SanjayGhemawat开发了MapReduce,以便使用大量计算机并行处理大型数据集的方式来处理海量数据。
2005
数据爆炸:YouTube首次亮相
在大约18个月内,该网站每天将提供近1亿次观看。
数据爆炸:全球互联网用户数量突破10亿大关
计算/存储力提升:1GB磁盘存储成本从十年前的277美元降至0.79美元
而DRAM作为个人电脑中常用的一种随机存取存储器(RAM),它的价格从1995年的每GB31,633美元下降到了每GB158美元。
2006
算法演进:Hinton使深度学习模型重新得到使用
为了加快深度学习模型的训练速度,GeoffreyHinton开发了一种在使用反向传播之前用深度信念网络(一类神经网络)对深度学习模型进行预训练的方法。然而,当计算能力提高到可以进行有效的深度学习模型训练的水平时,他的方法就会过时。Hinton的工作在全世界范围内普及了深度学习的使用,甚至许多人认为是他创造了“深度学习”这个词。
计算/存储力提升:Cutting和Cafarella引入Hadoop来存储和处理大量数据
受GoogleMapReduce的启发,计算机科学家DougCutting和MikeCafarella开发了Hadoop软件来存储和处理大量数据集。雅虎率先使用它来处理来自索引网页和在线的大量数据。
2007
三者共同:iPhone的推出推动了智能手机的革命,并促进了数据生成
苹果联合创始人兼CEO史蒂夫·乔布斯于2007年1月推出了iPhone。当年的智能手机总销量约1.22亿部。智能手机用户全天候消费和创造数据及内容的时代开始了。
2009
三者共同:加州大学伯克利分校引入Spark,以更有效地处理大数据模型
由罗马尼亚-加拿大计算机科学家MateiZaharia在UCBerkeley的AMPLab开发的Spark利用RAM传输大量数据,从而使其在处理数据方面比只能硬盘上进行读写的软件要快得多。它使得大数据更新和实时分析的性能迎来了革命性的提升。
三者共同:Ng使用GPU更有效地训练深度学习模型
2010
三者共同:当年智能手机销量接近3亿部
这比2007年的销量增长了近2.5倍。
三者共同:微软和Google推出了自己的云
当Microsoft将Azure投入使用,而Google推出其GoogleCloudStorage(GoogleCloudPlatform大约一年后会上线)时,云计算和云存储距离广泛普及又近了一步。
三者共同:全球IP流量每月超过20艾字节(200亿千兆字节)
思科表示,全球互联网协议(IP)流量每月超过20艾字节,而每年达到242艾字节。IP流量提高得益于宽带普及率的提高,特别是在美国,宽带普及率达到65%。
2011
三者共同:IBMWatson称霸Jeopardy!
IBM的答题系统Watson以明显的优势击败了美国智力问答节目《Jeopardy!》最厉害的两位冠军布拉德·鲁特和肯·詹宁斯。IBMWatson使用了10台IBMPower750服务器,它们的运算能力为80teraFLOPS(80万亿FLOPS,而1960年代中期的最新水平约为300万FLOPS)。
2012
三者共同:Facebook用户数达到10亿
该公司系统处理的数据量猛增到500TB以上。
三者共同:深度学习系统首次在著名的图像分类竞赛中获胜
杰弗里·欣顿的团队使用卷积神经网络(CNN),以极大的优势赢得了ImageNet图像分类竞赛的胜利,错误率仅为15.3%,而第二名的错误率为26.2%。Hinton的团队使用了120万张图片训练CNN。
三者共同:Google展示了深度学习对图像识别的有效性
Google在三天内使用了1.6万个处理器来训练一个深度人工神经网络,该网络与1000万个随机选择的YouTube视频缩略图建立了十亿个连接。在没有收到有关图像的任何信息的情况下,该网络变得能够识别猫的图像,这是图像识别取得重大进展的开端。
2013
三者共同:DeepMind使用强化学习和深度学习教算法玩Atari
虽然强化学习的历史可以追溯到1950年代后期,但直到来自DeepMind(尚未成为Google旗下的公司)的加拿大研究科学家VladMnih将其与卷积神经网络结合使用,并以远超人类玩家的水平玩Atari视频游戏后,强化学习的概念才开始流行起来。
2014
三者共同:移动设备的数量超过了人类的数量
截至2014年10月,GSMA报告的移动设备数量约为72.2亿,而美国人口普查局报告的全球人数约为72亿。
2017
三者共同:电子设备用户每天产生2.5亿字节的数据
根据此估算,过去两年中产生了世界总数据量的约90%。而且,每分钟YouTube用户会观看超过四百万个视频,移动用户会发送超过一千五百万条文本。
三者共同:Google推出了升级的TPU,可加快机器学习过程
谷歌于2016年首次推出其张量处理单元(TPU),据称,用它来运行谷歌的机器学习模型的速度比GPU和CPU快15至30倍。2017年,Google发布了速度更快的TPU的升级版本(1.8亿teraFLOPS,当多个TPU组合在一起时会更多),除了用于运行模型,还可用于训练模型,并将通过云售卖给公众。对TPU的应用可能会促使更多(且功能更强大,更高效)基于机器学习的商业APP的诞生。
三者共同:在学习不到了24小时,玩了三种不同的游戏后,AlphaZero击败了AlphaGoZero
尽管创造出全方位智能的AI软件可能还要花费数十年(如果可能的话),但凭借着学习了三种电脑游戏:围棋、国际象棋和将棋的AlphaZero,Google的DeepMind向这个目标迈近了一步。与接受人类专家指导的AlphaGoZero不同,AlphaZero只能通过自己下棋来学习。在八个小时的自我训练后,AlphaZero在围棋游戏中击败了其前身AlphaGoZero,并且又通过四小时和两小时的自我训练,击败了一些世界顶尖的国际象棋和将棋的计算机程序。