人工智能之蒙特卡罗方法(MCM)

提到蒙特卡罗(也有翻译成“蒙特卡洛”)一词,人们不禁想到摩纳哥的赌城。这两者之间有必然联系么?答案是:Exactly!

大家想想,赌博跟什么有关?首先想到的是随机性和概率性。对,那蒙特卡罗方法就是与概率论和数理统计有关。

MCM提出:

蒙特卡罗方法MCM于20世纪40年代美国在第二次世界大战中研制原子弹的“曼哈顿计划”计划的成员S.M.乌拉姆和J.冯·诺伊曼(计算机之父)首先提出。数学家冯·诺伊曼用驰名世界的赌城—摩纳哥的MonteCarlo—来命名这种方法,为它蒙上了一层神秘色彩。在这之前,蒙特卡罗方法就已经存在。1777年,法国数学家布丰(GeorgesLouisLecleredeBuffon)提出用投针实验的方法求圆周率π。这被认为是蒙特卡罗方法的起源。

传统的经验方法由于不能逼近真实的物理过程,很难得到满意的结果,而蒙特卡罗方法MCM由于能够真实地模拟实际物理过程,故解决问题与实际非常符合,可以得到很圆满的结果。这也是以概率论和数理统计理论方法为基础的一种计算方法,是使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。将所求解的问题同一定的概率模型相联系,用电子计算机实现统计模拟或抽样,以获得问题的近似解。为象征性地表明这一方法的概率统计特征,故借用赌城-蒙特卡罗命名。该命名既反映了该方法的部分内涵,又便于记忆,因此得到人们的普遍接受。

MCM概述:

MCM基本思想:

当所求解问题是某种随机事件出现的概率,或者是某个随机变量的期望值时,通过某种“实验”的方法,以这种事件出现的频率估计这一随机事件的概率,或者得到这个随机变量的某些数字特征,并将其作为问题的解。

有一类问题的维数(变量个数)可能高达数百甚至数千,解题难度随维数的增加呈指数增长,这就是所谓的维数的灾难(CurseofDimensionality)。即使使用速度最快的计算机,传统的数值计算方法也难以对付,但蒙特卡罗方法MCM的计算复杂性不再依赖于维数,MCM能很好地用来对付维数的灾难。为提高方法的效率,科学家们提出了许多所谓的“方差缩减”技巧。

另一类形式与蒙特卡罗方法MCM相似,但理论基础不同的方法—“拟蒙特卡罗方法”(Quasi-MonteCarlo方法)—近年来也获得迅速发展。我国数学家华罗庚、王元提出的“华—王”方法即是其中的一例。这种方法的基本思想是“用确定性的超均匀分布序列(LowDiscrepancySequences)代替蒙特卡罗方法MCM中的随机数序列。该方法对某些问题的求解比蒙特卡罗方法MCM计算速度上提高数百倍,计算精度上也有很大提高。

MCM基本原理

由概率定义知,某事件的概率可以用大量试验中该事件发生的频率来估算,当样本容量足够大时,可认为该事件的发生频率即为其概率。因此,先对影响其可靠度的随机变量进行大量的随机抽样,然后把这些抽样值一组一组地代入功能函数式,确定结构是否失效,最后从中求得结构的失效概率。MCM正是基于此思路进行分析的。

设有统计独立的随机变量Xi(i=1,2,3,…,k),其对应的概率密度函数分别为fx1,fx2,…,fxk,功能函数式为Z=g(x1,x2,…,xk)。

首先根据各随机变量的相应分布,产生N组随机数x1,x2,…,xk值,计算功能函数值Zi=g(x1,x2,…,xk)(i=1,2,…,N),若其中有L组随机数对应的功能函数值Zi≤0,则当N→∞时,根据伯努利大数定理及正态随机变量的特性有:结构失效概率,可靠指标。

从MCM的思路可看出,MCM可以回避结构可靠度分析中的数学困难,不管状态函数是否非线性、随机变量是否非正态,只要模拟的次数足够多,就可得到一个比较精确的失效概率和可靠度指标。特别当变异系数较大时,与JC法计算的可靠指标相比,结果更为精确,并且由于思路简单易于编制程序。

MCM主要步骤:

蒙特卡罗方法工作过程可以归结为三个主要步骤:

1)构造或描述概率过程

对于本身就具有随机性质的问题,主要是正确描述和模拟这个概率过程,对于本来不是随机性质的确定性问题,必须事先构造一个人为的概率过程,它的某些参量正好是所要求问题的解。即将不具有随机性质的问题转化为随机性质的问题。打个不恰当的比方,工作中有困难,要迎着困难上;没有困难,也要制造困难,再迎着困难上^_^

2)实现从已知概率分布抽样

构造了概率模型以后,由于各种概率模型都可以看作是由各种各样的概率分布构成的,因此产生已知概率分布的随机变量(或随机向量),就成为实现蒙特卡罗方法模拟实验的基本手段,这也是蒙特卡罗方法被称为随机抽样的原因。随机数是具有概率分布的随机变量。随机数是实现蒙特卡罗模拟的基本工具。随机数序列就是具有这种分布的总体的一个简单子样,也就是一个具有这种分布的相互独立的随机变数序列。产生随机数的问题,就是从这个分布的抽样问题。在计算机上,可以用物理方法产生随机数,但价格昂贵,不能重复,使用不便。另一种方法是用数学递推公式产生。这样产生的序列,与真正的随机数序列不同,所以称为伪随机数(或伪随机数序列)。但经过多种统计检验表明,伪随机数(或伪随机数序列)与真正的随机数(或随机数序列)具有相近的性质,因此可把它作为真正的随机数来使用。

3)建立各种估计量

构造了概率模型并能从中抽样后,即实现模拟实验后,就要确定一个随机变量,作为所要求的问题的解,称它为无偏估计。建立各种估计量,相当于对模拟实验的结果进行考察和登记,从中得到问题的解。

通常蒙特卡罗方法通过构造符合一定规则的随机数来解决各种实际问题。对于那些由于计算过于复杂而难以得到解析解或者根本没有解析解的问题,蒙特卡罗方法是一种有效的求出数值解的方法。

MCM工作过程:

在解决实际问题的时应用蒙特卡罗方法主要有两部分工作:

1.用蒙特卡罗方法模拟某一过程时,需要产生某一概率分布的随机变量。

2.用统计方法把模型的数字特征估计出来,从而得到实际问题的数值解。

从理论上来说,蒙特卡罗方法需要大量的实验。但求的是近似解,模拟样本数越大,实验次数越多,所得到的结果才越精确。但样本数增加会带来计算量的大幅上升。

MCM估算圆周率:

利用蒙特卡罗方法可用于,如图,在边长为2r的正方形内作一个半径为r的圆,正方形的面积等于2r×2r=4r^2,圆的面积等于π×r×r=πr^2,由此可得出,正方形的面积与圆形的面积的比值为4:π。假设向正方形的标靶上随机投掷飞镖,如果击中点在标靶上是均匀分布的,即作为某一点的坐标散布于正方形内,那么落在正方形内的点数N与落在圆形内的点数K的比值接近于正方形的面积与圆的面积的比值,即,N:K≈4:π,因此,π≈4K/N。用此方法求圆周率,需要大量的均匀分布的随机数才能获得比较准确的数值。

MCM评估围棋盘面:

MCM应用领域:

越来越广泛。它不仅较好地解决了多重积分计算、微分方程求解、积分方程求解、特征值计算和非线性方程组求解等高难度和复杂的数学计算问题,而且在统计物理、粒子输运计算、量子热力学计算、空气动力学计算、核物理、真空技术、系统科学、信息科学、公用事业、地质、金融工程学、宏观经济学、生物医学、可靠性、计算机科学及人工智能之机器学习等广泛的领域都得到成功的应用。

MCM发展历程:

1)公元20世纪初期,尽管实验次数数以千计,利用蒙特卡罗方法所得到的圆周率π值,还是达不到公元5世纪祖冲之的推算精度。这可能是传统蒙特卡罗方法长期得不到推广的主要原因。

2)计算机技术的发展,使得蒙特卡罗方法在最近10年得到快速的普及。现代的蒙特卡罗方法,已经不必亲自动手做实验,而是借助计算机的高速运转能力,使得原本费时费力的实验过程,变成了快速和轻而易举的事情。它不但用于解决许多复杂的科学方面的问题,也被项目管理人员经常使用。

MCM优点:

1)算法简单,省却了繁复的数学推导和演算过程,使得一般人也能够理解和掌握;

2)适应性强,问题的几何形状的复杂性对它的影响不大;

3)速度快,该方法的收敛性是指概率意义下的收敛,因此问题维数的增加不会影响它的收敛速度;

4)存贮少,处理大型复杂问题时的存贮单元很省。

MCM缺点:

如果输入一个模式中的随机数并不像设想的那样是随机数,而却构成一些微妙的非随机模式,那么采用蒙特卡罗方法求解问题的结果有可能是错的。

MCM与GA比较:

蒙特卡罗方法MCM与遗传算法GA(请参加公众号“科技优化生活”-人工智能(28))等智能优化算法有相似之处,都属于随机近似方法,都不能保证得到最优解等,但它们也有着本质的差别。1)层次不一样,MCM只能称之为方法,GA则属于仿生智能算法,比MCM要复杂得多。2)应用领域不同,MCM是一种模拟统计方法,如果问题可以描述成某种统计量的形式,那么就可以用MCM来解决;而GA等则适用于大规模的组合优化问题,以及复杂函数求最值、参数优化等。

结语:

蒙特卡罗方法MCM也称统计模拟方法,是以概率统计理论为指导的一类非常重要的数值计算方法。是指使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。蒙特卡罗方法MCM通过构造符合一定规则的随机数来解各种实际问题。在金融工程学,宏观经济学,计算物理学(如粒子输运计算、量子热力学计算、空气动力学计算)以及人工智能之机器学习等领域应用广泛。

THE END
1.西瓜书机器学习极简史机器学习的发展还不到100年,在这几十年的时间里,不同的时间阶段产生了不同的流派,抢占一时风头。但随着基础物理技术的进步,部分流派也慢慢归于历史。但它们的思想,当时面临的问题,却给后续的机器学习人们,留下了宝贵的财富。 在20世纪50年代到70年代初,人工智能处于“推理期“,那时人们以为只要赋予机器逻辑推理能https://www.jianshu.com/p/86ccc8703a04
2.机器学习的发展历程10.迁移学习(2017年):迁移学习旨在通过将从一个任务中学到的知识应用到另一个任务中,以加速学习过程或提高性能。迁移学习在数据稀缺或标注困难的情况下表现出色。 以上是机器学习发展历程中的一些重要里程碑事件,随着技术和应用的不断推进,相信机器学习将在未来继续发展壮大。?https://wenku.baidu.com/view/43bf5fb3f211f18583d049649b6648d7c1c708db.html
3.机器学习发展历史回顾腾讯云开发者社区机器学习发展历史回顾 机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年。从1980年机器学习称为一个独立的方向开始算起,到现在也已经过去了近40年。在这100多年中,经过一代又一代人的努力,诞生出了https://cloud.tencent.com/developer/article/1329605
4.机器学习发展历程.ppt机器学习发展历程.ppt 44页内容提供方:123***6651 大小:3.73 MB 字数:约4.62千字 发布时间:2019-10-14发布于湖北 浏览人气:126 下载次数:仅上传者可见 收藏次数:0 需要金币:*** 金币 (10金币=人民币1元)机器学习发展历程.ppt 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 *https://max.book118.com/html/2019/1014/6103031102002113.shtm
5.机器学习发展历程与机器学习应用之道从机器学习发展的过程上来说,其发展的时间轴如下所示: 机器学习发展历程 从上世纪50年代的图灵测试提出、塞缪尔开发的西洋跳棋程序,标志着机器学习正式进入发展期。 60年代中到70年代末的发展几乎停滞。 80年代使用神经网络反向传播(BP)算法训练的多参数线性规划(MLP)理念的提出将机器学习带入复兴时期。 https://m.elecfans.com/article/1859558.html
6.机器学习简史及发展趋势预测机器学习的发展史机器学习的发展和人工智能发展是离不开的,机器学习是人工智能研究发展到一定阶段的必然产物。人工智能的研究历史有着一条从以“推理”为重点,到以“知识”为重点,再到以“学习”为重点的自然、清晰的脉络。下面是人工智能发展的三个时期: 推理期: 时间为1950s~1970s,人们认为只要给机器赋予逻辑推理能力,机器就能具https://blog.csdn.net/scott198510/article/details/125053996
7.人工智能行业发展分析报告2、机器学习发展历程 3、机器学习市场规模 4、机器学习竞争格局 5、机器学习研究趋势 5.3.5 中国语音识别市场分析 1、语音识别基本概念 2、语音识别发展历程 3、语音识别市场现状 4、语音识别竞争格局 5.3.6 中国人机交互市场分析 1、人机交互基本概念 2、人机交互发展历程 3、人机交互竞争格局 5.3.7 中国人工智能https://bg.qianzhan.com/report/detail/f048b03a50c54565.html
8.人工智能的发展历程是怎样的?人工智能的发展历程可以总结为三个阶段:第一阶段:理论探索期(1956-1980年)。这一阶段奠定了人工智能的https://www.zhihu.com/question/515493539/answer/3038738759
9.了解人工智能生成内容(AIGC)的基本原理和应用AIGC的发展可以追溯到机器学习和自然语言处理等领域的进展,以及深度学习模型的快速发展。 ? AIGC的发展历程 AIGC的发展历程可以追溯到上世纪50年代的机器翻译研究,早期的机器翻译系统主要基于规则和统计方法。随着深度学习的兴起,特别是神经网络模型的发展,AIGC取得了显著的进展。深度学习模型通过大规模的数据训练,https://www.skycaiji.com/aigc/ai11801.html
10.发展历程SRIBD官网发展历程 研究院概述 发展历程 组织架构 人才队伍 深圳市大数据研究院 深圳市大数据研究院是在深圳市委、市政府的支持下于2016年3月组建,依托罗智泉教授领衔的大数据信息处理及应用创新团队,致力于建立国际一流、具有自主知识产权、核心技术优势突出的“大数据研究机构和协同研发平台”。 更多 2024 通过深圳市基础https://www.sribd.cn/node/140
11.Android技术架构演进与未来·Android系统开发·看云2013年到2018年,这个阶段Android 进入飞速发展期,被升级的有摄像头、内存、机身、芯片等,原来的3.5寸小屏已退出历史舞台,全面屏、刘海屏、水滴屏已成为当下主流屏幕方案。 2. 系统演进 系统演进趋势:每个Android大版本的更新迭代前行,历经10余年,在用户体验、流畅性、续航、安全、隐私、机器学习等方面都取得较大的http://static.kancloud.cn/alex_wsc/android_rom/1861204
12.知识图谱(knowledgegraph)——1.概念篇——张杰整理回顾知识工程四十年多来发展历程,总结知识工程的演进过程和技术进展,可以将知识 工程分成五个标志性的阶段,前知识工程时期、专家系统时期、万维网 1.0 时期,群体智能 时期以及知识图谱时期,如图 1 所示。 1950-1970 时期:图灵测试—知识工程诞生前期 人工智能旨在让机器能够像人一样解决复杂问题,图灵测试是评测智能的https://maimai.cn/article/detail?fid=1369045550&efid=KSrM2U2Y8RkYulBlHgXhbA
13.智慧民航的构想和探索行业研究(一)智慧化技术发展历程 随着技术的不断发展,人类社会已经步入了人工智能时代。目前的智能化,本质上是让机器学习模拟人,充分发挥数据的作用,更自动、更智能地帮助人类处理重复而又复杂的工作,是人类能力的延伸。而智慧化却代表着更高的层次,在智能的基础上,能进一步的归纳分析、理解联想,进而演化出审美、情感、思想等http://news.21csp.com.cn/c16/202202/11412645.html
14.广东财经大学2023年硕士研究生招生简章发展历程 学校始建于1983年,原名广东财经学院,起始办学层次为本科教育;1985年更名为广东商学院,2003年获得硕士学位授予权,2007年以“优秀”等级通过本科教学工作水平评估;2013年更名为广东财经大学,2021年获批为博士学位授予单位。 学校现有广州和佛山两个校区,占地面积2275亩,有全日制本科生、研究生31000多人,其中研究https://yzb.gdufe.edu.cn/2022/0914/c4690a165972/page.htm