什么是深度学习?什么是类脑计算?

它具有很好的数学解释性,与现有的计算机架构完美匹配,但也存在需要大量数据训练、耗能巨大以及随之而来的产热惊人等问题,为此最前沿的研究者提出了“类脑计算”的概念,想要通过进一步模仿人类大脑的运行方式,重构计算机的底层架构,好让人工智能摆脱这种越好用成本越高的窘境。

目前,新兴的“类脑计算”还没有大规模应用,但各项研究已经取得了一定的突破,今天首席未来官特意为你梳理了“类脑计算”的底层原理,并通过与“深度学习”算法的对比,让你提前了解这个可能会颠覆未来计算机产业的新技术。

1.“深度学习”的原理

“深度学习”算法本质是对人类大脑视觉系统的模仿,因为人的视觉系统由很多层神经网络组成,层与层之间通过学习训练生成连接的通路,所以被称为“深度学习”。

深度学习算法虽然在层级上模拟了视觉系统,但受限于电脑结构中存储与运算分开的模式,做不到像人类的神经元一样将计算(神经元)和存储(突触)一体化,于是把神经元的运作方式抽象成了一个输入与输出结合的计算过程。

这就导致了原本一个神经元能够完成的任务,在计算机上需要大量的计算单位才能完成。2021年8月10日,在Neuron上发布的一项研究显示,人脑一个神经元的功能在深度算法中需要1000个以上的计算单元通过5到8层的深度网络实现。

2.先天缺陷带来的短板

由于需要大量计算单元才能实现单个人类神经元的功能,这就直接导致了深度学习要实现与人脑相似的功能复杂程度就会更高。

如今在语言模型上最强的GPT-3拥有1750亿个参数,做个简单推导也就相当于1.7亿个人类的脑神经元,而人脑的神经元个数在100亿左右,如果把人脑神经网络的复杂连接再算上,要完全模拟一个人脑出来的耗能将难以想象。

更多的计算单元也就意味着更大的能量消耗,同样拿GPT-3为例,它训练一次消耗的能量可以让一辆车在在地球与月球之间跑完一个来回,而只用来下围棋的AlphaGo仅计算单元的功率也有2000W的水平,与之相对的是坐它对面的李世石的大脑耗能只需要20W左右,是它的百分之一。

3.模仿神经元的“类脑计算”

为了解决深度学习的问题,科学家提出了进一步模拟人脑“神经元—突触”体系的“类脑计算”思路,分别从算法和硬件两方面探索打造“人工大脑”的方法。

算法层面上,目前的研究重点是“脉冲神经网络”(SpikingNeuralNetwork,简称SNN),顾名思义就是模仿神经脉冲信号传递、运算的人工智能算法,SNN的最大优点在于,相较传统算法中每个计算单元始终处于活跃状态不同,其每个计算单元只有在接受或者发出信号时才被激活,同时它进行的只有加减运算,节省了运算资源也减小了求和量。

但脉冲本身的不连续性使得传统的人工智能训练模式并不能适用于它,所以其性能尽管理论上可以与深度学习算法相匹配,相应的训练模式还处于研究阶段。

硬件层面,类脑芯片也开始兴起,不再像传统计算机中的“冯·诺依曼架构”,把存储与计算功能分离,使得每次计算都要在内存和CPU上频繁调用数据,导致信息效率差、发热高,而是基于微电子技术和新型神经形态器件的结合,实现存储与计算的深度融合,使芯片能够进行异步、并行、低速和分布式处理信息数据,并具备自主感知、识别和学习的能力。

4.4款类脑芯片

2014年8月,IBM公司推出了第二代类脑芯片“TrueNorth”,工艺进化到了28纳米,拥有了100万个可编程神经元和2.56亿个可编程数据传输通道。

这次最大的进步在于“神经突触内核架构”,让其中每个计算核心(神经元)都拥有了本地内存,工作方式已经非常类似人脑中的神经元,总功耗降低到了第一代的1%,体积是第一代的十五分之一。

Zeroth不需要预编程,通过正向强化的方式,提供了类似人类大脑多巴胺刺激的方式,让芯片具备了从周围环境获取反馈的能力,高通用装载该芯片的机器小车进行演示,使小车在自行启发算法下完成寻路、躲避障碍等任务。

·西井科技DeepSouth芯片

西井科技是一家中国公司,已推出了两款类脑芯片,其中DeepSouth拥有5000万类脑神经元,总计有50亿的“神经突触”,可以直接在芯片上完成计算,不需要通过网络连接后台服务器,可在“无网络”情况下使用。

THE END
1.元学习MetaLearning什么是元学习 元学习(Meta-Learning),也称为“学习如何学习”,是一种机器学习方法,其目的是通过学习算法的经验和结构特性,提升算法在新任务上的学习效率。 换句话说,元学习试图学习一种更有效的学习方法,使得模型能够快速适应新的任务或环境。 传统的机器学习算法通常需要大量的数据来训练模型,并且当数据分布发生变化https://blog.csdn.net/qq_60735796/article/details/142025393
2.元学习案例(学习如何学习)元学习入门详解(MAML算法及Reptile算法复现)优秀教程 元学习(Meta-learning),也称为“学习如何学习”,是机器学习领域的一种方法,旨在让模型通过学习经验来更好地应对新的任务。传统机器学习通常专注于解决单一任务,而元学习则聚焦于使模型通过从多个任务中学习,来提高其在全新任务中的表现。 http://www.kler.cn/a/349427.html?action=onClick
3.元学习元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”, 指的是在多个学习阶段改进学习算法的过程。 在基础学习过程中, 内部(或下层/基础)学习算法解决由数据集和目标定义的任务。 在元学习过程中,外部(或上层/元)算法更新内部学习算法,使其学习的模型改进外部目标。 因此,元学习的核心想法是学https://www.jianshu.com/p/b88053b4402d
4.深度学习应用篇指的是在多个学习阶段改进学习算法的过程。 在基础学习过程中, 内部(或下层/基础)学习算法解决由数据集和目标定义的任务。 在元学习过程中,外部(或上层/元)算法更新内部学习算法,使其学习的模型改进外部目标。 因此,元学习的核心想法是学习一个先验知识 (prior)。 https://cloud.tencent.com/developer/article/2296112
5.元学习:机器学习的未来,让AI从经验中学习并适应新挑战元学习,也称为“学习如何学习”,是机器学习领域中一个令人兴奋且极具潜力的研究方向。传统的机器学习算法通常需要大量的数据来训练模型,并且当数据分布发生变化或者遇到一个新任务时,模型往往需要重新训练才能保持良好的性能。而元学习则不同,它通过 https://mp.weixin.qq.com/s?__biz=MzIwNDY0MjYzOA==&mid=2247516515&idx=1&sn=34a8816d1a6cdfd54fc94ddff3bfe615&chksm=96141a1d4833254215aca22f3010b3716a2a765fe8f683269e94182a443f03ae3f95fee2efa0&scene=27
6.计算机视觉中的小样本学习综述wx5d23599e462fa的技术博客元学习算法——定义、度量学习、基于梯度的元学习 Few-Shot图像分类算法——与模型无关的元学习、匹配、原型和关系网络 Few-Shot目标检测– YOLOMAML 什么是小样本学习? Few-Shot Learning(以下简称FSL)是机器学习的一个子领域。在只有少数具有监督信息的训练样本情况下,训练模型实现对新数据进行分类。 https://blog.51cto.com/u_14439393/5748518
7.百面深度学习算法工程师带你去面试本书由Hulu的近30位算法研究员和算法工程师共同编写完成,专门针对深度学习领域,是《百面机器学习:算法工程师带你去面试》的延伸。全书内容大致分为两个部分,第一部分介绍经典的深度学习算法和模型,包括卷积神经网络、循环神经网络、图神经网络、生成模型、生成式对抗网络、强化学习、元学习、自动化机器学习等;第二https://www.epubit.com/bookDetails?id=UB71eb7f09e64b2
8.什么是元学习Metalearning?(为什么它很重要)强化学习:依赖海量的训练,并且需要精准的奖励。成本较高且比较复杂。 元学习:具备自学能力,能够充分利用过去的经验来指导未来的任务。被认为是实现通用人工智能的关键。 什么是元学习? 元学习的思想是学习「学习(训练)」过程。 元学习有好几种实现方法,不过本文谈到的两种「学习『学习』过程」的方法和上文介绍的方式https://easyai.tech/ai-definition/meta-learning/
9.《除数是整数的小数除法》说课稿(通用11篇)解决问题:《新编童话集》共4本,售价26.8元。平均每本售价多少钱? 环节六:完善认知。 引导学生从知识、方法多方面来谈自己的收获,并对自己整节课的表现作自我评价。 四、说板书设计。 例题作为本节课的重点板书在黑板中央,整数除法放在附板书位置,用来作为学习例题的辅助资源。整体上板书设计层次分明,重点突出,使学https://www.yjbys.com/shuokegao/xiaoxue/1186007.html
10.小学数学教案(精选15篇)小数乘整数表示什么呢? 二。探究算法 1、请大家想办法算出0。2×3的积。 (1)学生独立思考并计算。 (2)同桌交流算法。 (3)全班交流: A。连加法:0。2+0。2+0。2=0。6 b。联想、转化:0。2元=2角2角×3=6角=0。6元 c。画图法:你是怎样画的?为什么要画3个0。2? https://www.unjs.com/jiaoan/shuxue/20230626065815_7317540.html
11.当传统联邦学习面临异构性挑战,不妨尝试这些个性化联邦学习算法该方法通过引入一个精细化调整阶段,该精细化调整阶段使用模型不可知的元学习算法(model agnostic meta learning,MAML)。通过联邦学习训练得到的全局模型可以个性化地捕捉单个设备中的细粒度信息,从而提高每个物联网设备的性能。MAML 可以灵活地与任何模型表示相结合,以适应基于梯度的训练。此外,它只需少量的数据样本就https://www.thepaper.cn/newsDetail_forward_9306970
12.一周AI最火论文模型是否遗忘了我删除的数据?这个算法可以评估!为了实现机器人在复杂多变的世界中的自主运行,学习适应性策略至关重要。在本文中,谷歌AI研究人员与哥伦比亚大学合作提出了一种新的元学习方法,该方法可以使机器人快速适应动态变化。 与依赖于二阶梯度估计的元学习算法相比,研究人员引入了更耐噪声的Batch Hill-Climbing适应算子,并将其与基于进化策略的元学习相结合。https://news.hexun.com/2020-04-27/201164779.html
13.NatureMachineIntelligence刘琦教授团队开发基于元学习的AIPanPep算法框架(图2)包含了元学习模块和解耦蒸馏(Disentanglement distillation)模块。其中,针对已知数据的长尾效应,元学习模块采用了Model-Agnostic Meta Learning(MAML)计算框架。模型假设每一个肽段具有其特异性的TCR结合模式,因此每一个肽段下的TCR结合识别任务被当作MAML中的一个任务,且肽段表征的分布即为任务的分https://life.tongji.edu.cn/81/05/c12615a295173/page.htm
14.学会学习更多:元强化学习译站元学习算法:元学习算法通过所学知识来更新模型权重。该算法的主要目标是应用从先前任务中学到的知识优化模型,以在最短时间内使模型能够处理全新的任务。先前的研究一般是通过LSTM单元的梯度下降来更新权重。 MAML和Reptile是典型的元学习算法,通过该算法更新模型参数,使得模型在未知的新任务中具有良好的泛化性能。 04 https://god.yanxishe.com/TextTranslation/2950
15.字节跳动CVPR2023论文精选来啦(内含一批图像生成新研究)因此在这项工作中,为了提升模型对这种未见组合的表现,作者团队从元学习的角度提出了一个新颖的框架, 这个框架只改变模型的训练方式,因此可以无缝的和现有模型结合起来去提升他们的表现。 首先作者分析了这个任务中现有文字表达主要的三种组合方式,即单词与单词的组合,单词与词组的组合,词组与词组的组合,可见下图中的例子https://xie.infoq.cn/article/940b4ff308a91bf5cec9ab05b
16.融合元学习和PPO算法的四足机器人运动技能学习方法融合元学习和PPO算法的四足机器人运动技能学习方法 朱晓庆?,刘鑫源,阮晓钢,张思远,李春阳,李鹏 (北京工业大学信息学部,北京100020;计算智能与智能系统北京市重点实验室,北京100020)摘要:具备学习能力是高等动物智能的典型表现特征,为探明四足动物运动技能学习机理,本文对四足机器人步态学习任务进行研究,复现了四足动物的https://wenku.baidu.com/view/e368afcebb4ae45c3b3567ec102de2bd9705de71.html