余山：从脑网络到人工智能——类脑计算的机遇与挑战

865 599

一般地说，类脑计算是指借鉴大脑中进行信息处理的基本规律，在硬件实现与软件算法等多个层面，对于现有的计算体系与系统做出本质的变革，从而实现在计算能耗、计算能力与计算效率等诸多方面的大幅改进。过去几十年来通讯与计算机技术的长足发展带来了信息化革命，但现有计算系统仍然面临2个严重的发展瓶颈：一是系统能耗过高，二是对于人脑能轻松胜任的认知任务（比如语言及复杂场景的理解等）处理能力不足，难以支撑高水平的智能。大脑在这两个方面的明显优势使得借鉴大脑成了一个非常有前景的方向。类脑计算是生命科学，特别是脑科学与信息技术的高度交叉和融合，其技术内涵包括对于大脑信息处理原理的深入理解，在此基础上开发新型的处理器、算法和系统集成架构，并将其运用于新一代人工智能、大数据处理、人机交互等广泛的领域。类脑计算技术有望使人工信息处理系统以非常低的能耗，产生出可以与人脑相比拟的智能。很多人认为，这一方向的实质进展将可能真正开启智能化革命的序幕，从而对社会生产生活带来深刻地变革[2]。

脑信息处理基本规律的研究

类脑计算硬件的研究

类脑学习与处理算法的研究

而AlphaGo存在一个围棋盘面的估值网络和一个独立的走棋网络（虽然我们还不知道这是否是有意的类脑的设计，但这在原理上可能是类脑的划分），也说明了合适的模块化设计可能是其成功的一个重要因素。这些结果令人鼓舞，但我们对于大脑模块化设计的借鉴也许才刚刚开始。现在神经科学的研究正在为我们给出非常详尽的，包含数百个亚区的有关人脑的模块化分区图谱，包括每一个模块和其他模块之间的信息传递通路（图3）[9]。可以预见，这将对类脑信息处理算法的设计提供关键的启示。比如对于语言区的精细亚区划分及其功能的阐明，就可能对于语言处理算法的模块化设计提供有益的借鉴。有关类脑算法设计的第二个例子是我们可以向大脑学习如何调节网络的状态，从而灵活调控信息处理过程，使得系统能够适应不同的功能需求。

除了上面举出的几个例子，神经科学可能会对类脑算法设计提供重要启示的领域还包括对于突触可塑性的进一步认识，具体的各项脑功能在神经环路水平的机制等。几乎可以说，每一项脑科学的原理性发现，都可能蕴含着一颗种子，有潜力在人工智能的领域成长为像深度神经网络一样的参天大树。

总结而言，类脑计算是融合了脑科学与计算机科学、信息科学和人工智能等领域的交叉学科，我们有理由期待这一领域的研究将在不久的将来带来更多的令人瞩目的成就，推动智能技术向通用的人类水平的智能，即强人工智能的目标逐渐逼近。

参考文献（References）

[1]SilverD,HuangA,MaddisonCJ,etal.MasteringthegameofGowithdeepneuralnetworksandtreesearch[J].Nature,2016,529:484-489.

[2]BostromN.Superintelligence[M].NewYork:OxfordUniversityPress,2014.

[3]BRAINWorkingGroup.BRAIN2025:Ascientificvision[EB/OL].[2016-03-29].www.braininitiative.nih.gov.

[4]MerollaPA,ArthurJV,Alvarez-IcazaR,etal.Artificialbrains:Amillionspiking-neuronintegratedcircuitwithascalablecommunicationnetworkandinterface[J].Science,2014,345:668-673.

[5]ChenY,LuoT,LiuS,etal.Dadiannao:Amachine-learningsupercomputer[C]//Proceedingsofthe47thAnnualIEEE/ACMInternationalSymposiumonMicroarchitecture,2014:609-622.

[6]YaminsDLK,DiCarloJJ.Usinggoal-drivendeeplearningmodelstounderstandsensorycortex[J].NatureNeuroscience,2016,19:356-365.

[7]BaumE.Whatisthought[M].Massachusetts:MITPress,2003.

[8]EliasmithC,StewartTC,ChooX,etal.Alarge-scalemodelofthefunctioningbrain[J].Science,2012,338:1202-1205.

[9]JiangT.Brainnetome:Anew-ometounderstandthebrainanditsdisorders[J].NeuroImage,2013,80:263-272.

[10]ShewWL,PlenzD.Thefunctionalbenefitsofcriticalityinthecortex[J].Neuroscientist,2013,19:88-100.

[11]LakeBM,SalakhutdinovR,TenenbaumJB.Human-levelconceptlearningthroughprobabilisticprograminduction[J].Science,350:1332-1338.

[12]NikolicD.Practopoiesis:Orhowlifefostersamind[J].JournalofTheoreticalBiology,2015,373:40-61.

（本文原载于《科技导报》2016年第7期，作者系自动化所脑网络组研究中心研究员）

THE END

什么叫做神经网络（科普向）徐航宇

「智者见“智”」专栏｜科普系列：深入探索神经网络向前传播I

科普:CNN论文介绍的开篇」何为卷积神经网络？

科普安徽

基础知识续人工神经网络常用学习规则

余山：从脑网络到人工智能——类脑计算的机遇与挑战

1.神经网络的起源与工作原理神经网络模型-学习(训练)与工作(推理)流程 a. 训练:通过设计合适 AI 模型结构以及损失函数和优化算法,将数据集以 mini-batch (数据集分为多个批次,作用是每次使用少量数据更新模型参数,再用新的数据验证等刚得到模型参数的计算效果)反复进行前向计算并计算损失,反向计算梯度利用优化函数来更新模型,使得损失函数最小https://blog.csdn.net/weixin_53795646/article/details/144411889
2.神经网络入门基础知识腾讯云开发者社区引发了第一波神经网络的热潮,但感知机的致命缺点是:Minsky在1969年证明Perceptron无法解决异或问题。根源在于,二维层面上神经网络是一条直线。无法划分异或的区间。 0=σ(x0w0+x1w1+b)0=x0w0+x1w1+bx1w1=0?x0w0?bx1=?w0w1x0?bw1y=kx+b https://cloud.tencent.com/developer/article/2299888
3.卷积神经网络科普PublicLibraryofBioinformatics卷积神经网络科普 卷积神经网络(Convolutional Neueal Networks,简称CNN)可以说是神经网路模型中的"网红"网络框架,在计算机视觉方面贡献很大。卷积神经网络中的核心基础,涉及卷积层、池化层、全连接层不仅是搭建卷积神经网络的基础,也是我们需要重点掌握和理解的内容。https://www.plob.org/article/28092.html
4.神经网络是什么人工神经网络也简称为神经网络,或称作连接模型,它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。神经网络的研究内容相当广泛,反映了多学科交叉技术领域的特点。不论何种类型的人工神经网络,它们共同的特点是,大规模并行处理,分布式存储,弹性拓扑,高度冗余和非线性运算。https://www.kepuchina.cn/article/articleinfo?business_type=100&ar_id=92929
5.科普:神经网络基本原理图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model ),也称为神经网络的一个处理单元(PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) https://picture.iczhiku.com/weixin/message1586359600270.html
6.1科普:人工神经网络VS生物神经网络易学在线课堂学员 1、科普: 人工神经网络 VS 生物神经网络04:39 学员 2、什么是神经网络 (机器学习)00:00 学员 3、神经网络 : 梯度下降 (Gradient Descent in Neural Nets)04:07 学员 4、科普: 神经网络的黑盒不黑04:55 学员 5、1 why?01:13 学员 6、2 安装 (Windows, Mac, Linux)06:22 学员 7、3 例子102https://bbs.easyaiforum.cn/lesson-2862.html
7.硬核科普:什么是人工神经网络百度百科对人工神经网络的定义 是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。 如果你一脸蒙蔽,那就对了 懵逼 该看懂的人还是能看懂,看不懂的还是看不懂,对新手及其不友好 https://www.jianshu.com/p/37a7a1305712
8.神经网络学习原理科普视频名师讲堂关注https://tv.sohu.com/v/dXMvMzM1OTQxMTk1LzQzMzM4OTIwNy5zaHRtbA==.html
9.《科普中国直击最前沿》——神经网络创造未来我们脑中的知识可以共享吗?人类将如何在人工智能浪潮中破浪而行?本期节目《科普中国直击最前沿》特邀中关村高端领军人才,“吴文俊人工智能科学技术奖”获得者——雷涛,为您讲述。《神经网络 创造未来》节目于5月19日20:01播出,届时北京广播电视台纪实科教频道、北京时间APP、科普中国APP同步播出上线,敬请关注。https://item.btime.com/44oka4iu12h87q8jjetotcntce5
10.AIGCAIGC-GPT科普(二):神经网络发展历史 这篇文章主要介绍了神经网络的发展历史,包括 1958 年的 MLP、1982 年的 RNN、1998 年的 CNN、2012 年的 AlexNet 和 ResNet、2014 年的 GAN 等深度生成网络,以及 2017 年的 Transformer 等。不同架构各有特点和优势,在不同领域发挥着重要作用。https://juejin.cn/post/7244018340878958650
11.《人工智能核心神经网络青少科普版齐勇刚神经网络青少年读物当当佳倪图书专营店在线销售正版《人工智能核心 神经网络 青少科普版 齐勇刚 神经网络青少年读物 青少年中小学生人工智能培训教材 清华大学出版社》。最新《人工智能核心 神经网络 青少科普版 齐勇刚 神经网络青少年读物 青少年中小学生人工智能培训教材 清华大学出版社》简http://product.dangdang.com/11756083252.html
12.AI科普微视频丨什么是深度神经网络(下)?AI科普微视频丨什么是深度神经网络(下)? 点击蓝字关注我们 人工智能是如何产生的?人工智能的发展为什么充满曲折?为什么说图灵是人工智能之父?为加大AI科普力度,推动文化传播,中国人工智能学会推出了“AI科普微视频”栏目,以每期2~3分钟的视频为钥匙,为您打开人工智能的大门,一览智能科学的独特魅力。https://www.shifair.com/informationDetails/80103.html
13.新科普中科院院士提醒家长:抓住神经网络发育关键期人在出生后,具有不同功能的网络都有一个关键的形成期,例如视觉系统形成的关键期为1—3岁,语言系统则在2—7岁。 人的聪明才智来自先天还是后天?近日,中科院院士、中科院神经科学研究所所长蒲慕明在上海科普大讲坛上抛出了这个问题。在他看来,遗传基因是正常神经网络形成的必要条件,但形成不同神经网络的很多因素来自后https://www.jfdaily.com/wx/detail.do?id=99050
14.中国科普博览机器学习算法的功能可粗略的分为四大类,即分类、聚类、预测和降维,可用的机器学习算法不下数百种,包括回归分析、判别分析、聚类分析、因子分析和主成分分析、贝叶斯分类、决策树、支持向量机、EM、Adaboost、人工神经网络及它们之间的一些集成算法等。其中的回归分析、判别分析、聚类分析等已在统计计算里进行了介绍,神经http://www.kepu.cn/blog/zhangjianzhong/201903/t20190327_475625.html
15.神经网络经典神经网络简要介绍51CTO博客大脑最大的部分是持续工作的,而计算机最大的部分只是被动的数据存储。因此,大脑是平行的,因此运行接近其理论上的最大值,而计算机与此相差几个数量级(表1.1)。此外,计算机是静态的——大脑作为一个生物神经网络,可以在“生命周期”内自我重组,因此能够学习、补偿错误等。 https://blog.51cto.com/u_13046751/6537466
16.“大模型本质就是两个文件!”特斯拉前AI总监爆火LLM科普,时长1前者是组成整个神经网络的权重,后者是用来运行这个神经网络的代码,可以是C或者其他任何编程语言写的。 有了这俩文件,再来一台笔记本,我们就不需任何互联网连接和其他东西就可以与它(大模型)进行交流了,比如让它写首诗,它就开始为你生成文本。 那么接下来的问题就是:参数从哪里来? https://m.thepaper.cn/newsDetail_forward_25414655