导读：众所周知，人类大脑活动是复杂而连续的动力学过程，其复杂程度远超当前算力资源所能模拟的上限。大脑约有1000亿个神经元，100万亿个突触，单个突触长度约10-1000微米。假设每1微米突触用1个微分方程近似，初略估算人类大脑约具有1000万亿-10亿亿参数。
作者简介：李国齐，中国科学院自动化所研究员，博士生导师，北京智源人工智能研究院青年科学家。李国齐在Nature、NatureCommunications、ProceedingsoftheIEEE、IEEETPAMI等期刊和ICLR、NeurIPS、AAAI、CVPR等会议上发表论文150余篇；出版国内类脑计算领域早期学术专著1部；论文在Google学术上被引用4500余次。2017年入选北京市自然科学基金优秀青年人才，2018年获得中国指挥与控制学会科学技术一等奖，2019年入选北京智源人工智能研究院“智源学者”，2021年获得福建省科技进步二等奖，2021年获得北京市杰出青年基金资助，2022年入选中科院“百人计划”；其参与的类脑芯片理论、架构和工具链的工作曾入选2019年中国科学十大进展和2020年世界人工智能十大进展。
01
什么是类脑计算？
类脑计算是近些年来崛起的新兴研究领域，与人工智能、机器学习等领域类似，很难对其进行准确定义，目前业内尚没有普遍认可的类脑计算概念定义。
李国齐指出，类脑计算的描述性定义为“指受人脑信息处理方式启发，以更通用的人工智能和高效智能边缘端/云端为目标构建信息系统的技术总称”。类脑计算希望融合脑科学、计算神经科学、认知科学甚至统计物理等学科的知识来解决现有传统计算技术的一些问题，进而构建更加通用、高效、智能的新颖信息系统。
狭义类脑计算是指神经形态计算，主要是研制神经形态芯片以支持源自计算神经科学的脉冲神经网络（SpikingNeuralNetworks，SNN）；广义类脑计算也包括存内计算、忆阻器芯片甚至研制AI芯片以支持传统的人工神经网络（ArtificialNeuralNetworks，ANN）。因此，类脑计算的研究与发展与人工智能一样也需要从模型算法、软件、芯片和数据等各个方向协同展开。
02
类脑计算模型：突破神经科学与AI的鸿沟
当前，神经科学与人工智能之间存在着巨大鸿沟，神经科学侧重于重构大脑内部的精细结构和生理细节，人工智能则侧重于通过对神经结构进行数学抽象以实现计算的高效性。
因此，人工智能和神经科学如何交叉融合成为一个艰巨挑战。类脑计算中，脉冲神经网络兼具了生物合理性和计算高效性，或可以为人工智能提供新范式。简单地，可以认为SNN=ANN+NeuronalDynamics。如何寻找兼具生物合理性与计算高效性的脉冲神经元模型，以及如何建立脉冲神经元模型与AI任务之间的关系是类脑计算领域的核心问题。
当前，SNN普遍采用LIF神经元作为构建神经网络的基础单元。原因在于，LIF神经元是一种典型的综合模型，既具备IF模型的简单易用性，又能像H-H神经元模型那样模拟生物神经元丰富的生理学特性。
03
类脑学习算法
与ANN训练相比，SNN的高效训练面临着诸多问题与挑战，例如脉冲神经元中复杂的时空动力过程、脉冲神经元之间传递的脉冲信息不可导、脉冲退化和训练精度损失等。当前，SNN训练方法主要包括无监督学习、间接有监督学习和直接有监督学习三类。这些训练方法尝试从不同的角度解决上述问题和挑战。
1.基于STDP的无监督学习
如果两个神经元同时激活，则他们与共同的下游神经元之间形成了更加紧密的联系，这样两者为同级神经元，且相互之间具备间接关系。例如，通过STDP规则结合Winner-Take-All（WTA）构成的学习模型是一种简单有效的无监督学习方式。
具体地，在输入层将图片转换为脉冲序列（脉冲发放率正比于像素值），神经元以全连接形式前向连接，接受兴奋性输入，并采用STDP规则更新，并与抑制性神经元后向一对一连接，对其产生侧向抑制（即softWTA），并通过自适应阈值平衡脉冲发放率。
STDP模型通过局部调整规则进行学习，在神经形态芯片上容易进行分布式实现并具备在线学习能力。但是，局部突触可塑性不足以解释突触个体的改变如何协调神经系统的整体目标的实现。同时，李国齐也指出，这种无监督学习训练方法存在着难以获得高性能网络，无法在大规模深度神经网络中使用等问题。
2.基于ANN转SNN的间接有监督学习
ANN-convertedSNN方法是指训练一个ANN模型，而后将学习完成后的ANN权重迁移到具有相同结构的SNN中。其基本思想是，利用SNN平均脉冲发放率来近似表示ANN中的ReLU激活值。
因此，ANN-convertedSNN方法存在着模型精度与模型仿真步长T之间的tradeoff问题。该方法利用有监督信号在原始ANN模型中进行梯度反向传播训练，然后将其转换成SNN模型，因此是一种间接有监督学习。
3.SNN直接有监督学习的发展
为避免上述两种训练方法的局限性，解决SNN无法有效训练的难题，李国齐及其团队较早的提出STBP（Spatio-TemporalBackpropagation）等SNN直接训练方法。
STBP虽然解决了SNN网络中进行反向传播训练的梯度替代问题，但其仍然只能训练不超过10层的小规模网络。其中主要问题在于，一旦网络加深，先比较于ANN，脉冲神经元的二进制激活方式及其复杂的时空动态更容易带来网络的梯度消失或爆炸问题。
通过进一步分析SNN中的时空动态特性可知，建立神经元膜电势和阈值之间的平衡，以获得一个合适的网络脉冲发放率对网络的性能至关重要。过低的发放率可能会导致有效信息不足，而过高的发放率则会降低SNN网络对输入的区分度。
因此，李国齐团队进一步提出了结合脉冲神经元阈值的BN算法，即Threshold-dependentBN方法(TDBN)，缓解了制约SNN的规模瓶颈问题，首次将SNN的网络规模提升至50层，在ImageNet等大规模数据集上取得具有竞争性的性能，并证明了该方法可缓解深度SNN的梯度消失与爆炸问题。
尽管TDBN提升了SNN的规模，但相对于传统ANN中动辄数百层的深度网络，性能仍然捉襟见肘，不足以在大规模数据集上与ANN进行竞争。为了进一步提升SNN的网络表达能力，扩大网络规模从而提升任务性能，借鉴经典的ResNet结构是似乎一种可行的方法。
但是，直接复制ResNet结构到SNN中（VanillaRes-SNN）存在着脉冲退化问题，即网络越深，精度越低。因此，李国齐团队提出了一种将LIF神经元放置在残差块中，并在不同层神经元的膜电势之间建立shortcut的新颖Ms-Rse-SNN结构。并利用dynamicalisometry理论证明了所提出的结构不存在脉冲退化问题。在相对广泛的范围内解决了大规模SNN直接训练问题（482层CIFAR-10,104层ImageNet），后者取得Top-176%分类准确率的SOTA结果。
此外，根据SNN处理数据的不同，采用data-dependent的处理方式，可以为直接训练SNN在一些任务中带来额外的性能增益。例如，在神经形态视觉任务中，事件流数据往往具有稀疏、不均匀特性。
04
类脑计算软件
类脑计算软件框架与工具通常包括神经形态芯片工具链、神经系统仿真模拟和SNN学习框架等三个方面的内容，具体可参考清华大学张悠慧教授在IEEETransactionsonHighPerformanceComputing的综述论文观点。
神经形态芯片工具链目前尚处于早期阶段，存在软件与硬件紧密耦合，通用性、自动化程度不高，使用便捷性差等许多问题。神经系统软件仿真框架能够详细模拟生物神经网络，但要求用户具有一定的计算神经科学基础。
05
类脑计算芯片
从功能角度看，类脑芯片主要分为四类：
主要支持人工神经网络（TPU、寒武纪、华为昇腾等）的深度学习加速器；
主要支持脉冲神经网络（TrueNorth、Loihi、达尔文等芯片）的神经形态芯片；
支持人工/脉冲神经网络的异构融合芯片（Tianjinc芯片）；
以及支持神经元编程的脑仿真模拟芯片（SpiNNaker、ROLLS、Loihi等芯片）和具备低时延、高动态的神经形态相机为代表的感知芯片。
类脑芯片的体系架构包括主流深度学习加速器采用的存算分离架构，主流众核去中心化架构芯片的近存计算架构，以及存内计算芯片、忆阻器芯片等所采用的存算一体架构。从芯片设计的角度来看，采用路由器连接的多核架构的芯片的可扩展性更好，多个功能核独立工作，核间周期性地同步和共享数据。因此可支持的网络规模更大，应用范围更广的SNN。
采用单纯数字信号的小规模单核芯片可以采用存内计算进行矩阵向量乘，具备同步、异步设计流程，往往具备较高的能效和较低的静态功耗，且更便于技术迁移，但神经元与突触的规模受限。数模混合小规模单核芯片采用数字异步脉冲路由，利用存内数字计算方法进行矩阵向量乘法，采用模拟膜电位进行激活与更新，因此能效最高，但也存在神经元与突触数量少和设计不方便等问题。
06
类脑计算数据
众所周知，深度学习发展四要素为算法、算力、开发工具以及大规模的数据。在深度学习领域，成百上千个开源数据集覆盖分类、检测、跟踪、自然语言等，极大地促进了深度学习的繁荣。
相比之下，类脑数据集十分匮乏，现有的数据集主要包括四类：
第一类是通过转换算法将ANN数据集转变为事件信号数据集，典型数据集包括基于ImageNet转换而来的ES-ImageNet，基于UCF101转化的事件信号数据集ES-UCF101，基于BDD100K转化的事件信号数据集BDD100K-DVS等；
第二类是利用神经形态相机DVS将图像或视频数据库转化为事件数据集，比如N-MNIST、CIFA10-DVS等数据集；
07
类脑系统发展趋势
最后，李国齐结合自己的思考总结了类脑计算的未来发展趋势，并对类脑系统框架进行了总结。
在模型算法方面，不仅可以通过增加模型参数、网络深度或宽度使得SNN模型变大变强，更重要的提供向内增加神经元复杂程度的能力支撑，缩减神经科学与人工智能之间存在的鸿沟。因此，构造包含更丰富动力学的神经元模型、神经网络及对应的算法是未来的重要方向。
李国齐认为，类脑系统的总体框架包括类脑的模型、算法、软件以及芯片，并结合丰富类脑数据构造的计算系统，在人工智能领域可以朝着高效云端/边缘端类脑计算系统的构造方向发展，在脑科学领域可利用现有的超算服务器集群进行神经动力学的仿真和模拟，构建更为复杂的脑仿真和神经模拟系统。