类脑计算芯片与应用趋势与展望

神经元:对从树突接收到的时空信息进行整合,并在超过特定阈值时发放新的脉冲,通过轴突传递到其他神经元。准确但复杂度高的神经元模型:HH模型;较为简化神经元模型:累积释放(I&F)模型。

突触:突触是不同神经元之间的连接,支撑记忆、学习功能;记忆以突触连接强度的形式存储在神经网络中。突触连接强度能够变化,体现为不同类型的可塑性包括短时程、长时程可塑性等,从而实现神经网络的学习功能。

群编码:信息编码在某一组神经元的行为模式中。

关键技术:片上网络、片上网络拓扑、片上网络路由

片上网络的四个基本组成部分:

路由节点:执行通讯任务的节点,其核心是交换开关,包括仲裁器、纵横交换电路、输入缓冲器等。

通道:指路由节点与资源节点之间、路由节点与路由节点之间的连线,通道具有一定的方向性。

按照路由节点的连接方式,NoC拓扑结构可分类如下:

二维结构:网格(Mesh)、环面(Torus)、多边形、蜘蛛网形(Spidergon)、星形(Star)等。

路由设计的功能考量多种不利现象:

死锁:数据包等待前级清空,前级又在等待更前级,依赖关系形成闭环,数据包无法路由。

活锁:数据包持续进行路由,但就是无法到达目标地址。只出现在自适应的非最短路径中。

饥饿:多个方向的数据包竞争输入,优先级固定只处理一个方向,其他方向被完全堵死。

解决活锁:仅使用最短路径路由方案,限制错误路由操作数量。

解决饥饿:采用需求跟踪的循环优先级,为低优先级适当保留带宽。

解决死锁:一般有死锁预防、死锁恢复和死锁避免方案。

关键技术:SNN学习算法

脉冲神经网络学习算法分类:

ANN转SNN离线学习:任何在ANN中能实现学习的算法,只要求能转换到SNN。

监督在线学习:依赖于梯度下降、突触可塑性、脉冲卷积序列、时空反向传播的浅层/深层学习算法。

其他在线学习:基于SNN的强化学习、半监督学习、液体状态机学习、深度信念网络学习等。

其中,无监督在线学习的实现方式包括:

突触可塑性:无监督学习的理论基础,生物可信,表征为突触连接强度增强或抑制。

长时程增强(LTP):NMDA受体强烈兴奋,Ca2+大量内流,形成新的AMPA受体。(海马体)

长时程抑制(LTD):NMDA受体活动处于低水平,Ca2+流量低下,AMPA受体消亡。(纹状体)

类脑计算芯片与应用

IBMTrueNorth芯片

NoC拓扑:片内及片间扩展均为2DMesh结构,片间传输速度显著慢于片内。

路由算法:片内外均为X-Y维序路由,片内采用异步双轨四相、片间采用异步单轨两相协议。

近存计算:非冯·诺依曼架构,存储与计算单元邻近分布在各处理核,高度并行,事件驱动。路由节点:需要处理东/西/南/北/本地五个方向的数据出入,首先处理东西向,再处理南北向。路由节点内置FIFO缓存缓解拥堵饥饿,最短路径算法避免活锁,支持一对一发射(同时避免死锁)

NoC拓扑:四个核与一个路由节点构成四叉树,路由节点之间构成2DMesh结构,片间也是2DMesh。

路由算法:片内及片间X-Y维序算法,纯异步路由握手设计。

框架本身仅支持一对一发射,但可在源神经元处,通过复制多个一对一实现一对多发射。

规格指标:156核众核架构(12x13),每核256神经元、64K突触(256x256)。

路由算法:片内外均为X-Y维序路由,片内采用异步握手协议。

可使用额外的广播神经元和复制神经元来实现一对多发射,也可在核内执行多播判断

北京大学:PAICore芯片

规格指标:64核众核架构(8x8),每核1K神经元、1M突触(1024x1024)。

NoC拓扑:片内及片间扩展均为2DMesh结构,片间采用8:1Merge/Split合并或分流8个核心的数据。

路由算法:片内外均为Y-X维序路由,采用基于异步FIFO的异步握手协议。

路由地址采用绝对地址表示,比对目标地址与当前核地址是否一致。

智能芯片的发展趋势

人脑的优势:

超低功耗

在处理同样复杂任务时,没有任何人工系统能够媲美人脑的高能效性。

学习能力

没有任何自然/人工系统能够像人脑一样,具有对新环境的自适应能力、对新信息与新技能的自动获取能力。

存算融合

神经元实现信息整合,突触完成存储和学习,每个神经元通过上万突触与其他神经元互联,高度并行、存算一体。

高鲁棒性

没有任何系统能够像人脑一样,在复杂环境下有效决策并稳定工作、能够在多处损伤情况下依然具有很好鲁棒性。

智能芯片的未来发展:

计算驱动:算力和能效的持续提升推进军事智能应用。

SNN类脑计算芯片:事件驱动型稀疏性数据、低功耗。

生物启发:持续提升规模、复杂度探索通用智能实现方法。

审核编辑:郭婷

原文标题:类脑芯片应用如何?

长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层(0731-88081133)

THE END
1.有关循环神经网络的详细内容- 循环神经网络是一类用于处理序列数据的神经网络。与传统的前馈神经网络不同,RNN具有循环连接,能够对序列中的历史信息进行记忆和利用。它的神经元不仅接收当前输入,还接收来自上一时刻的隐藏状态作为输入,这种结构使得它在处理具有时间序列或序列依赖关系的数据时非常有效。 https://blog.csdn.net/m0_63243562/article/details/144358010
2.机器学习——神经网络与深度学习:从基础到应用神经网络是一类仿生算法,通过连接不同的节点(即神经元),实现信息的传递和处理。每个神经元都能接收多个输入信号,经过加权求和后通过激活函数产生输出。神经网络最早于20世纪40年代提出,但直到深度学习技术兴起,才得以广泛应用。https://cloud.tencent.com/developer/article/2456527
3.科学网—[转载]群视角下的多智能体强化学习方法综述该类问题的研究是为了帮助智能体之间达成合作交流或竞争的目的,在自主学习的基础上,增加可交流模块,学习何时交流、如何交流等。此部分工作通常考虑部分可观环境中的一组协作智能体,其中智能体需要通过信息交互来最大化它们的联合回报。Foerster等人[22]提出了RIAL和DIAL算法,两种方法都是利用神经网络拟合值函数以及智能体https://blog.sciencenet.cn/home.php?mod=space&uid=3472670&do=blog&id=1422698
4.2020届计算机科学方向毕业设计(论文)阶段性汇报本次汇报将主要更新建图算法设计,深度学习模型设计方案、以及在两个关系抽取数据集上的初步实验进展;在训练调优方向,稳定整体训练过程并减少数据分布不平衡带来的影响,提升模型整体表现;继续探索针对知识图谱子图的图神经网络更新策略,利用好关系类型在三元组表征方式中的信息,高效挖掘高阶的结构化关系知识。 https://zhiyuan.sjtu.edu.cn/html/zhiyuan/announcement_view.php?id=3709
5.强化学习笔记(1.0)【3】另一种分类方式,在线学习和离线学习 在线学习:本人在场,本人边玩边学习(on-policy)比如:Sarsa 离线学习:本人可以不在场,本人或者其他人玩,不必边玩边学习(off-policy) Sarsa--在线学习 Q learning,Deep-Q-Network--离线学习 3.为什么要用强化学习 强化学习(Reinforcement Learning)是一个机器学习大家族的分https://www.ctyun.cn/zhishi/p-419744
6.融合用户属性信息的冷启动推荐算法AET在离线训练时,首先使用用户的历史评分数据做矩阵分解,分析用户和商品的潜在语义,可以视作用户的潜在兴趣和商品的潜在用途。然后使用用户的属性数据(如性别、年龄、城市等)和上述提取的用户潜在兴趣训练神经网络。 在线给出推荐预测时,使用上文训练好的神经网络,将目标用户的属性数据映射到用户的潜在兴趣向量(predicted prhttp://www.chinaaet.com/article/3000073409
7.强化学习在线(Online): 智能体在与环境交互的过程中学习。 4. 强化学习的常用算法 Q-learning: 一种无模型、基于价值的算法,使用 Q 函数来估计状态-动作对的价值。 SARSA: 与 Q-learning 类似,但使用当前策略进行学习。 Deep Q-learning: 将 Q-learning 与深度神经网络结合,能够处理高维状态空间。 https://www.jianshu.com/p/d7e03db8d9aa
8.ICLR2022微软亚洲研究院深度学习领域最新研究成果一览在进入下一层前,研究员们会减去本层中产生的周期分量和回看分量,从而鼓励后续的神经网络层聚焦于尚未展开的周期性依赖。按照这样的模式堆叠 N 层就构成了实验涵盖了在线以及离线强化学习的不同情况,均验证了 VLOG 的良好表现。 此外,研究员们还开源了文中使用的麻将强化学习环境和对应的离线强化学习数据集,来https://www.msra.cn/zh-cn/news/features/iclr-2022
9.SLAM算法解析:抓住视觉SLAM难点,了解技术发展大趋势上一届国际计算机视觉大会ICCV,成为了深度学习技术的主场,但在我们宣布卷积神经网络的全面胜利之前,让我们先看看计算机视觉的,非学习几何方面的进展如何。同步定位与地图构建可以说是机器人学领域最重要的算法之一,在计算机视觉和机器人研究社区完成了一些开创性的工作。本文将总结来自 ICCV 实时 SLAM 的未来研讨会的要点https://auto.vogel.com.cn/c/2021-09-28/1135866.shtml