忆海原始发布类脑计算平台,下一代AI突破口到来!

导语:近日,在2022WAICAI开发者日上,忆海原识创始人兼CEO任化龙发表主题演讲《类脑计算的发展与关键技术》。演讲中,他夯实细致地介绍了类脑智能的特点以及与传统技术的对比,以及忆海原识自主研发的Ocean类脑计算平台。

以下是内容摘要。

什么是类脑计算

类脑计算是由生物脑启发的人工智能技术,强调实用,不追求把大脑中每一个生物细节都进行模拟,具有广阔应用前景。

脑仿真就是一种精细度较高的模拟,不一定追求实用,更多的是探求生物物理层面的机理。

神经拟态芯片,利用介于数字和模拟混合信号的方式来实现人工神经元,集成进芯片里,大幅度节省芯片的功耗。

计算神经科学可以看作是类脑计算的前身,它大量使用数理方法对脑机制进行理解,很多模型都是抽象的,不一定追求实用。

脑机接口也是近些年兴起的领域,主要解决人和机器、大脑和机器之间的交互。

类脑计算如何借鉴大脑呢?它有两个关键特征,一个是技术特征,另一个是应用面。技术特征上高度借鉴了生物脑中关键的生物机制,比如不再使用深度神经元模型,而是使用脉冲神经元模型,甚至比脉冲神经元更复杂的模型。

类脑计算的学习机制也不再依赖数学优化,无需误差反传和梯度下降,而主要利用可塑性进行训练,由此局部性更好,学习效率更高,配合生物脑中特殊的神经环路可以快速地实现举一反三。类脑计算也不再严格区分学习和推理这两个过程,很适合实时在线学习。由脉冲神经元构建出微环路,再由微环路构建多脑区的脑网络,这样就可以实现类脑神经网络模型。

类脑计算面向的问题是更高级的认知任务,不再是简单的识别和分类。比如抽象与归纳、推理与决策、知识与常识都属于认知,想象与创造、情感、同理心、道德,甚至人特有的直觉与审美属于高级认知现象。

类脑神经网络初窥

视觉神经系统有丰富发达的机制,它的神经通路与其他脑区高度互联,比如视觉皮层可以连接到运动皮层,和空间感有关;它还连接到颞叶,对物品进行识别;它还连接到中颞叶构造(包括海马体),形成情景记忆。情景记忆又可以进行抽象和归纳,再反哺视觉皮层的训练,使视觉训练效率非常高。

再如下图示例,偏向于识别问题。图中的对象到底是牛还是鲨呢?如果用深度神经网络,可能只能识别出一个确定的结果,要么分类成某种鲨鱼,要么分类成其他结果。为什么呢?因为它是端到端的单一输入输出系统。

可以这么说,视觉系统具有丰富灵活的认知机制,并不像深度学习那样是端到端的单一输入输出系统。

Ocean类脑计算平台

忆海原识隆重发布Ocean类脑计算平台。

Ocean分为前端、核心和后端,它把建模和硬件管理进行解耦。这样一来,神经科学家和建模人员不必关心硬件底层细节,只需专注神经网络的建模。

该平台提供了丰富的基础模型和神经机制,包括有多种类型的神经元、突触、可塑性机制,以及顺馈、反馈、循环和侧抑制等常见的环路结构,简化用户建模过程,同时支持用户自定义模型、扩展功能。该平台能够支持全尺度的建模,从最小单位的神经元、突触、树突、环路、核团到脑区。

该平台还可以支持大规模类脑神经网络的运算,通过对硬件设备的调度管理,保证高运算效率。该平台可以在异构计算器件上运行,支持CPU、GPU以及其他的异构计算设备。该平台可部署在个人计算机、云端服务器以及嵌入式设备上,从而为其应用和推广带来了可能,满足从研发到应用部署的全链条需求。

这里介绍一个Ocean建模实例。下图为使用类脑神经网络针对MNIST手写字体进行识别。

这个模型没有使用误差反传、梯度下降,只使用一定神经环路拓扑结构结合可塑性进行学习,就可以取得良好的识别效果。

我们还有更多的类脑神经网络模型以及应用案例,将会在以后的发布会上陆续向大家介绍。

THE END
1.人工智能深入了解神经网络 通过Frank La La|2019 年 2 月 神经网络是很多高级的人工智能 (AI) 解决方案的基本元素。但是,很少人取消 derstand 这一概念的核心数学或结构化基础。虽然初始研究神经网络返回日期数十年来,它不是直到最近的计算能力和训练数据集的大小进行它们实际供常规使用。 https://docs.microsoft.com/zh-cn/archive/msdn-magazine/2019/february/artificially-intelligent-a-closer-look-at-neural-networks
2.(图解)类神经网络的复兴:深度学习简史腾讯云开发者社区然而若采用仅有两层的神经网络,不如使用其他理论更完备也更好实践、同样只有两层的「浅层」机器学习模型。因此在1990年代,支持矢量机(Support Vector Machine)等「浅层机器学习模型」成为主流技术,此为机器学习的第二波浪潮。 接下来,让我们来继续谈谈类神经网络是如何再度复甦。https://cloud.tencent.com/developer/article/1080858
3.在AI智能中有几种重要的神经网络类型?6种重要的神经网络类型分享!这将我们带到了接下来的两类神经网络:卷积神经网络和循环神经网络。 2. 卷积神经网络(CNN) 在CNN 流行之前,人们用于图像分类的算法有很多。人们过去常常从图像中创建特征,然后将这些特征输入到一些分类算法中,例如 SVM。一些算法也使用图像的像素级值作为特征向量。举个例子,您可以训练一个具有 784 个特征的 SVM,https://m.w3cschool.cn/article/95743536.html
4.什么是神经网络?神经网络的类型Cloudflare不过,它们大致可以分为以下几类: 浅层神经网络通常只有一个隐藏层 深度神经网络有多个隐藏层 与深度神经网络相比,浅层神经网络速度更快,所需的处理能力更低,但无法像深度神经网络那样执行大量复杂任务。 下面是目前可能使用的神经网络类型的不完整列表: 感知器神经网络是一种简单的浅层网络,有一个输入层和一个输出https://www.cloudflare-cn.com/learning/ai/what-is-neural-network/
5.机器学习19:多类别神经网络MultiClassNeuralNetworks该飞机是波音 747、空客 320、波音 777 还是巴西航空工业公司 190? 这是苹果、熊、糖果、狗还是鸡蛋的图像? 在现实世界中,多分类问题需要从数百万个单独的类中进行选择。例如一个可以识别几乎任何东西的图像的多类分类模型。 目录 1.一对多 2.多类神经网络 https://download.csdn.net/blog/column/8117549/131538081
6.应用各种类型的深度神经网络来解决不同的学习任典型深度神经网络LeNet-5虽然提出的时间比较早,但它是一个非常成功 的神经网络模型,LeNet-5的网络结构如图所示。 1.1 结构:LeNet-5 共包含 8 层 整体上是:输入层>卷积层>池化层+激活函数>卷积层>池化层+激活函数>卷积层>全连接层>输出层 输入层:N 个 32x32 的训练样本 https://blog.51cto.com/u_13229/7691640
7.物理神经网络物理神经网络 编辑 物理神经网络是一种类型的人工神经网络,其中可电调整的材料被用来模拟一个的功能神经突触。“物理”神经网络用于强调对用于模拟神经元的物理硬件的依赖,而不是基于软件的方法来模拟神经网络。更一般而言,该术语适用于其他人工神经网络,其中忆阻器或其他电可调电阻材料用于模拟神经突触。 物理神经网络的https://vibaike.com/111076/
8.两类忆阻神经网络的稳定性分析【摘要】:忆阻神经网络作为类脑研究的重要算法之一,备受国内外众多学者的关注。而稳定性是忆阻神经网络最基本的动力学行为之一,其理论研究涉及到微分方程、Lyapunov稳定性理论、脉冲控制理论、生物科学、计算机科学等学科知识。忆阻神经网络稳定性相关成果已广泛应用于模式识别、语音合成、联想记忆等实际工程。众所周知,含有https://cdmd.cnki.com.cn/Article/CDMD-10635-1021769979.htm
9.类脑智能与脉冲神经网络类脑智能算法主要通过对生物神经系统的模拟,构建更符合生物神经系统原理的人工智能算法及计算框架。近年来,起源于神经科学理论基础的脉冲神经网络(spike neural network, SNNs)已成为类脑计算领域的主流框架之一。然而,目前snn使用的基于反向传播(BP)直接训练的LeakyIntegration‐and‐Fire (LIF)神经元模型大多没有考虑周期https://cst.dhu.edu.cn/2022/0906/c3127a299265/page.htm
10.类脑运算脉冲神经网络(SpikingNeuralNetwork)发展现状类脑运算–脉冲神经网络(Spiking Neural Network)发展现状 前一段时间忙于博士论文的攥写和答辩, 抱歉拖更 继上一章: 类脑运算–脉冲神经网络(Spiking Neural Network)叙述 SNN是第三代人工神经网络(ANN),是一类event驱动的神经形态算法,可能具有广泛的应用领域,并适用于各种极低功耗的神经形态硬件。现阶段SNN 的应https://www.pianshen.com/article/94171855502/
11.类脑计算:从神经网络到真正的人工智能丨CCF中国科学院自动化研究所研究员余山表示,现在的深度学习从广义上来说也是类脑计算,因为它不是基于规则的机器学习系统,而是用神经网络从经验中学习知识。所以类脑计算和现在的深度学习两者是互相借鉴,互相促进的关系。 在类脑这一领域,目前国内机会较多。我国在计算、工程、智能技术方面有比较好的基础,脑科学方面总体和https://www.leiphone.com/category/ai/WOIMqvQZwFvOxFUK.html
12.清华NLP图神经网络GNN论文分门别类,16大应用200+篇论文机器之心本文总结了清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Bai同学对 GNN 相关的综述论文、模型与应用。 [ 导读 ]图神经网络研究成为当前深度学习领域的热点。最近,清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Bai同学对 GNN 相关的综述论文、模型与应用进行了综述,并https://www.jiqizhixin.com/articles/2019-08-12-2
13.智慧法治学术动态(2023年第18期总第42期)2023年5月9日,在《自然·机器智能》第5卷第4期上发表的一项新研究中,荷兰国家数学与计算机科学研究所(CWI)科学家展示了类脑神经元如何与新颖的学习方法相结合,能够大规模训练快速节能的尖峰神经网络。该技术潜在的应用包括可穿戴人工智能(AI)、语音识别、增强现实等诸多领域。(人民日报) https://www.jfdaily.com/sgh/detail?id=1028742
14.PyTorch的nn.Module类的定义和使用介绍python在PyTorch中,nn.Module类是构建神经网络模型的基础类,所有自定义的层、模块或整个神经网络架构都需要继承自这个类,本文介绍PyTorch的nn.Module类的定义和使用介绍,感兴趣的朋友一起看看吧+ 目录 在PyTorch中,nn.Module 类是构建神经网络模型的基础类,所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.https://www.jb51.net/python/314596jdu.htm