让我们从最早的感知机开始，MLP是一个非常简单的二元分类器，可以对输入图像进行分类。使用了非常简单的单位阶跃函数作为激活函数。如果输入大于0，则输出为1，否则为0。
而添加更多层（感知机是单层神经网络）可以使网络具有学习复杂功能的能力。这进一步产生了多层感知机。多层感知器(Multi-LayerPerceptron，MLP)也叫人工神经网络(ArtificialNeuralNetwork，ANN)，主要包含输入层、输出层和多个隐藏层。同时MLP带来了沿用至今的很多概念。
与多层感知机(MLP)等前馈网络不同，循环神经网络RNN有一个内部反馈回路，可以有效记录前一个输入的状态，因此RNN是一类旨在处理序列的神经网络。
假设我们现在有这样一句话：”我爱人工智能”，经过分词之后变成”我，爱，人工，智能”这4个单词，RNN会根据这4个单词的时序关系进行处理，在第1个时刻处理单词”我”，第2个时刻处理单词”爱”，依次类推，RNN会从左到右逐词阅读这个句子，并不断调用一个相同的RNNCell来处理时序信息。
卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（poolinglayer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果（矩阵运算对应离散的图像和音频数据非常合适）。
LeNet-5是最早的卷积网络架构之一，于1998年用于文档识别。LeNet-5由3个部分组成：2个卷积层、2个子采样或池化层和3个全连接层。
ImageNet是一个大型视觉资料库，用于视觉目标辨识软体研究。非常多的神经网络架构以ImageNet作为优化目标，一步步将ImageNet的正确率提高到人类水平。
在2012年，AlexNet以15.3%的Top5低错误率刷新了ImageNet的记录，AlexNet由5个卷积层、最大池化层、3个全连接层和一个softmax层组成。AlexNet提出了深度卷积神经网络可以很好地处理视觉识别任务的想法，也是深度学习的开山鼻祖。
在此之后，2015年，ResNet进一步将ImageNet的错误率降低到3.6%，证明了使用残差连接可以训练更深的网络。ResNet主要提出一种方法让网络拥有恒等映射能力，假设在浅层网络上叠加与其相同，称之为恒等映射的层，那么即使网络深度增加，其训练误差应该不高于原来的浅层网络。恒等映射即为()=，已有的神经网络结构很难做到这一点，但是如果我们将网络设计成()=()+，即()=()，那么只需要使残差函数()=0，就构成了恒等映射()=。
残差结构的目的是，随着网络的加深，使()逼近于0，优化这种残差映射要比优化原始的映射容易，使得深度网络的精度在最优浅层网络的基础上不会下降。
生成网络用于从训练数据中生成或合成新的数据样本，例如图像和音乐。生成网络有很多种类型，但最流行的类型是由IanGoodfellow在2014年创建的生成对抗网络(GAN)。GAN由两个主要组件组成：生成假样本的生成器和区分真实样本和生成器生成样本的判别器。生成器和鉴别器可以说是互相竞争的关系。他们都是独立训练的，在训练过程中，他们玩的是零和游戏。生成器不断生成欺骗判别器的假样本，而判别器则努力发现那些假样本（参考真实样本）。在每次训练迭代中，生成器在生成接近真实的假样本方面做得更好，判别器必须提高标准来区分不真实的样本和真实样本。
GAN是生成模型的一种。其他流行的生成模型类型还有VariationAutoencoder(变分自编码器，VAE)、AutoEncoder（自编码器）和扩散模型等。
在Transformer《Attentionisallyouneed》发布后，一种完全基于注意力机制的新神经网络架构横空出世，接着大规模语言模型开始出现，其令人震惊的地方在于：如果给定足够的数据和计算，它总能更好地工作，即规模与算力可以跟效果成正比增加。