Paper：WAVENET:AGENERATIVEMODELFORRAWAUDIO
在WaveNet模型的构建中，关键的是对卷积层的设计和参数调整。卷积层的设计可以影响模型的表达能力和泛化能力，参数的调整可以影响模型的预测准确性和鲁棒性。
2.2.2TCN（2018）
TCN模型的结构如下图所示：
TCN模型的预测过程包括以下几个步骤：
残差连接：类似于ResNet，通过将卷积层的输出与输入进行残差连接，可以有效地减少梯度消失和模型退化等问题，提高模型的鲁棒性。
池化层：在最后一个卷积层之后添加一个全局平均池化层，将所有特征向量进行平均，得到一个固定长度的特征向量。
TCN模型的优点包括：
能够处理长序列数据，并且具有良好的并行性。
通过引入残差连接和空洞卷积等技术，避免了梯度消失和过拟合的问题。
相对于传统RNN模型，TCN模型具有更高的计算效率和预测准确率。
数据归一化对时序预测影响探究？
原始数据是否按月份生成协变量，是否归一化，对最终时序预测效果影响重大，就本实验场景而言，原始数据为百分制更适用于无归一化&有协变量方式，协变量需根据实际业务表现进行选择
归一化&无协变量
归一化&有协变量
无归一化&无协变量
无归一化&有协变量
2.2.3DeepTCN（2019）
Paper：ProbabilisticForecastingwithTemporalConvolutionalNeuralNetwork
Code：deepTCN
DeepTCN（DeepTemporalConvolutionalNetworks）是一种基于深度学习的时序预测模型，它是对传统TCN模型的改进和扩展。DeepTCN模型使用了一组1D卷积层和最大池化层来处理时序数据，并通过堆叠多个这样的卷积-池化层来提取时序数据的不同特征。在DeepTCN模型中，每个卷积层都包含多个1D卷积核和激活函数，并且使用残差连接和批量归一化技术来加速模型的训练。
DeepTCN模型的训练过程通常涉及以下几个步骤：
数据预处理：将原始的时序数据进行标准化和归一化处理，以减小不同特征的尺度不一致对模型训练的影响。
模型评估：使用测试数据集对训练好的DEEPTCN模型进行评估，并计算模型的性能指标，如平均绝对误差（MAE）、平均绝对百分比误差（MAPE）等。
模型训练输入输出长度对时序预测影响探究？
就本实验场景而言，受原始数据样本限制，输入输出长度和batch_size无法过大调整，从性能角度建议选用大batch_size&短输入输出方式
短输入输出
长输入输出
长输入输出，大batch_size
短输入输出，大batch_size
2.3Attention类
2.3.1Transformer（2017）
Paper：AttentionIsAllYouNeed
Transformer是一种广泛应用于自然语言处理（NLP）领域的神经网络模型，其本质是一种序列到序列（seq2seq）的模型。Transformer将序列中的每个位置视为一个向量，并使用多头自注意力机制和前馈神经网络来捕捉序列中的长程依赖性，从而使得模型能够处理变长序列和不定长序列。
在训练过程中，可以使用均方误差（MSE）或平均绝对误差（MAE）等常见的损失函数来度量模型的预测性能，使用随机梯度下降（SGD）或Adam等优化算法来更新模型参数。在模型训练过程中，还可以使用学习率调整、梯度裁剪等技术来加速模型的训练和提高模型的性能。
TFT方法可以分为两个阶段：训练阶段和预测阶段。在训练阶段，TFT方法使用训练数据来训练Transformer模型，并使用一些技巧（如随机掩码、自适应学习率调整等）来提高模型的鲁棒性和训练效率。在预测阶段，TFT方法使用已训练好的模型来对未来时序数据进行预测。
与传统的时序预测方法相比，TFT方法具有以下优点：
可以通过端到端的训练方式直接学习预测模型，不需要手动提取特征。
2.3.3HT（2019）
2.3.4LogTrans（2019）
Paper：EnhancingtheLocalityandBreakingtheMemoryBottleneckofTransformeronTimeSeriesForecasting
Code：Autoformer
2.3.5DeepTTF（2020）
2.3.6PTST（2020）
具体地，PTST模型的序列模型使用TransformerEncoder-Decoder结构来进行时序预测。Encoder部分采用多层自注意力机制来提取输入序列的特征，Decoder部分则通过自回归方式逐步生成输出序列。在此基础上，概率模型引入了一个随机变量，即时序数据的噪声项，它被建模为一个正态分布。同时，为了减少潜在的误差，概率模型还使用KF对序列进行平滑处理。
在训练过程中，PTST采用了最大后验概率（MAP）估计方法，以最大化预测的概率。在预测阶段，PTST利用蒙特卡洛采样方法来从后验分布中抽样，以生成一组概率分布。同时，为了衡量预测的准确性，PTST还引入了均方误差和负对数似然（NLL）等损失函数。
2.3.7Reformer（2020）
Paper：Reformer:TheEfficientTransformer
2.3.8Informer（2020）
Paper：Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting
Informer是一种基于Transformer模型的时序预测方法，由北京大学深度学习与计算智能实验室于2020年提出。与传统的Transformer模型不同，Informer在Transformer模型的基础上引入了全新的结构和机制，以更好地适应时序预测任务。Informer方法的核心思想包括：
生成式对抗网络（GAN）框架：Informer使用GAN框架，可以通过对抗学习的方式进一步提高模型的预测精度。
Informer方法在多个时序预测数据集上进行了实验，并与其他流行的时序预测方法进行了比较。实验结果表明，Informer方法在预测精度、训练速度和计算效率等方面都表现出了很好的性能。
2.3.9TAT（2021）
2.3.10NHT（2021）
2.3.11Autoformer（2021）
Paper：Autoformer:DecompositionTransformerswithAuto-CorrelationforLong-TermSeriesForecasting
AutoFormer是一种基于Transformer结构的时序预测模型。相比于传统的RNN、LSTM等模型，AutoFormer具有以下特点：
Transformer结构：AutoFormer使用了Transformer结构，可以实现并行计算，提高了训练效率。
2.3.12Pyraformer（2022）
2.3.13FEDformer（2022）
Paper：FEDformer:FrequencyEnhancedDecomposedTransformerforLong-termSeriesForecasting
Paper：Crossformer:TransformerUtilizingCross-DimensionDependencyforMultivariateTimeSeriesForecasting
2.4Mix类
2.4.1Encoder-DecoderCNN（2017）
Paper：DeepLearningforPrecipitationNowcasting:ABenchmarkandANewModel
具体而言，Encoder-DecoderCNN模型可以按照以下步骤进行时序预测：
将卷积层输出的特征序列送入编码器，通过池化操作逐步降低特征维度，并保存编码器的状态向量。
对解码器的输出进行后处理，如去均值或标准化，以得到最终的预测结果。
需要注意的是，Encoder-DecoderCNN模型在训练过程中需要使用适当的损失函数（如均方误差或交叉熵），并根据需要进行超参数调整。此外，为了提高模型的泛化能力，还需要使用交叉验证等技术进行模型评估和选择。
2.4.2LSTNet（2018）
Paper：ModelingLong-andShort-TermTemporalPatternswithDeepNeuralNetworks
2.4.3TDAN（2018）
Paper：TDAN:TemporalDifferenceAttentionNetworkforPrecipitationNowcasting
具体而言，TDAN算法可以按照以下步骤进行时序预测：
将加权特征向量送入全连接层，进行最终的预测。
需要注意的是，TDAN算法在训练过程中需要使用适当的损失函数（如均方误差），并根据需要进行超参数调整。此外，为了提高模型的泛化能力，还需要使用交叉验证等技术进行模型评估和选择。
2.4.4DeepAR（2019）
Paper：DeepAR:ProbabilisticForecastingwithAutoregressiveRecurrentNetworks
2.4.5N-BEATS（2020）
Paper：N-BEATS:Neuralbasisexpansionanalysisforinterpretabletimeseriesforecasting
2.4.6TCN-LSTM（2021）
Paper：AComparativeStudyofDetectingAnomaliesinTimeSeriesDataUsingLSTMandTCNModels
TCN-LSTM模型可以按照以下步骤进行时序预测：
将LSTM层输出的特征向量送入全连接层，进行最终的预测。
需要注意的是，TCN-LSTM模型在训练过程中需要使用适当的损失函数（如均方误差），并根据需要进行超参数调整。此外，为了提高模型的泛化能力，还需要使用交叉验证等技术进行模型评估和选择。
2.4.7NeuralProphet（2021）
Paper：NeuralForecastingatScale
可解释性：NeuralProphet可以提供丰富的可视化工具，帮助用户理解预测结果和影响因素。
NeuralProphet在许多领域都有广泛的应用，例如金融、交通、电力等。它可以帮助用户预测未来的趋势和趋势的变化，并提供有用的参考和决策支持。
2.4.8N-HiTS（2022）
Paper：N-HiTS:NeuralHierarchicalInterpolationforTimeSeriesForecasting
2.4.9D-Linear（2022）
Paper：AreTransformersEffectiveforTimeSeriesForecasting