基于双向LSTM的双任务学习残差通道注意力机制手写签名认证
栾方军，陈昱岑，袁帅*
沈阳建筑大学计算机科学与工程学院，辽宁沈阳
收稿日期：2024年2月20日；录用日期：2024年3月21日；发布日期：2024年3月29日
摘要
随着人工智能深度学习的发展，网络模型对于在线签名认证系统(OnlineSignatureVerification,OSV)的性能有了显著的提升。然而，如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此，本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型，用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题，双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外，引入多任务学习，包括有监督学习和深度度量学习，以更好地进行特征学习。最终，本文提出了一种基于多任务学习的训练方法，使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明，所提出的方法能够有效地提高OSV系统的身份验证准确性。
关键词
签名认证，多任务学习，残差通道注意力机制，双向长短期记忆，度量学习
Dual-TaskLearningResidualChannelAttentionMechanismforHandwrittenSignatureVerificationBasedonBidirectionalLSTM
FangjunLuan,YucenChen,ShuaiYuan*
SchoolofComputerScienceandEngineering,ShenyangJianzhuUniversity,ShenyangLiaoning
Received:Feb.20th,2024;accepted:Mar.21st,2024;published:Mar.29th,2024
ABSTRACT
Keywords:SignatureAuthentication,MultitaskingLearning,ResidualChannelAttentionMechanism,Bi-LSTM,MeasurementLearning
ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).
1.引言
在早期，针对OSV的研究主要集中在传统的模式识别技术上。在1974年，Lin和Nemeck等人提出将签名视为二维图像，并通过提取签名的静态特征，运用Hadamard变换进行数据缩减和特征选择，正式开创了离线手写签名验证的研究[1]。
随着深度神经网络技术的进步，OSV技术也得到了应用，研究人员开始考虑采用卷积神经网络来直接学习手写签名图像的特征。在2012年，Khalajzadeh等人尝试应用卷积神经网络提取波斯文签名图像的特征[3]。另外，一些研究者使用胶囊网络代替卷积神经网络进行离线手写签名认证，在低分辨率下取得了更好的性能[4]。还有一些学者使用12种签名特征序列作为自动编码器的输入，建立了独立于用户的在线签名认证模型并实现了高准确率[5]。此外，Rantzsch等人研究了一种三路输入度量学习模型，通过最小化真实签名的距离并最大化真实签名和伪造签名的距离来改进模型准确性[6]。Wei等人则提出了一种四路输入的逆判别网络模型，通过引入注意力机制来聚焦于签名的笔迹，最终实现了较为出色的性能[7]。
虽然深度学习技术的进步有效提高了OSV系统的性能，但是这些基于深度学习的方法都是单任务学习，且由于每个用户提供的签名样本数量有限，这些方法不能很好地学习到签名的判别性特征。为了解决这个问题，本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制手写签名认证(Dual-tasklearningresidualchannelattentionmechanismforhandwrittensignatureverificationbasedonbidirectionalLSTM)。本文的主要贡献如下：
首先，利用残差通道注意力机制模型来学习序列特征的权重和双向LSTM网络，缓解在不同通道间的权重分配问题和深度神经网络中加深层数导致的梯度消失和梯度爆炸问题。其次，引入多任务学习，包括有监督学习和深度度量学习来进行特征学习。最后，本文提出了一种基于多任务学习的训练方法，进一步提高了OSV系统的准确率。
2.方法
2.1.数据集以及预处理
本研究采用公开且可用的SVC-2004-Task2数据集[8]，其中的签名来自WACOMIntuos平板电脑。该数据集包含较少的签名样本，共有40个用户，每个用户拥有20个真实样本和20个熟练的伪造样本。本研究将每个用户的前15个真伪签名样本作为训练集，将每个用户的后5个真伪签名样本作为验证集。首先，根据文献[9]的指导，提取了40多个能够表示签名的全局特征，包括X方向和Y方向速度的最大值、均值，以及X方向和Y方向压力的标准差等。其次，我们选择了签名的横坐标(x)序列、纵坐标(y)序列以及压力(p)序列作为表示签名的序列特征。由于签名的特征受硬件设备在采集过程中的影响，因此在预处理过程中需要进行平滑操作和归一化的操作，以消除这些影响。在本研究中，我们使用了五点三次平滑滤波器对签名进行平滑处理，然后对其进行规范化，将签名的大小缩放到[0,1]的范围内。
2.2.算法总体框架
Figure1.Overallmodelofthealgorithm
2.3.残差通道注意力机制
Figure2.Residualchannelattentionmechanismmode
对于之前学过残差网络的人来说，他们可能已经了解到在处理复杂问题时，过浅的神经网络无法达到理想的性能。为了解决这个问题，增加网络的深度成为了解决图像分类问题的最佳方法。然而，增加网络深度很容易导致过拟合，甚至导致在训练集上的准确率下降。为了克服这个问题，残差网络提出了一种新的网络结构，该结构可以对所有网络进行改进，并且真正有效地增加网络的深度。
残差通道注意力机制是一种引入注意力权重的方法，它能够自适应地调整通道的重要性，以解决传统神经网络中存在的通道间依赖关系和通道内模式差异的问题。这种机制极大地增强了网络的表示能力，同时也具备了自适应性和灵活性，并且能够减少模型的参数数量和计算复杂度。
本研究中我们使用一种基于残差通道注意力机制的模型，通过采用SE模块进行处理。通过这一过程，我们能够自适应地调整通道的重要性，进而更好地捕捉特征之间的依赖关系以及通道内部的模式差异。假设输入的特征维度为H×W×C，特征经过压缩操作，将跨空间维度H×W的特征映射进行聚合，生成一个具有特定维度的全局空间信息。在这个过程中，我们采用sigmoid函数，并嵌入了一个ReLU函数，以限制模型的复杂性并帮助训练。在实现上，我们使用W1来降低维度，使用W2来递增维度。最后，通过通道加权将输出的注意力权重应用于输入特征。并且把处理之后特征加入到残差网络中获得更好的效果。
具体公式如下：
这个研究的贡献在于在残差网络中引入SE模块，通过将其嵌入到网络结构中，实现了对网络深度的有效增加，并且在图像分类任务上取得了显著的性能提升。这一研究为解决复杂问题和利用深度网络进行图像分类提供了一种有效的方法。
2.4.双向长短期记忆网络
Figure3.Bidirectionallongshort-termmemorynetworkmodel
2.5.双任务学习的训练方法
本研究分别构建了两种学习任务的损失函数，即有监督学习任务和深度度量学习任务，并将它们结合起来构建用于训练残差通道注意力机制模型的多任务损失函数。每种损失函数的设计如下：
有监督学习任务：本研究所构建的模型使用交叉熵损失(cross-entropyloss,CEL)函数来进行网络的有监督学习。有监督学习任务的损失函数如下式所示：
多任务学习：在网络的训练过程中，本研究通过将残差通道注意力机制和双向LSTM网络进行特征提取实现了不同类型特征之间的信息互补，为两种网络模型的共同学习建立联系。同时，将上述两个任务的损失函数相结合，构建了双任务残差通道注意力机制网络模型的多任务损失函数。该多任务损失函数如下：
3.实验分析
3.1.超参数寻优
Table1.Hyperparameteroptimizationresultsofmodel
3.2.实验结果分析
Table2.Theuserstatisticalresultsoferrorverification
Table3.Authenticationresultcomparison
Figure4.ROCcurvecomparisonresults
Table4.Comparisonbetweentheproposedmethod
4.结论
本文提出了一种改进的手写签名认证算法，即双向LSTM的双任务学习残差通道注意力机制模型用于在线手写签名的认证。同时，通过结合残差通道注意力机制和双向LSTM网络，我们提高了网络对签名中重要信息的捕获能力，并增强了特征的筛选能力。实验证明，我们提出的双向LSTM的双任务学习残差通道注意力机制模型将错误率降低到了惊人的2.33%，显著提升了签名认证的精度。与以往的研究相比，本研究的方法在性能上展现出了更高的水平，进一步证实了该方法的先进性。这项研究为在线手写签名认证领域带来了重要的进展，具有广泛的应用前景。