基于双向LSTM的双任务学习残差通道注意力机制手写签名认证Dual

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

栾方军,陈昱岑,袁帅*

沈阳建筑大学计算机科学与工程学院,辽宁沈阳

收稿日期:2024年2月20日;录用日期:2024年3月21日;发布日期:2024年3月29日

摘要

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(OnlineSignatureVerification,OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

关键词

签名认证,多任务学习,残差通道注意力机制,双向长短期记忆,度量学习

Dual-TaskLearningResidualChannelAttentionMechanismforHandwrittenSignatureVerificationBasedonBidirectionalLSTM

FangjunLuan,YucenChen,ShuaiYuan*

SchoolofComputerScienceandEngineering,ShenyangJianzhuUniversity,ShenyangLiaoning

Received:Feb.20th,2024;accepted:Mar.21st,2024;published:Mar.29th,2024

ABSTRACT

Keywords:SignatureAuthentication,MultitaskingLearning,ResidualChannelAttentionMechanism,Bi-LSTM,MeasurementLearning

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

在早期,针对OSV的研究主要集中在传统的模式识别技术上。在1974年,Lin和Nemeck等人提出将签名视为二维图像,并通过提取签名的静态特征,运用Hadamard变换进行数据缩减和特征选择,正式开创了离线手写签名验证的研究[1]。

随着深度神经网络技术的进步,OSV技术也得到了应用,研究人员开始考虑采用卷积神经网络来直接学习手写签名图像的特征。在2012年,Khalajzadeh等人尝试应用卷积神经网络提取波斯文签名图像的特征[3]。另外,一些研究者使用胶囊网络代替卷积神经网络进行离线手写签名认证,在低分辨率下取得了更好的性能[4]。还有一些学者使用12种签名特征序列作为自动编码器的输入,建立了独立于用户的在线签名认证模型并实现了高准确率[5]。此外,Rantzsch等人研究了一种三路输入度量学习模型,通过最小化真实签名的距离并最大化真实签名和伪造签名的距离来改进模型准确性[6]。Wei等人则提出了一种四路输入的逆判别网络模型,通过引入注意力机制来聚焦于签名的笔迹,最终实现了较为出色的性能[7]。

虽然深度学习技术的进步有效提高了OSV系统的性能,但是这些基于深度学习的方法都是单任务学习,且由于每个用户提供的签名样本数量有限,这些方法不能很好地学习到签名的判别性特征。为了解决这个问题,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制手写签名认证(Dual-tasklearningresidualchannelattentionmechanismforhandwrittensignatureverificationbasedonbidirectionalLSTM)。本文的主要贡献如下:

首先,利用残差通道注意力机制模型来学习序列特征的权重和双向LSTM网络,缓解在不同通道间的权重分配问题和深度神经网络中加深层数导致的梯度消失和梯度爆炸问题。其次,引入多任务学习,包括有监督学习和深度度量学习来进行特征学习。最后,本文提出了一种基于多任务学习的训练方法,进一步提高了OSV系统的准确率。

2.方法

2.1.数据集以及预处理

本研究采用公开且可用的SVC-2004-Task2数据集[8],其中的签名来自WACOMIntuos平板电脑。该数据集包含较少的签名样本,共有40个用户,每个用户拥有20个真实样本和20个熟练的伪造样本。本研究将每个用户的前15个真伪签名样本作为训练集,将每个用户的后5个真伪签名样本作为验证集。首先,根据文献[9]的指导,提取了40多个能够表示签名的全局特征,包括X方向和Y方向速度的最大值、均值,以及X方向和Y方向压力的标准差等。其次,我们选择了签名的横坐标(x)序列、纵坐标(y)序列以及压力(p)序列作为表示签名的序列特征。由于签名的特征受硬件设备在采集过程中的影响,因此在预处理过程中需要进行平滑操作和归一化的操作,以消除这些影响。在本研究中,我们使用了五点三次平滑滤波器对签名进行平滑处理,然后对其进行规范化,将签名的大小缩放到[0,1]的范围内。

2.2.算法总体框架

Figure1.Overallmodelofthealgorithm

2.3.残差通道注意力机制

Figure2.Residualchannelattentionmechanismmode

对于之前学过残差网络的人来说,他们可能已经了解到在处理复杂问题时,过浅的神经网络无法达到理想的性能。为了解决这个问题,增加网络的深度成为了解决图像分类问题的最佳方法。然而,增加网络深度很容易导致过拟合,甚至导致在训练集上的准确率下降。为了克服这个问题,残差网络提出了一种新的网络结构,该结构可以对所有网络进行改进,并且真正有效地增加网络的深度。

残差通道注意力机制是一种引入注意力权重的方法,它能够自适应地调整通道的重要性,以解决传统神经网络中存在的通道间依赖关系和通道内模式差异的问题。这种机制极大地增强了网络的表示能力,同时也具备了自适应性和灵活性,并且能够减少模型的参数数量和计算复杂度。

本研究中我们使用一种基于残差通道注意力机制的模型,通过采用SE模块进行处理。通过这一过程,我们能够自适应地调整通道的重要性,进而更好地捕捉特征之间的依赖关系以及通道内部的模式差异。假设输入的特征维度为H×W×C,特征经过压缩操作,将跨空间维度H×W的特征映射进行聚合,生成一个具有特定维度的全局空间信息。在这个过程中,我们采用sigmoid函数,并嵌入了一个ReLU函数,以限制模型的复杂性并帮助训练。在实现上,我们使用W1来降低维度,使用W2来递增维度。最后,通过通道加权将输出的注意力权重应用于输入特征。并且把处理之后特征加入到残差网络中获得更好的效果。

具体公式如下:

这个研究的贡献在于在残差网络中引入SE模块,通过将其嵌入到网络结构中,实现了对网络深度的有效增加,并且在图像分类任务上取得了显著的性能提升。这一研究为解决复杂问题和利用深度网络进行图像分类提供了一种有效的方法。

2.4.双向长短期记忆网络

Figure3.Bidirectionallongshort-termmemorynetworkmodel

2.5.双任务学习的训练方法

本研究分别构建了两种学习任务的损失函数,即有监督学习任务和深度度量学习任务,并将它们结合起来构建用于训练残差通道注意力机制模型的多任务损失函数。每种损失函数的设计如下:

有监督学习任务:本研究所构建的模型使用交叉熵损失(cross-entropyloss,CEL)函数来进行网络的有监督学习。有监督学习任务的损失函数如下式所示:

多任务学习:在网络的训练过程中,本研究通过将残差通道注意力机制和双向LSTM网络进行特征提取实现了不同类型特征之间的信息互补,为两种网络模型的共同学习建立联系。同时,将上述两个任务的损失函数相结合,构建了双任务残差通道注意力机制网络模型的多任务损失函数。该多任务损失函数如下:

3.实验分析

3.1.超参数寻优

Table1.Hyperparameteroptimizationresultsofmodel

3.2.实验结果分析

Table2.Theuserstatisticalresultsoferrorverification

Table3.Authenticationresultcomparison

Figure4.ROCcurvecomparisonresults

Table4.Comparisonbetweentheproposedmethod

4.结论

本文提出了一种改进的手写签名认证算法,即双向LSTM的双任务学习残差通道注意力机制模型用于在线手写签名的认证。同时,通过结合残差通道注意力机制和双向LSTM网络,我们提高了网络对签名中重要信息的捕获能力,并增强了特征的筛选能力。实验证明,我们提出的双向LSTM的双任务学习残差通道注意力机制模型将错误率降低到了惊人的2.33%,显著提升了签名认证的精度。与以往的研究相比,本研究的方法在性能上展现出了更高的水平,进一步证实了该方法的先进性。这项研究为在线手写签名认证领域带来了重要的进展,具有广泛的应用前景。

THE END
1.有关循环神经网络的详细内容- 循环神经网络是一类用于处理序列数据的神经网络。与传统的前馈神经网络不同,RNN具有循环连接,能够对序列中的历史信息进行记忆和利用。它的神经元不仅接收当前输入,还接收来自上一时刻的隐藏状态作为输入,这种结构使得它在处理具有时间序列或序列依赖关系的数据时非常有效。 https://blog.csdn.net/m0_63243562/article/details/144358010
2.机器学习——神经网络与深度学习:从基础到应用神经网络是一类仿生算法,通过连接不同的节点(即神经元),实现信息的传递和处理。每个神经元都能接收多个输入信号,经过加权求和后通过激活函数产生输出。神经网络最早于20世纪40年代提出,但直到深度学习技术兴起,才得以广泛应用。https://cloud.tencent.com/developer/article/2456527
3.科学网—[转载]群视角下的多智能体强化学习方法综述该类问题的研究是为了帮助智能体之间达成合作交流或竞争的目的,在自主学习的基础上,增加可交流模块,学习何时交流、如何交流等。此部分工作通常考虑部分可观环境中的一组协作智能体,其中智能体需要通过信息交互来最大化它们的联合回报。Foerster等人[22]提出了RIAL和DIAL算法,两种方法都是利用神经网络拟合值函数以及智能体https://blog.sciencenet.cn/home.php?mod=space&uid=3472670&do=blog&id=1422698
4.2020届计算机科学方向毕业设计(论文)阶段性汇报本次汇报将主要更新建图算法设计,深度学习模型设计方案、以及在两个关系抽取数据集上的初步实验进展;在训练调优方向,稳定整体训练过程并减少数据分布不平衡带来的影响,提升模型整体表现;继续探索针对知识图谱子图的图神经网络更新策略,利用好关系类型在三元组表征方式中的信息,高效挖掘高阶的结构化关系知识。 https://zhiyuan.sjtu.edu.cn/html/zhiyuan/announcement_view.php?id=3709
5.强化学习笔记(1.0)【3】另一种分类方式,在线学习和离线学习 在线学习:本人在场,本人边玩边学习(on-policy)比如:Sarsa 离线学习:本人可以不在场,本人或者其他人玩,不必边玩边学习(off-policy) Sarsa--在线学习 Q learning,Deep-Q-Network--离线学习 3.为什么要用强化学习 强化学习(Reinforcement Learning)是一个机器学习大家族的分https://www.ctyun.cn/zhishi/p-419744
6.融合用户属性信息的冷启动推荐算法AET在离线训练时,首先使用用户的历史评分数据做矩阵分解,分析用户和商品的潜在语义,可以视作用户的潜在兴趣和商品的潜在用途。然后使用用户的属性数据(如性别、年龄、城市等)和上述提取的用户潜在兴趣训练神经网络。 在线给出推荐预测时,使用上文训练好的神经网络,将目标用户的属性数据映射到用户的潜在兴趣向量(predicted prhttp://www.chinaaet.com/article/3000073409
7.强化学习在线(Online): 智能体在与环境交互的过程中学习。 4. 强化学习的常用算法 Q-learning: 一种无模型、基于价值的算法,使用 Q 函数来估计状态-动作对的价值。 SARSA: 与 Q-learning 类似,但使用当前策略进行学习。 Deep Q-learning: 将 Q-learning 与深度神经网络结合,能够处理高维状态空间。 https://www.jianshu.com/p/d7e03db8d9aa
8.ICLR2022微软亚洲研究院深度学习领域最新研究成果一览在进入下一层前,研究员们会减去本层中产生的周期分量和回看分量,从而鼓励后续的神经网络层聚焦于尚未展开的周期性依赖。按照这样的模式堆叠 N 层就构成了实验涵盖了在线以及离线强化学习的不同情况,均验证了 VLOG 的良好表现。 此外,研究员们还开源了文中使用的麻将强化学习环境和对应的离线强化学习数据集,来https://www.msra.cn/zh-cn/news/features/iclr-2022
9.SLAM算法解析:抓住视觉SLAM难点,了解技术发展大趋势上一届国际计算机视觉大会ICCV,成为了深度学习技术的主场,但在我们宣布卷积神经网络的全面胜利之前,让我们先看看计算机视觉的,非学习几何方面的进展如何。同步定位与地图构建可以说是机器人学领域最重要的算法之一,在计算机视觉和机器人研究社区完成了一些开创性的工作。本文将总结来自 ICCV 实时 SLAM 的未来研讨会的要点https://auto.vogel.com.cn/c/2021-09-28/1135866.shtml