*基金项目:郑州工商学院科研创新项目,项目编号:2022-KYDXS-10
1系统总体设计
研究生扩招,在考研热潮之下宽敞明亮、学习氛围浓郁的公共自习室无疑是考研族学习的最佳场所。引入公共自习室座位座位预约及管理系统,希望实现座位共享,提高座位的利用率,缓解座位紧张的问题。本系统共包含了四大功能模块,如图1所示:
图1公共自习室管理系统框架
4)物联网模块:实现智能化管理的硬件实施模块,根据后端服务模块传递的控制信号,分别控制自习室门口的出入闸机和放置在自习室座位上的物联网LED小灯。
3后端服务设计与实现
4人脸识别模块的设计实现
4.1RetinaFace网络
RetinaFace是一种用于人脸检测和人脸识别的深度学习网络模型,由中国科学院自动化研究所的陈泽民等人在2019年提出。它采用了一种新颖的多任务损失函数,可以同时预测人脸的边界框、人脸关键点、人脸的姿态和人脸的人种信息,具有较高的检测精度和速度。
RetinaFace模型的基本思路是通过将人脸检测问题转化为一个回归问题,预测每个人脸的边界框、关键点、姿态和人种信息。模型主要由两部分组成:特征提取网络和人脸检测头。
特征提取网络采用了ResNet-50作为骨干网络,通过提取特征图来表征不同尺度的特征。检测头采用了一种类似于RetinaNet的方法,对于不同尺度的特征图,使用多个分支来预测不同大小的人脸边界框和关键点。此外,检测头还使用了一种人种分类分支,可以用于预测人脸的人种信息。
图4FaceNet网络结构
本文使用MobileNet作为FaceNet网络的主干特征提取网络,MobileNet网络是专注于移动端或者嵌入式设备中的轻量级CNN,相比于传统卷积神经网络,在准确率小幅度降低的前提下大大减少模型参数与运算量。
图片batch经过深度卷积之后会得到一组人脸数据。将得到的数据采用L2归一化得到128维人脸的特征矩阵。然后针对图片的128位特征矩阵,采用计算欧氏空间距离的方法进行人脸相似度的判断。两组向量的欧式距离越小说明两图相似度越高,反之则相似度越低[2]。设图像A的特征向量集为a(a11,a12,a13...a1n),图像B的特征向量集为b(b11,b12,b13...b1n),则计算两图的欧式空间距离的公式如下:
然后通过控制对人脸特征向量之间的欧氏空间距离的阈值,就可以实现对人脸图像的区分。
图5人脸处理流程
4.3人脸识别流程
1)静态人脸图像采集,在用户注册该系统时,小程序会调用移动设备的摄像头或者相册功能,要求用户提供一张正面的人脸照片。
2)人脸图像提取,利用RetinaFace网络进行边框回归检测来确定人脸的区域,并将框选人脸图像信息录入本地图库。
3)人脸特征提取,基于本地人脸图库运用FaceNet网络进行人脸特征的向量提取,经过深度学习网络会提取到的128维特征向量矩阵。
4)存储人脸特征,将人脸图像提取的128位的特征向量存入到数据库。
5)动态图像采集,通过摄像头终端每间隔3秒钟采集时长为一秒的短视频20f/s,并从中平均抽样5祯的图像作为识别图片。
6)提取人脸特征提取,重复上述(2~3)步的操作,提取出5张动态图像的特征向量。并进行均值计算,得出1个特征向量矩阵。
7)载入本地人脸库,将数据表中存放的静态人脸特征矩阵以numpy模块格式进行载入,而人脸信息则封装入JSON字符串。
8)欧式距离计算,将步骤(6)中得出的特征向量于载入的本地特征矩阵库中的特征向量运用式(1)计算欧式距离d。
9)识别结果输出,如果欧式距离d大于预订设置的阀值则认定为匹配失败则是输出Unknown,反之d小于阀值则匹配成功输出本地库中的用户标签信息。
4.4模型训练
LFW数据集主要应用对人脸识别的准确度的测试上,并采用迁移学习的方式对该数据集进行训练[4]。从数据集中随机选择5000对由人脸组成的人脸图片识别对,其中2500对的两张人脸图片来自于同一个人,另2500对的两张人脸图片来自于不同的人。测试过程中LFW随机给出1对照片,询问被测系统两张照片是否属于同一个人,系统正确或错误两种答案。将这5000对人脸测试的系统答案与真实答案的比值就是人脸识别准确率。
4.5阈值测算
真正例率tpr表示测试结果中通过预测正确的次数占所有匹配结果为真的比值。tp表示模型中匹配结果为真且预测也正确的次数,fn为预测错误但匹配结果正确。表示模型其计算公式如下:
假正例率表述预测结果错误次数占所有匹配结果为真的比例,记作fpr。其计算公式如下:
(3)式中,fp表示模型预测为真但匹配答案错误,tn表示预测为错匹配结果为假的次数[2]。那么,经过对数据模型的训练去寻求一个阈值使得tpr尽可能高,fpr尽可能低。本文在阈值区间[0,1]步长为0.01中寻求最佳阈值,每一次阈值迭代出来的fpr、tpr都记录下来,画成一个二维平面图。以fpr为横坐标、tpr为纵坐标的二维平面图中,最佳阈值应该位于最接近左上角的一点,那么可以求左上角的(0,1)点与Roc曲线的直线最短距离来确定最佳阈值。
5结果分析
将测试集进行分组输入给模型进行测试。验证结果如下:
测试集的准确率分组测试结果显示较接近训练的准确率,准确率约为89%,且实际部署使用的过程中会多次验证。因此实际部署使用过程中产生的误差可忽略不计。
6结束语
本文通过引入智能自习室系统。以解决传统自习室问题,加入FaceNet网络在中低性能的机器部署时仍有20帧左右的速度。故有望在实际部署中以低成本解决实际问题。
参考文献:
[1]刘秀丽,陈锐.基于深度学习的人脸识别技术及其应用场景探讨[J].黑龙江科学,2021,12(22):12-13.
[2]李志华,张见雨,魏忠诚.基于MTCNN和Facenet的人脸识别系统设计[J].现代电子技术,2022,45(4):139-143.
[3]张绿云,马海荣,岑凯.威基于FaceNet的人脸识别研究与实现[J].信息与电脑,2022,10(10):134-136
[4]董涛,秦勤.基于鲁棒最大单纯形体积的高光谱图像快速端元提取[J].电子测量技术,2021,5(44):121-127.
[5]FLORIANS,DMITRYK,JAMESP.Facenet:aunifiedembeddingforfacerecognitionandclustering[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.Boston:IEEE,2015:815-823.