基于FaceNet的智能自习室的设计与实现*

*基金项目:郑州工商学院科研创新项目,项目编号:2022-KYDXS-10

1系统总体设计

研究生扩招,在考研热潮之下宽敞明亮、学习氛围浓郁的公共自习室无疑是考研族学习的最佳场所。引入公共自习室座位座位预约及管理系统,希望实现座位共享,提高座位的利用率,缓解座位紧张的问题。本系统共包含了四大功能模块,如图1所示:

图1公共自习室管理系统框架

4)物联网模块:实现智能化管理的硬件实施模块,根据后端服务模块传递的控制信号,分别控制自习室门口的出入闸机和放置在自习室座位上的物联网LED小灯。

3后端服务设计与实现

4人脸识别模块的设计实现

4.1RetinaFace网络

RetinaFace是一种用于人脸检测和人脸识别的深度学习网络模型,由中国科学院自动化研究所的陈泽民等人在2019年提出。它采用了一种新颖的多任务损失函数,可以同时预测人脸的边界框、人脸关键点、人脸的姿态和人脸的人种信息,具有较高的检测精度和速度。

RetinaFace模型的基本思路是通过将人脸检测问题转化为一个回归问题,预测每个人脸的边界框、关键点、姿态和人种信息。模型主要由两部分组成:特征提取网络和人脸检测头。

特征提取网络采用了ResNet-50作为骨干网络,通过提取特征图来表征不同尺度的特征。检测头采用了一种类似于RetinaNet的方法,对于不同尺度的特征图,使用多个分支来预测不同大小的人脸边界框和关键点。此外,检测头还使用了一种人种分类分支,可以用于预测人脸的人种信息。

图4FaceNet网络结构

本文使用MobileNet作为FaceNet网络的主干特征提取网络,MobileNet网络是专注于移动端或者嵌入式设备中的轻量级CNN,相比于传统卷积神经网络,在准确率小幅度降低的前提下大大减少模型参数与运算量。

图片batch经过深度卷积之后会得到一组人脸数据。将得到的数据采用L2归一化得到128维人脸的特征矩阵。然后针对图片的128位特征矩阵,采用计算欧氏空间距离的方法进行人脸相似度的判断。两组向量的欧式距离越小说明两图相似度越高,反之则相似度越低[2]。设图像A的特征向量集为a(a11,a12,a13...a1n),图像B的特征向量集为b(b11,b12,b13...b1n),则计算两图的欧式空间距离的公式如下:

然后通过控制对人脸特征向量之间的欧氏空间距离的阈值,就可以实现对人脸图像的区分。

图5人脸处理流程

4.3人脸识别流程

1)静态人脸图像采集,在用户注册该系统时,小程序会调用移动设备的摄像头或者相册功能,要求用户提供一张正面的人脸照片。

2)人脸图像提取,利用RetinaFace网络进行边框回归检测来确定人脸的区域,并将框选人脸图像信息录入本地图库。

3)人脸特征提取,基于本地人脸图库运用FaceNet网络进行人脸特征的向量提取,经过深度学习网络会提取到的128维特征向量矩阵。

4)存储人脸特征,将人脸图像提取的128位的特征向量存入到数据库。

5)动态图像采集,通过摄像头终端每间隔3秒钟采集时长为一秒的短视频20f/s,并从中平均抽样5祯的图像作为识别图片。

6)提取人脸特征提取,重复上述(2~3)步的操作,提取出5张动态图像的特征向量。并进行均值计算,得出1个特征向量矩阵。

7)载入本地人脸库,将数据表中存放的静态人脸特征矩阵以numpy模块格式进行载入,而人脸信息则封装入JSON字符串。

8)欧式距离计算,将步骤(6)中得出的特征向量于载入的本地特征矩阵库中的特征向量运用式(1)计算欧式距离d。

9)识别结果输出,如果欧式距离d大于预订设置的阀值则认定为匹配失败则是输出Unknown,反之d小于阀值则匹配成功输出本地库中的用户标签信息。

4.4模型训练

LFW数据集主要应用对人脸识别的准确度的测试上,并采用迁移学习的方式对该数据集进行训练[4]。从数据集中随机选择5000对由人脸组成的人脸图片识别对,其中2500对的两张人脸图片来自于同一个人,另2500对的两张人脸图片来自于不同的人。测试过程中LFW随机给出1对照片,询问被测系统两张照片是否属于同一个人,系统正确或错误两种答案。将这5000对人脸测试的系统答案与真实答案的比值就是人脸识别准确率。

4.5阈值测算

真正例率tpr表示测试结果中通过预测正确的次数占所有匹配结果为真的比值。tp表示模型中匹配结果为真且预测也正确的次数,fn为预测错误但匹配结果正确。表示模型其计算公式如下:

假正例率表述预测结果错误次数占所有匹配结果为真的比例,记作fpr。其计算公式如下:

(3)式中,fp表示模型预测为真但匹配答案错误,tn表示预测为错匹配结果为假的次数[2]。那么,经过对数据模型的训练去寻求一个阈值使得tpr尽可能高,fpr尽可能低。本文在阈值区间[0,1]步长为0.01中寻求最佳阈值,每一次阈值迭代出来的fpr、tpr都记录下来,画成一个二维平面图。以fpr为横坐标、tpr为纵坐标的二维平面图中,最佳阈值应该位于最接近左上角的一点,那么可以求左上角的(0,1)点与Roc曲线的直线最短距离来确定最佳阈值。

5结果分析

将测试集进行分组输入给模型进行测试。验证结果如下:

测试集的准确率分组测试结果显示较接近训练的准确率,准确率约为89%,且实际部署使用的过程中会多次验证。因此实际部署使用过程中产生的误差可忽略不计。

6结束语

本文通过引入智能自习室系统。以解决传统自习室问题,加入FaceNet网络在中低性能的机器部署时仍有20帧左右的速度。故有望在实际部署中以低成本解决实际问题。

参考文献:

[1]刘秀丽,陈锐.基于深度学习的人脸识别技术及其应用场景探讨[J].黑龙江科学,2021,12(22):12-13.

[2]李志华,张见雨,魏忠诚.基于MTCNN和Facenet的人脸识别系统设计[J].现代电子技术,2022,45(4):139-143.

[3]张绿云,马海荣,岑凯.威基于FaceNet的人脸识别研究与实现[J].信息与电脑,2022,10(10):134-136

[4]董涛,秦勤.基于鲁棒最大单纯形体积的高光谱图像快速端元提取[J].电子测量技术,2021,5(44):121-127.

[5]FLORIANS,DMITRYK,JAMESP.Facenet:aunifiedembeddingforfacerecognitionandclustering[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.Boston:IEEE,2015:815-823.

THE END
1.在线绘制房间平面图的软件与技巧【导读】本文介绍了适合在线绘制房间平面图的软件,如酷家乐等,还包括软件学习资源、设计师与业主沟通难题及解决方案、快速出图的渲染软件、室内设计师自学方法等内容。 哪些软件适合在线绘制房间平面图? 1.酷家乐: 推荐指数:★★★ 方案数量:拥有 3000 万+设计方案,并每天持续新增中 售后服务https://b.kujiale.com/article-detail/3FO4K4WQ255G
2.手机平面图软件免费下载平面图设计软件下载手机版这里是由小编打造的平面图软件下载手机版专区能够为广大用户带来各种好用的便捷的平面图效果图软件随时都可以使用,美家量房最新版、创客贴作图神器app官方版等软件都超级好用,可以帮助用户更好的去制作平面图,同时也有为工作人员打造房屋设计图纸平面图app可以为顾客更好的呈现的各种平面图轻松,带来各种平面图进行展示,https://www.llshg.com/heji/pltrj/
3.AppStore上的“神奇的平面图设计”创建者使用该应用程序,通过在线或离线的神奇计划,为您的房间创建家庭平面图和室内设计。 神奇的平面图 |设计师可以在没有有效订阅的情况下使用,室内设计目录有限,并且无法定制家具。可以通过每月订阅 2.99 美元或每年订阅 24.99 美元来启用高级功能(价格因地区而异) https://itunes.apple.com/cn/app/id1045117641
4.程序员作图工具和技巧,你get了么?通过图的形式,可以更好地展示系统、更清晰地表达自己的思路,便于理解;还能锻炼自己的画功,真是一举多得的事。 今天就分享下我常用的画图软件和一点小技巧。 常用图 我平时画的比较多的是流程图、交互图和架构图,一般使用Draw.io这款免费的在线网页绘图工具就可以搞定了。 https://xie.infoq.cn/article/9da8fc6e9090c946ab746e158
5.前端绘制室内平面图极客之音使用echarts生成平面图(参考echarts示例) 小程序web-view访问H5界面 三、实现过程 用ps按照给的底图描绘路径,并保存导出为svg(注意!!是绘制路径,别的可不行,复杂图案可用钢笔工具。画出image无法在echarts上显示。不会ps的前端不是好程序员) <defs> https://www.bmabk.com/index.php/post/45023.html
6.建筑平面图应按照画轴线,(),画门窗洞等顺序绘制A.画楼梯B建筑平面图应按照画轴线,( ),画门、窗洞等顺序绘制 A. 画楼梯 B. 画墙身 C. 画尺寸线 D. 画剖切符号 点击查看答案进入小程序搜题 你可能喜欢 加工原理误差是指采用了近似的成形运动或近似的切削刃轮廓进行加工而产生的误差,以下( )等属于加工原理误差。 A、采用齿数17的齿形铣刀加工齿数为17~20https://m.ppkao.com/wangke/daan/cc14dd5a1f7c47149abbc7d42da245f9
7.目前比较完整的格栅施工图设计方法⑥泵基础要标螺栓孔的平面定位尺寸和大小、剖面标地脚螺栓孔孔底标高、底板标高和基础顶面标高,注明二次浇注位置。 ⑦起吊设备的滑轨要加粗显著表示。 ⑧如有提篮格栅,则预埋钢板和槽钢的焊接预埋图应表示出来,有两种预埋方式,如图4-5所示。 方案B的做法会导致渠道和过流洞宽度变小,人工格栅宽度至少应比渠宽小15https://www.hbzhan.com/tech_news/detail/556860.html
8.7款常用的平面图设计软件,无需设计基础!可以运用于移动端平面设计软件,还可用于网页版、微信小程序、桌面版 7. 黄油相机 这款平面图设计软件为用户节省设计排版方面的精力。黄油相机提供了大量的模板资源,包括美食、节日、宝宝等多种主题。会员还会拥有自动识别图片的服务,节省模板的选择时间。 https://pixso.cn/designskills/7-commonly-used-graphic-design-softwares/
9.楼梯平面图怎么画cda画楼梯平面图教程利用计算机及其图形设备帮助设计人员进行设计工作。简称CAD。 在工程和产品设计中,计算机可以帮助设计人员担负计算、信息存储和制图等项工作。今天来教大家在cad画楼梯平面图,感兴趣下面一起来了解一下吧! 步骤阅读 方法/步骤 共1图 1 利用计算机及其图形设备帮助设计人员进行设计工作。简称CAD。 在工程和产品设计中,计https://m.yxlady.com/jingyan/1343182.shtml
10.自己画房子用什么软件?自己画房子平面图app大家日常需要绘画房屋平面图需要频繁的在电脑上进行绘制,这样的方式非常拖延时间,今天小编就给大家专门整理一期自己画房子平面图app,能提高大家的绘制效率,并且还能简单标注,轻松制作完整且准确的房屋平面图,并且不同的绘画工具还可以满足用户的绘画需求,有需要的小伙伴可以来小编这里一起下载体验一下! http://www.downcc.com/k/zjhfzpmtapp/
11.国内主要AI绘画工具大盘点使用地址:笔魂AI绘画-免费在线AI画图设计工具软件 2. 即梦AI 即梦AI是字节跳动旗下的产品,它通过简单的中文词汇输入,能够生成高质量的图片。这一工具以程序员X小发表于AI绘画 【AI绘画神器】探索Stable Diffusion、Midjourney与DALL-E 3:让创意无限飞扬! 甜橙AI商业 【送书活动】AI绘画神器工具推荐 Mhttps://zhuanlan.zhihu.com/p/12439618000
12.简述绘制建筑总平面图的方法和步骤。题目标签:平面图建筑如何将EXCEL生成题库手机刷题 如何制作自己的在线小题库 > 手机使用 分享 反馈 收藏 举报 参考答案: 绘制定位辅助线绘制外围道路绘制大门及绿化带绘制停车位绘制已有建筑及新建建筑绘制指北针、文字及标注等 复制 纠错举一反三 集合资产管理计划成立应当具备下列哪些条件?() A. 募集过程符合法律https://www.shuashuati.com/ti/83814b821ab64701b0582c780e80580e.html
13.电脑画平面图软件哪个好?这三款软件十分不错!电脑画平面图软件的作用主要是帮助用户绘制各种平面图形,如线条、矩形、圆形、椭圆形、多边形等图形构件,并在它们之间进行组合、旋转、缩放等操作,从而最终得到满意的图形。此外,平面绘图软件还可以用于图像编辑、修复、合成和设计,具有创建和编辑矢量图形、绘制曲线、应用颜色和渐变、创建文字效果等功能。因此,使用电脑画https://cloud.tencent.com/developer/news/1276426
14.公立医疗机构小程序验收标准介绍小程序为了保障开发者提供的公立医疗机构小程序上线后稳定运行,平台侧以人工审核的方式对提审小程序进行验收。为了能够缩短审核流程,加快小程序上线速度,可以参考相关提审标准进行开发者自查。? 二、提审要求? 为保证顺利进入审核阶段,提审时需要注意如下要求:? 1. 提审时明确要分发的宿主https://developer.open-douyin.com/docs/resource/zh-CN/mini-app/open-capacity/Industry/medical-treatment/gongliyiliaojigouxiaochengxuyanshoubiaozhunjieshao
15.久宏实业广东有限公司地址(2024已更新微信/小程序)概念画板是一个让我们可以尽情思考、计划和创作的灵活空间。在无限大的画布上使用倾斜 + 压感记笔记和涂鸦、绘制故事板、产品草图和设计平面图,然后分享给朋友、客户和其他APP。 概念画板用户来自各行各业,其中有来自Disney、Playstation、飞利浦、惠普、Apple、Google、Unity和照明娱乐等公司的设计师,他们使用概念画板https://www.gfan.com/gftcp5qyuimu/423H277.html
16.VR全景合成全景合成全景制作软件平面图如何结合全景图 全景平面图近日上线,可应用于大场景、精细化汇报方案等场景。了解如何结合平面图和2:1全景图,提升作品的多维度呈现。 微官网是什么? 全景微官网是一款集作品展示、营销、在线签单为一体的移动场景应用功能。通过生成二维码,可以应用于多种营销场景,助力您的作品更好地传播。 https://www.baobaocun.com/thread-184827-1-1.html
17.2024北京首都机场巴士攻略(时刻表和路线图+票价+购票方式及流程+只需微信搜索“机场巴士官方平台”关注后点击“购票”即可在线购买机场巴士车票。目前小程序上总共可购买首都机场和大兴机场共计21条市区线路。 具体首都机场巴士微信购票流程如下: 第1步:微信搜索“机场巴士官方平台”公众号并关注,点击如下图所示区域即可进行关注;第https://www.extrabux.cn/chs/guide/8266614
18.期待设计多样化!2024年TINTA金邸奖征件开跑,2月16日前享早鸟优惠15. 陈设装饰:泛指陈设装饰为主的居住空间、或商业空间 (平面图非必填) 16. 创新空间:参赛作品不同于上述参赛类别,泛指新的营业型态、新的文化议题、新的数字科技、新的美学表现形式等创新概念空间场域,设计理念须说明其创新思维的独特之处。 17. 永续空间:参赛作品须涵盖永续性的创新相关应用,作品须提出「环境永https://www.jia360.com/new/239597.html