综述推荐|基于骨架的人体动作识别技术研究进展
刘宝龙1,2),周森3),董建锋1)*,谢满德3),周胜利2,4),郑天一1),张三元5),叶修梓6),王勋1)
1)(浙江工商大学计算机科学与技术学院杭州310018)2)(基于大数据架构的公安信息化应用公安部重点实验室杭州310053)3)(浙江工商大学信息与电子工程学院杭州310018)4)(浙江警察学院计算机与信息安全系杭州310053)5)(浙江大学计算机科学与技术学院杭州310013)6)(温州大学大数据与信息技术研究院温州325035)
引用本文:刘宝龙,周森,董建锋,谢满德,周胜利,郑天一,张三元,叶修梓,王勋.基于骨架的人体动作识别技术研究进展[J].计算机辅助设计与图形学学报,2023,35(9):1299-1322.DOI:10.3724/SP.J.1089.2023.19640
Citation:LiuBaolong,ZhouSen,DongJianfeng,XieMande,ZhouShengli,ZhengTianyi,ZhangSanyuan,YeXiuzi,WangXun.ResearchProgressinSkeleton-BasedHumanActionRecognition[J].JournalofComputer-AidedDesign&ComputerGraphics,2023,35(9):1299-1322.DOI:10.3724/SP.J.1089.2023.19640
基于骨架的动作识别算法首先通过人体姿态估计算法提取视频片段中的骨架表征,然后将获取到的骨架表征输入到深度神经网络中进行特征学习和提取,最后基于提取到的动作特征得到动作的类别信息。
从算法的训练方式角度看,基于骨架的动作识别算法可以归类为基于监督学习的骨架动作识别算法、基于半监督学习的骨架动作识别算法和基于无监督学习的骨架动作识别算法3大类。本文聚焦基于深度学习的骨架人体动作识别技术领域,旨在对该领域发展现状、面临挑战和未来发展方向进行总结与探讨.如图所示为主流监督学习算法的年历表概览,以及主流半监督学习和无监督学习算法的年历表概览。
本文归纳总结了15个包含骨架数据模态的公开数据集,同时对其中使用较为广泛的数据集进行回顾。
按照应用的深度神经网络类型的不同,本文将基于监督学习的骨架动作识别算法按照基于RNN的骨架动作识别算法、基于CNN的骨架动作识别算法、基于GCN的骨架动作识别算法和基于Transformer的骨架动作识别算法4大类进行介绍。3.1基于RNN的骨架动作识别算法
本文将基于RNN的骨架动作识别算法分为5个方面:
3.2基于CNN的骨架动作识别算法
本文将基于CNN的骨架动作识别算法分为2个方面
3.3基于GCN的骨架动作识别算法
3.4基于Transformer的骨架动作识别算法
本文将基于无监督学习的骨架动作识别算法分为2个方面：
(1)大规模骨架数据集数量较少,数据质量需要进一步提高。
(2)模型面向实际应用时鲁棒性不足。
(3)过度依赖大数据、大模型。
(1)高精度骨架数据集建设。
(2)细粒度骨架动作识别算法及数据集。
(3)数据有效学习的骨架动作识别。
刘宝龙(1990—),男,博士,讲师,主要研究方向为计算机视觉、动作识别；
周森(1997—),男,硕士研究生,主要研究方向为动作识别；
董建锋(1991—),男,博士,研究员,硕士生导师,论文通信作者,主要研究方向为多媒体理解、计算机视觉；
谢满德(1977—),男,博士,教授,硕士生导师,主要研究方向为边缘计算、网络安全；
周胜利(1982—),男,博士,高级工程师,硕士生导师,主要研究方向为网络空间安全；
郑天一(1998—),男,硕士研究生,主要研究方向为动作识别；
张三元(1963—),男,博士,教授,博士生导师,主要研究方向为数字媒体、图像处理；
叶修梓(1966—),男,博士,教授,“长江学者奖励计划”特聘教授,主要研究方向为计算机图形学；
王勋(1967—),男,博士,教授,博士生导师,主要研究方向为移动图形计算、计算机视觉。