详解超逼真动作背后的技术——动作捕捉

电影《魔戒》里的咕噜姆、《泰迪熊》里的毛绒熊、《阿凡达》里的部落公主……电影里那些经典虚拟形象生动的表演总能深深打动观众,而它们被赋予生命的背后都源于一项重要的科技技术——动作捕捉。

动作捕捉(Motioncapture),简称动捕(Mocap),是指记录并处理人或其他物体动作的技术。多个摄影机捕捉真实演员的动作后,将这些动作还原并渲染至相应的虚拟形象身上。这个过程的技术运用即动作捕捉,英文表述为MotionCapture。

动作捕捉技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器,由Motioncapture系统捕捉跟踪器位置,再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后,可以应用在动画制作,步态分析,生物力学,人机工程等领域。

动作捕捉技术的背景

动作捕捉的起源普遍被认为是费舍尔(Fleischer)在1915年发明的影像描摹(rotoscope)。这是一个在动画片制作中产生出的一种技术。艺术家通过精细的描绘播放给他们的真人录影片段当中的每一帧静态画面来模拟出动画人物在虚拟世界中的具备真实感的表演。

这个过程本身是枯燥乏味的。但是对于这些动画师来说,幸运且具有纪念意义的是,1983年麻省理工学院(MIT)研发出了一套图形牵线木偶。

这套系统使用了早期的光学动作捕捉系统,叫做“Op-Eye”,它依赖于一系列的发光二极管,通过制定动作,来生成动画脚本(Sturman,1999)。本质上,这个牵线木偶充当了第一套“动作捕捉服装”。它自带非常有限数量的感应球,这些球能粗略的定位人体结构的关键骨骼点的位置。

这套技术的产生,迅速的奠定了动作捕捉在之后迅速发展的基础,为后续各种动作捕捉提供了追寻的方向,也引领了之后动作捕捉技术的风潮,包括今天的动作捕捉技术在内。

动作捕捉技术基本原理

动作捕捉系统是指用来实现动作捕捉的专业技术设备。不同的动作捕捉系统依照的原理不同,系统组成也不尽相同。

总体来讲,动作捕捉系统通常由硬件和软件两大部分构成。硬件一般包含信号发射与接收传感器、信号传输设备以及数据处理设备等;软件一般包含系统设置、空间定位定标、运动捕捉以及数据处理等功能模块。

信号发射传感器通常位于运动物体的关键部位,例如人体的关节处,持续发出的信号由定位传感器接收后,通过传输设备进入数据处理工作站,在软件中进行运动解算得到连贯的三维运动数据,包括运动目标的三维空间坐标、人体关节的6自由度运动参数等,并生成三维骨骼动作数据,可用于驱动骨骼动画,这就是动作捕捉系统普遍的工作流程。

运动捕捉技术组成

传感器

所谓传感器是固定在运动物体特定部位的跟踪装置,它将向motioncapture系统提供运动物体运动的位置信息,一般会随着捕捉的细致程度确定跟踪器的数目。

信号捕捉设备

这种设备会因motioncapture系统的类型不同而有所区别,它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板,对于光学motioncapture系统则是高分辨率红外摄像机。

数据传输设备

motioncapture系统,特别是需要实时效果的motioncapture系统需要将大量的运动数据从信号捕捉设备快速准确地传输到计算机系统进行处理,而数据传输设备就是用来完成此项工作的。

数据处理设备

经过motioncapture系统捕捉到的数据需要修正、处理后还要有三维模型向结合才能完成计算机动画制作的工作,这就需要我们应用数据处理软件或硬件来完成此项工作。软件也好硬件也罢它们都是借助计算机对数据高速的运算能力来完成数据的处理,使三维模型真正、自然地运动起来。剧中汤姆汉克斯穿着一套布满150个感应器的黑色紧身衣,这样电脑就能把他的眼睑、嘴唇、眉毛、乃至每个身体的表情和动作捕捉到。

动作捕捉技术的种类

动作捕捉系统种类较多,一般地按照技术原理可分为:机械式、声学式、电磁式、惯性传感器式、光学式等五大类,其中光学式根据目标特征类型不同又可分为标记点式光学和无标记点式光学两类。近期市场上出现所谓的热能式动作捕捉系统,本质上属于无标记点式光学动作捕捉范畴,只是光学成像传感器主要工作在近红外或红外波段。

机械式

机械式动作捕捉系统依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成,在可转动的关节中装有角度传感器,可以测得关节转动角度的变化情况。装置运动时,根据角度传感器所测得的角度变化和连杆的长度,可以得出杆件末端点在空间中的位置和运动轨迹。X-1st是这类产品的代表,其优点是成本低,精度高,采样频率高,但最大的缺点是动作表演不方便,连杆式结构和传感器线缆对表演者动作约束和限制很大,特别是连贯的运动受到阻碍,难以实现真实的动态还原。

声学式

电磁式

电磁式动作捕捉系统一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场;接收传感器安置在表演者身体的关键位置,随着表演者的动作在电磁场中运动,接收传感器将接收到的信号通过电缆或无线方式传送给处理单元,根据这些信号可以解算出每个传感器的空间位置和方向。Polhemus和Ascension公司是这类产品生产商的代表,其最大特点是使用简单、鲁棒性和实时性好,缺点是对金属物体敏感,金属物引起的电磁场畸变对精度影响大,采样率较低,不利于快速动作的捕捉,线缆式的传感器连接同样对动作表演形成束缚和障碍,不利于复杂动作的表演。

惯性式

惯性传感器式动作捕捉系统由姿态传感器、信号接收器和数据处理系统组成。姿态传感器固定于人体各主要肢体部位,通过蓝牙等无线传输方式将姿态信号传送至数据处理系统,进行运动解算。其中姿态传感器集成了惯性传感器、重力传感器、加速度计、磁感应计、微陀螺仪等元素,得到各部分肢体的姿态信息,再结合骨骼的长度信息和骨骼层级连接关系,计算出关节点的空间位置信息。代表性的产品有Xsens、3DSuit等,这类产品主要的优点是便携性强,操作简单,表演空间几乎不受限制,便于进行户外使用,但由于技术原理的局限,缺点也比较明显,一方面传感器本身不能进行空间绝对定位,通过各部分肢体姿态信息进行积分运算得到的空间位置信息造成不同程度的积分漂移,空间定位不准确;另一方面原理本身基于单脚支撑和地面约束假设,系统无法进行双脚离地的运动定位解算;此外,传感器的自身重量以及线缆连接也会对动作表演形成一定的约束,并且设备成本随捕捉对象数量的增加成倍增长,有些传感器还会受周围环境铁磁体影响精度。

光学式

光学式动作捕捉系统基于计算机视觉原理[2][3],由多个高速相机从不同角度对目标特征点的监视和跟踪来完成运动捕捉的任务。理论上对于空间中的任意一个点,只要它能同时为两部相机所见,就可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时,从图像序列中就可以得到该点的运动轨迹。

这类系统采集传感器通常都是光学相机,不同的是目标传感器类型不一,一种是在物体上不额外添加标记,基于二维图像特征或三维形状特征提取的关节信息作为探测目标,这类系统可统称为无标记点式光学动作捕捉系统,另一种是在物体上粘贴标记点作为目标传感器,这类系统称为标记点式光学动作捕捉。

1、无标记式光学

2、标记式光学

标记点式光学动作捕捉系统一般由光学标识点(Markers)、动作捕捉相机、信号传输设备以及数据处理工作站组成,人们常称的光学式动作捕捉系统通常是指这类标记点式动作捕捉系统。在运动物体关键部位(如人体的关节处等)粘贴Marker点,多个动作捕捉相机从不同角度实时探测Marker点,数据实时传输至数据处理工作站,根据三角测量原理精确计算Marker点的空间坐标,再从生物运动学原理出发解算出骨骼的6自由度运动。

这里根据标记点发光技术不同还分为主动式和被动式光学动作捕捉系统:

(1)主动式光学

主动式光学动作捕捉系统的Marker点由LED组成,LED粘贴于人体各个主要关节部位,LED之间通过线缆连接,由绑在人体表面的电源装置供电。

其主要优点是采用高亮LED作为光学标识,可在一定程度上进行室外动作捕捉,LED受脉冲信号控制明暗,以此对LED进行时域编码识别,识别鲁棒性好,有较高的跟踪准确率;

缺点是:

第一,时序编码的LED识别原理本质上是依靠相机在不同时刻对不同的Marker采集成像来进行ID标识,相当于在同一个动作帧中分别针对每个Marker进行逐次曝光,破坏了动作捕捉的Markers检测的同步性,导致运动变形,不利于快速动作的捕捉;

第二,由于相机帧率很大部分用于单帧内对不同Marker点的识别,因此有效动作帧采样率较低,这点上也不利于快速运动的捕捉和数据分析;

第三,LEDMarker可视角度小(发射角120度左右),一个捕捉镜头内部通常集成了两个相机近距离采集,这种窄基线结构导致视觉三维测量精度较低,并且在运动过程中由于动作遮挡等问题仍然不可避免地导致频繁的数据缺失,如果为尽量避免遮挡造成的数据缺失,需要成倍增加动作捕捉镜头的数量弥补遮挡盲区问题,设备成本也随之成倍增加;

(2)被动光学式

被动式光学动作捕捉系统,也称反射式光学动作捕捉系统,其Marker点通常是一种高亮回归式反光球,粘贴于人体各主要关节部位,由动作捕捉镜头上发出的LED照射光经反光球反射至动捕相机,进行Marker的检测和空间定位。

其主要优点是技术成熟,精度高、采样率高、动作捕捉准确,表演和使用灵活快捷,Marker点可以很低成本地随意增加和布置,适用范围很广;

主要缺点是:

第一,对捕捉视场内的阳光敏感,阳光在地面形成的光斑可能被误识别为Marker点,造成目标干扰,因此系统一般需要在室内环境下正常工作;

第二,Marker点识别容易出错,由于反光式Marker点没有唯一对应的ID信息,在运动过程中出现遮挡等问题容易造成目标跟踪出错,导致Marker点ID混淆,这种情况通常导致运动捕捉现场实时动画演示效果不好,动作容易错位,并且需要在后处理过程中通过人工干预进行数据修复,工作量大幅增加。不过新一代的技术都植入了先进的智能捕捉技术,具有很强的Marker点自动识别和纠错能力,很大程度上满足了现场实时动画演示的需要,并且大大降低了人工干预的工作量,从本质上进一步提升了系统的实用性。

动作捕捉技术的优缺点

优点

运动捕捉的优点是表演者活动范围大,无电缆、机械装置的限制,使用方便。采样速率较高,可以满足多数体育运动测量的需要。Marker价格便宜,便于扩充。更实际地讲,就是便于实现电影、游戏里面的各种炫酷特效。

缺点

动作捕捉技术主要应用领域

动画制作

将运动捕捉技术用于动画制作,可极大地提高动画制作的水平。它极大地提高了动画制作的效率,降低了成本,而且使动画制作过程更为直观,效果更为生动。

虚拟现实系统

为实现人与虚拟环境及系统的交互,必须确定参与者的头部、手、身体等的位置与方向,准确地跟踪测量参与者的动作,将这些动作实时检测出来,以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的,这也正是运动捕捉技术的研究内容。

机器人遥控

机器人将危险环境的信息传送给控制者,控制者根据信息做出各种动作,运动捕捉系统将动作捕捉下来,实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比,这种系统可以实现更为直观、细致、复杂、灵活而快速的动作控制,大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未成熟的情况下,这一技术有着特别重要的意义。

互动式游戏

可利用运动捕捉技术捕捉游戏者的各种动作,用以驱动游戏环境中角色的动作,给游戏者以一种全新的参与感受,加强游戏的真实感和互动性。

体育训练

运动捕捉技术可以捕捉运动员的动作,便于进行量化分析,结合人体生理学、物理学原理,研究改进的方法,使体育训练摆脱纯粹的依靠经验的状态,进入理论化、数字化的时代。还可以把成绩差的运动员的动作捕捉下来,将其与优秀运动员的动作进行对比分析,从而帮助其训练。

THE END
1.Illustrator免費下載和免費試用AdobeIllustrator免費下載 Adobe Illustrator 完整版。立即使用免費試用版,製作標誌、圖示、素描、印刷樣式和複雜的插圖。https://www.adobe.com/tw/products/illustrator/free-trial-download.html?sdid=CJ132GN8
2.ai动作捕捉系统怎么用ai动作捕捉系统怎么用 随着人工智能技术的不断发展,越来越多的领域开始使用I技术,其中就包括了动作捕捉系统。I动作捕捉系统可以用于电影、游戏、体育训练等领域,可以实现对人体动作的高精度捕捉和分析,从而帮助用户更好地理解和掌握人体运动规律。本文将介绍I动作捕捉系统的使用方法,包括硬件设备的准备、软件的安装和使用https://www.dongzuobuzhuo.com/dongbuwenda/31391.html
3.AGIMocap视频动作捕捉摄像头动捕软件MMD配布UE实时MetaHuman数字人支持导入视频或任意摄像头动作捕捉,AI深度学习智能识别!可导出BVH动作到3D软件,支持3ds Max的Bip骨骼直接使用,支持输出MMD的VMD动作配布。专业版可同时捕捉手指与表情,可连接3D角色模型实时捕捉!无需贴点无需初始化校正,可绑定控制任何3D角色模型制作动画。使用方便快捷,只需要录制视频导入,或使用普通摄像头可以随时捕捉https://ai.dimocap.com/
4.AI视频动作捕捉系统NOKOV度量动作捕捉NOKOV度量AI视频动作捕捉系统无需贴点、无需穿戴,仅用摄像头即可进行动作捕捉,markerless无标记点动作捕捉,AI动作捕捉,视频动作捕捉,实时驱动3D虚拟数字人进行虚拟直播。https://www.nokov.com/products/motion-capture-cameras/Markerless.html
5.Rokoko推出免费的AI动作捕捉工具RokokoVideoRokoko推出免费的AI动作捕捉工具Rokoko Video Rokoko 推出了Rokoko Video,这是一款基于浏览器的免费AI训练工具,可从视频片段中提取运动数据并将其重新定位到3D角色。 动画可以在Rokoko的Studio软件中清理,该软件也可以免费使用,并以FBX和 BVH 格式导出,用于 ?Blender或Maya等3D应用程序,或Unity和Unreal Engine等游戏https://www.cgziy.com/2022/570.html
6.东方财富西施触摸器,全身动作捕捉软件,可查看女生内部的三《召唤魅魔竟是妈妈来了第一季》标清TC免费,1v7多肉多车最新章节列表-美文小说网,黑料不打烊万篇长征新入口正式上线,网,国精产品一区一区三区有限公司杨:打造行业典范-阡陌,男生将坤坤申请女生的句号今天是星期几性别巴克,美国大片好看,动作片《白鹿人工造梦视频》HD免费在线观看 - 红十字,雏鸟短视频vlog圆你一个http://m.ruhrg.com/v/video/20241122/87554588BmtLe.shtml?scm=8956193-20241214
7.AI软件制作虚拟主播:开启虚拟交互新时代AI百科制作AI虚拟主播需要以下步骤: 1. 选择AI软件:目前市面上有多种AI软件可以制作虚拟主播,如Live2D、FaceRig等。 2. 创建虚拟形象:使用AI软件生成或导入虚拟形象,并对其外貌、表情等进行定制。 3. 动作捕捉:通过动作捕捉技术,将真人演员的动作捕捉到虚拟形象上。 https://heiti.cn/ai/28122.html
8.unity3D角色动作捕捉,在线AI视频动捕工具,简单好用,两分钟PM空间AI动捕扣扣交流群:627108813 此视频主要目的:介绍一种简单有效的、使用Unity将网络视频人物的动作绑定到3D角色的方法。 使用动作捕捉工具:Pixel Motion,网址:pxmotion.com 3D角色模型来源:mixamo.com 使用软件:Unity 视频动作来源:https://youtu.be/-E3bfDHoHDg?si=UNN_ovwWgK2a3TnYhttps://www.xiaoso.net/t/385830922
9.ActAct-One——基于AI的人脸驱动视频生成软件 Runway最新推出的AI视频工具Act-One,使用单个视频和角色图像即可在 Gen-3 Alpha 中生成富有表现力的角色表演视频片段。无需动作捕捉或绑定。 您需要先登录,才能发表评论https://www.aboutcg.org/news/1937
10.基于Web的实时动作捕捉工具AIGC学习资料库MiKaPo是一款基于Web的实时动作捕捉工具,主要用于捕捉视频中人物的动作并应用到3D模型上。该工具具有以下特点: 基于Web技术:只需浏览器即可使用,无需安装额外软件。 实时捕捉视频中人物动作:支持实时视频输入,并快速响应。 快速响应:将捕捉到的动作迅速应用到3D模型上。 支持姿势和面部表情捕捉:不仅捕捉身体动作,还支持https://download.csdn.net/blog/column/12422082/142723724
11.CascadeurtheeasiestwaytoanimateAICascadeur is a standalone software for 3D keyframe animation of humanoids or other characters. Never before making animation from scratch or editing one has been so easy and fun. Thanks to its AI-assisted tools, you can make key poses really fast, instanhttps://cascadeur.com/
12.千面视频动捕千面视频动捕是一款AI动作捕捉工具,专为电影、游戏和虚拟现实等领域设计。用户只需上传视频,就可将视频中的人物动作高效转化为三维模型的动画数据,无需专业设备,无需专业场地,通过简单地上传一段视频,即可获得质量媲美光学动捕的动画效果。https://pidoutv.com/sites/25468.html
13.动作捕捉ai动画素材网站图片免费下载动作捕捉ai动画软件 ai动作捕捉和动画 动画动作捕捉ai ai动作捕捉动画 人在广州,好好经营动作捕捉场地的第②天 47 动天光学动作捕捉 【ai动作捕捉】ai工具加速ue5动画电影制作流程 5 cyanpuppets 【动作捕捉动画】太极 2 silioncelia 动作捕捉角色动画制作过程 213 麻痹的你 blender动作捕捉《国宝跳舞》 1 安若离https://www.zcool.com.cn/tag/ZNzg5NjgwNA==.html
14.vegaAI最新版下载vegaAI安卓版下载v1.0Vega AI 在线模型训练 3、条件生图,可以根据你提供的条件图片生成图片,目前支持线稿生成、动作捕捉,区域构图三种模式控制方式! Vega ai软件内容 1、一个强大的在线创作工具,简化了过程,并允许您创建内容更好,更快。 2、分分钟创意,快速生成高质量图像;支持在线快速培训,免费定制。 http://www.ishaohuang.com/soft/110180.html
15.如何用AI做动画,有什么靠谱的AI动画软件吗–PingCode在拥有AI辅助的软件中,实时渲染功能可以快速展现修改后的效果,动画师无需等待长时间的渲染周期便可以看到最终成品的近似效果,极大提升工作效率。 四、AI的动作设计与剪辑 动作捕捉与分析 AI可以辅助动作捕捉技术,通过深度学习提高动作捕捉的精确度。动画师可以获得更加真实自然的运动数据,减少后期调整工作量。 https://docs.pingcode.com/ask/280005.html
16.教练智眼教练智眼是一款用于记录、分析技术动作与战术指导的专业AI辅助软件。 APP支持30到240帧每秒高速精准录制运动轨迹。可以分析高速运动下肉眼无法捕捉的动作细节。 搭载AI动作捕捉系统,提供直观便捷的轨迹与速度分析支持。 在回放动作和赛事影像文件时,可以利用多种颜色与工具自由涂画标记进行分析。 https://apps.apple.com/es/app/%E6%95%99%E7%BB%83%E9%B8%B7%E7%9C%BC-ai%E8%BD%A8%E8%BF%B9-%E9%AB%98%E9%80%9F%E5%8A%A8%E4%BD%9C%E6%8D%95%E6%8D%89-%E5%BD%95%E5%88%B6%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7/id1659274320?l=ca
17.人工智能Ai工具集Ai工具集 - 专注人工智能 - ai智能体 - ai人工智能软件工具推荐!是免费的办公效率ai工具集网站。为全球办公人提供最新、最全面的AI人工智能软件App官网下载、资源分享和使用指南等!助您更好地应用AI人工智能技术。是实现高效办公轻松生活的实用网址导航网站!https://ai-321.com/
18.度量科技入驻中关村国家自主创新示范区展示中心,AI视频动作捕捉AI视频动作捕捉具有易操作、成本低、实时驱动等特点,该系统是NOKOV度量自主研发,对于表演者和场地环境没有特殊要求,可广泛应用于虚拟直播、虚拟代言、动画制作、影视广告制作、虚拟客服等场景。系统还支持接入MAYA、Motion Builder、UE、Unity等软件,流畅驱动模型。http://sqtv.net/news/bencandy.php?fid=39&id=237014
19.爆火的AI绘画生成软件,排名前11竟然是它!Runway ML是一款在线的AI绘画生成软件,其创作技术涵盖图片生成、动作捕捉、自然语言处理、物体识别和图片处理等,用于帮助用户快速进行图像编辑与视频内容创作。通过机器学习的技术,AI绘画生成软件Runway ML协助用户构思并创造出全新的内容。 5. Artbreeder Artbreeder是一款可以通过将任意两张图片进行混合来生成AI绘画生成软件https://pixso.cn/designskills/ai-drawing-generation-softwares/
20.嗨动AIiPhone版免费下载嗨动AIapp的ios最新版1.4.7下载嗨动AI会结合跳舞数据,实时记录你的卡路里消耗情况,让你跳出魔鬼身材。· 海量热门单曲,尽享劲歌热舞上百首全网最火歌曲舞蹈,嗨动AI免费任你畅玩。· AI智能识别,实时纠正动作嗨动AI可以通过AI算法时时动作捕捉帮您纠正,有了它,就等于有了免费舞蹈老师~· 组队竞技PK,好友切磋舞技“嗨动AI”玩法多样,可以选择https://www.duote.com/ios/646256.html