将5G网络技术、VR视频技术、云计算技术等一体化整合,创新建成5G+VR心血管介入手术教学平台,实现千里之外实时、360°的手术直播演示、手术教学、远程会诊。
手术室智能辅助解决方案
应用于医院手术室的VR远程示教
数据显示,心血管疾病依然是导致我国居民死亡的首要原因,近年来随着我国整体医疗水平的发展,许多基层医院已经能开展常规的心血管介入手术,极大地提高了急性心肌梗死等心血管急症的救治成功率。但是受限于硬件、人才和技术等制约,大部分基层医院在疑难复杂心血管病例的介入手术处理上还有很大的提升空间。
现有模式下,医务人员提高手术水平的渠道主要有进修学习、聘请专家来院传帮带等。近年来由于疫情影响,线下交流活动受到一定限制,通过互联网远程手术观摩学习的需求不断增加。但是传统的手术录播或直播画面是二维的,不能很好地展现手术室内的全部细节,难以实现较好的教学效果。
5G+VR心血管介入手术教学平台属于数字化手术室的其中一项功能模块,是将手术室内医生的手术过程,以及手术室内的各种医疗设备的视频资料,采用视音频数字化编码转播技术,通过通信网络,直播示教到院内各大会议厅、学术报告厅及科室主任办公室,为医院实现远程可视化教学。
依托厦门电信5G网络或者千兆光网,示教直播也可以延伸至区域医共体,让基层医院的医生或者其他学习者可以有更多机会观摩手术过程。
(1)基于5G切片技术的双千兆医疗专网
早在2019年,厦门电信便完成三甲医院5G网络信号布点。借助电信5G高速率、大连接、低时延的特点,助力医疗服务向数字化、移动化、远程化的方向发展。
厦门电信也在持续推进5G网络建设,并在2020年6月进行重点攻坚,在海峡两岸5G跨海手术直播现场,经现场测试,5G下载速率达到了1000Mbps,上传速率达到150Mbps。其传输速度约比4G快10倍,几乎做到完全同步,切实助力患者或医务人员体验"触手可及"的医疗服务。
5G先进的技术和优质的电信5G千兆网络为本项目远程会诊、远程示教场景提供了网络基础,真正能实现将现场视频无卡顿、无时延地呈现在手术教学平台上。
5G切片技术的引入为整个示教过程提供了安全可靠的网络通道,每个切片都有对应的切片ID和安全规则。用户终端接入时提供切片ID,服务器根据对应的安全配置规则采取对应的安全措施,选择对应的安全算法,实现逻辑安全隔离。
5G网络切片是提供特定网络能力和特性的逻辑网络,通过网络切片技术,可以实现业务需求和网络资源的灵活匹配,虚拟出多张满足不同业务应用场景差异化需求的5G切片网络,并能充分共享物理网络资源。5G是医院数字化的关键基础设施,通过5G网络切片,可以提供高可靠低时延的服务,基于切片间的隔离保障数据的安全,以最小的建网投资快速实现数字化转型。
5G网络叠加千兆光网络更是为视频传输和远程医疗插上腾飞的翅膀。
(2)基于VR技术的沉浸式手术教学
VR是VirtualReality的缩写,翻译为虚拟现实,虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术,它利用计算机生成一种交互式的三维动态视景,其实体行为的仿真系统能够使用户沉浸到该环境中。将该项技术应用在医学手术示教领域能较好地满足教学中实时情景化及移动交互地需要,达到理想的教学效果。
VR作为一项综合性新兴技术,在各个领域,特别是医疗教学等方面有着广阔的应用前景。VR手术视频示教平台提供了全新的全景手术沉浸式观看体验,提升了用户参与感,扩充了手术视野,全方位地展示了手术信息。
5G+VR心血管介入手术教学平台的整体架构如下:
平台主要实现如下功能:
(1)实现手术现场高清音视频采集
通过在手术室上方悬挂专业级的VR摄像头,能对8路8K视频实时拼接,生成VR视频,实现对手术室360度实时拍摄。同时,在手术室内另外安装一个特写机位的固定摄像头,负责将手术细节放大、切换。
(2)实现无时延视频数据传输
每个摄像头机位的图像借助高速率、低时延的5G网络技术或者光网络支持,无卡顿、无时延地呈现在手术教学平台上。
(3)实现沉浸式手术实时教学
通过心血管介入VR手术教学平台,手术室外的医生、专家学者戴上VR眼镜,便可如同亲临手术现场,获得全面沉浸式的体验。甚至无需佩戴VR眼镜,就可以通过手机或平板等终端登陆平台APP体验观摩,只要将手机向任意角度旋转,便可以清晰地观察到手术室里的每个细节,也可以将屏幕放大缩小,大到整体手术环境,小到每个角色的动作细节,都清晰逼真,尽收眼底。
功能框架:
系统整体功能框架可分为终端设备层、网络层、平台层和应用层四部分。1)终端设备层实现手术室中VR摄像头、VR眼镜、示教电脑、示教大屏等终端的鉴权和接入,提供持续、全面、快速的信息获取。终端设备层主要是信息的发出端和接收端,它们既是信息采集的工具,也是信息应用所依附的载体。通过高清智能终端实现信息的采集和展示。2)网络层包含中国电信室内外5G无线接入网络和高质量核心光传输网络,实现实时、可靠、安全的信息传输。网络层是信息的传输媒介,是充分体现5G和千兆光网优越性的环节。通过分配于不同应用场景的独立网络或共享网络,实时高速、高可靠超低时延地实现通信主体间的信息传输。3)平台层对视频等数据进行存储、运算和分析,实现智能、准确、高效的信息处理,应用云计算、VR技术、视频处理等新技术,将手术视频进行传输和展现。4)应用层是手术示教平台的主要应用模块。
设计思路和业务流程
(1)VR视频采集模块
与普通视频不同,VR全景视频的采集需要借助全景摄像机完成。全景高清8K摄像机,机身环绕8枚摄像头,可同时采集、录制手术现场8个方向的视频。拍摄时通过吊臂脚架将全景摄像机固定于手术术野上方,实现对手术术野全方位的采集。
VR全景视频是利用拼接技术将360°柱面图像连接起来形成全景视频空间,用户通过不同视点的切换主动地选择方向和观察点来了解环境。
拼接完的视频通过剪辑编码,形成便于传输和观看的编码格式。再通过传输线路上传至视频服务器。
现场除了VR全景摄像机,还可以配备耳挂式音视频对讲系统,方便手术医生与示教室音视频交流。
整个手术室现场采集传送流程如下:
(2)终端播放模块
VR手术示教平台针对全景视频提供沉浸式和全景式2种播放方式,分别适用于用户佩戴VR眼镜和裸眼观看。
沉浸式播放方式,终端用户需借助VR眼镜进行观看。全景式播放方式无需借助VR眼镜,用户在手机或者电脑用手指拖动视频即可改变视角,实现水平360°和垂直360°的全视角观看。
(3)视频展示模块
软件展示功能支持多路视频多显示器同时输出,高清画面无缝切换、叠加、拼接、等处理功能。后期剪辑、合并、录制旁白、图像渲染、加字幕等多种手术课件制作功能。
5G+VR心血管介入手术教学平台提供了全新的直播和教学体验,通过手术室和示教室之间的音视频互动,满足多人在手术现场观摩、学习的需求,来提高医生的实战经验,并为医生手术视频归档,方便学生后期观看学习。
当前,心血管疾病已成为危害人类健康的第一杀手,全球心血管疾病死亡率排在前三位的国家分别是中国、印度、俄罗斯,均为金砖成员国。然而全球心血管专科医师却非常紧缺,心血管疾病防治是全人类共同面临的社会问题。
该平台可推广应用于各大医疗机构手术室。
合作案例:厦门大学附属心血管病医院
厦门大学附属心血管病医院(厦门市心脏中心,以下简称“厦心”)是国家心血管疾病临床医学研究中心分中心,国家卫健委、福建省政府共建国家心血管病区域医疗中心、国家冠心病及心律失常介入诊疗培训基地、全国首批心血管病学专科医师规范化培训基地,心内科为国家临床重点专科,年完成介入手术超过1.5万台,为福建省最大的心血管病介入手术中心。
作为福建省首家5G全覆盖医院,厦心积极探索新兴技术与医疗场景的融合落地实践,这次联合厦门电信共同打造介入手术教学平台,希望能更好地借助信息化把医院的介入手术经验传播出去,帮助更多的心血管介入医生成长,同时也可用于国际学术交流,进一步扩大先进医疗技术的可及性。
厦心联合厦门电信共同搭建的5G+VR心血管介入手术教学平台,为医院以及社会带来了诸多积极的影响:
1.提供安全便捷的示教环境
在传统的教学模式下,主要是组织学习人员到手术室的现场进行学习,或者简单的对教学过程进行摄像和拍照供学员观摩学习。这样缺点有很多,如因为空间的限制,导致进入手术室的人员减少;人员杂乱会造成多种感染;影响手术医师的注意力等。5G+VR心血管介入手术教学平台的引入则可以有效改善这些不足,为医院和学习方提供安全便捷的示教环境,保证了手术中的无菌操作技术和患者安全。
2.解决临床教学资源不足的问题
3.VR创新模式带来更佳的教学效果
VR技术带来的沉浸式体验观感,使得教学活动更具直观感、立体感、动态感,具有传统教学手段无法比拟的教学效果,让学生更直观的近距离的观看整个手术过程,细微操作也能得到进一步放大,学生对手术操作过程一目了然,不清楚的地方也可以及时同他人交流,调动了学生强烈的参与意识,激发了学生的学习兴趣,使手术带教生动、灵活。
4.减少医患纠纷
不是所有的患者都愿意配合医院的教学工作,他们不希望手术过程被实习医生围观,同时也担心这样会影响自己的手术效果和安全。本系统除了避免教学给手术现场带来的干扰和影响,同时,通过本系统,也可以汇聚更多更优质的专家进行远程会诊和远程指导教学,当现场手术出现较为复杂的情形时,可以借助网络进行手术研讨,及时解决手术中的疑难问题,提高手术成功率和患者救治率,将有效减少医患矛盾的发生。
《财富》杂志“世界500强企业”
不感兴趣
看过了
取消
人点赞
人收藏
打赏
我有话说
0/500
同步到新浪微博
您的申请提交成功
您已认证成功,可享专属会员优惠,买1年送3个月!开通会员,资料、课程、直播、报告等海量内容免费看!