基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.未来已来:探索数字展览馆的创新设计深圳百艺堂展示数字展览馆的精髓在于融合现代科技,诸如全息投影与交互式触控墙等多媒体展项,以革新展览内容的呈现方式。全息投影技术通过三维影像的立体展示,将展品或场景栩栩如生地呈现在观众眼前,带来震撼的视觉效果。而交互式触控墙则让观众通过触摸屏幕,直接与展览内容进行互动,不仅增加了展览的趣味性,也提升了观众的参与度和学习https://www.bilibili.com/read/cv40079763
2.展览馆空间装修效果图展览馆空间室内设计图片大全设计本为您提供展览馆空间装修效果图,包括展览馆空间装修图片、展览馆空间室内设计图等,看展览馆空间装修设计图片就到设计本。https://www.shejiben.com/works/t152055/
3.党建主题展厅3D效果图大数据城市党建展览馆党建主题展厅3D效果图 大数据城市党建展览馆 重庆市七全七美智能科技有限公司专注于科技展馆、公共安全教育、智慧体验等领域的创新服务,是多媒体展厅互动设计服务供应商,主营产品包括增强现实,互动投影,虚拟翻书,数码橱窗,多点触控,全息投影,投影球,幻影成像,虚拟现实等多媒体展厅,数字展厅的建设服务。 https://cn.trustexporter.com/cp-qqqm/o6904264.htm
4.科技馆经典案例,科技馆装修设计效果图,科技展览馆平面设计图科技馆经典案例,科技馆装修设计效果图,科技展览馆平面设计图 西安一笔一画科技有限公司专注于数字媒体的研发及应用,并且为多媒体禁毒展厅,青少年法制教育基地,扫黑除恶警示教育基地,智慧党建,城市规划展厅,消防安全教育基地,交通安全教育基地,铁路安全教育基地,反腐倡廉教育基地,科技馆,农业规划展厅,数字化学校历史博物馆https://product.11467.com/info/6608630.htm
5.遗址博物馆展览馆展厅效果图马克创意博物馆马克创意博物馆 广州 / 设计爱好者 / 1年前 / 1659 浏览 版权 私信 关注 遗址博物馆展览馆展厅效果图 马克创意博物馆 关注 1.看主页,联系私信,解锁高清大图,和整套方案(前策+设计效果图)交流获取. 2.以上方案效果图来源于网络,仅供学习交流参考使用,侵权联删. 5 举报 50 分享 临摹作品 空间 展陈设计 博物https://m.zcool.com.cn/work/ZNjUzODg0NjQ=.html
6.文物展览馆设计图片欣赏土巴兔装修效果图频道提供0装修效果图、设计图、装潢装饰设计实景图大全等装修设计图,来自文物展览馆设计图片欣赏装修室内设计敬请关注土巴兔装修效果图。https://www.to8to.com/case/p10414960.html
7.珠海航空新城规划展览馆效果图设计图金盘网kinpan是全球领先的房地产开发平台,提供高品质的珠海航空新城规划展览馆设计图、珠海航空新城规划展览馆效果图设计选材及工程一站式服务。https://www.kinpan.com/detail/index/201708100958303232579f90b8cb600
8.株洲市博物馆民俗展厅毕业于中央美院展览展示专业,从事场景复原艺术展项工作十余年,带领团队参与制作国内多个展览馆博物馆,2009年随导师黄建成老师参与上海世博会中国馆项目建设。目前就职于广州正享文化创意有限公司艺术总监工作,近年参与项目有深圳南山博物馆,梅州客家博物馆,株洲市博物馆,中原突围纪念馆 台山博物馆 珠海中医药乐园 河南商都https://www.518bwg.com/rshow2/79.htm
9.展览馆设计规范最新版展览馆设计规范下载淘豆网为你提供展览馆设计规范最新版、展览馆设计规范下载和展览馆设计规范标准PDF的服务,相当于展览馆设计规范大全,这里你可以找到所有关于展览馆设计规范的内容。https://www.taodocs.com/topdoc/54449-0-0-1.html
10.展览馆布展设计方案施工图下载大全本专题为土木在线展览馆布展设计方案专题,全部内容来自与土木在线图纸资料库精心选择与展览馆布展设计方案相关的资料分享,土木在线为国内专业的土木工程垂直站点,聚集了1700万土木工程师在线交流,土木在线伴你成长,更多展览馆布展设计方案相关资料请访问土木在线图纸资https://www.co188.com/jh/d5854.html
11.展览馆专题模板展览馆图片素材下载我图网展览馆专题为您整理了812个原创高质量展览馆图片素材供您在线下载,PSD/JPG/PNG格式展览馆模板下载、高清展览馆图片大全等,下载图片素材就上我图网。https://so.ooopic.com/sousuo/65605/
12.展厅设计效果图展厅设计案例展馆设计效果图千语菱团队历经十年行业沉淀,积累上百个经典展厅设计案例及展馆设计案例和展厅装修效果图。丰富的展馆设计效果图和展厅设计效果图敬请观阅http://www.750zhanting.com/case
13.展览馆图片图片展览馆图片素材展览馆图片模板免费下载六图网为您提供展览馆图片设计作品免费下载服务,您还可以找到展览馆图片图片、展览馆图片素材、展览馆图片模板等设计素材,我们为您提供展览馆图片图片下载,展览馆图片模板下载、展览馆图片素材下载等服务!https://www.16pic.com/sucai/3740106.html
14.国际农业博览中心展览馆主体年内封顶这些盘迎利好位于南岗区长江路与南直路交叉口处的中国·哈尔滨国际农业博览中心项目正如火如荼的建设当中,南岗区引入的这个农业展览交易中心项目,其占地50万平方米的展览馆主体将于年底前封顶,中国·哈尔滨国际农业博览中心奠基将于2019年正式竣工。该项目作为全球以农业为主题的世贸中心,建成后,哈尔滨市民将可在此参观并购买来自全https://hrb.loupan.com/loupan/7034074/dt_1194494.html
15.展厅设计展馆设计展厅设计公司展馆设计公司笔中集团是中国展览馆协会一级资质企业展厅设计公司,23年服务1200多家大中型企业,咨询热线:【4000-943-414】,专注企业展厅、博物馆、纪念馆、规划馆、科技馆设计施工服务.https://www.bizhong.com/
16.内江展厅装修互动展馆方案策划公司展览馆建设价格效果图设计一站式服务可免设计费展示方式多媒体数字设备 施工10年专业团队清单根据预算配置 内江展厅装修-互动展馆方案策划公司-展览馆建设 西安一笔一画科技是高科技数字展厅建设公司数字展馆设计布局、实施方案、互动设备开发、装修设计等一站式服务。验收后的创意展馆深受参观人员的一致好评 https://www.china.cn/zhanlanshejizhiz/5238674000.html
17.文化展览馆图片文化展览馆设计素材红动中国素材网提供325个文化展览馆图片、文化展览馆素材、文化展览馆背景、文化展览馆模板、文化展览馆海报等PS素材下载,包含PSD、AI、PNG、JPG、CDR等格式源文件素材,更多精品文化展览馆设计素材下载,就来红动中国,最后更新于2024-09-10 22:39:03。https://m.redocn.com/so-wenhua/cec4bbafd5b9c0c0b9dd.htm
18.好快!珠海2.5万平游艇中心,部分主体建筑成型!房产资讯规划图书展览馆、游艇展示馆 据悉,华发游艇中心位于横琴大桥东侧、马骝洲水道北侧,背山面海,区位优越。 根据最新规划,项目总占地约2.5万㎡,分为2个地块开发。 ▲华发游艇中心效果图 北侧S1地块为图书展览区,南侧S2地块为游艇展示区、港务办公区及游艇停泊区,中间将以马骝洲地下通道相连。 https://news.fang.com/open/51208675.html
19.北京全国农业展览馆第六条 特装施工单位应在进馆前4天内携带本公司工商营业执照副本,展位效果图、平面图、电路图,特种作业操作证到全国农业展览馆展览服务中心特装管理部办理特装展台施工手续,并提供布展方案、临建设施位置及其结构说明,展位用电总量等所有必要的技术资料。 第七条 施工方案必须经展览服务中心特装管理部审定,同时须在进馆http://www.cnena.com/showroom/showroom.php?id=46and1=1
20.数字电影设备,科普馆互动电影座椅,展览馆动感影院系统,360度球幕奇影幻境品牌数字电影设备卓信智诚科技专业从事数字电影,科普馆电影,互动电影座椅,展览馆电影,动感影院系统,360度球幕电影,环幕电影厂家,全息激光投影,大型电影院,电影院线集成,巨幕电影,弧幕电影,特效电影幕布,震撼电影,移动电影,飞行影院,电影院改造升级,科普馆互动电影座http://gzmovie.cn/
21.展览馆的功能分区有哪些?陈列馆展览设计方案及特点新闻动态小型展览馆设计方案_小型展厅设计效果图 企业展厅是企业产品、品牌、文化的综合载体,现在已经有很多大型企业建立了自己的企业展馆,向观众展示企业的发展历程、产品技术和品牌文化。众多中小受限于财务条件没有资金建立企业展厅,但可以考虑建立一个小型的企业展厅。小型的展览馆只要在设计上将展示内容进行提炼,同样可以向观众https://www.ltdmt.com/info/zhanlanguanchenlieguan