基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.虚拟博物馆游览数字化展品让远程学习更生动a. 虚拟现实(VR)技术 VR技术使用户能够用特殊头戴设备将自己带入一个完全虚构或真实存在但现在不可触达的地方。在这方面,“专门看历史的app”可以提供一种全新的方式来体验过去,从而打破传统教学方法中单调乏味的问题文本阅读模式。 b. 增强现实(AR)技术 https://www.lqwednf.cn/ye-shi-qu-wen/486453.html
2.最新我在故宫修文物观后感200字我在故宫修文物观后感500字(三篇)我在故宫修文物观后感200字 我在故宫修文物观后感500字一 王津修文物,是日夜辛苦地奋斗工作,一丝不苟,极度认真用心的践行,那些历史悠久的古钟古琴在沉睡中复苏,被世人所歌咏。那是对事业的敬仰尽责,让文化花坛里鸟鸣花更香,山高谷更幽。汝若盛开,清风自来!不必羡慕王津,他只是做好本职工作而已,才会享有应得的名https://dddot.com/zuowen/c12/bc2c806025bb9c810ed3cf0add55e236.html
3.线上虚拟展馆故宫线上虚拟展馆询价产品: 线上虚拟展馆 故宫线上虚拟展馆 *联系信息: 产品信息 联系方式 公司名称 北京华锐视点数字科技有限公司 服务内容 管理系统 版本类型 正式版 品牌 华锐 在互联网 时代 借助互联网思维 结合新技术与互联网深度融合 是传统领域发展的新趋势。伴随现代互联网和虚拟现实(vr)的不断发展 web 3d技术因而产生http://vrnew2009.51sole.com/companyproductdetail_378181215.htm
4.故宫线上虚拟展馆为提升大众的文化素养和综合素质提供了强有力的传统文化的崛起已是必然,最能代表传统文化的莫过于故宫了,深圳VR公司华锐视点利于UE引擎开发的故宫线上虚拟展馆,以其独特的沉浸式体验为核心优势,成功跨越时空的界限,引领用户仿佛穿越时空,亲身体验展品所带来的视觉盛宴与心灵触动。 故宫线上虚拟展馆基于现实故宫场景,构建一个宏伟的故宫展览现场,参观者只需轻点鼠标或https://www.vrnew3d.com/News/newscontent/id/4328.html
5.北京城市规划馆观后感城市规划展览馆观后感 北京市规划展览馆位于前门东大街老北京火车站东侧,集中展现了北京城市规划建设的过去、现在和未来,介绍了北京城三千多年的建城史和八百五十年的建都史,宣传了新中国成立61年来首都北京城市规划建设的一系列伟大成就,展示了北京城市发展的灿烂明天。北京市规划展览馆于2004年 9月24日正式对外开放,https://www.360wenmi.com/f/filemw7kj8gg.html
6.城市展览馆观后感12篇(全文)四大高科技与观众互动项目,包括4D动感影院“游览北京”;互动电子游戏“我来规划北京城”;动感长安街景观展示;虚拟电子书“翻开未来的一页”。还有长9米、宽4.8米的故宫实木大模型等。 开馆至今短短两年多的时间里,我们已经接待了多位中央领导同志和世界上80多个国家、地区的首脑、贵宾,全国和世界各地的观众近百万人https://www.99xueshu.com/w/file8vqx7r7i.html
7.你知道吗,线上竟然可以“参观”这么多博物馆展览馆博物馆故宫故宫博物院的数字漫游,可以说是国内目前为止做的最好的线上博物馆了。 进入故宫博物院的官网,云游故宫、数字多宝阁、数字文物库每一个都不容错过,甚至还有小游戏噢。 故宫官网:https://www./Home.html 此外最令人惊艳的还是『全景故宫』,它以地理位置为线索,利用三维空间整体展示故宫的全貌,而且对于故宫里面的http://www.360doc.com/content/21/1122/11/37024376_1005360969.shtml
8.收藏300个博物馆线上展览,总有一款适合你澎湃号·政务线上展览汇总给大家 收藏起来慢慢看 其中还包括咱们重庆的 重庆中国三峡博物馆 重庆红岩革命历史博物馆 的各种精彩展览哦 网上博物馆展览汇总 第一批 复制链接在浏览器打开 或点击图片识别二维码查看 1、贺岁迎祥——紫禁城里过大年 故宫博物院 https://www.dpm.org.cn/subject_hesui/guide.html https://www.thepaper.cn/newsDetail_forward_6341466
9.线上web3d故宫虚拟旅游VR互动云展厅近年来,随着Web3D技术和VR技术的不断发展,越来越多的文化遗产机构开始采用线上虚拟展览来宣传和展示文化遗产。其中,故宫博物馆也不例外。故宫博物馆通过Web3D技术和VR技术,构建了一款名为“故宫虚拟旅游VR互动云展厅”的线上展览产品,为观众提供了一个崭新的参观故宫的方式。 https://www.web3di.com/article-1713.html
10.宅家不无聊!全国博物馆150个线上展览免费看!全国博物馆150个线上展览免费看! 近期,在国家文物局部署下,全国各地博物馆在做好新型冠状病毒感染肺炎疫情防控的同时,利用已有数字资源推出一批精彩网上展览,并联合社会力量创新传播方式,为公众提供安全便捷在线服务。 为便于公众查询浏览,国家文物局对各地制作的网上博物馆展览进行了汇总。现将1-3批已整理的链接汇总https://www.visitbeijing.com.cn/a1/a-xeo2szc1bdd53844d0297b
11.当我们无法亲临现场,有时虚拟观展可以看到更多线上展览推荐2015年,故宫博物院启动了“全景故宫”项目,利用360°全景摄影的方式逐一记录故宫的各个角落,让普通人足不出户也能一览故宫美景。事实上,除了通过数字化技术将展览搬到线上之外,故宫也在虚拟现实领域展开了不少探索与实践。从2000年起,故宫便计划推出“V故宫”项目,以故宫古建筑的三维数据可视化为主要技术手段,结合史料https://www.jiemian.com/article/3943684.html
12.城市规划展示馆观后感(25页)第一篇、北京城市规划展览馆参观感想 城市规划展示馆观后感 北京城市规划展览馆参观感想 2011年10月26日,班级里组织我们参观了爱国主义教育基地北京市规划展览馆。 北京城市规划展览馆是国家4A级景区,位于北京市中心天安门广场东南侧。是全面展示北京城规划建设发展的历史、现代和未来的大型专题展览馆。她以北京城市规划建https://max.book118.com/html/2020/0813/8127001003002133.shtm
13.故宫观后感(优秀15篇)故宫观后感(优秀15篇) 我们在人生的旅途上,会观看欣赏许多优秀的作品,相信大家的收获肯定不少吧,观后感需要表达真实的情感,不能虚假刻意。那要怎么写好观后感呢?以下是小编为大家收集的故宫观后感,仅供参考,欢迎大家阅读。 故宫观后感1 在北京的中轴线中心,有一座雄伟的皇宫,它就是故宫,又叫紫禁城。红色的围墙把整个https://www.fwsir.com/Soft/html/Soft_20230804175606_3120822.html
14.参观故宫的观后感(精选31篇)参观故宫的观后感 篇4 春节期间,在我的强烈要求下,我们全家一起来到故宫游玩。 第一次参观故宫,我一路上很激动。进入故宫之后,我马上被它的雄壮巍峨惊呆了。故宫又名紫禁城,是按太极图所建,中央属土,上属木,下属火,左属水,右属金。过了午门,我来到太和殿,它的样式是典型明清代的宫殿模式,它的装饰十分豪华,https://www.unjs.com/ghg/5895460.html
15.《故宫》纪录片观后感(通用16篇)一件文物,经历几百乃至上千年,早已因为时间而变得斑驳,感谢这些文物修复匠师们,让我们看到了最大程度上的文物原貌,让我们还有机会看到这些代表着中国古代文化的艺术珍品。 《故宫》纪录片观后感 篇9 文物修复师的工匠精神和职业特点 这两天看了央视纪录片《我在故宫修文物》,这个片子首次把镜头对准了故宫里的文物修复https://www.ruiwen.com/zuowen/guanhougan/4973349.html
16."云旅游"哪家强?这些景区不出门也能逛此外,公共文化场馆闭馆期间,江西各单位推出了一系列线上服务。江西省博物馆、各设区市图书馆开展移动图书馆服务,让读者足不出户就可以在家中阅览电子书刊、看讲座。 03. “宅加游”景区展馆 黑龙江冰雪游新亮点 2月5日,黑龙江省文化和旅游厅发布消息,该省在疫情期间取消一切密集场所活动,同时采用VR(虚拟现实技术)https://travel.ifeng.com/c/7u53nQ6SjYG
17.纪录片《故宫》观后感纪录片《故宫》观后感6 一部神奇的国产纪录片《我在故宫修文物》最近一直在被热议,这部三集的作品,没有明星大腕,没有特效传奇,讲述的是一群能工巧匠在故宫修文物的故事,豆瓣评分高达9.4,比《舌尖上的中国》还要高,超过热播剧《琅琊榜》,故宫里这群文物修复师,一辈子兢兢业业,精心维护着传世古董,让很多观众为之https://www.oh100.com/a/202405/7735904.html
18.《我在故宫修文物》观后感(精选23篇)《我在故宫修文物》观后感 篇4 前些日子我观看了<我在故宫修文物>,这部纪录片主要讲了故宫博物院的背后有一些专注于修复文物的师傅们,他们每天的工作都是和文物打交道,一些大大小小破损的文物交到他们手上就如同有了生命一样。故宫仓库里有很多沉寂已久,历史数百年的文物,在我们看来已经残破不堪,但是在他们眼里就https://www.cnfla.com/zuowen/868331.html
19.热点关注全国150个线上博物馆汇总在家足不出户“云看展故宫博物院 https://www.dpm.org.cn/subject_hesui/guide.html 2.全景故宫 故宫博物院 http://webapp.vizen.cn/gugong_app_pc/index.html 3.归来——意大利返还中国流失文物展 中国国家博物馆 https://webapp.vizen.cn/backhome/index.html 4.军事博物馆历代军事陈列数字展馆 https://www.cloud.tencent.com/developer/article/1646693
20.杭州城市规划展览馆观后感(杭州城市规划展览馆观后感作文)大家好!今天让创意岭的小编来大家介绍下关于杭州城市规划展览馆观后感的问题,以下是小编对此问题的归纳整理,让我们一起来看看吧。 开始之前先推荐一个非常厉害的Ai人工智能工具,一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等 https://www.de1919.com/article/222340.html
21.参观故宫观后感9篇参观故宫观后感9篇 当看完一部影视作品后,一定对生活有了新的感悟和看法吧,不妨坐下来好好写写观后感吧。那么你真的会写观后感吗?以下是小编精心整理的参观故宫观后感,希望对大家有所帮助。 参观故宫观后感1 今天,爸爸、妈妈和我来到了x著名的故宫博物院。 https://www.yuwenmi.com/guanhougan/3619322.html
22.票务系统虚拟展馆MFU脉格智慧博物馆服务SaaS平台,脉格提供票务系统、虚拟展馆、智慧场馆、智慧博物馆等解决方案,以数字化为基础,集云计算、大数据、物联网技术、移动互联等新技术,专注于为文博行业提供信息化综合解决方案。https://www.mfu.cn/