基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.在线企业展厅让展品活起来,拉近你与客户的距离在线企业展厅打破了传统实体展厅的时空限制,使得展品能够24小时不间断地在互联网上展示。这不仅提高了展品的曝光率,还使得客户能够随时随地浏览和了解企业的产品信息。通过高质量的3D建模和虚拟现实技术,在线展厅能够逼真地还原展品细节,提升客户的观赏体验,从而增强产品的吸引力和市场竞争力。 https://blog.csdn.net/starsongda/article/details/144379593
2.3DCAT实时渲染云让元宇宙无处不在,随时随地穿越虚拟世界从前,数字营销的兴起使企业家打破了实体店的束缚,而现在,VR虚拟现实技术也在深入改变品牌推广活动的形式,正如元宇宙解决方案中的线上虚拟展厅,就是通过沉浸式和互动式体验来吸引客户,让企业和目标客户之间的联系更加紧密的一种虚拟体验。与社交媒体上展示的静态图片或传统产品视频相比,元宇宙VR展厅在产品展示方面具有创新https://www.3dcat.live/share/Metaverse
3.历年资讯人民网北京6月1日电 (记者王震)据财政部网站消息,近日财政部印发《关于下达2021年博物馆纪念馆免费开放补助资金预算的通知》,本次向各省(自治区、直辖市、计划单列市)下达2021年博物馆纪念馆免费开放补助资金合计3.08亿元,此前已提前下达27.76亿元。 《通知》要求,各省(自治区、直辖市、计划单列市)要做好预算编制http://www.1911museum.cn/article/950.html
4.虚拟展厅线上虚拟博物馆vr虚拟现实红色展馆建设【不熄灯的博物馆】深层互联运用前沿VR技术,打造高端VR虚拟展厅与线上虚拟博物馆,呈现沉浸式体验。做一个线上虚拟展馆多少钱?无论是VR展厅、VR博物馆,还是3d虚拟展厅、线上虚拟展馆、虚拟校史馆等的设计与搭建,均可量身定制。https://www.depthlink.com/xunizhanting/index.html
5.博物馆数字化建设意义9篇(全文)展示空间等原因,展品只占藏品的很小比例.以 南京博物馆为例,常年展出的展品不足馆内的藏品的0.5%,是文化资源的一种巨大浪费“ 而对于数字博物馆而言,展品和藏品的界限越来越模糊,馆内的藏品都可以在网络上做虚拟 展示,充分利用文化资源” 2!展示手段的多样性,更有利整合全国的各类展品的资源:有利于各展馆展品https://www.99xueshu.com/w/filebu7no481.html
6.2024年展览馆的现状和发展趋势展览馆行业近年来受到数字化转型的影响,许多博物馆和展览中心开始采用虚拟现实、增强现实和多媒体技术,提供沉浸式参观体验。同时,展览馆的功能从单纯的展示向教育、娱乐和社交中心转变,吸引了更广泛的观众群体。然而,场馆的运营成本、展览的更新频率和观众流量的不确定性仍是行业面临的挑战。 未来,展览馆将更加注重创新https://www.cir.cn/8/51/ZhanLanGuanDeXianZhuangHeFaZhanQ.html
7.数字化博物馆建设/博物馆多媒体互动设备/博物展馆设计中虚拟漫游以往参观博物馆,我们很多人都是走马观花就完了,很多人对于文物历史没有丝毫了解。针对这种情况,多媒体数字化博物馆建设开上了日程,利用多媒体互动设备比如虚拟漫游设备将博物馆文物历史介绍以交互的模式让参观者能够自主了解到,增加了参观博物馆对于历史的传播意义和加强参观人员与声光电博物馆的交流达到到最佳展示效果。https://xaybyh.com/index.php/news/newsinfo/140.html
8.收藏300个博物馆线上展览,总有一款适合你澎湃号·政务中国国家博物馆 https://webapp.vizen.cn/backhome/index.html 4、军事博物馆历代军事陈列数字展馆 中国人民革命军事博物馆 http://3d.jb.mil.cn/lidai/index.html 5、文化和旅游部恭王府博物馆虚拟游览 文化和旅游部恭王府博物馆 http://www.pgm.org.cn/vr/tmp002/#d3k https://www.thepaper.cn/newsDetail_forward_6341466
9.3D可视化系统线上虚拟展馆虚拟仿真系统3D展示建模效果图商迪3D是一家专业提供制作3D数字化内容解决方案服务商,服务范围涵盖:3D物联网/数字孪生工厂/虚实联动/线上虚拟展厅/3D展示/3D动画/三维建模/建筑效果图/效果图制作/家具3D效果图/鸟瞰图/全景图设计等3D可视化服务,分享各行业精品案例介绍讲解。https://www.web3di.com/case.html
10.“西安交通大学博物馆虚拟展馆”上线!二、虚拟展馆主题内容 第一部分:好的展览永不落幕: 1.文脉相继——交通大学人文教育文献暨钟明善教授从教60周年成果展 适逢新中国七十华诞,彩带当空,幕墙殷红,“文脉相继——交通大学人文教育文献暨钟明善教授从教60周年成果展”于2019年9月10日在西安交通大学博物馆盛大开幕。该展览展示内容为包括了叶恭绰、陆定一、http://nic.xjtu.edu.cn/info/1016/5561.htm
11.vr展厅方案制作线上虚拟展会广州商迪科技有限公司,简称【商迪3D】,3d虚拟现实技术雄厚,多年来致力于为客户提供线上虚拟场景解决方案,为客户制作设计:vr线上展厅、3d展厅、企业虚拟展厅、线上展馆、线上展会平台、全景线上展厅制作等服务,帮助企业以全新视角向客户展现线上虚拟环境,专业值得信赖!http://www.kushixiu.com/
12.线上VR虚拟展馆领略数字场馆的独特魅力为了提升展馆的宣传效果,基于展馆真实场景,对展馆进行1:1精准复刻的线上VR虚拟展馆,超高清画质细腻还原展馆的每一个细节,将线下展馆完美搬至线上。无论博物馆、红色展馆、企业展馆还是图书馆,都能快速还原,让您随时随地访问各类虚拟文博场馆。 随时随地,全球共享: https://vrnew3d.com/News/newscontent/id/4349.html
13.线上云展厅3DVR虚拟展厅展馆国家级博物馆线上虚拟数字展厅 国家级线上VR数字展厅,让您线上逛博物馆。 医院VR全景展示,方便就诊病人,提高就诊效率 VR医院对于医院来说有什么作用? 国际学校VR全景,让家长一键游览校园。 “国际学校”利用VR虚拟展现校园,让家长和学生随时随地在线云游校园,参观学校风景,体验生活环境,观看教学设施,了解学校文化,对http://www.nbstvr.com/
14.苏州非遗数字博物馆虚拟展馆的建设以苏扇为例.pdf全文Science Technology Vision 项目与课题 科技视界 科技·探索·争鸣 苏州非遗数字博物馆虚拟展馆的建设 ——— 以苏扇为例 周敏 苏州旅游与财经高等职业技术学校 江苏苏州 ( , 215104 ) 摘要 在信息化时代下数字博物馆具有强大的功能 本文以苏扇数字博物馆建设为例 从数据采集加工管理到内容架构 视觉设计到文 【 】https://max.book118.com/html/2015/0712/20926336.shtm
15.内蒙古自然博物馆推出线上虚拟全景网上展览据《呼和浩特晚报》报道(记者 马妍)近期,内蒙古自然博物馆上线了多个展项的虚拟全景网上展览,其中包括“大美乌梁素海”“遇见晶灵”“崖柏展”。让市民游客可以突破实体展馆的时空局限性。 据了解,此次虚拟全景网上展览以线上展馆的形式,通过 720°全视角及三维数字技术,构建虚拟体验环境,采用图文热点、语音导览、高清http://www.hhhtszgh.gov.cn/mobile/c/2021-08-13/508822.html
16.虚拟展厅制作工具线上展厅软件网上展馆元居科技免费提供vr展厅制作软件工具,使用元居3D虚拟空间编辑器,在线线上虚拟展厅制作,线上会展系统,3d展厅制作,元宇宙,线上会展制作,大量3D虚拟展厅/VR虚拟展馆/3D线上展览/网上展馆/线上交易会等模板,可以快速生成线上虚拟展会/3D展馆/云展会/线上会展/元宇宙展厅等。https://mvpmeta.com/
17.当我们无法亲临现场,有时虚拟观展可以看到更多线上展览推荐尽管从功能上看,该数字展厅仍有一些不足,例如无法查看单幅作品的介绍、加载速度缓慢等,但在众多开放数字展厅的博物馆中,清华大学艺术博物馆却是少数实现线上线下同步展出的展馆。在其数字展厅页面,观众还可看到正在举办的其他展览,包括“昂托安·莫蒂耶:墨行光影”“瓦尔特·博萨德与罗伯特·卡帕在中国”等。 https://www.jiemian.com/article/3943684.html
18.大鱼云展线上虚拟展览平台大鱼云展专注于提供线上虚拟展览创展服务,依托于及目科技深度自研的Web3D技术和美术设计能力,以多样化的三维艺术空间为载体,包含丰富的3D交互功能体验,突破时间、空间、线下场馆风格等限制,提供一种全新的数字化线上展览解决方案。帮助艺术机构,艺术馆,美术馆,艺术家,少儿画https://gfishow.com/news
19.上海博物馆数字展厅上海博物馆数字展厅是一家专业的展厅设计装修公司,致厉于为客户打造独特而精美的数字化展览空间。通过创新的技术和设计理念,我们为上海博物馆带来了全新的展览体验。 数字展厅能够提供怎样的展览形式? 在上海博物馆数字展厅中,我们采用了宪进的虚拟现实技术和互动设备,使参观者能够身临其境地感受到历史文化的魅力。通过https://www.dpsjsj.com/zixun/197994.html
20.3d展览馆制作与网上虚拟博物馆设计3d展览馆制作与网上虚拟博物馆设计需要特别注意的宏观场景的建设、展品的三维展示、交互技术三个方面。宏观场景建设要给人一种愉悦的感受,要与展馆内容更契合的设计理念来构建亲切、和谐、生态的一个展馆环境;展品的三维展示上,除了对展品的材质、质地等进行精细展示,还要注重展品背后更多的文化沉淀;最后网络三维虚拟展馆http://www.szzs360.com/shop/1415/offer-detail/offer-detail-1775.html