基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.数字化孪生双胞胎网上虚拟展厅展馆3D产品在线展示昌普软件(Changpu3D.com)致力于VR虚拟展厅,3D物品DIY展示,红色党建主题展厅,智慧城市,智慧楼宇,工业监控,三维数据可视化,VR党建虚拟展厅。我们不断的沟通评估并优化我们的方案,为客户提供一站式的互联网可视化整合方案!http://www.changpu3d.com/
2.三维虚拟世界/数字展馆过去,企业在网络上展示其商品的方式多是以文字、图片、Flash动画等形式出现,这些方式缺少交互性,顾客不能对产品产生感性认识,难以刺激强烈的购物欲望。而运用虚拟现实技术,构建具有真实感的三维虚拟产品展示系统,让顾客可以从任意角度观看产品立体效果,从而为顾客提供一个全面了解产品的新型体验环境,为企业提供展示和销售http://www.sxxyz.com/sanweixunishijie/shuzizhanguan/
3.网络三维虚拟展馆展台展位设计搭建,VR线上展会全景拍摄制作百度关键词 7天 30天 前10名 前20名 前30名 前40名 前50名 3 6 13 17 18 前10名 前20名 前30名 前40名 前50名 3 6 11 15 19 最近访问 www.xingzhiedu.net.cnwww.huijile.cnwww.hfengjing.comwww.yjsy.ecnu.edu.cnetyy.comsdhaorun.comsczjhj.comwww.dx.gov.cnm.lzsm88.cnfsdsmc.comwwwhttp://gangzhiquan.com/tools/seo/www.3dyz.com
4.泉动力文化传媒在网络三维虚拟展馆或展厅中,观众可以实现实景观看、虚拟漫游、互动娱乐等,不但可以随意漫游浏览,还可以720°观看虚拟现实展馆场景中的各种展品及相关资料,结合语音解说和其他影像手段,足不出户就可以在电脑或移动端前领略虚拟展馆的魅力。 新闻中心 企业新闻 http://www.qdlmedia.cn/
5.三维虚拟现实(精选十篇)在信息网络技术和计算机软件的支持下, 三维动漫制作产业在未来将会有更好的发展和进步。 参考文献 三维虚拟现实 篇2 引言 虚拟现实技术是指利用计算机硬件与软件资源的集成技术,提供一种实时的、三维的虚拟环境(Virtual Environment),使用者完全可以进入虚拟环境中,观看并操纵计算机产生的虚拟世界,听到逼真的声音,在虚拟https://www.360wenmi.com/f/cnkey07mwbup.html
6.当代博物馆中的3DGIS虚拟现实搭建展馆3dgis基础承载平台服在博物馆工作中,通过将网络虚拟与博物馆陈列展览结合,能够解决场地有限的问题。在博物馆工作中,可以运用网络虚拟中的VR技术,或者是三维全景虚拟技术,从而将平时所不能展览出来的展品展现在人们眼中。除此之外,通过VR技术,可以让人民能够随时随地都能进行博物馆环境和陈列展览的欣赏。具体来说,只需要在微信平台上关注相https://blog.csdn.net/ztmap2020/article/details/126056892
7.虚拟现实山东至信信息科技股份有限公司我公司对虚拟展馆提供了完整的服务,包括:完整的网络三维虚拟展馆展示系统,对系统提供技术支撑,针对性定制网络三维内容,三维展馆虚拟漫游,虚拟操控,虚拟解说等。网络三维虚拟展馆应用非常广泛,包括:革命展馆、科博馆、艺术馆、工业展馆、图书馆、旅游景区、各类会展、企业体验中心及各种园区。 https://www.sdzxkj.cn/index.php/Index/fwzc/mid/51
8.重庆木棉树软件开发有限公司招聘计划3、虚拟现实仿真 国内最早应用人工智能技术进行虚拟现实仿真模拟的企业,广泛应用于智能制造、国防航天、网络娱乐等领域。客户包括: 三、招聘岗位 1、三维设计师(5名) 2、动画特效师(2名) 3、平面设计师(2名) 4、Web前端工程师(5名) 5、产品经理(2名) https://art.cqtbi.edu.cn/info/2259/1712.htm
9.vr展厅方案制作线上虚拟展会广州商迪科技有限公司,简称【商迪3D】,3d虚拟现实技术雄厚,多年来致力于为客户提供线上虚拟场景解决方案,为客户制作设计:vr线上展厅、3d展厅、企业虚拟展厅、线上展馆、线上展会平台、全景线上展厅制作等服务,帮助企业以全新视角向客户展现线上虚拟环境,专业值得信赖!http://www.kushixiu.com/
10.百年风华砺初心E路聚力开新局2021江苏网络文化季3D虚拟展馆正式今年,江苏网络文化季官网创造性地打造3D虚拟展馆,新技术的深度运用让网络文化成果展示既出新,又入心,助力优秀项目、作品实力“出圈”。 图片、视频、MG动画……打开方式多样、体验形式出新,三维视觉、语音导览令现场感更加充盈,点赞等交互功能助推参与度不断提升,“7×24小时在线”+“全平台运行”方便广大网民“随手https://www.xdkb.net/p1/215485.html
11.凡拓数创虚拟世界的建设者元宇宙数字孪生多媒体展览展示专业的数字创意科技企业,提供数智展馆、多媒体互动展厅展项、三维影片、虚拟数智人、元宇宙云展馆等一体化解决方案 1 2 3 6年 3D可视化技术优势 88 专利和原创软件著作 294 研发与创意人员 1618 累计服务项目 数字展厅 企业展厅 产业园展厅 售楼部展厅 https://www.frontop.cn/
12.集英科技提供专业的三维虚拟展厅解决方案上海集英科技随着科技的不断发展,可视化技术得到全面提升,传统展厅也逐步朝着数字可视化展厅方向迈进,借助通信、计算机、自动化、网络、移动应用等技术,将线下展馆转化为线上3D云展,通过3D模型+3D空间,将现实展览以虚拟实景的方式呈现在移动端、PC端甚至VR端、AR端,打造沉浸式体验的效果。 http://2d3d5d.net/news/687
13.世博创新亮点:网上世博会能否助推虚拟技术发展园区和展馆的景观有多种视角。远观、近赏、平视、俯看,每个角度都是不一样的风景。网上世博会的场景非常逼真。比如,网上世博山东馆,不仅有泰山日出的美景,渐次铺开的杜甫《望岳》诗动画,观众还可通过三维虚拟现实技术观看到孔子等历史名人的容貌动作和活动场所。 https://www.gov.cn/jrzg/2010-06/18/content_1629801.htm
14.展馆虚拟数字人落地方案:探索全嘲智能游览随着元宇宙概念的兴起和AIGC技术的蓬勃发展,虚拟数字人技术正在逐渐渗透到各个领域,为传统行业带来全新的发展机遇。博物馆、展厅作为文化传播的重要场所,积极探索虚拟数字人应用场景,不仅能够提升观众体验,更能推动文博行业数字化、智能化转型。 虚拟数字人技术在展馆的应用场景丰富多样,涵盖了虚拟讲解、智能导览、实时互动https://www.virdync.com/h-nd-1175.html
15.网上虚拟展馆其根本存在是随着网络技术的发展和网络接受群体增加而发展起来的,以其独有的特色和优势在展馆界掀起时代之风。 2 特色 网上虚拟展馆强调采用虚拟技术手段对实体展馆进行模拟,不仅仅从外在形态,内部结构上模拟,更加注重实质性的表现效果而且还可以通过对计划的三维描述以及进行三维模拟实验将展馆建设、维护地风险性降到最https://baike.sogou.com/m/fullLemma?lid=99724373
16.烘焙工艺论文范文10篇(全文)摘要:随着计算机图形和网络技术的飞速发展, 虚拟展馆的普及与应用也得到了极大推动。在虚拟展馆的建设过程中, 灵活运用贴图烘焙技术可以在保证视觉效果的前提下, 极大地节约三维模型的处理时间, 提升工作效率。 烘焙挽救情绪 第10篇 烘焙是一种心情。 想必所有女性对那些可爱的烘焙甜点都没有抗拒能力,但提到亲自尝试,https://www.99xueshu.com/w/ikeylwtrmerv.html