基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.展位设计搭建流程介绍深圳信可威展厅设计公司专业从事上市企业展厅设计、展览展示活动策划、展台设计搭建的展厅设计公司,凭借多年的市场经验,为客户提供前期策划、设计创意、现场搭建和维护、仓储、全国巡展等全流程的整体解决方案。同时开发商场、专卖店规划、设计、制作、会议活动策划和现场布置、平面广告创意策划等多项服务。https://baijiahao.baidu.com/s?id=1818378592795407199&wfr=spider&for=pc
2.最近虚拟直播还挺火,想问问大家这种AI直播间要怎么搭建?这次,羊羊用四大一线城市(北京、上海、广州、深圳)为例,带着大家走一遍制作的流程。大家都知道,https://www.zhihu.com/question/544316415/answer/55490912370
3.线上虚拟展厅制作流程有几步?三维虚拟展馆制作流程文章浏览阅读340次,点赞4次,收藏9次。虚拟展厅制作流程通常涉及多个步骤,包括需求分析、平台选择、设计规划、3D建模、素材准备、场景创建、模型导入、交互设置、性能优化、视觉效果调整、用户体验测试、发布与宣传等。_三维虚拟展馆制作流程https://blog.csdn.net/jimumeta/article/details/143189144
4.烘焙工艺论文范文10篇(全文)通常来说, 虚拟展馆的建设包括以下步骤:总体设计、资料收集、三维建模、材质设置、灯光渲染、交互设计、系统测试和成品发布。但单纯的三维建模只能解决模型有无及细致与否的问题。在没有赋予材质之前, 再复杂的物体或场景也只能呈现出一片纯色, 不具备任何光影效果, 为此, 还需要对三维模型进行材质和灯光处理, 使其在https://www.99xueshu.com/w/ikeylwtrmerv.html
5.AR/VR开发三维可视化3D展馆虚拟仿真内容制作AR/VR开发三维可视化3D展馆虚拟仿真内容制作近半年销量0 服务内容 版本及价格 基础版 ¥100.00 服务卖点 沉浸式AR/VR开发服务,打造虚实交融的非凡体验。定制化内容,高精度交互,助力品牌脱颖而出,让用户身临其境,尽享科技带来的无限可能。 项目开工 验收后付款比例:50% 专属服务对接群 全程一对一顾问服务 https://www.zbj.com/fw/2156521.html
6.校园模拟招聘大赛策划方案(通用13篇)旨在引导广大在校学生了解招聘的流程,制作精美简历,熟悉面试流程,掌握面试技巧,丰富就业知识,强化就业意识,烘托就业氛围,调动就业积极性,为自己毕业后的招聘做积淀。 四、活动对象 信息学院2013级全体在校大学生 五、组织安排 本次活动由信息学院团委主办,院学生会承办。本次比赛的筹划和组织,我们将联合成立比赛组委会进https://www.yjbys.com/hr/zhaopin/3007135.html
7.合肥unity3DVR数字孪生数据三维可视化制作,VR虚拟展厅展馆VR数字孪生数据三维可视化,VR虚拟展厅展馆,VR工业机械,VR智慧工厂 面向地区 全国 公司以“诚实守信”为发展理念,坚持精益求精、拒绝平庸的做事精神,和企业、、高校、等机构建立了良好的合作关系。 我们在“数字孪生”制作上拥有成熟的软件系统开发管理流程,是国内的“数字孪生”3D技术服务商,服务、技术、安全可控是我们https://wangzhan.huangye88.com/xinxi/b52rb9ahg978f9.html
8.展馆设计,展厅设计,青岛展馆设计,青岛展厅设计,数字孪生,青岛企业数字展馆 product 全场景 全平台的创意体验 党建馆 主题馆 文化馆 科技馆 MORE 关于我们 about us 青岛华数数字科技有限公司位于国家级新区---青岛西海岸新区,注册资本1000万元,公司秉承“创意驱动 科技引领”的发展理念,通过品牌创意策划、空间艺术设计、多媒体创新设计、数字体验技术开发、虚拟现实技术开发等多种形式http://www.huashow.net/
9.OPPO新品线上发布会,用虚拟制作技术打造艺术展览馆因为虚拟制作技术的限制,我们将拍摄的地台升高了30cm,和拍摄屏幕在水平视角上无缝连接在一起;地面材料经过多次的更换,测试,最终找到最理想的高反射的材质,这样一来,我们就收获了一个更纯粹的空间,把人物放进去,就有一种置身其中的感觉。 虚拟制作的流程和传统的影视流程不同,我们需要将资产的制作前置。因此在现场拍https://www.digitaling.com/projects/216691.html
10.我的西部系列游浪记第4集:东风航天城之行两次都是9月份去东风航天城参观游浪。 东风航天城位于内蒙古自治区阿拉善盟额济纳旗旗政府所在地达来库布镇北边约150公里处。 东风航天城就是酒泉卫星发射中心,总装备部的第二十试验训练基地, 随着神舟号飞船的一系列升空,才起名为酒泉卫星发射基地。 因“神五”、“神六”的成功发射而名闻天下。 https://www.meipian.cn/2edwba1i
11.虚拟展厅制作工具线上展厅软件网上展馆元居科技免费提供vr展厅制作软件工具,使用元居3D虚拟空间编辑器,在线线上虚拟展厅制作,线上会展系统,3d展厅制作,元宇宙,线上会展制作,大量3D虚拟展厅/VR虚拟展馆/3D线上展览/网上展馆/线上交易会等模板,可以快速生成线上虚拟展会/3D展馆/云展会/线上会展/元宇宙展厅等。https://www.mvpmeta.com/
12.数字化展馆宣传片制作过程短视频拍摄数字展馆是指利用数字化手段,实现将藏品文物等物品进行信息采集,达到构筑虚拟世界的展览馆。数字化展馆作为新兴行业,其市场宣传空间巨大,可以通过制作宣传片来强占市场,那么数字化展馆宣传片制作过程都包含哪些步骤,本文就由【视美影业】小编为大家分享下相关内容。 http://shipink.cn/xcpzz/548.html
13.线上虚拟展馆故宫线上虚拟展馆虚拟3d展览馆的实现 2.1 展馆制作流程 3d展览馆的制作流程将按照以下步骤进行 征求主办方意见和需求调研的基础上 初步确定建设思路 收集相关资料 经过归类和整理精心挑选展品 确定展馆结构 构建展馆内外场景 搭建三维展馆、三维艺术空间展厅和虚拟漫游系统 审核发布后上线。 ①项目需求整理 大鱼云展按照主办方需求 挑选展http://vrnew2009.51sole.com/companyproductdetail_378181215.htm
14.Three.js可视化企业实战WEBGL课课程介绍曲线使用与绘制流程 让物体与相机沿着曲线轨迹运动 19.变形动画 变形动画原理与实现 实现花苗生长到花开效果 20.全景看房与科技展馆 VR全景看房原理与实现 全景看房场景房间切换 房间切换之地图动画 全局加载进度管理实现页面loading 扩展提升实现科技展览馆 21.智慧城市 https://www.wanjunshijie.com/lizhi/4046.html
15.展馆数字沙盘报价参数图片1什么是数字沙盘2数字沙盘展示类型介绍3数字沙盘对安装场景要求4数字沙盘价格怎么计算?5数字沙盘的制作流程是怎么样的?6如何选择合适的数字沙盘技术和设备?7数字沙盘的优势有哪些?8数字沙盘效果图大全9投影数字沙盘介绍9沉浸式数字沙盘介绍 解决方案 根据展示形式提供全方位解决方案 https://www.huomi360.cn/fszsp/
16.虚拟现实中的三维动画制作虚拟现实(VR)作为一种全新的技术形态,正在以惊人的速度发展,并逐渐渗透到各个领域。三维动画制作在虚拟现实中扮演着重要的角色。本文将探讨虚拟现实中的三维动画制作的行业现状、http://www.mansitine.com/article/1358819.html
17.邮轮旅游与运营管理虚拟仿真实验中心展馆设计邮轮旅游展馆设计实验中心不同的主题空间包含不同的实训功能,包含了豪华邮轮船模实物展示、多媒体AR增强技术展示、沉浸式环形纱幕投影、多人触控互动教学、实时邮轮港数据对接,以及基于网络的虚拟仿真实训教学软件管理,涉及到多个新型的多功能数字互动技术。秀美在设计制作时,充分考虑到空间的功能性,将不同的虚拟现实技术合理布局,运用裸https://www.xiumeimodel.com/case47/9.html
18.3D+VR+AR一体机四维全景4DPanoramaViewer3DLEDVR虚拟展馆不受空间限制,无需场地、装修成本,通过3D展示场景工坊可快速搭建线上虚拟党建、思政展馆。VR虚拟展馆提供虚拟讲解服务,还可以通过社交平台进行分享。 3、高效易用的全景VR制作平台 3D数字党建展厅支持云端快速构建智慧党建教室,操作简单易上手。VR虚拟展馆提供协同的丰富素材库和模板库、在线的图文和视频教程,https://projector.zol.com.cn/866/8663517.html
19.元宇宙AI产业万字长文:首届陵水“元创·灵镜”科技艺术节嘉宾访谈在虚实结合的流程引导中,境腾科技是可以将故障排错标准化的,以便工程师以后在现场遇到类似问题时不必再呼叫后台专家。比如当工程师碰到一个设备发生故障的时候,戴上XR的眼镜,系统会提示他引起这个故障的3种可能。比如首先引导检查某个地方的线头是否松动。其次,他需要检查哪里的灯是否亮起。系统将通过虚拟箭头、图片、https://www.iyiou.com/interview/202312181057800
20.企业展厅,廉政反腐多媒体互动,科普教育基地,互动展厅展馆,人防ZHUOXIN卓信专业从事消防馆,安全馆,数字馆,模拟灭火馆,企业展馆,廉政馆,反腐馆,科普教育馆,互动展馆,人防民防馆,博物馆,模拟仿真馆,规划馆,应急救援馆,纪念馆,防灾减灾馆,抗震救灾馆,陈列馆,消防安全馆,数字模拟灭火,企业展厅,廉政反腐多媒体互动,科普教育基地,互动展厅展馆http://w-safe.cn/
21.虚拟数字人3d全息投影数字展厅展馆元宇宙数字公司主要提供虚拟数字人,虚拟主持人,AI合成主播,3d全息投影餐厅婚礼沙盘,沉浸式数字展厅展馆,vr互动数字展厅展馆,数字多媒体展厅展馆等创意设计与搭建.http://donghua.7h77.com/
22.虚拟展馆软件源码开发线上虚拟展馆不仅能够在脑端打开,它也可以在移动端打开,可谓是非常方便的。 虚拟展厅是数字展览馆的一种,它融合了互联网技术和传统线下展厅,为观众提供良好的浏览体验,突破了时间空间的限制,界面友好,让观众身临其境。虚拟展厅制作,框架和流程讲解! 可以在博物馆、企业展厅、纪念馆、科技馆、商品展厅、风景区等https://shenzhen.11467.com/info/19227279.htm
23.宁德时代智慧展厅高科技智能制造企业展厅设计方案共济岛展览?作为智慧展厅领跑者,12年来专注在高科技智造与医疗领域『智慧展厅展馆』策划设计搭建施工一体化解决方案,为伙伴提供以【故事+场景+体验]为核心的“影片+展览+互动”高水准数智解决方案,经典项目有:智慧展厅、科技展厅、医疗展厅、主题馆、科技馆、博物馆、校史馆、党建馆、纪念馆、VR多媒体内容制作、https://www.gongjidaovip.com/221.html
24.厦门网站建设教你如何在网站建设中应用虚拟和增强现实技术SEO使用VR技术可以构建虚拟展览馆或展示空间,让用户通过网站体验真实的展览或展示,提高用户体验和参与度。 制作VR视频和互动体验: 制作VR视频和互动体验可以提供更加生动和沉浸的用户体验,例如,用户可以通过网站上的VR视频亲临到远古时期或未来世界。 使用AR技术增强商品展示: https://www.shejiku.net/daswg.html
25.虚拟红色展馆用什么软件做?虚拟红色展馆是指通过软件和技术手段搭建起来的具有红色主题和内容的在线展览空间。虚拟红色展馆可以通过虚拟现实技术和3D建模等手段呈现出真实的展览场景,为观众提供沉浸式的参观体验。下面是关于虚拟红色展馆的软件选择和搭建流程的介绍。 1、虚拟红色展馆软件选择: https://www.263.net/blog/4804.html
26.盛世笔特:企业展馆设计与城市规划馆升级改造的十大品牌之一增强现实(AugmentedReality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。 3D/4D影院 3D/4D影院 4D影院系统,集四维特效设备、声光电技术、各种环境特效设备以及精心构思制作的立体影片为一体,使游客完全沉浸在逼真的模拟环境当中,https://www.bjbestexpo.com/