基于Unity的智能交互虚拟文物展览馆VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

夏方方,郭润甲,吕镇宇,刘芳丽,郭子俊

北京信息科技大学计算机学院,北京

收稿日期:2023年10月17日;录用日期:2023年11月16日;发布日期:2023年11月23日

摘要

近年来,基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代,将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念,虚拟博物馆不仅为用户提供了一种访问数字资源的方式,同时也提供了一种全新的展示和体验文化遗产的形式,还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法,以可智能交互的虚拟文物展览馆作为研究背景,融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性,为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,积极的推动文化资源的数字化发展。

关键词

Unity3D,虚拟文物展览馆,显著性检测,AI-Driven虚拟导游,眼动追踪

VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction

FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo

ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing

Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023

ABSTRACT

Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

1.1.国内外研究现状

虚拟文物展览馆方面:在新世纪我国十分注重博物馆的建设与发展,对虚拟文物展览馆建设也进行了深入研究。在技术的支持下,我国研发了虚拟文物展览馆的新兴产物,如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能,为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1],我国虚拟文物展览馆建设仍处于起步阶段,应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2],我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用,如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。

显著性目标检测方面:随着计算机视觉和图像处理技术的发展,显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来,卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类:基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征,这些特征经过一些网络层的处理后再融合成为最终的显著性图;基于边缘的模型通过以边缘和掩码为监督,来提高算法的性能;基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前,显著性目标检测技术应用在虚拟文物展览馆的实例较少。

数字虚拟人方面:自2017年开始数字虚拟人技术进入快速发展阶段,二次元圈层用户崛起,人工智能、机器学习、渲染、VR等技术快速兴起,短视频等多种视频社交形式加速普及,产业资本大规模进入该领域,大量数字虚拟人被开发应用,虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成,如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”,但是存在虚拟人建模所需设备昂贵,数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游,避免了复杂的数据采集与建模步骤。具体来说,首先基于StableDiffusion模型生成虚拟人物形象,然后利用语音合成技术将文本数据转换为音频数据,再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频,最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。

1.2.研究意义

研究构建可智能交互的虚拟文物展览馆具有以下重要意义:

与传统实体博物馆相比,此技术不受保护、修复和复原条件的限制,可以将博物馆真实完整地存储到计算机网络中,实现三维数字存档,为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段,推动文化资源的数字化发展。

与传统虚拟博物馆相比,此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路,虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。

本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法,用于将实体博物馆数字化展示,为用户提供数字化展览。

2.开发环境介绍

2.1.主要特征

在进行虚拟文物展览馆系统开发时,主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性,为开发者提供了强大的工具和极大的灵活性,能够打造出引人入胜的游戏体。

Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。

在进行AI虚拟人生成、眼动追踪任务时,主要使用了深度学习技术。在AI虚拟人生成中,深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真,从而实现更加真实和自然的虚拟人形象。在眼动追踪中,深度学习技术可以实现对眼部运动的实时追踪和预测,从而更加准确地解析用户的视线和注视点。

2.2.关键技术概述

Unity3D支持多个虚拟现实设备,如HTCVive、OculusRift和PlayStationVR,并提供了丰富的交互控制选项,包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术,以提高虚拟环境的真实感和沉浸感,同时注重性能优化,确保平滑流畅的运行。

深度学习技术是一种基于人工神经网络的机器学习方法,它模仿人脑神经元之间的联结方式和信息传递过程,通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN),它由多个网络层组成,每一层都包含大量的神经元。不同层之间的神经元通过权重连接,并通过激活函数来实现非线性映射,从而实现对数据的分层抽象和特征提取。

Figure1.Architecturediagramofvirtualmuseum

3.1.项目规划

3.2.三维模型的创建

Figure2.Renderingofthevirtualmuseum

3.3.互动功能的实现

互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中,为实现与文物进行互动,采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触,添加Throwable组件来实现对物体的抓取和释放的机制,同时为了让物体释放后有更加现实的物理特性,添加Rigidbody组件,最终实现对物体的互动。

3.4.动态导览系统设计

4.智能交互技术的应用

Figure3.Virtualtourtoexplainculturalrelics

4.1.AI-Driven虚拟导游

Figure4.Flowchartofdigitalimagegeneration

眼动追踪,是指用户在虚拟文物展览馆应用场景之中,对UI交互菜单显示界面中的任务模块通过凝视操作进行选择,触发对应的事件,实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs,此脚本为凝视功能的开发提供了接口,同时依托于Unity3D中的射线碰撞检测机制得以实现。

Figure5.Schematicdiagramofeyetrackingtechnology

Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods

Figure6.Theframeworkofsaliencyobjectdetectionmodule

Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum

5.虚拟文物展览馆的效果与优势

5.1.AI-Driven虚拟导游讲解

虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用,虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解,还能根据参观者的需求和兴趣,为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容,提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。

5.2.即时访问

在使用Unity、Blender等软件进行三维模型的创建过程中,虚拟文物展览馆通过运用先进的技术手段,如虚拟现实(VR)、增强现实(AR)和全景摄影等,为观众营造了身临其境的参观体验,观众可以通过佩戴VR头显或使用智能设备,自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。

5.3.注意力引导

6.展望与总结

渲染技术提升:随着虚拟现实技术不断发展,实时渲染技术的不断改进,虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前,同时会支持多种平台访问游览,包括PC、移动设备、游戏主机和云平台等。

融合大语言模型的虚拟导游:未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合,能够即时响应用户的需求,为用户带来生动、准确、有趣的智能导览。

随着技术的进步,基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新,将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流,引导用户进行更加深入的探究和发现,还可以与其他数字文化遗产展示和教育工具相结合,创新展示形式和教育方式,为用户提供更加丰富、多样的文化体验,具有广阔的发展前景和应用空间。未来,虚拟文物展览馆将继续演进和创新,为用户带来更加真实、智能化、个性化的参观体验,同时也将推动文化遗产的传承和推广。

基金项目

由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。

THE END
1.怎样创建带有虚拟数字人的个性化3D展厅?添加数字人:在编辑页面中,找到并点击“添加数字人”或类似的按钮,然后按照提示操作添加虚拟数字人。 个性化定制:根据需求对虚拟数字人进行个性化定制,包括调整数字人的外观(如面部特征、表情、服装等)、动作、语音等,以确保其符合品牌形象和展示需求。 五、测试与优化 https://blog.csdn.net/jimumeta/article/details/144432345
2.3d展览馆制作与网上虚拟博物馆设计3d展览馆制作与网上虚拟博物馆设计需要特别注意的宏观场景的建设、展品的三维展示、交互技术三个方面。宏观场景建设要给人一种愉悦的感受,要与展馆内容更契合的设计理念来构建亲切、和谐、生态的一个展馆环境;展品的三维展示上,除了对展品的材质、质地等进行精细展示,还要注重展品背后更多的文化沉淀;最后网络三维虚拟展馆http://www.szzs360.com/shop/1415/offer-detail/offer-detail-1775.html
3.博物馆数字馆制作,展厅制作,虚拟展厅设计,数字展厅制作,线上3D随着数字技术的不断发展,数字博物馆成为了一种展示文化遗产和历史的新形式。重庆新信事达科技有限公司是一家专业的数字博物馆制作公司,我们提供博物馆数字馆制作、展厅制作、虚拟展厅设计、数字展厅制作、线上3D展厅制作等产品和服务。我们通过数字技术,为博物馆、历史馆、科技馆等提供全新的展览方式,为广大观众提供更加https://hezuo.11467.com/info/21280612.htm
4.展厅设计公司企业文化墙设计制作博物馆校史馆规划建设勋宇博展展览展示有限公司20多年项目经验,业务涉及展厅设计制作搭建与一体。展览展示展会中展台设计搭建工程公司、咨询17343181073企事业单位科技概念展厅设计制作、文化形象墙设计制作、党建展厅文化墙设计、活动运营裸眼3D大屏及虚拟数字展厅,vr虚拟现实工装家装及一体http://www.xunyu-bj.cn/
5.VR全景视频720全景航拍福建VR全景720全景拍摄制作公司是专业的VR视频VR全景服务商,AI虚拟数字人, 元宇宙数字虚拟人, VR展厅、VR党建、720全景展览馆博物馆,全景航拍、厦门VR全景、漳州VR全景拍摄制作厦门AR,福建AR公司,VR全景航拍,提供720全景拍摄制作,VR眼镜头盔结合,VR全景制作服务,面向http://www.10592.com/
6.AR展厅:创新的虚拟展览体验大都会艺术博物馆的展览《色度:彩色古代雕塑》为了深度向世人展示这些古代雕塑背后丰富多彩的故事,特别推出的名为:Chroma AR的体验。游客可以通过这款AR应用程序扫描展品,观看虚拟的色彩,更好地理解古代雕塑的真实面貌。这种创新的AR展厅不仅为游客提供了视觉上的享受,还让他们能够与历史互动,感受到传统文化蕴藏的独特魅https://www.kivicube.com/blog/news/13019/
7.“西安交通大学博物馆虚拟展馆”上线!“西安交通大学博物馆虚拟展馆”于2019年10月正式上线!该系统由网信中心、博物馆联合设计制作。呈现全方位、全媒体、全景式的网上展馆,打造永不落幕的展览现场,带给您遨游展厅的超爽体验。 虚拟展馆设有浏览地图,可以实现展区场景快速切换,点击场景中的热点,即能详细了解图片、文字、音视频等展项内容。针对馆藏精品进http://nic.xjtu.edu.cn/info/1016/5561.htm
8.重庆红岩革命历史博物馆重庆红岩革命历史博物馆基本陈列展馆内有:红岩魂展览,千秋红岩—中共中央南方局历史暨文物陈列展,中国民主党派历史陈列展。 复原陈列 重庆红岩革命历史博物馆复原陈列展馆内有:渣滓洞监狱关押烈士展览,白公馆烈士展览,和平的曙光—重庆谈判纪实,八办主题展览。 虚拟展览 重庆红岩革命历史博物馆虚拟展览展馆内有:重庆红岩https://www.maigoo.com/citiao/60143.html
9.虚拟展览 #文化中国行看文博热升温#"淡季不淡,旺季更旺”,现代人对博物馆的热情与日俱增,不仅是参观者的数量创下新高,更有越来越多的博物馆推出创新的展示方式,延长开放时间、举办夜场活动,甚至通过虚拟展览让无法亲临的观众也能感受文物的魅。这种“博物馆+”的跨界创新不仅满足了人们对历史文化的 全文 长图 https://m.weibo.cn/search?containerid=100103type%3D1%26q%3D%E8%99%9A%E6%8B%9F%E5%B1%95%E8%A7%88
10.展览展厅设计公司企业展厅设计制作展会展台搭建施工工厂广州魔季展览展览设计公司专业从事展览设计,展厅设计制作,企业展厅设计施工,广州展会展台搭建设计等。有专业的展厅装修施工团队,自有展台搭建工厂。如果您需要展览展厅设计、展会展台搭建或其他相关服务,请与我们联系4008049112。http://www.expo-gz.cn/
11.收藏300个博物馆线上展览,总有一款适合你澎湃号·政务的各种精彩展览哦 网上博物馆展览汇总 第一批 复制链接在浏览器打开 或点击图片识别二维码查看 1、贺岁迎祥——紫禁城里过大年 故宫博物院 https://www.dpm.org.cn/subject_hesui/guide.html 2、全景故宫 故宫博物院 http://webapp.vizen.cn/gugong_app_pc/index.html https://www.thepaper.cn/newsDetail_forward_6341466
12.全国博物馆网上展览资源汇总近日,国家文物局提供了全国博物馆网上展览资源。网友复制并打开网站链接,即可观看。 1、贺岁迎祥——紫禁城里过大年 故宫博物院 https://www.dpm.org.cn/subject_hesui/guide.html 2、全景故宫 故宫博物院 http://webapp.vizen.cn/gugong_app_pc/index.html https://www.cnr.cn/ent/ylzt/kangyi/yunyou/20200220/t20200220_524983888.shtml
13.西安展览公司规划馆设计施工陕西展览馆设计公司西安展览公司推荐选择精诚展览装饰有限公司其是一家专业从事规划馆,展览馆,博物馆等各类展馆的策划,设计,多媒体一站式服务.现已发展成为集创意策划,设计施工,数字多媒体于一体的文化科技公司.多年专注展馆展示领域,承接项目案例上千例,拥有一批经验丰富的施工人员,与多家知https://www.sxjc6866.com/jingcheng/
14.先锋视角丨可触摸式展陈方式在历史文物类展览中的应用探索(二)互联网时代加强博物馆展览可触摸性的意义 自互联网发明以来,人类进入到了高速数字化的时代,一切都在数字化,一切都在虚拟化。特别是新冠感染出现后,客观世界的巨大阻力前所未有地加大了人与人交流与接触的困难。2021年成为“元宇宙”之年,那个万物互联、一切虚拟的数字生活仿佛就在我们眼前。在这样的时代,强调可https://www.d-arts.cn/article/article_info/key/MTIwNDU0Njc5ODKD341osIascw.html
15.中国虚拟博物馆地界虚博世界.中国虚拟博物馆.全天美术馆BETA版致力于普及博物艺术生活。增强拓展互通。 让人们能足不出户的免费参观 和低成本的展现世界,宇宙万象。 观众在参观虚拟世界的时候, 不需要下载安装任何客户端软件!http://www.hsxsh.pudong-edu.sh.cn/infoweb/item-detail.aspx?newsid=3745
16.虚拟展览常设展览临时展览国内交流 境外交流虚拟展览 首页﹥展览﹥虚拟展览 浮金流燦——香港中文大学文物 湖北省博物馆藏金石碑帖展 永远的三峡——三峡文物保护利 甲辰龙年“寻龙探宝” 甲辰龙年“寻龙探宝” 东海道五十三次 东海道五十三次 龢—音乐的力量 http://m-hbsbwg.cjyun.org/xnzl