夏方方，郭润甲，吕镇宇，刘芳丽，郭子俊
北京信息科技大学计算机学院，北京
收稿日期：2023年10月17日；录用日期：2023年11月16日；发布日期：2023年11月23日
摘要
近年来，基于虚拟现实技术建设的博物馆建设逐渐成为了全球各大博物馆发展、政府投资、科研开发领域的热点。在数字时代，将VR技术应用于现代博物馆的建设之中具有重要的现实意义。虚拟文物展览馆作为传统博物馆的延伸改变了传统历史文物的陈列理念，虚拟博物馆不仅为用户提供了一种访问数字资源的方式，同时也提供了一种全新的展示和体验文化遗产的形式，还为文物保护提供了新的思路。本文区别于传统虚拟博物馆的构建方法提出了一种构建可智能交互的虚拟文物展览馆综合系统的方法，以可智能交互的虚拟文物展览馆作为研究背景，融入基于AI-driven的虚拟导游、显著性检测、眼动追踪等技术增强与用户的交互性，为用户带来更丰富的游览体验。同时为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段，积极的推动文化资源的数字化发展。
关键词
Unity3D，虚拟文物展览馆，显著性检测，AI-Driven虚拟导游，眼动追踪
VirtualCulturalRelicsExhibitionHallBasedonUnityIntelligentInteraction
FangfangXia,RunjiaGuo,ZhenyuLv,FangliLiu,ZijunGuo
ComputerSchool,BeijingInformationScienceandTechnologyUniversity,Beijing
Received:Oct.17th,2023;accepted:Nov.16th,2023;published:Nov.23rd,2023
ABSTRACT
Keywords:Unity3D,VirtualCulturalRelicsExhibitionHall,SaliencyObjectDetection,AI-DrivenVirtualTourGuide,EyeTracking
ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).
1.引言
1.1.国内外研究现状
虚拟文物展览馆方面：在新世纪我国十分注重博物馆的建设与发展，对虚拟文物展览馆建设也进行了深入研究。在技术的支持下，我国研发了虚拟文物展览馆的新兴产物，如腾讯博物馆。腾讯博物馆具有线上展览、线下导览等多重功能，为故宫博物院、法国国家博物馆联合会等组织提供了新的思路。但相比于西方发达国家比较成熟的文化虚拟博物馆的构建技术[1]，我国虚拟文物展览馆建设仍处于起步阶段，应继续加大探索力度。基于国内现有的虚拟博物馆构造方法和经验[2]，我们要考虑构建交互性更强的智能交互虚拟文物展览馆。具体来说在构建虚拟文物展览馆时我们积极探索了如何充分发挥各种技术手段在展览中的作用，如将单调的固定路线游览升级成为可自由移动的参观游览、基于用户意图识别的自动触发展品文物视频讲解。
显著性目标检测方面：随着计算机视觉和图像处理技术的发展，显著性检测成为一个重要的研究领域。过去的方法主要基于低级特征(如颜色、纹理和边缘等)进行显著性分析。而近年来，卷积神经网络、Attention等技术被应用到了显著性目标检测中。当前的显著性检测算法主要可分为以下几类：基于聚合的模型、基于边缘的模型、基于VisionTransformer的模型。基于聚合的模型通过提取多个维度的特征，这些特征经过一些网络层的处理后再融合成为最终的显著性图；基于边缘的模型通过以边缘和掩码为监督，来提高算法的性能；基于VisionTransformer的模型引入VisionTransformer来更好地获取图像特征。目前，显著性目标检测技术应用在虚拟文物展览馆的实例较少。
数字虚拟人方面：自2017年开始数字虚拟人技术进入快速发展阶段，二次元圈层用户崛起，人工智能、机器学习、渲染、VR等技术快速兴起，短视频等多种视频社交形式加速普及，产业资本大规模进入该领域，大量数字虚拟人被开发应用，虚拟偶像、虚拟主播、虚拟主持人等多种形象开始出现。但目前虚拟导游多采用动作捕捉技术生成，如国家博物馆的虚拟数智人“艾雯雯”和“仝古今”，但是存在虚拟人建模所需设备昂贵，数据采集过程繁琐复杂的问题[3]本系统采用AI-driven的虚拟人作为虚拟导游，避免了复杂的数据采集与建模步骤。具体来说，首先基于StableDiffusion模型生成虚拟人物形象，然后利用语音合成技术将文本数据转换为音频数据，再基于说话人脸生成技术(TFG)生成嘴部动作与音频数据一致的说话人脸视频，最后基于GFPGAN超分辨率模型增强面部清晰度生成具有高分辨率的数字虚拟人。
1.2.研究意义
研究构建可智能交互的虚拟文物展览馆具有以下重要意义：
与传统实体博物馆相比，此技术不受保护、修复和复原条件的限制，可以将博物馆真实完整地存储到计算机网络中，实现三维数字存档，为国家文化遗产和数字文化发展提供了一种全新的展示和保护手段，推动文化资源的数字化发展。
与传统虚拟博物馆相比，此方法为如何提升虚拟博物馆的智能性和交互性提供了新的思路，虚拟博物馆可以融合多种交互技术为用户提供多感官、多方式的体验。
本文提出一种基于Unity3D构建互动的虚拟文物展示馆的方法，用于将实体博物馆数字化展示，为用户提供数字化展览。
2.开发环境介绍
2.1.主要特征
在进行虚拟文物展览馆系统开发时，主要在Unity3D引擎中采用VR技术开发。Unity3D是一款在游戏开发和虚拟现实领域广泛应用的跨平台游戏引擎。它融合了多项独特特性，为开发者提供了强大的工具和极大的灵活性，能够打造出引人入胜的游戏体。
Unity3D的主要特征包括跨平台支持、强大的图形引擎、物理引擎、脚本语言、资源管理、社区和生态系统、实时预览、VR和AR支持。
在进行AI虚拟人生成、眼动追踪任务时，主要使用了深度学习技术。在AI虚拟人生成中，深度学习技术可以实现对人物形态、面部表情和语音等方面的智能建模和仿真，从而实现更加真实和自然的虚拟人形象。在眼动追踪中，深度学习技术可以实现对眼部运动的实时追踪和预测，从而更加准确地解析用户的视线和注视点。
2.2.关键技术概述
Unity3D支持多个虚拟现实设备，如HTCVive、OculusRift和PlayStationVR，并提供了丰富的交互控制选项，包括虚拟手柄、手势识别和触摸控制等技术。它还支持头部追踪、空间音效和高质量图形渲染等技术，以提高虚拟环境的真实感和沉浸感，同时注重性能优化，确保平滑流畅的运行。
深度学习技术是一种基于人工神经网络的机器学习方法，它模仿人脑神经元之间的联结方式和信息传递过程，通过多层次的网络结构来学习和表示数据的复杂模式。深度学习技术的核心是深度神经网络(DeepNeuralNetwork,DNN)，它由多个网络层组成，每一层都包含大量的神经元。不同层之间的神经元通过权重连接，并通过激活函数来实现非线性映射，从而实现对数据的分层抽象和特征提取。
Figure1.Architecturediagramofvirtualmuseum
3.1.项目规划
3.2.三维模型的创建
Figure2.Renderingofthevirtualmuseum
3.3.互动功能的实现
互动功能主要分为基础功能和高级智能交互功能两部分。基础功能部分实现简单的事件触发。在Unity3D中，为实现与文物进行互动，采取对物体绑定Interactable组件和BoxCollider组件添加感应区域来实现感应手部控制器对物体的接触，添加Throwable组件来实现对物体的抓取和释放的机制，同时为了让物体释放后有更加现实的物理特性，添加Rigidbody组件，最终实现对物体的互动。
3.4.动态导览系统设计
4.智能交互技术的应用
Figure3.Virtualtourtoexplainculturalrelics
4.1.AI-Driven虚拟导游
Figure4.Flowchartofdigitalimagegeneration
眼动追踪，是指用户在虚拟文物展览馆应用场景之中，对UI交互菜单显示界面中的任务模块通过凝视操作进行选择，触发对应的事件，实现相应的模块功能。眼动追踪功能主要通过SteamVRPlugin框架中的头盔显示器凝视脚本SteamVRGazeTrackercs，此脚本为凝视功能的开发提供了接口，同时依托于Unity3D中的射线碰撞检测机制得以实现。
Figure5.Schematicdiagramofeyetrackingtechnology
Table1.Comparisonresultsofsalientobjectdetectionwithadvancedmethods
Figure6.Theframeworkofsaliencyobjectdetectionmodule
Figure7.Saliencyobjectdetectionrenderingsinthesceneofculturalrelicsmuseum
5.虚拟文物展览馆的效果与优势
5.1.AI-Driven虚拟导游讲解
虚拟导游是虚拟文物展览馆中一项引人注目的创新技术。通过AI技术的应用，虚拟导游不仅可以引领参观虚拟文物展览馆并且进行讲解，还能根据参观者的需求和兴趣，为他们量身定制导览内容。这种个性化的导览服务使得参观者能够更加深入地了解和欣赏所展示的内容，提升了参观体验的质量。虚拟导游的引入使得虚拟文物展览馆得以吸引更多喜欢和想体验虚拟现实的人涌入虚拟文物展览馆。
5.2.即时访问
在使用Unity、Blender等软件进行三维模型的创建过程中，虚拟文物展览馆通过运用先进的技术手段，如虚拟现实(VR)、增强现实(AR)和全景摄影等，为观众营造了身临其境的参观体验，观众可以通过佩戴VR头显或使用智能设备，自由选择参观路线进行探索展厅、观看文物、欣赏艺术品等活动。
5.3.注意力引导
6.展望与总结
渲染技术提升：随着虚拟现实技术不断发展，实时渲染技术的不断改进，虚拟文物展览馆中的文物将以更高质量的图形效果展现在观众面前，同时会支持多种平台访问游览，包括PC、移动设备、游戏主机和云平台等。
融合大语言模型的虚拟导游：未来虚拟文物展览馆中的虚拟导游将会与大语言模型融合，能够即时响应用户的需求，为用户带来生动、准确、有趣的智能导览。
随着技术的进步，基于虚拟现实技术构建的虚拟文物展览馆有望继续演进和创新，将会提供更加真实的体验和更加智能化的功能。虚拟文物展览馆借助社交媒体等渠道与用户进行互动和交流，引导用户进行更加深入的探究和发现，还可以与其他数字文化遗产展示和教育工具相结合，创新展示形式和教育方式，为用户提供更加丰富、多样的文化体验，具有广阔的发展前景和应用空间。未来，虚拟文物展览馆将继续演进和创新，为用户带来更加真实、智能化、个性化的参观体验，同时也将推动文化遗产的传承和推广。
基金项目
由北京信息科技大学促进高校分类发展大学生创新创业训练计划项目——计算机学院(5112310855)支持。