文化遗产是中华五千年悠久历史的重要载体，是传承文化的特殊资源，也是连接过去现在与未来的重要途径，在我国政治、经济、文化、社会中的作用日益凸显。由于传统保护方式的局限性，其面临着巨大的挑战：
②发掘现场坍塌碎片成滩，手工复原的周期长，且易对文物造成二次破坏；
③传统的展陈方式受时空限制较大；
④手工绘图纸质管理效率低、占用空间大且不易检索和查找。
兵马俑是中华文物最典型代表，具有2300年的历史，举世无双的世界八大奇迹之一。其规模宏大，具有陶俑15000多个，均高185cm，个重约160kg，类型众多，个性鲜明，世界上绝无仅有的雕塑艺术品。因此，兵马俑的保护具有巨大的挑战性：
①打磨粘接实体试拼合，易造成二次损坏；
②人工修复周期长、误差大。
以秦兵马俑为例：一号坑最早发现修复40年、人工修复1000余件，仅占发现俑数8000余件的1／8。因此，利用数字化手段对其进行修复和复原，具有重大的意义。
针对上述需求，西北大学可视化技术研究所项目组经过多年研究，在古人面貌虚拟复原、复杂外观文物数字化、考古遗址场景建模与展示、考古过程记录与应用、破损破碎文物虚拟修复、文物碎片自动分类、文化遗产的数字展示传播这7个方面取得了系列成果。
1
古人面貌虚拟复原
●
颅面形态学研究创建了世界上样本量最大、类型最全、精度最高的蒙古人种颅面数据库。同时，结合法医人类学知识，建立了颅骨面貌复原知识模型，并与公安部物证鉴定中心合作，颁布实施了颅面复原国家行业标准。
1．1基于最小二乘回归的颅骨面貌复原方法
本项目组提出一种基于最小二乘回归的颅骨面貌复原方法，该方法基于现代人颅面数据库：
首先，分别为颅骨和面皮建立统计形状模型；
然后，在形状参数空间中训练最小二乘回归模型。
对于未知颅骨，将其投影到颅骨形状参数空间，使用最小二乘回归模型重建其相应的面貌。该方法能很好地反映随机变量的真实分布规律，有效提取颅骨和面貌的内在关系，使得复原结果准确性更高，科学性更强。可应用于历史人物的面貌复原和刑事案件中遗骸的身份确定，如图1所示为古人的颅骨面貌复原结果。
A唐李世民第六代孙女李倕面貌复原结果
B秦人颅骨面貌复原结果
图1古人颅骨面貌复原结果
1．2结合改进卷积神经网络和最小二乘法的颅骨性别鉴定
传统颅骨性别鉴定方法大多需要专家参与，导致鉴定结果依赖人工标定的准确度及主观性等问题，本项目组提出了结合改进卷积神经网络和最小二乘法的颅骨性别鉴定方法。
首先，计算给定颅骨模型的多视图，并利用改进的CNN（卷积神经网络）估计每个视图属于男性和女性的概率；
然后，将概率均值作为特征，基于最小二乘法获得每幅视图属于不同性别的权重；
最后，利用上述步骤得到的最优参数构造决策函数，由决策值确定颅骨的性别。
所提方法无需手动标定和测量，针对完整颅骨性别鉴定的准确率能够达到94．4％，针对不完整颅骨的性别鉴定准确率可以达到87．5％。
2
复杂外观文物数字化及
模板库构建
为了高效管理和展示出土文物，需要对文物进行数字化建模。在建模过程中，要解决的关键科学问题主要是：
①文物表面纹饰的高精度表示；
②文物几何形态的建模与可视化；
③文物数字化模型格式优化。
针对这些关键科学问题，本项目组开展了系列研究，构建了近万件出土文物的表面和几何形态的高精度数字化模型及记录。
2．1基于八叉树和三维K--D树混合索引的点云文物数据表示方法
针对点云的无序性和海量性这两个特点，同时避免降维过程中引起的信息损失，为了将点云模型转化为能直接在深度网络中处理的形式，本项目组提出基于八叉树和三维K--D树的混合索引的点云文物数据表示方法。
首先，将点云体素化；
然后，生成该体素化模型的八叉树，在对八叉树进行编码时，逐层索引构建八叉树。
为了克服八叉树结点搜索效率低的问题，同时构建K--D树索引对单个三维空间点进行检索。算法的具体步骤如下：
①将无组织的点云转换成体素空间；
②在体素空间中对点云模型进行八叉树空间剖分，区分并标记空节点和非空节点，统计非空节点的总数；
③根据八叉树叶节点的数量，为每个叶节点开辟存储空间，对八叉树编码；
④从第0层起，自顶向下逐层构建节点间的关系，每次只处理一层，对每层节点并行处理。
如图2所示为兵马俑俑手的数字化建模结果。
A深度为5的八叉树
B深度为7的八叉树
图2G10-4兵马俑俑手的数字化建模结果
2．2文物三维扫描与网格生成
针对三维有限元网格的生成速度较慢并且网格质量不高的问题，提出了一种基于约束波前法的三维有限元网格生成算法。算法的主要思想是用背景网格提高网格单元的可控性，避免网格单元生成时验证有效性的计算量，从而快速生成高质量的三维有限元网格。方法的具体步骤如下：
①借助八叉树方法生成背景网格；
②利用背景网格的密度对模型表面进行三角剖分得到初始波前；
③依据背景网格的特征生成实体网格单元；
④采用网格光顺的方法对得到的结果进行优化。
2．3兵马俑甲胄模板库构建
秦俑甲胄模型表面一般会存在着具有一定规律性和重复性的纹饰，如能将这部分特征提取，就能实现对甲胄模型的自动识别分类。可系统化管理和智能化复原。模板的建立可有效减少文物模型识别分类中数据集的规模。提高分类和修复的工作效率。兵马俑甲胄模板库的构建约束具体为：
①局部特征中形状较完整的模型可直接存入样本库，局部特征具有微小瑕疵的利用交互式方法进行修正，若局部特征可以通过库中已有模板的刚体变换得到，那么这类模型不入库；
②利用已入库的模型的特征，检索相似性较高的匹配模型并入库；
③对每个模板的匹配结果进行统计分析，将匹配次数极少（少于给定阈值）的样本从库中删除，由此对模板库进行动态调整。
根据以上模板库构建约束，可以实现兵马俑甲胄模板库的构建，并进一步支撑甲胄碎片模型的识别和检索。
2．4构建部位特征样本库
①头部；
②身体躯干，主要包括肩膀、胸腹、腰及背部等，这类碎片通常由战袍、铠甲等组成；
③手臂；
④裙摆；
⑤腿、脚部及踏板。
通过对模型进行一致性分割，可以按部位建立样本库，具体步骤如下[27|：
首先，利用特征提取算法分别对碎片模型进行特征提取，特征可包括几何特征、颜色特征和纹理特征等；
然后，使用上一节中描述的甲胄模板库的构建约束构建部位样本库。
值得注意的是，已建立的甲胄模板库可直接作为身体躯干部位样本库。
3
考古遗址场景建模与展示
相较于单个文物。遗址遗存数字化中的难点主要表现在：
①遗址遗存的体积较大，利用三维扫描仪无法直接获取遗址的整体数字化模型；
②扫描获取的数字化模型占用内存大，使得处理的计算复杂度提升，如图3所示。针对以上两个难点项目组开展了如下系列研究。
A兵马俑一号坑第三次发掘现场全景图
B发掘现场重建结果
C重建结果
图3秦兵马俑一号坑G9过洞发掘现场重建结果
3．1基于区域分割的低覆盖点云配准算法
首先，利用体积积分不变量计算点云上点的凹凸性，并提取凹凸特征点集；
然后，采用基于混合流形谱聚类的分割算法对特征点集进行区域分割，并采用基于奇异值分解（SVD）的迭代最近点（ICP）算法对区域进行配准，从而实现点云的精确配准。如图4所示为文物碎片的匹配结果。
A待匹配文物碎块
B匹配结果
图4文物碎块的匹配结果
3．2基于变分水平集的三维模型复杂孔洞修复
针对遗址三维模型扫描及重建后存在大量复杂孔洞的问题，提出一种孔洞修补算法。
首先，构造符号距离函数，孔洞所在曲面用静态符号距离函数的零水平集表达，另一动态符号距离函数表示初始曲面；
然后，借助隐式曲面上的变分水平集。通过设计全局的凸优化函数模型，并对其极小化优化，将提取孔洞边缘的问题转换为维体上隐式曲面的演化过程；
最后，以提取到的孔洞边缘曲面作为初始观察面，通过卷积和合成两个交替的步骤进行体素扩散完成孔洞修补。
实验表明该算法能够有效恢复复杂孔洞区域的显著几何特征，且适用于含有网格较多模型的孔洞修复。
3．3一种特征感知的三维点云简化算法
提出一种特征感知的三维点云简化方法。通过构造八叉树搜索每个点的k近邻点，并计算每个点的法向量，以此检测并保留边缘点；使用期望最大化算法对点云进行聚类。并确定高曲率的点：使用边缘感知的有向Hausdorff距离方法进行点云精简，合并前述点云并删除重复点，实现模型简化。该方法适用于不同曲率变化的模型，并且能够在保留尖锐特征的同时显示模型整体轮廓。
4
考古过程记录与应用
本项目组为首家将虚拟拼接的基础理论方法应用于考古过程记录的研究团队，主要应用为：
①秦俑一号坑三次发掘；
②秦陵K9901坑数字化建模保护全过程。如图5所示为秦陵1号坑及K9901坑考古现场场景建模结果。
图5秦陵1号坑及K9901坑考古现场
在考古过程中，考古人员可以根据挖掘现场碎片的位置信息初步确定碎片的邻接关系，同时根据邻接关系进行碎片其他信息的分析和存储等。基于该需求，项目组提出一种在VR环境下的碎片拼接方法，通过对文物三维模型进行数字化处理简化模型后输入到VR环境中，采用三角网格化识别文物孔洞的方式对残缺的文物进行文物孔洞识别，计算每个文物孔洞的重心位置，以重心到文物孔洞最远点的距离作为半径，构建文物孔洞碰撞球体。同理，构建文物碎片碰撞球体，当两者发生相交时，自动调用拼接算法，提取文物孔洞的边界主轮廓线、文物碎片外表面与断裂面相交的次轮廓线，利用单位三元组的曲线匹配方法匹配刚体变换矩阵，再通过SAC—IA算法进行粗匹配。最后，调用ICP算法对文物碎片与文物孔洞进行精确匹配，实现VR环境下的碎片拼接。该方法不仅运算速度快，而且可以辅助文物工作者在虚拟环境下对碎片进行拼接，与现实中的众多碎片进行查询拼接，进而加快兵马俑复原速度，解决了文物碎片复原难度大和速度慢的问题。如图6所示为VR环境下的碎片拼接方法效果图。
图6VR环境下碎片拼接方法效果图
5
破损破碎文物虚拟修复
自2009年开始，文物数字化保护已和传统保护方式并轨实施，所有数字化建模的出土陶俑均采用自底向上和自顶向下两种拼接方法实现修复。如图7所示为部分兵马俑碎片虚拟拼接结果。
AG10-54号俑部分邻接碎片拼接结果
BG10-39号俑部分邻接碎片拼接结果
CG10-36号俑部分邻接碎片拼接结果
图7部分兵马俑碎片拼合结果
5．1基于轮廓线双向距离场的文物碎片拼接算法
文物碎片断裂部位往往最容易受损，导致受损断裂面的几何特征不完整，造成传统基于几何特征驱动的拼接方法失效等问题。为此，项目组提出一种基于断裂部位轮廓线双向距离场的文物碎片自动拼接算法。
首先，提取文物碎片模型表面的显示脊线，将该脊线作为碎片的几何纹理；
然后，采用最小逼近误差法识别表面几何纹理中的显著特征点；
接着，获取断裂面上的特征点。从而构建碎片断裂面轮廓线至表面特征点和断裂面特征点的双向距离场；
最后，在构建双向距离场的基础上，利用欧式距离的一致性和凹凸互补性两个条件约束构造特征描述子，并引入特征描述子的匹配度函数，从而确定匹配特征点对，实现碎片邻接关系的计算。
5．2基于形状骨架图匹配的文物碎片自动重组方法
兵马俑碎片表面的几何纹理信息能够有效支撑碎片邻接关系的计算，为了解决断裂部位受损碎片的自动拼接问题，项目组提出一种基于形状骨架图匹配的文物碎片自动重组方法，将碎片匹配问题转化为碎片表面纹饰中非完整纹元的互补匹配问题。
首先，提取文物碎片表面的特征线，该特征线构成兵马俑碎片表面的几何纹理；
然后，根据几何纹理中完整纹元的形状等信息，设计非完整纹元互补匹配约束，并利用视觉骨架剪枝法计算位于断裂边缘的非完整纹元的形状骨架图，基于形状骨架图语法及匹配约束确定非完整纹元互补匹配对；
最后，基于带剪枝深度优先搜索方法搜索匹配碎片，实现文物碎片邻接关系的计算。
5．3基于Morse--Smale拓扑特征的文物碎片拼接算法
针对计算机辅助文物虚拟复原中由于破损文物断裂部位边缘受损而引起的轮廓线不能充分表示断裂面几何特征的问题，项目组提出了一种基于断裂面拓扑特征的破碎文物自动拼接算法。方法具体步骤如下：
①定义顶点显著度度量函数，提取断裂面特征点，针对断裂面。依据Morse—Smale复形理论构建几何拓扑图；
②定义基准点与0值面，并计算目标点的高度差值，然后利用构建的几何拓扑图中的四边形曲面构造特征描述符，该特征描述符能完整描述断裂面的几何形状特征；
③根据凹凸互补性计算初始特征四边形匹配集并搜索最优匹配集，得到碎片的邻接关系；
④采用四元组方法计算刚体变换矩阵并完成碎片的拼合。
5．4基于表面邻接约束的交互式文物碎片重组
当断裂部位严重受损时，特征的完整度就会低于有效阈值，此时，基于特征匹配的方法就会失效，因此，项目组提出一种基于文物模型表面纹饰几何特征的交互式破损文物重组方法。
首先，提取文物碎片的显示脊线，并用该脊线作为碎片表面的几何结构和主动轮廓线；
然后，领域专家根据碎片表面几何结构的连贯性，确定碎片的邻接关系。并基于区域生长法计算表面邻接约束点的最终位置；
接着，以表面邻接约束点为中心获取初始匹配点集，利用线段约束得到最优匹配点对；
最后，计算刚体变换，实现碎片拼合。
6
文物碎片自动分类
出土文物碎块数量庞大，且不同年代、不同颜色、不同质地、不同纹饰的文物碎块混杂一起，产生巨大的搜索空间和极高的计算复杂度，极大地限制了虚拟复原技术的落地及其在文物修复与保护单位的应用和普及。因此，需要研究智能分类技术，代替传统人工分类，将碎块的搜索空间缩小在有效范围内，支撑后续实体复原，促进现有虚拟复原技术的进一步落地和普及。项目组针对文物碎片的自动分类，开展了系列研究。
6．1基于C均值聚类和图转导的半监督分类算法
针对传统图转导（GT）算法计算量大并且准确率不高的问题，项目组提出一个基于C均值聚类和图转导的半监督分类算法。
首先，采用模糊C均值（FCM）聚类算法先对未标记样本预选取，缩小图转导算法构图数据集的范围；
最后，结合半监督流形假设模型利用扩充的标记数据集以及剩余未标记数据集进行分类器的训练，进而得出最终的分类结果。
6．2基于多特征和SVM的兵马俑碎片分类
融合多特征能有效提高分类的准确率，因此，项目组提出了一种基于多特征和支持向量机（SVM）的文物碎片分类方法。
首先，利用尺度不变特征变换（SIFT）算法提取碎片纹理特征，在此基础上构建每幅碎片图像的词袋模型（BoW)。
其次，利用Hu不变矩提取碎片形状特征；
最后，将纹理特征和形状特征结合并通过支撑向量机进行训练，得到相应的文物碎片分类模型。
利用该方法进行文物碎片分类，可以显著提高分类的准确率。本文以兵马俑残片图像为实验对象，共计527幅残缺兵马俑图像，其中，350幅作为SVM训练样本集，其余177幅作为分类模型验证样本集。根据分类要求，实验将采集到的兵马俑和马匹碎片图像分为5类：
w1，代表兵马俑的头部；
w2，代表兵马俑的躯干；
w3，代表兵马俑的裙子；
W4，代表兵马俑腿和踏板部件；
W5，代表兵马俑手臂部分。
结合采集到的兵马俑三维模型和二维图像，利用LibSVM对基于显着几何特征的方法和本文提出的方法进行实验。不同分类方法性能对比如表1所示，显示了本实验中使用的各种碎片图像的数量。其中，碎片三维模型数量和碎片图像数量相等。
表1不同方法的分类结果对比
6．3基于深度学习和模板引导的三维兵马俑碎片分类
项目组结合深度学习技术，提出了一种基于深度学习网络并结合模板指导的自动方法，对兵马俑的3D片段进行分类。该方法由以下3个步骤组成：
首先，为了解决片段的样本大小不足的问题，通过蒙特卡洛采样执行数据增强；
其次，根据其身体部位标记兵马俑的片段。将这些片段的点云数据直接送人PointNet。训练模型并进行分类；
最后，通过确定兵马俑“模板”与片段之间的对应关系，对分类错误的片段进行第二次分类。
7
文化遗产
数字展示传播与应用
针对考古遗址和场景的展示和推广需求，项目组研制了文化遗产增强现实展示系统，实现考古遗址和文物的沉浸式多通道虚拟展示。如图8所示为遗址空间建模中秦陵保护区56km2的鸟瞰图。
图8秦陵保护区56km2鸟瞰图
7．1智慧博物馆
7．2兵马俑增强现实展示
数字博物馆和互联网上的文物信息都仅以传播文物知识和欣赏历史文物为目的。但是其展示方式缺乏多样性，也无法让人们，尤其是文物爱好者体验到互动的乐趣。因此，开发和设计更具互动性的历史文物展示渠道和传播历史文化的方式是必要的。目前，随着技术的不断革新，增强现实（augmentedreality，AR）技术可以为展示文物提供逼真的、多功能的交互。使用增强现实展示应用时可以体验真实感，如图9所示，可以让兵马俑模型以三维立体的方式呈现在人们的眼前，然后，添加缩放旋转等功能。让人们可以了解到文物的方方面面。
图9AR兵马俑展示效果
为了让兵马俑模型出现在恰当的位置（地面上）与用户合影留念，因此，项目组使用了一个通过自适应单目惯性SLAM设计优化的实时增强现实系统，并在这个基础上，对稀有的3D点云也进行了深度信息稠密化和平面识别检测。实现模型可以自动识别地面并达到展示的目的，最后，介绍本研究所对扫描到的部分兵马俑模型利用新技术进行AR展示的结果，如图10所示。