他们认为,经历了农业经济、工业经济、服务经济之后,体验经济正在成为大多数社会的第四个经济发展阶段。在这个时代里,人们在经济文化生活中追求的是“自我实现”这样的高级需求。
与此同时,科技的进步给新的展览形式的诞生创造了良好的条件。全息投影、多媒体触摸屏、传感器、互动游戏、虚拟现实等技术被越来越多地应用在实体展览中。运用新媒体技术的交互展示正是在这样的背景下兴起的一种展示手段,它在展览中的应用有独特的优势和意义。
就宏观层面来看,中国的博物馆事业在过去十多年经历了高速发展的阶段,尤其是在数量和规模上取得了举世瞩目的成果,如今正在探索持续高质量发展的路径和模式。
二、交互展示
“交互(interaction)”一词原是一个社会学的概念,指人与人、人与社会、人与环境之间的互相作用;用在传播学领域指传播媒介与受众之间的信息交流。在展览中,交互存在于人、展品、空间的互相作用中。在这里,人,即展览观众;展览,可以被解构为“空间”和“展项”两个部分。“空间”,通俗理解就是容纳展项的展厅。“展项”,广义上包含所有展品、辅助展品、说明牌等等展览中的实体存在。在广义上,“人之于其他客体的一切行为”都属于交互。
在这种定义下,展览中观众的所有选择、观看、反应行为均可纳入交互范畴。但是显然,这种交互的范畴过大,其中大部分的交互程度较低,并不能造成理想的体验效果。因此本文主要围绕狭义上人与展览空间、展项的交互进行讨论。判断这种交互的核心在于:它需要观众与某空间或展项形成双向交流,即作为交互“主体”的观众能主动地向展览输入某种“信息”,而作为交互“客体”的展览也可以输出某种“信息”来反馈给观众。
从技术层面来看,交互展示的重要形式之一是人机交互(Human-ComputerInteraction)。其聚焦于计算机技术的设计,特别是人类(用户)与计算机之间的交互。在展览中,人机交互能采用多通道用户界面、计算机协同工作、三维人机交互等手段与观众实现互动[1],给观众提供丰富的观展体验,是现阶段交互水平较高、交互效果较好的展览交互手段。
三、运用新媒体技术的交互展示
“新媒体”的概念自诞生以来,它的内涵和外延就随着技术、用户以及社会文化环境的发展而不断变化。彭兰通过总结它的演变过程、基本特征和使用情境,提出新媒体是指基于数字技术、网络技术及其他现代信息技术或通信技术的,具有互动性、融合性的媒介形态和平台[2]。
与电报、电视、书籍和杂志等印刷品这些旧媒体相比,新媒体的两大特点在于:
(一),由于它们与特定媒体平台的链接更少,即物理的绑定更少,所以借助新媒体传播的信息通过数字化形式储存,无需被编码到物理对象中,从而更容易在设备之间进行转移。
目前比较有代表性的新媒体应用有:网站、博客、邮件、社交媒体、网络直播、虚拟现实和增强现实。
在展览领域中,交互展示因为能充分发挥新媒体的交互性,成为新媒体技术应用的重要场景之一。不同的研究领域对展览运用新媒体技术进行交互展示的方法有不同的理解。从展示设计的角度来看,邵晨卉[4]、李华新[5]等人提出了“数字化展示与查询”“沉浸式虚拟展示”“体验型互动展示”为分类的交互展示;从所用新媒体技术的角度来看,吕燕如和张利[6]、谷晓[7]等人提出了“基于交互触摸屏的交互”“基于传感器的交互”“基于虚拟现实的交互”几种交互;从广义的展览交互设计的角度来看,郑璇[8]、黄鑫和李女仙[9]、沈悦[10]等人提出了“人与环境的交互设计”“人机交互设计”“人际间的交互设计”的分类;从人机交互的角度来看,周波、杨京玲[11]等人提出了“基于计算机视觉、听觉、触觉、嗅觉、味觉和多通道的交互”。
“交互性”被许多学者认为是新媒体技术的核心特征之一,其中包括罗纳德·赖斯(RonaldE.Rice)[12]、尼古拉·尼葛洛庞帝(NicholasNegroponte)[13]、匡文波[14]、彭兰等等。但不可否认的是,不同的新媒体技术能实现的交互程度有很大不同。一些新媒体技术在展览中的运用,本质上并没有实现人与展览的双向交流,如单纯通过全息投影进行图像展示,实际上依旧是观众在单方面被动地接受展览“信息”。
正如列夫·马诺维奇(LevManovich)在他的《新媒体的语言》一书中提出交互性是一种“错觉”(illusion)[15]。他认为,在强大的计算机面前,人们逐渐忽略了旧媒体与受众之间存在的交互,因而放大了新媒体的交互能力。
比如在许多新媒体交互中,用户只能与设计人员已经编程到“交互”对象中的那些选择进行交互,所以所谓的“交互”只是在通过分支树结构遵循设计者的预想路径。
但不能忽视的一个现实是,当前新媒体艺术中的“交互性”表现得十分突出,用户不再是简单地观看,而是明显与对象产生相互作用,获得不同的用户交互“体验”。所以,就目前而言,我们认为新媒体可以发挥的交互功能参差不齐,差异较大,这也跟新媒体本身的多变性有关。
由此,运用新媒体技术的交互展示需要符合两个基本条件:运用的是新媒体;实现了人与展览空间或展项的双向交流。当前,展览中符合这两个特征的新媒体交互技术主要可以被总结为以下几种类型:相比于不运用这种交互方式的展览展示,运用新媒体技术的交互展示的优势在两个方面尤其突出。
尽管一些交互展示手段已经突破了基于单一的感官通道传播信息的模式,但是由于传播速度和传播信息容量的限制总是很难提供同时调动多感官感受的丰富体验。依赖数字技术的新媒体交互展示(表1),由于可以迅速实现信息在不同设备之间的转移,所以能为观众创造一个包裹着即时的视觉、听觉、触觉、嗅觉、身体感觉等多感官感知的信息环境,它更具象、多维,且较少受到时空限制。这不仅分摊了观众的“视觉负担”,而且使他们的整个参观过程更生动、有趣。
其次,传统展览的传播往往是单向的、直线的、单一路径的,观众很难将自己对展览(包括展项和空间)的反应即时反馈出去,更谈不上对展览产生影响。但是新媒体交互展示不仅可以迅速获取观众参观展览的反应,而且可以由此建立迅速、有效的互动沟通机制。
第二,这种交互展示使得观众的参观过程更具有社交性。在不使用新媒体交互展示的展览空间中,社交很难在陌生的观众之间发生。这是因为在这种情境下,社交是一种物理上“身体对身体”的社交。
同时,由数字技术产生的“虚拟身体”因为聚焦于交互的功能,往往以比较统一、抽象和中性的虚拟形象代替了现实中真实的人像呈现。这使得其在无形中消弭了观众之间由于外在的社会陈规造成的身份壁垒,打破了陌生人间互动的隔阂,乃至在参与项目的人群间形成一种包容的集体共识[16],从而在展览中创造了一种自然、轻松的社交氛围,吸引更多的观众主动参与到展览交互中。
四、展览交互展示提供的参观体验
基于以上的优势,运用新媒体技术的交互展示可以从多个维度给观众带来独特而又丰富的体验。在以往的观众体验研究中,学者们提出了观众在博物馆参观过程中的多种体验,比如实物体验(objectexperience),认知体验(cognitiveexperience),内省体验(introspectiveexperience),社会体验(socialexperience),复原体验(restorativeexperience),沉浸体验(flowexperience),情感体验(emotionalexperience),转化体验(transformativeexperience),精神体验(spiritualexperience)等等[17-22]。但是从未有学者就展览的交互展示能带来怎样的体验展开具体研究。
本文结合现有文献中有关新媒体交互展示案例的讨论以及我们的实地考察,从认知心理学的角度出发,将交互产生体验的过程看作一个完整的心理机制,认为其从输入到输出的过程中主要有感官体验、情感体验、认知体验、沉浸体验四种体验产生。
(一)激发多感官体验
“感觉为人类提供了内外环境的信息,保证了机体与环境的信息平衡,是一切较高级、较复杂的认识活动的基础,也是人全部心理现象的基础。”[23]
随着一场“感官转向(sensoryturn)”在社会科学和人文科学领域内的兴起,身体和感官的重要性在博物馆内也被人们重新认识。在展览参观中,人的身体行为同样不能与思维和情感分离,感官体验的激发对观众在展览中的认知体验和情感体验都有影响。尤其在认知方面的研究中,不少学者将具身认知理论引入博物馆学,强调认知对身体的依赖以及身体与环境的交互性,说明身体、环境共处于认知加工系统当中[24]。
观众在展览中的感觉体验受到展览展示方式的影响。杰玛·曼乔内(GemmaMangione)曾在美术馆和植物园的观众研究中证明了策展人员可以通过设计不同的展示塑造不同的观众感觉(sense)[25]。感觉的多样性由刺激的广度和深度决定[26]。
正如前文(第3节)所讨论的,相比于传统展览中“视觉中心主义”的参观方式,运用新媒体技术的交互展示借助数字技术带来的信息传播速度和信息容量的优势,能“及时”激发更多种类的感官感受或者加深某种感受的程度,制造丰富的感官体验。
新媒体引起的多感官感受的结合可以使体验更加丰富和生动。在维也纳音乐博物馆(TheHausderMusikVienna)四楼的“虚拟指挥”展厅(图1)中,观众可以拿起指挥棒,体验指挥维也纳爱乐乐团演奏《蓝色多瑙河》《匈牙利5号圆舞曲》等著名乐曲。随着指挥棒挥动的速度、高度、位置、质量的变化,乐曲会呈现相应的演出效果[27]。
(二)增强情感体验
正如有学者提出“参与性强”“交互性强”是注重观众情感体验的展览的重要特征[29],展览交互对观众情感起到的作用是不可忽视的。尤其在一些纪念性的博物馆中,新媒体技术的应用能帮助唤起人们对事件的共鸣,为纪念和讨论这一事件提供理解的基石。
在帝国战争博物馆(ImperialWarMuseum)的第一次世界大战画廊(FirstWorldWarGallery)中,ISO团队为展览设计了大量的新媒体装置,以呈现第一次世界大战的历史。其中在“战壕(TheTrench)”这一展示中,展览将新媒体技术与情景再现结合到了一起:观众在走过一条仿真的战壕时,战壕尽头士兵们的黑白照片会渐渐地恢复真实的色彩,重现当时士兵们的风貌。同时,一战时著名的索普威斯·骆驼式战斗机和马克5型坦克会以投影的形式从观众的头顶和身边经过(图2)。
这些影像和场景的结合,将战场上的紧张感带给观众,使在场者能对当时战争的残酷感同身受。
(三)促进认知体验
在心理学上,认知是人接受外界输入的信息,并将这些信息经过神经系统的加工处理,转换成内在的心理活动,进而支配人的行为的过程。这一过程与感觉、知觉、记忆和思维均有密切的关系。在安德鲁·佩卡里克(AndrewJ.Pekarik)等人对观众体验的研究中,认知体验是对解释和吸收展品或展览的认知内容的智力刺激,目的是获得知识或丰富自己的理解[30]。
近年来,不少博物馆都在探索“体验式学习”的模式,希望借此鼓励观众通过亲身体验的方式来获得知识。
交互展示因为能以更加生动、直观的方式解释难懂的现象和原理,而经常被用于自然、科技类的展览当中,以帮助观众认知。在新加坡科学中心(SingaporeScienceCentre)中,一个名为“E3”的展厅使用Unreal游戏引擎构建了一个虚拟森林,并使用实时3D渲染技术将投影映射到了墙上(图3)。
观众可以在展厅中体验日夜的转变、天气的变化,和中央河沿岸的鱼群进行互动,理解生态系统的运作。展厅中还有一个显示了3D可视化的有关活体动物和人体解剖结构的信息的触控桌(图4)。
观众可以自由地触摸显示屏,探索感兴趣的对象的内部[31]。这一展厅以一种完全“非文本”的方式向观众传达了多样的信息,无形中促进了观众的认知体验。
(四)制造沉浸体验
沉浸体验(flflowexperience),又称为心流体验,是由心理学家米哈里·契克森米哈(MihalyCsikszentmihalyi)于1975年提出的概念。沉浸一种将个人精力完全投注在某种活动上的心理状态,个体在获得该体验时会有高度的兴奋及充实感[32]。
在展览领域,契克森米哈将它用于解释博物馆中审美体验(aestheticexperience)产生的心理机制,并在它的基础上建立了审美体验的概念模型,包含感知维度(perceptualexperience)、情感维度(emotionaldimension)、智力维度(intellectualdimension)和交流维度(communicationdimension)。可见,当观众在感官体验、情感体验、认知体验上有较好的反应时,沉浸体验也会出现。
沉浸体验往往是一种具有极高参与感和愉悦感的体验。当观众获得沉浸体验时,他们能更全神贯注于展览当中,并对展览内容留下更深的印象。关于沉浸体验在展览中的产生机制有许多讨论:王思怡认为博物馆中的沉浸体验是由特定的“时空体验”造成的,物理空间、环境反馈、多感官刺激、社会参与、心理意象和光线效果等因素都能促使观众沉浸体验的产生[33]。Harvey等人则认为,观众与所给反馈的交互、多感官刺激、引起心理图像的角色扮演和制造氛围的展览光线是引起沉浸感的因素[34]。
沉浸的出现与高程度的交互是分不开的。一些学者认为,沉浸(immersion)是一种关于感官体验、交互、在场(presence)和一定的个人自主权的概念[35][36]。学者Bitgood将展览中观众的“immersion”分为交互沉浸(interactiveimmersion)、媒体沉浸(mediaimmersion)、审美沉浸(aestheticimmersion)和戏剧沉浸(dramaticimmersion)[37]。由此也可见,当交互达到一定程度时,可以给观众带来沉浸体验。
虚拟现实、增强现实、混合现实这一类新媒体能制造出极其强烈的沉浸感。在芬兰国家博物馆(NationalMuseumofFinland)中,芬兰最大的VR工作室ZoanOy和博物馆合作制作了一幅可以穿越的历史图画。带上VR头盔,观众就可以走进R.W.Ekman的画作“亚历山大二世1863年饮食的开幕(TheOpeningofheDiet1863byAlexanderII)”当中(图5),看到当时芬兰国会大厦的景观,并和皇帝以及不同社会阶层的代表交谈[38]。
通过VR这种新媒体的应用,展览能构造出一个如同真实世界一般的虚拟空间,模糊用户意识中对物理空间和媒介空间的感知,给观众带来沉浸体验。
日本新媒体艺术团体teamLab创作的“无界(borderless)”展览是本研究团队实地调查的一个案例,并认为它是将新媒体技术在沉浸式展览中运用到“极致”的一个典型案例。展览中,teamLab充分运用了各种新媒体技术,让展品和展厅合而为一形成了一个个完整的、流动的包裹着观众的空间,鼓励观众在其中自由地活动、探索,充分地与展品达成互动。除了展品本身以外,没有其他的任何光源,观众对于展品的视觉、听觉、触觉、身体感受也因此极度放大,促成了极强的沉浸感。在这样的设计中,整个展览为观众打造了一个“无界”的空间(图6),即突破观众与作品、环境、他人之间的“边界”的空间。
茶屋(EnTeaHouse)是展览当中的一个独特的多功能(展览)空间。它本身是博物馆里的咖啡店,但teamLab通过新媒体技术展示,将展览巧妙地延伸到这一博物馆内的休闲、社交空间中,给观众带给了独特的休憩和参观体验。在品茶过程中,观众可以看到茶碗里投影出不断绽放的花朵。这些花朵影像并不是预先制作好的,而是由电脑程序根据传感器收集到的信息实时绘制的。当观众拿起茶碗时,花瓣会自然地随之散落茶碗之外。根据碗中所剩茶的多少,花朵的大小也会发生改变,直到茶被饮尽,花朵会在碗中消失(图7、图8)。
在这一充满着交互概念的体验中,展览通过传感器、投影器和电脑程序的设计和应用,对碗中茶水水位进行实时捕捉,产生与之对应的动态花朵意象,实现了对观众品茶行为的即时反馈,从视觉、听觉(展厅背景音效)、味觉三个维度为观众提供了全方位的感官体验。
与此同时,艺术家通过作品展现出了一个无限绽放的世界,并使观众品茶的行为与这个世界产生交互,形成了观众体验和展览内涵的双重构建。让观众在享受放松的品茶时光的同时,欣赏自然之美,引发对物哀、生命、世界的思考。
五、结语
在体验时代的博物馆展览行业,面对着来自观众体验需求不断升级的挑战。新媒体交互技术的出现契合了这样的时代大背景。现阶段,博物馆里已经有触控、传感、识别、显示、声频、虚拟现实等等新媒体技术的应用。依靠强交互性的特点,新媒体交互展示促进了观众与展览空间、展项的双向交流,也带来了观众之间的多向交流,充分展现了其调动观众的多元感官感受,与(帮助)观众达成及时、有效的互动,提升参观的社交性的优势。
在上文讨论过的成功的展览交互案例中,这些优势使得观众能在参观中获得更丰富的感官体验、情感体验、认知体验和沉浸体验,实现整体体验的升华。
值得注意的是,当前新媒体交互展示的应用仍有很多问题,包括交互程度低、交互不畅等,它们会降低观众的体验质量。但是,作为一种新兴的、不断发展进步当中的展示手段,它在展览中的运用是展览更加包容、走向观众的一种积极尝试。对于当前的中国博物馆来说,学习拥抱新媒体技术给展览的发展带来了无限可能。它不仅帮助展览更好地阐释文化,弥补传统媒介的不足,而且促进展览的不断创新,切中数字化时代下人们的喜好。
作者简介
包晗雨,女,浙江大学艺术与考古学院考古与文博系本科在读,主要研究方向:博物馆展览。
傅翼,女,浙江大学艺术与考古学院考古与文博系副教授,主要研究方向:博物馆学、文化遗产。
参考文献
[1]周波,杨京玲.人机交互技术在现代展示设计中的应用[J].包装工程,2011,032(020):46-49.
[2]彭兰.“新媒体”概念界定的三条线索[J].新闻与传播研究,2016,23(03):120-125.
[4]邵晨卉.新媒体与博物馆展示设计[D].杭州:浙江大学,2011.
[5]李华新.探析新媒体技术在展览中的应用[J].经济研究导刊,2020(36):144-146.
[6]吕燕茹,张利.新媒体技术在非物质文化遗产数字化展示中的创新应用[J].包装工程,2016,37(010):26-30.
[7]谷晓.人机交互技术在现代展览设计中的应用[J].科学家,2016(13):69-70.
[8]郑旋.新媒体视野下展览的交互性分析[J].艺术家,2019,000(002):P.125-125.
[9]黄鑫,李女仙.当代博物馆展示中的交互设计方式[J].装饰,2011(04):104-105.
[10]沈悦.新媒体交互技术在现代展示设计中的应用[J].艺术教育,2018,000(011):P.192-193.[11]同[1].
[12]RiceR,BairJ.Thenewmedia:Communication,research,andtechnology[M].SAGEPublications,1984.
[13]尼古拉·尼葛洛庞帝.《数字化生存》[M],海南出版社,2005,第192页
[14]匡文波.“新媒体”概念辨析[J].国际新闻界,2008(06):66-69.
[15]列夫·马诺维奇.《新媒体的语言》[M],贵州人民出版社,2020,第54页
[16]Desnoyers-StewartJ,StepanovaER,RieckeBE,etal.BodyRemiXer:extendingbodiestostimulatesocialconnectioninanimmersiveinstallation[J].Leonardo,2020.
[17]DoeringZD.Strangers,Guests,orClientsVisitorExperiencesinMuseums[J].CuratortheMuseumJournal,1999,42(2):74-87.
[18]PackerJ,BondN.MuseumsasRestorativeEnvironments[J].CuratortheMuseumJournal,2010,53(4).
[19]CsikszentmihalyiM.TheArtofSeeing:AnInterpretationoftheAestheticEncounter[J].JournalofAestheticEducation,1990,27(1):224.
[20]王思怡.博物馆观众研究的反思与演变——基于实例的观众体验分析[J].中国博物馆,2016(2):7-15.
[21]JoannaK.Garner,AviKaplan&KevinPugh.MuseumsasContextsforTransformativeExperiencesandIdentityDevelopment[J].JournalofMuseumEducation,2016,41(4),
[22]PackerJ,BallantyneR.ConceptualizingtheVisitorExperience:AReviewofLiteratureandDevelopmentofaMultifacetedModel[J].VisitorStudies,2016,19(2):128-143.
[23]彭聃龄.普通心理学(修订版)[M].北京师范大学出版社,2001.
[24]叶浩生.有关具身认知思潮的理论心理学思考[J].心理学报,2011,43(005):589-598.
[25]MangioneG.MakingSenseofThings:ConstructingAestheticExperienceinMuseumGardensandGalleries[J].2017.
[26]BioccaF,LevyMR.CommunicationintheAgeofVirtualReality[C]//FBioccaand.1995.
[28]Baos,R.M.,Botella,C.etal.Immersionandemotion:theirimpactonthesenseofpresence.[J].CyberpsycholBehav,2004,7(6):734-741.
[30]PekarikAJ,DoeringZD,KarnsDA.ExploringSatisfyingExperiencesinMuseums[J].CuratortheMuseumJournal,1999,42(2):152-173.
[32]吴素梅,卢宁.沉浸体验的研究综述与展望[J].心理学进展,2018,8(10):10.
[33]王思怡.沉浸在博物馆观众体验中的运用及认知效果探析[J].博物院,2018(04):121-129.
[34]HarveyML,LoomisRJ,BellPA,etal.TheInfluenceofMuseumExhibitDesignonImmersionandPsychologicalFlow[J].Environment&Behavior,1998,30(5):601-627.
[35]HeimM.VirtualRealism[J].oxforduniversitypress,2000.
[36]BioccaF,DelaneyB.Immersivevirtualrealitytechnology[C]//CommunicationintheAgeofVirtualReality.1995.
[37]BitgoodS,EllingsenE,PattersonD.TowardanObjectiveDescriptionoftheVisitorImmersionExperience.
[38]VRFOCUS.NationalMuseumOfFinlandOffersVirtualTimeTravel[EB/OL].