1950年,中国科学院语言研究所成立,根据国家院系调整规划,在原北京大学文科研究所语音乐律实验室的基础上,设立了语音实验小组。语音研究室的发展大致经历了四个主要阶段。
第一阶段(1950—1977)。早期的仪器设备包括浪纹计、声调推断尺、音叉、渐变音高管、钢丝录音机等。50年代后期添置了一些声学分析仪器,如示波器、语图仪等,开始研究普通话元辅音的声学特性。吴宗济设计制作了颚位照相装置,与X光照相配合,对元辅音进行发音生理分析。林茂灿设计制作了音高显示器,研究普通话的声调。研究成果主要体现为五卷本的《普通话语音实验录》(未出版)和《普通话发音图谱》(周殿福、吴宗济,商务印书馆,1963年)。
第二阶段(1978—1998)。1978年,中国社会科学院语言研究所成立。语音研究室在原来的基础上扩充了人员和设备,购置了新的语图仪,配备了计算机,对普通话的语音进行比较系统的动态特性分析,并开始进行基于生理和声学参数的语音规则合成研究。这一阶段的研究成果集中反映在《实验语音学概要》(吴宗济、林茂灿主编)、《现代汉语语音概要》(吴宗济主编)、《吴宗济语言学论文集》(吴宗济)、《面向声学语音学的普通话语音合成技术》(杨顺安)、《现代语音研究与探索》(曹剑芬)等著作以及大量学术论文之中。
第三阶段(1999—2010)。上世纪90年代后期,随着计算机与数字信号处理技术的发展,大规模语音语料库的建设和研究成为可能。语音研究室作为这方面工作的倡导者和引领者,率先建设完成了一系列大规模语音数据资源,研制出了适合汉语语音标注工作需要的C-ToBI和SAMPA-C等语音标记符号体系,并在此基础上开展了一系列面向言语工程应用的言语韵律节奏特性研究,内容涉及话语的韵律结构、语调结构、重音层级、语流音变以及情感韵律表达等诸多方面。此外,研究室还逐步开展了基于EMMA、EGG、EPG等发音生理数据的人类语言发音机理研究,并开始了儿童语言认知实验室的建设和研究工作。
联系方式
通讯地址:北京市东城区建国门内大街5号
中国社会科学院语言研究所语音室
邮编:100732
在编工作人员
历任负责人
吴宗济,1978年—1985年,主任
林茂灿,1978年—1985年,副主任
林茂灿,1985年—1996年,主任
曹剑芬,1982年—1989年,副主任
孙国华,1991年—1996年,副主任
孙国华,1996年—1999年,主任
祖漪清,1996年—1999年,副主任
祖漪清,1999年—2000年,主任
李爱军,2000年—2008年,副主任(主持工作)
李爱军,2008年—2018年,主任
熊子瑜,2012年—2017年,副主任
胡方,2012年—2018年,副主任
胡方,2018年—2020年,副主任(主持工作)
熊子瑜,2020年——,主任
曾经在语音室工作过的人员
吴宗济、周殿福、杨力立、王素琴、于东林、李文生、刑继禄、林茂灿、陈嘉猷、曹剑芬、鲍怀翘、杨顺安、任宏谟、颜景助、孙国华、曹雨生、郑玉玲、蔡德和、许毅、祖漪清、刘铭杰、李杰香、杨晨、林其光、陈肖霞、华武、贾媛、夏丽萍
培养的研究生
博士研究生:张司晨、李楠、赵晨扬、康锦涛、葛淳宇、张良、柳雪飞、范珊珊、曹梦雪、张钊、高军、殷治纲、孙湳昊(韩国)、熊子瑜、王茂林、李顺亨(韩国)、李智强
硕士研究生:赵越、何友珏、张朕瑞、陈旋达、蒋贵红、梁霄、向婷、张明辉、李爽、黄小明、邱玥、刘霏、林佳颖、梅晓、李晟熏(韩国)、阳晶、袁楚、殷治纲、王天庆、王海波、方强、刘亚斌、韩梅青、祖漪清、许毅、林其光、任宏谟、杨顺安
主要在研项目
(一)语调类型学研究
语调作为语言系统的重要组成部分,通过韵律特征来表达句子层面的口气和情态等语用意义,广义上语调就是韵律。因此,语调研究在自然语言处理与语言理解等方面都有着重要意义。我国语调类型学研究应充分利用语言数据资源优势,大力开展汉语和我国少数民族语言的语调类型学研究,在数据、方法和理论等方面跨越式发展,推动形成新的研究理论和方法。
支撑项目:语调类型学研究(中宣部文化名家爱暨“四个一批”人才自主选题项目,主持人:李爱军)
(二)语音习得机制的跨学科研究
本项目将通过语音学、语言学、计算机科学和认知心理学等多学科的交叉融合,对中国方言区英语学习者发音偏误和训练策略展开研究。通过揭示不同方言区英语学习者发音的系统偏误,构建针对学习者的韵律特征自动标注体系,实现对不同方言区英语学习者的发音训练和矫正,将研究成果投入实际应用,建设可视化发音矫正和评测平台,对中国英语学习者发音的“中国腔儿”问题提出一些解决方案。
支撑项目:中国方言区英语学习者语音习得机制的跨学科研究(国家社科基金重大课题,主持人:李爱军;编号:15ZDB103)
(三)口语语篇韵律研究
本课题旨在利用语境韵律研究范式,在口语语篇中,考察语调的韵律特征与语用功能和上下文语境的关系。开展对话意图表达和演化机制的研究,利用类量子纠缠特性实现面向用户人格特质的对话意图理解,利用类量子模型的叠加性实现对话语句的多样化生成。
支撑项目:量子信息获取-检索的理论和应用研究子课题“基于类量子认知理论的智能人机对话技术”。(科技部国家重点研发计划-政府间国际科技创新合作重点专项-中欧政府间合作项目,主持人:李爱军;项目编号:2017YFE0111900)
(四)面向语言学的语音学研究
语音研究是一个交叉学科,语言学的语音学属于语言本体研究,走过了从早期的口耳之学到现代的实验研究主导的历程。本项研究采用与时俱进的科技手段与实验方法,系统分析汉语、汉语方言、少数民族语言中的语音现象与语言事实,深入理解语音普遍性与多样性问题。本项研究提倡新描写主义的理论与方法,提倡在语音与语言研究中采用实验证据导向的研究范式。
支撑项目:汉语方言研究的实验语音学理论与方法(国家社科基金项目,主持人:胡方;编号:15BYY073)
(五)言语产生机制研究
支撑项目:国家自然科学基金面上项目“基于MRI的个性化发音机理研究”(61573254)、“汉语可视化发音学习关键技术研究”(61977049),主要参与人:方强
(六)法庭语音研究
法庭语言学是法律语言学的一个分支,主要研究法庭语言的会话交际和言语行为,着重考察法庭语言的语篇韵律特征,包括韵律组织模式、各韵律层面的声学特征、韵律与语法的关系、语音特征对判决的影响力等内容。我们希望通过本研究,建立起关于法庭言语(或者话语)的跨学科、多领域、系统性研究框架。
支撑项目:中外法庭辩论的语音特征、策略及对判决的影响力研究(国家社会科学基金项目,主持人:殷治纲;项目编号:15BYY061)
(七)婴幼儿语言获得研究与语音测试
婴幼儿出生后短短几年内就能轻而易举地从完全不会母语到基本学会母语,而成人学习外语却非常困难,很难达到母语者的水平,因此母语获得机制一直是研究者们关心的热点问题。本项目从语言感知和语言产出两个维度探索婴幼儿母语获得的机制,包括研究婴幼儿的语音范畴的建立、词类的建立以及学龄前儿童发音的发展。
支撑项目:院创新工程项目,主要承担人:高军
(八)言语脑认知研究
以丰富准确的言语事实描述和坚实的语言学理论分析为土壤,积极拥抱脑认知科学的新理念、新方法、新技术,力图建立起“使用行为——心理——神经生理”的证据链,多维度综合地解析以中国人为主要对象的言语使用全过程的脑认知机制,构建适用于中国人的言语智能模型。拥有桌式眼动仪、便携式眼动仪,双人脑电系统等先进设备,适合开展不同年龄段、不同方言区、多人对话等研究。
支撑项目:汉语特色词类与句法成分交互的认知神经机制研究(国家社科基金青年项目,主持人:罗颖艺;项目编号:18CYY024)
(九)老年人语音研究
与儿童的语言获得相反,老年人的语言能力和行为表现处于不断衰退的过程。老龄化对语言交际能力与行为产生的负面影响,给老年人的交际活动造成不同程度的障碍,阻碍了老年人与他人交际的愿望,逐渐“去社会化”。这种“去社会化”使得老年人交际愿望逐渐丧失,影响老年人的身心健康。因此,对于老年人语言的研究已迫在眉睫。
支撑项目:老龄人群语音语料库建设与声学研究(国家社会科学基金青年项目,主持人:李倩;项目编号:19CYY021)
历史沿革
(一)1950年代以前
中国社会科学院语言研究所的前身可以追溯至北京大学文科研究所,并与中研院历史语言研究所有着千丝万缕的关系,语音研究室也不例外,一路走来见证了中国现代语音学的初创与发展。
1928年,中研院历史语言研究所在南京成立,赵元任任语言组组长,确定以调查汉语方言和建立语音实验室为工作重点,把语音学的发展放在了重要位置。同年,赵元任采用国际音标记录汉语方言,发表了《现代吴语的研究》,确立了汉语方言研究的典范。1930年,赵元任创制了五度制标调法。1934年,赵元任发表了结构主经典著作《音位标音法的多能性》(英文)。1935年,建立语音实验室,吴宗济任研究助理,跟随赵元任进行语音学研究,后因抗日战争爆发而停顿。
(二)1950年—1977年
1956年,吴宗济奉罗常培所长之邀加入语言研究所,为开展实验语音学研究奠定了人才基础。这时语言所已经搬迁到中关村,即中国科学院院部所在地。这一时期,语音实验仪器陈旧,主要包括浪纹计、乙一和乙二声调推断尺、音叉、渐变音高管、钢丝录音机等,已难以满足学科发展的需要。
1958年,吴宗济结束进修回国,语言所结构调整,成立了以刘涌泉为组长的第三组,专业范围是机器翻译和语音实验,语音实验方面的工作人员还包括周殿福、邢继禄,以及之后加入的杨力立。同一年,为了加强语音声学的研究,在罗常培所长和吕叔湘副所长的协调下,南京大学物理系系主任魏荣爵教授推荐了大学毕业生林茂灿来语言所工作。随后,所里安排林茂灿到马大猷教授领导的中科院声学研究所进修,得到声学研究所张家騄及其同事们的帮助。
1959年夏,鲍怀翘结束昌黎方言调查回所后加入到语音实验小组工作。
在研究设备方面,在50年代后期花费了2万美元添置了声学分析仪器,如频率仪、示波器、语图仪等。同时,吴宗济还亲自设计制作了腭位照相装置,并与医院开展X光照相技术合作,着力研究普通话元音和辅音的生理特性和声学特性。
1972年夏,语言研究所下放人员返京,所址迁至朝内南小街51号(原文字改革委员会大楼的一部分)。这一时期,语音研究组的大部分研究人员借调到词典编辑组,参加《现代汉语词典》修订工作。
1976年,语言研究所迁至原北京地质学院主楼,林茂灿负责语音小组工作。
(三)1978年—1998年
语言所归属中国社会科学院以后进行了结构调整,设8个研究室,分别是:现代汉语研究室(主任:吕叔湘),古代汉语研究室(主任:王显),近代汉语研究室(主任:周定一),方言研究室(主任:李荣),语音研究室(主任:吴宗济),应用语言学研究室(主任:刘涌泉),情报资料研究室(主任:伍铁平),词典编辑室(主任:丁树声)。
语音研究室正式成立以后,吴宗济率领曹剑芬、孙国华、杨力立等,利用语图仪对普通话的单音节和双音节展开了大规模的声谱实验,进行了系统的数据测量和对声韵调的声学特性分析。
实验室设备建设方面,国家经委批准语音研究室于1977年花费8万美元进口了丹麦B.K仪器公司生产的计算机和实时声谱分析器(即3348分析器)。后来又得到国家专项经费支持,进口了全数字化语音分析仪,如美国KAY公司的7800语图仪和4800分析仪等,语音学研究工作逐渐走上了数字化道路。在普通话语音声学特性研究全面展开的基础上,基于语音规则的语音合成研究也开展了起来。在曹剑芬、许毅等参与下,杨顺安在计算机上实现了我国第一个基于语音规则的共振峰语音合成系统(phoneticrulebasedformantsynthesizer)。基于这个合成系统,许毅实现了汉语普通话全音节的规则合成,祖漪清进行了发音参数语音合成(articulatorysynthesis)的研究。
首先,吴宗济发现,和其他语言相比,汉语的声调尤为复杂,值得深究,因此他便开始专攻声调研究,在声学实验的基础上发表了大量论著,一方面着重从语言学角度来分析语音,揭示语音——特别是普通话语音的生理、物理特性,另一方面也为言语工程提供了必要的数据和规则。在研究中,吴宗济提出了自己对普通话语音变量的理论和规则,为探索我国自己的实验语音学理论做出了重要贡献。
第三,除了普通话的研究,实验语音学也涉及到汉语方言的研究。从1977年开始,曹剑芬在致力于普通话辅音及复合元音的分析研究之外,同时开展了对吴语浊声母的实验研究,并先后在《中国语文》上发表了“常阴沙话古全浊声母的发音特点”(1982年4期)和“论清浊与带音不带音的关系”(1987年2期)等重要研究论文。曹剑芬的重要发现先后在第十一届国际语音科学大会(塔林,原苏联,1987年)和第一届国际言语处理学术会议(日本,1990年)上报告。1987-1989年,她在美国进修和访问期间,又系统地考察了吴语浊声母的发声特性,随后在国际刊物JournalofPhonetics(Vol.20,No.1:77-92,1992)上发表了“AnexplorationofphonationtypesinWudialectsofChinese”(汉语吴方言的发声态考察)一文。该文一经刊出,就被TheSino-TibetanLanguages,TheStructureofTone,ThehandbookofPhoneticSciences等书收录,并被M.Beckman(当时JournalofPhonetics的主编)和她的同事分别吸收进发声态教材和汉语语音教材。在这个时期,曹剑芬还与任宏谟合作,翻译出版了《言语链》(中国社会科学出版社,1983年)一书,在英文图书资料并不普遍的当年,此书刚一出版就成了国内重要的语音学参考读物。
第四,推出了一批重要的基础性研究成果。吴宗济、林茂灿主编的《实验语音学概要》(高等教育出版社,1989年)和曹剑芬的《现代语音基础知识》(人民教育出版社,1990年),以及杨顺安的《面向声学语音学的普通话语音合成技术》(社会科学出版社,1994年)先后出版。一批论著获得各种奖项,其中杨顺安的研究成果《普通话音节合成系统》获1987年中国社会科学院优秀成果奖以及国家重大科技成果奖。专家们认为这个系统在提高合成语音的音质方面取得了突破性进展,合成的普通话语音已接近人的发音,在国内外处于领先水平。《实验语音学概要》1991年获国家教委直属出版系统优秀成果奖。
最后,语音研究室自成立初期开始就十分重视基础理论研究与社会应用实践的结合。早在1977年,吴宗济就带领鲍怀翘和刚刚调入语音室的曹剑芬赴四川彭县四机部,参加语音编码器的语音诊断工作。鲍怀翘先后负责与四机部三所合作的“骨传导语音研究”,与海军生理研究所合作的“深潜水氦氧语言研究”。这些工作体现了语音研究在通讯工程和国家安全信息战线的重要性,拓宽了语音学事业的发展视野。孙国华还应邀参加电影《反贪局长》的拍摄(1996年),展现如何使用声学仪器进行司法声纹鉴定。1992年和1993年由李爱军负责,语音室连续两年参加国家863语音合成系统的评测,是唯一一个基于共振峰规则合成的系统。1996年,语音室开始承担国家863项目,第一个项目是关于连续语音库的文本设计,在祖漪清的负责下,顺利完成了国家级的语音识别语音库设计,这个库也成为国家各个语音识别团队使用的标准库,之后祖漪清和李爱军负责完成了863语音合成语料库的设计,同时提出了汉语的韵律标注系统C-ToBI。
1979年在丹麦召开了第九届国际语音科学大会,吴宗济应会议主席的邀请参加了此次学术盛典,林茂灿同行,中国科学院声学研究所张家騄一同出席。吴宗济在会议上报告了他的共振峰简易计算法(见:《声学学报》第一卷第一期),并当选为国际语音科学大会常设理事会理事。会后,在两地大使馆的安排下,三人在哥本哈根和斯德哥尔摩学习考察,访问了歌本哈根大学语言学系和B.K仪器公司,以及瑞典皇家理工学院和爱立信公司。其中,在瑞典皇家理工学院访问期间,跟方特教授领导的“语音传输实验室”举行多次座谈。方特教授非常关心中国语音学研究,多次对语音室的工作提出具体建议,如方特教授建议在研究声调曲线的“弯头段”和“降尾段”时,应该进行感知试验,语音室后来的不少工作在声学分析的基础上,都加上了“听辨试验”和“感知试验”的方法,使研究结论更为可靠。这是语音室成立以来的第一次“走出去”。此后,语音室继续参加了四年一届的第十届(乌特列支,荷兰,1983)和第十一届(塔林,原苏联,1987)国际语音科学大会,并建立了“走出去”的传统。
在国外学者频繁来访的同时,语音研究室也通过派出进修人员和参加国际语音学会议,加强与国外的学术交流,并得到了语言所领导刘坚和江蓝生的大力支持。
除了积极参加国际学术会议外,语音室还派出多名学者出国交流学习。1991年,曹剑芬作为交换学者在澳大利亚各大学访问和学术交流。1995年,林茂灿应法国尼斯大学邀请在法国访问和交流,到尼斯大学访问三个月,在梅山乐博士和葛尼女士帮助下,收集不少关于语调资料。1997年-1998年,林茂灿在香港城市大学访问研究,此次开始并一直专注于汉语语调研究。1993年-1995年,祖漪清在香港大学访问研究。1997年,李爱军在欧洲瑞典斯德哥尔摩大学、瑞典皇家工学院进修和访问研究。
这些进修、出访和交流,不但加深了世界对汉语语音研究以及中国语音学的了解,也扩展了我们的眼界,极大地促进了我们的语音研究与国际语音学以及言语工程学的接轨。
这一时期,语音室培养出了一批后来活跃于国内外语音学界的研究生。1978年,杨顺安、任宏谟作为第一批语音学硕士研究生师从吴宗济、林茂灿。此后,还培养了祖漪清、许毅、林其光、李智强、王茂林、熊子瑜等。
(四)1999年—2010年
进入新世纪以来,语音研究室进一步加强了语音研究和言语工程的结合,语音研究对象从孤立的单音节进入到自然的连续话语,从单纯的音段研究发展到音段、超音段兼顾,特别是加强协同发音、语流音变、重音、节奏、语调和韵律结构等研究,并取得了很多研究成果。
在语调方面,吴宗济认为汉语不同于西方的非声调语言。单就声调而言,就有“字调”与“句调”的不同。一个句子中各短语(基本单元)的调形,有些是有规律的,有些竟是几种调形的混合体,在语音研究中成为难于分析的瓶颈。按物理学的论点:一切事物的变化不论多么复杂,必有其生成的原因,不会无中生有。语音的变量尽管复杂,也应该有其原因。以声调而言,其变化再多、必然是“三个条件”(或称“三个平面”)相互依存制约的结果。首先是发音生理和发音声学(暂不提心理学)的条件,是属于语音学的范畴;再就是词句结构的条件,属于语法学的范畴;还有是历时的与共时的语音演变的条件,属于音系学(或音韵学)的范畴。他提出了“跳板规则”、“多米诺规则”、“音系学规律”、“调位守恒”、“移调”、“变域”、“韵律互补”等规则和原则。吴宗济还对情感语调和篇章中语调的声学表现进行了探索性研究,发现篇章韵律和书法绘画等等其他艺术表达手段有很多共同认知基础。
林茂灿利用AM理论,研究汉语的语调,认为区分汉语疑问和陈述语调的信息存在于句末音节,疑问边界调F0曲拱音阶(调阶)比单念字调的高,陈述边界调F0曲拱音阶(调阶)比单念字调的低。汉语疑问和陈述边界调特征是:±raised。
1999年,曹剑芬出席在捷克布拉格召开的《国际汉语口语重音、音调和节奏研讨会论》,宣读了“汉语普通话的节奏”(TherhythmofMandarinChinese),该文全文刊载在美国伯克利加州大学《中国语言学报》2001年17卷(JournalofChineseLinguistics,MonographSeriesNo.17,2001,UniversityofCalifornia,Berkeley,USA)。2000年,第六届国际口语处理会议(ICSLP)在北京召开(约1500人),吴宗济在大会上作了题为“从传统音韵学到现代语音处理”的精彩报告,成为语音学与言语处理前沿的经典之作,林茂灿、曹剑芬、祖漪清、李爱军等也都宣读了论文,李爱军还进行了大会总结报告。2002年,曹剑芬和李爱军出席了在法国召开的第一届国际韵律学研讨会,并宣读论文。李爱军、熊子瑜、殷治纲和方强还参加了2004年韩国济州岛举行的Interspeech会议。2006年,曹剑芬、李爱军和熊子瑜先后在法国召开的第二届国际音调问题学术研讨会以及在德国召开的第三届国际韵律学学术会议上宣读论文。李爱军、胡方和陈肖霞先后参加2003和2007年国际语音科学大会并宣读论文。
2000年,在沈家煊所长的支持下,语音研究室与科大讯飞公司成立了中国社会科学院讯飞语音实验室。科大讯飞公司是国家863支持的自主语音产业化基地,吴宗济先生曾被聘请为顾问,语音实验室在联合实验的平台下,适时开展了面向语音技术的基础研究。2003年中央台《走进科学》栏目采访吴宗济先生,2007年中央电视台《大家》栏目制作了吴先生的专访,体现了语音学研究在言语工程应用中的重要作用。
在重点学科的框架下,语音室增加了青年科研骨干。2003年熊子瑜博士毕业后留所从事韵律特征研究、语音合成和语音技术开发等方面的工作。2005年胡方从香港城市大学取得博士学位后正式入职语音室工作,主要进行生理语音学、方言语音描写方面的研究。2008年方强在日本JAIST获取博士学位后回所从事语音产生模型的研究。随后引进了贾媛博士,以增强音系学的研究力量。2011年引进了高军博士开展婴幼儿语音感知研究。同年,殷治纲取得博士学位,继续在室里从事语音学研究工作。
在学科经费和国家专项经费的支持下,这一时期购置了多种语音分析设备和生理研究设备(如电磁发音仪EMA,喉头仪EGG,动态腭位EPG等),建立了专用录音室和审音室,并在此基础上承担了国家863项目、国家自然科学基金项目、国家社科基金项目、社科院重点项目以及横向合作课题(包括与IBM,TOSHIA,NOKIA,MOTO中国研究中心的合作项目、日本ATR合作项目、欧盟项目以及美国自然科学基金项目),开展了发音机理的研究、自然话语的语调韵律特征研究、藏语语音合成、多风格语音合成研究、情感语音研究、中介语语音—方言和少数民族地区普通话语音以及中国人英语语音问题研究、音段与音段音变研究、音段的语音实现与超音段的韵律结构的关系研究等。
2007年在所党委、所长沈家煊先生和书记蔡文兰先生支持下,语音室的儿童语音实验室开始申请筹建,2009年初儿童语言实验室交付使用,并且在所党委、书记蔡文兰先生和副所长刘丹青先生、曹广顺先生的大力支持下,语音室继续得到院重点实验室经费和国家专项经费支持,购置了大量声学和生理专业设备,邀请了加拿大魁北克大学的史如深教授访问讲学,开展了新兴交叉学科儿童语音语言习得的合作研究。
为庆祝吴宗济先生95岁华诞,在语言所领导的大力支持下,2004年举办了国际会议声调语调问题研讨会InternationalSymposiumonTonalAspectsofLanguages:EmphasisonToneLanguages(TAL2004),来自国内外的150多名语音学家和学者积极参与了本次大会,学者们并对语音室的研究水平给予了充分的肯定。以吴宗济先生的经典之文的题目为名,出版了英文版的纪念文集《语音学与言语处理前沿》(FromTraditionalPhonologytoModernSpeechProcessing,外语教学与研究出版社,北京,2004年),进一步扩大了汉语作为典型声调语言的影响。
2004年和2005年,语音室举办了两届语音学暑期讲习班,聘请了国内外语音学和言语工程学界的知名学者讲学,学员来自语言学、英语教学等各个领域200多人,推进了语音学的研究在方言、语音教学、言语工程等各个领域的研究。
(五)2011年—至今
2011年,实验室作为首批试点单位进入单位参加社科院创新工程项目,在我院机制体系创新的探索中做出了重要贡献。实验室遵循“理论联系实际、科研服务社会”的发展理念,根据语音与言语科学的交叉学科性质,提出“理论研究与应用研发并举”的科研创新思路,把语音与言语科学中的重大基础理论和应用技术需求作为主要研究对象,一手抓重大基础理论研究,一手抓应用成果研发。
通过构建语音与言语研究开发创新平台,开展面向实际应用的语音与言语科学研究工作,推动智能语音与言语科技的发展进程,重点实验室致力于肩负起引领我国语音与言语科学研究发展方向之重任,服务于国家语言文化发展战略。
研究课题围绕语言认知习得与言语交互中的科学问题,设置了三个重大基础理论研究和一个支撑平台建设:言语产生与人类发音机理研究、语言系统习得与认知发展规律研究、汉语方言语音与语法类型学研究、语音与语言资源网络服务平台建设。
近年来,在所领导的大力支持下,重点实验室积极发展语音学和以语音学为基础的跨学科研究,研究领域有了很大的拓展。实验室新增加的研究领域包括语音习得与教学、儿童语言发展、发音生理建模、方言语音以及音系学等,形成了门类齐全的学科发展体系,为进一步开展跨学科、跨领域的科学研究工作奠定了坚实的基础。
重要成果
(一)著作类
1.《普通话语音实验录》共5卷(未出版)。
2.《普通话发音图谱》(周殿福、吴宗济,商务印书馆1963年出版)。
3.《普通话单音节语图册》(吴宗济主编,社会科学出版社1986年出版)。
4.《实验语音学概要》(吴宗济、林茂灿,高等教育出版社1989年出版)。
5.《现代语音基础知识》(曹剑芬,人民教育出版社1990年出版)。
6.《面向声学语音学的普通话语音合成技术》(杨顺安,社会科学出版社1994年出版)。
7.《吴宗济语言学论文集》(吴宗济,商务印书馆2004年出版)。
8.《Praat语音软件使用手册》(熊子瑜,PDF格式电子文档)。
9.《现代语音研究与探索》(曹剑芬,商务印书馆2007年出版)。
10.《PhysiologicalArticulatoryModelforInvestigatingSpeechProduction:ModelingandControl》(方强、党建武,VDMVerlagDr.Müllere.K,2009)。
11.《宁波话元音的语音学研究》(英文)(胡方,中国社会科学出版社2012年出版)。
12.《汉语语调实验研究》(林茂灿,中国社会科学出版社2012年出版)。
13.《EncodingandDecodingofEmotionalSpeech:ACross-CulturalandMultimodalStudybetweenChineseandJapanese》(李爱军,Springer;1sted.2015edition)。
14.《语音库建设与分析教程》(熊子瑜,西安交通大学出版社2017年出版)。
15.《语音学:标音,产生,声学和感知》(曹梦雪、李爱军翻译,中国社会科学出版社2018年出版)。
16.《汉语语调与对外汉语教学研究》(林茂灿、李爱军、李智强,中国社会科学出版社2020年出版)
17.《元音研究》(胡方,外语教学与研究出版社2020年出版)。
(二)多媒体光盘
《音路历程》(祖漪清主编,社科文献出版社2000年出版)
(四)以往研究人员发表论文
1.吴宗济(与赵元任、丁声树等合著),《湖北方言调查报告》,上海:商务印书馆,1948年。
2.吴宗济,谈谈现代语音实验方法(用“齐鲁”笔名),《中国语文》1961年第10-12期。
3.吴宗济(与周殿福合著),《普通话发音图谱》,商务印书馆,1963年。
4.吴宗济,普通话元音和辅音的频谱分析及共振峰的测算,《声学学报》1964年第1期。
5.吴宗济(与赵元任、丁声树等合著),《湖南方言调查报告》,台北:中研院史语所,1974年。
6.吴宗济(用余音士笔名),实验语音学知识讲话,《中国语文》1979年第1,2,4,5,6期。
7.吴宗济,试论普通话语音的“区别特征”及其相互关系,《中国语文》1980年第5期。
8.吴宗济,普通话三字组变调规律,《中国语言学报》第2期。
9.吴宗济(主编),《汉语普通话单音节语图册》,中国社会科学出版社,1986年。
10.Wu,Zongji,Theaspirated/non-aspiratedstopsandaffricatesinStandardChinese.Proceedingsofthe11thInterantionalCongressofPhoneticSciences,Vol.5,Tallinn.
11.吴宗济,普通话辅音不送气/送气区别的实验研究,《中国语言学报》第3期。
12.吴宗济、林茂灿主编,《实验语音学概要》,高等教育出版社,1989年。
13.吴宗济,《现代汉语语音概要》,华语教学出版社,1992年。
14.Wu,Zongji,AnewmethodofintonationanalysisforStandardChinese:frequencytranspositionprocessingofphrasalcontoursinasentence.FestschriftforHiroyaFujisaki—analysis,perceptionandprocessingofspokenlanguage.Amsterdam,ElsevierScience.
15.Wu,Zongji,FromtraditionalChinesephonologytomodernspeechprocessing―realizationoftoneandintonationinStandardChinese.ICSLP2000,Beijing(keynotespeech).
16.吴宗济,“书话同源”——试论草书书法与语调规则的关系,《世界汉语教学》2003年第1期。
17.吴宗济,《吴宗济语言学论文集》,商务印书馆,2004年。
18.赵元任著,吴宗济、赵新那编,LinguisticEssaysbyChaoYuen-ren,商务印书馆,2006年。
19.周殿福,《艺术语言发声基础》,中国社会科学出版社,1980年。
20.周殿福,《国际音标自学手册》,商务印书馆,1985年。
21.林茂灿,音高显示器与普通话声调声学特性,《声学学报》第2卷1期,1965年。
22.林茂灿、颜景助,北京话轻声的声学性质,《方言》1980年第1期。
23.林茂灿、颜景助,普通话四音节词和短语中声调协同发音模式,《声学学报》第17卷6期,1992年。
24.林茂灿,汉语语调与声调,《语言文字应用》,2004年第3期。
25.林茂灿,赵元任语调思想与疑问语调和陈述语调,《中国语音学报》第一辑,商务印书馆北京,2008年。
26.杨顺安、曹剑芬,普通话二合元音的动态特征,《语言研究》1984年第1期。
27.杨顺安,浊声源动态特性对合成音质的影响,《中国语文》1986年第3期。
28.杨顺安,复合元音的指数式动态模型及其在合成中的应用,《语言研究》1986年第2期。
29.杨顺安,五度字调模型在合成汉语语音中的应用,《方言》1987年第2期。
30.杨顺安,面向声学语音学的普通话语音的合成技术,中国社会科学文献出版社,1994年。
31.曹剑芬(Cao,Jianfen),AnexplorationofphonationtypesinWuDialectsofChinese.JournalofPhonetics,Vol.20,No.1:77-92,1992(吴语的发声型考察,见《纪念中国社会科学院建院三十周年学术论文集》,方志出版社,2007年)。
32.曹剑芬(Cao,Jianfen),TheRhythmofMandarinChinese(汉语普通话的节奏),JournalofChineseLinguistics,MonographSeriesNo.17,2001,UniversityofCalifornia,Berkeley,USA(《中国语言学报》,美国伯克利加州大学,2001年17卷)。
33.曹剑芬(Cao,Jianfen),IntonationstructureofspokenChinese:Universalityandcharacteristics(汉语口语的语调结构--共性与特性),《语音学与言语处理前沿》,外语教学与研究出版社,2004年。
34.曹剑芬,发音增强与减缩——语言学动因及语音学机理,《中国语音学报》第一辑,商务印书馆北京,2008年。
35.曹剑芬(Cao,Jianfen),HowdoSpeechSoundsVaryandServeEfficientCommunication《庆祝吴宗济先生百岁华诞纪念文集》,商务印书馆,2009年(语音的变化:生成机制和交际意义,参见《第八届中国语音学学术会议暨庆贺吴宗济先生百岁华诞语音科学前沿问题国际研讨会论文集》,北京,2008年4月18-20日)。
36.鲍怀翘,骨导语言清晰度测量,《电声技术》1978年第4期。
37.鲍怀翘,普通话单元音分类的生理解释,《中国语文》1984年第2期。
38.鲍怀翘,声道截面函数和元音共振峰计算,《应用声学学术讨论会文集》,重庆,1984年。
39.鲍怀翘,由共振峰预测声道形状,《通讯与保密》,成都,1985年。
40.鲍怀翘、杨力立,《普通话发音器官动作特性》(X光录像带),北京语言学院出版,1985年。
41.许毅,北京话语流中一些音节边界的声学语音学分析,《语音研究报告》,1983年。
42.Zu,Yiqing,TheTextDesignforContinuousSpeechDatabaseofStandardChinese,ChineseJournalofAcoustics,vol.18,No.1,56-69,1999.
43.Zu,Yiqing,SegmentalDurationandLengthenedSyllables,ProceedingsofICPhS'99,SanFrancisco.
45.祖漪清,汉语连续语音数据库的语料设计,《声学学报》24卷第3期,1999年。
46.祖漪清,实现语音数据库设计科学性的重要环节,《语言文字应用》1998年第1期。
47.蔡德和,清辅音对后接元音F0的扰动及该扰动对感知的影响,西部声学会议,2005年。
48.孙国华,普通话妇女声音节的规则合成,《电声技术》1990年。
49.孙国华,普通话卷舌元音的声学模式及感知,《应用声学》1994年第4期。
50.孙国华,言语速率与元音音段协同发音的关,intheProceedingsoftheconferenceonPhoneticsoftheLanguagesinChina,1998年。
51.孙国华,语句中重读元音的声学表现,《现代语音学论文集》,金城出版社,1999年。
52.孙国华,连续话语中的减音研究,《第五届全国现代语音学术会议》,2001年。
53.颜景助、林茂灿,北京话三字组重音的声学表现,《方言》1988年第3期。
54.陈肖霞,普通话音段协同发音研究,《中国语文》1997年第5期。
55.陈肖霞,连续话语语料库的语音切分和标记,《语言文字应用》2000年第2期。
56.陈肖霞,连续话语中减音及其稳定性声学分析,《声学技术》2005第24卷。
(四)语音数据库
1.863合成语料库,数据库(10G),国家863课题组,1997年
2.863语音识别库,数据库(20G),国家863课题组,1996年
3.普通话单音节两音节数据库,软件+数据库(500M),社科院青年课题
4.CASS自然口语语料库,数据库(5GB),JohnHopkinsUniversity,USA,2000年
5.ASCCD语篇语料库,数据库(2GB),CCCCorpora,2001年
6.CADCC对话语料库,数据库(10GB),CCCCorpora,2004年
7.SPEECON语料库,数据库(60GB),NOKIA,2003年
8.北京上海对比语料库,数据库(10GB),NOKIA,2003年
9.RASC863语料库,数据库(220GB),国家863课题组,2006年
10.广州、厦门方言普通话对比库(与NOKIA合作),数据库(30GB),NOKIA,2007
11.MOTOROLA合作多语种语料库,数据库(60GB),MOTOROLA,2008年
13.多模态儿童语音库CASS-child,数据库(3T),社科院重点项目
14.1.5-6岁普通话儿童看图说词语音数据库CASS-Word,语音数据库(3500多名儿童),创新工程项目
15.中国方言区英语学习者语音库AESOP-CASS,10大方言区英语学习者的并行语料库,人均近1小时,创新工程项目、社科基金重大项目
16.汉语口语语篇库CASS-DISCOURSE,1000个对话7个应用场景不同题材,973项目、创新工程项目
17.英语学习者3D发音生理数据库CASS-EMA-EFL,创新工程项目
(五)软件工具
1.xSpeechTools语音工具包,主要功能模块:
(1)语音语料库录制工具xRecorder,该工具适用于各类有文本底稿的语音库录制任务,在录音进程中可以动态显示波形和语图,录音结束后可以检测振幅大小并自动保存,从而能在一定程度上提高录音速度和质量。最新版新增了条目拷贝和插入功能,适用于文白异读情况的录音操作。
(2)音段自动对齐工具xSegmenter,该工具适用于任意语言或方言的音段自动对齐任务,只要提供该语言或方言的语音材料及其相应的发音文本和电子发音词典即可完成无监督的语音训练和音段自动对齐工作,并生成相应的TextGrid标注文件,从而能够在一定程度上提高语音语料库的建设效率。
(4)语音文字转写工具xTranscriber,该工具主要适用于语音语料库建设,旨在解决普通话或英语的篇章语音材料的文本转写和校对问题。一方面通过调用snack语音工具包实现声音文件读取、音频录制、语音播放、波形显示、振幅检测以及截取声音片段和声音文件保存等功能,另一方面通过联网调用讯飞语音云的语音听写功能实现语音材料的文本转写,目前可支持普通话和美式英语,无语音时长限制。
(5)语音跟读对比工具xReader,该工具主要面向语音教学与训练,支持wav格式的音频文件播放、录制与声学参数对比显示,目前支持三种播放模式:A、仅播放原始语音;B、仅播放用户录制的语音;C、混合播放原始语音和用户录音。可支持字、词、句、篇章等不同材料内容的播放与跟读,并可呈现较为详细的音段和韵律标注信息。还支持同屏显示原始声音和用户录音,以便于观察和对比。
2.熊子瑜,2016-2018,汉语方言字音系统实验研究脚本合集,这套工具由一系列Praat脚本程序构成,主要分成字表数据处理和字音数据处理两个模块,具有字音录制、标注、声调音高数据分析、共振峰数据分析、声调曲线图制作、声学元音图制作、字音图谱制作、调值测算、调类测算、古今音对应关系分析、同音字表输出、古音分化与合并系数测算等一系列功能。
科研项目
1.国家社会科学基金“七五”重点研究项目,普通话正常重音音节间音联特性研究,1986-1990,林茂灿。
2.国家社会科学基金“八五”重点研究项目,1991-1995,林茂灿。
3.国家自然科学基金项目,普通话正常重音音节间音联特性研究,1995-1997,曹剑芬。
4.国家社会科学基金“九五”重点研究项目,基于语料库的普通话自然连续语音研究,1996-2000,林茂灿。
5.中国社会科学院青年基金项目,普通话单音节和两音节的语谱图电子文本及其管理,1999-2000,李爱军。
6.美国自然科学基金(与清华大学合作),CASS口语库的标注,2000,李爱军。
7.国家社会科学基金“十五”重点课题,基于口语语料库的语音研究及音段和韵律自动标注,2001-2005,李爱军。
8.国家973重点基础研究发展规划项目,基于会话语料库的汉语语音学分析(图象、语音、自然语言理解与知识发掘),G19980030504-5,2001-2003,李爱军、祖漪清。
9.国家863高技术规划项目,四大方言区的地方普通话语料库(中文平台总体技术研究与基础数据库建设),2001AA114012,2001.10-2003.12,李爱军。
10.与IBM中国研究中心合作项目,口语对话中情感语音声学建模研究(AcousticModelingofExpressiveSpeechInADialogueSystem),2003.6-12,李爱军。
11.与NOKIA中国研究中心合作的欧盟Speecon项目,汉语语音库的收集和标注,2003-2004,李爱军。
12.国家社科基金项目,基于语音语料库的语音变化类型与模式研究,2004-2005,陈肖霞。
13.国家863高技术规划项目,六个方言点地方普通话语料库(中文平台评价技术研究与基础数据库建设),2004AA114011-1,2004.10-2006.10,李爱军。
14.中国社会科学院青年启动基金项目,“吗”字是非问句的语调韵律特征研究,2004-2005,熊子瑜。
15.国家自然科学基金项目,普通话不同语调语句中韵律词的变调规律,2004-2006,李爱军。
16.国家自然科学基金项目,汉语疑问句的实验研究,2004.01-2006.12,林茂灿。
17.国家社科基金项目,汉语语调模式研究,2004-2007,林茂灿。
18.中国社会科学院青年科研启动基金项目,自然语音合成系统的研究,2005.8-2006.12,方强。
19.中国社会科学院重点项目,通话语音基础数据库及其韵律研究,2005.8-2008.12,熊子瑜。
20.中国社会科学院重大项目,面向生理的语音产生理论与方法研究,2005.8-2009.8,胡方、李爱军。
21.国家863高技术规划项目,口语对话库与语音研究(隶属于“自然人机交互中口语产生新方法的研究”,与中科院自动化所合作项目),2006AA01Z138,2006-2009,李爱军。
22.国家863高技术基金项目,藏语语音合成系统(与中国科大合作项目),2007-2008.12,熊子瑜。
23.国家社科青年基金,普通话语篇的标注和语音研究,陈肖霞。
24.与MOTO中国研究中心合作项目,多语种语音合成库建立标注与分析,2006-2009,李爱军、殷治纲。
25.与NOKIA公司合作项目,多语言多口音的声学对比研究,2006.9-2009.12,李爱军。
26.国家985基地研究项目(与中央民族大学合作),藏语中介语语料库,2006.10-12,熊子瑜。
27.与东芝公司合作项目,多音字注音语料库,2006.10-12,熊子瑜。
28.与东芝公司合作项目,多风格口语语料库与语音研究,2006-2009,李爱军、熊子瑜。
29.国家社科基金重点项目,普通话婴幼儿的早期词类及声调范畴习得,2008-2011,李爱军。
30.社科院重点项目,婴幼儿言语习得数据库制,2009-2011,李爱军。
31.国家自然科学基金项目,跨文化多模态情感语音的心理、生理以及声学分析,2010.1-2012.12,方强。
32.自然科学基金重点项目子课题,语音产生过程的神经生理建模与控制,61233009,2013-2017,李爱军、方强。
33.国家973高技术项目“互联网环境中文言语信息处理与深度计算的基础理论和方法”子课题“互联网环境中文言语感知与表示理论研究”,2013CB329301,李爱军。
34.国家社科基金项目,汉语方言研究的实验语音学理论与方法,15BYY073,2015-2020,胡方。
35.国家社科基金项目,中外法庭辩论的语音特征、策略及对判决的影响力研究,15BYY061,2015-2020,殷治纲。
36.国家社科基金重大项目,中国方言区英语学习者语音习得机制的跨学科研究,15ZDB103,2015-2020,李爱军。
37.北京市重点研发计划“新一代人工智能技术培育”项目“融合听觉信息的语言理解与智能交互关键技术研究”子课题“语篇语义与听觉信息特征表示体系”,Z181100008918002,2018-2019,李爱军、贾媛。
38.科技部国家重点研发计划-政府间国际科技创新合作重点专项-中欧政府间合作项目“量子信息获取-检索的理论和应用研究”子课题“基于类量子认知理论的智能人机对话技术”,2017YFE0111900,2018.4-2020.3,李爱军、贾媛。
39.国家社科基金青年项目,老龄人群语音语料库建设与声学研究,2019-2023,李倩。
40.中宣部文化名家暨“四个一批”人才自主选题项目,语调类型学研究,2020.5-2025.6,李爱军。