摘要:本文讲的是用深度学习解决自然语言处理中的7大问题,文本分类、语言建模、机器翻译等,自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。
本文讲的是用深度学习解决自然语言处理中的7大问题,文本分类、语言建模、机器翻译等,自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。不仅仅是在一些benchmark问题上深度学习模型取得的表现,这是最有趣的;事实上,单个模型可以学习单词的含义和执行语言任务,从而避免需要一套专门的、人工的方法。
1.文本分类
给定一个文本的例子,预测一个预定义的类标签。
文本分类的目的是对文档的话题或主题进行分类。——统计自然语言处理基础(FoundationsofStatisticalNaturalLanguageProcessing,1999)
流行的分类示例是情绪分析,其中类标签表示源文本的情绪基调,例如“积极”或“消极”。
以下是另外3个例子:
此外,这个问题也可能是一个文本被分为多个类的方式,即所谓的多标签分类。例如,预测源推文的多个标签。
更多阅读:
下面是有关文本分类的一些深度学习论文:
2.语言建模
语言建模实际上是一个更有趣的自然语言问题的子任务,特别是那些在其他输入条件下调节语言模型的问题。
这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR)的基础,也用于拼写校正、手写识别和统计机器翻译。——FoundationsofStatisticalNaturalLanguageProcessing(page191),byChristopherD.Manning&HinrichSchütze
除了语言建模的学术兴趣,它是许多深度学习自然语言处理架构的关键组成部分。语言模型学习词汇之间的概率关系,生成在统计上与源文本一致的新的词汇序列。
单独来说,语言模型可以用于文本或语音生成;例如:
有关语言建模的更多内容,参阅:
下面是一个关于语言建模深度学习例子:
3.语音识别
语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应序列。——深度学习(page458)
给定话语的音频数据,语音识别模型需要生成人类可读的文本。考虑到这个过程的自动性质,这个问题也可以被称为自动语音识别(ASR)。使用语言模型来创建文本输出,该输出基于音频数据。
一些例子包括:
有关语音识别的更多信息,请参阅:
下面是三个用于语音识别的深度学习方法的例子:
4.字幕生成
字幕生成是有关描述图像内容的问题。给定例如照片等数字图像,生成图像内容的文本描述。语言模型用于创建以图像为条件的描述。
这不仅仅是为听力障碍者的应用,而且还可以生成可用于搜索图像和视频的具有可读性的文本,例如在网络上。
5.机器翻译
机器翻译是将一种语言的源文本转换为另一种语言的问题。
机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。——统计自然语言处理基础,463页,1999。
考虑到神经网络的使用,这一领域也被称为神经机器翻译。
在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。——深度学习,98页,2016
语言模型用于以另一种语言输出目标文本,以源文本为条件。
以下是机器翻译深度学习方法的3个例子:
6.文档摘要
文档摘要是创建文本文档的简短描述的任务。即,使用语言模型来输出基于完整文档的总结性摘要。
文件摘要的一些例子包括:
有关该主题的更多信息,请参阅:
以下是关于文档摘要深度学习方法的3个例子:
7.问题回答
问题回答是给出一个主题(例如文本文档)回答有关该主题的具体问题的任务。