我们试着开一下脑洞：假如你有一个优盘，里面存了大量“三体”人（刘慈欣小说中的高智能外星人）的网络文本信息，你会怎样通过这些信息去了解外星文明并从中获取有价值的技术情报？当然，“三体”人的文字都长这样儿：
“全是乱码，根本摸不着头脑！”
好吧，的确是这样。其实在计算机的眼中，人类的语言跟外星人的语言也没什么两样。
让计算机“理解”人类语言中的种种信息，甚至像人类一样做出反应，这些是自然语言处理的主要内容。
那我们怎么分析呢？首先，我们尝试找出最小观察对象，发现外星人文字好像是一块一块的方块字，每一个方块字可以作为我们的一个分析的基本语言单位。我们对这些方块字做一些基本的统计，大致就能知道“三体”人语言的基本词汇量、常用词、罕见词、常用固定搭配等等。可见统计方法是一个比较有用的利器。
而且，我们发现，有些方块字直接由一个空格将其隔开。因此将方块字区分成不同的区域，每一个区域是否可以理解成一句话？这个工作就是“断句”，也是自然语言处理当中的一个典型问题。
然后空行可以作为分段。按照人类语言的经验，可能段首第一句话会包含更多的信息。
还能继续分析吗？似乎比较难了。可是后来你发现，这个优盘中的外星人语料库有些是“标记”了的。比如有些信息是像在豆瓣网站中那样被组织的。里面每段话都有一些类似“好评”“差评”的标记。基于这些标记，你可以统计出某些词在好评中出现的概率比差评的更高，这些词可能就是“褒义词”。类似的，你也可以统计出一些“贬义词”。基于这些褒、贬义词，可以去判断其他文本的褒贬性。这就是自然语言处理中的“褒贬分析”过程。
……
由此可见，当面对一种一无所知的语言的时候，似乎最直接的方法就是掌握大量的语料库，而且这些语料最好是经过各种方式标注了的。然后对其进行各种各样的统计，发掘一些有价值的信息。这是传说中自然语言处理的经验主义视角。
其实，自然语言处理的应用非常广泛，如：
这里简单罗列了一些NLP的常见领域：分词，词性标注，命名实体识别，句法分析，语义识别，垃圾邮件识别，拼写纠错，词义消歧，语音识别，音字转换,机器翻译，自动问答……
如果对自然语言处理的应用场景不太了解，可以去腾讯的中文语义平台简单玩几个例子就熟悉了。
根据stafford教授DanJurafsky的介绍：
大家可能感受到了，自然语言处理的问题非常庞杂，一时还真不太好系统地梳理。
然而，从我们的学习自然语言处理的经验来看，通过机器学习的基本思路，可以将很多问题都抽象成同样的算法和模型来处理，这样会清晰很多。
比如，词性标注，垃圾邮件识别，褒贬分析，拼写纠错等问题都可以归结成简单的分类问题。这就好用我们之前掌握的机器学习分类方法去很好地处理。
又比如，对于机器翻译，语音识别，音字转换等等领域，都可以抽象成运用隐马尔科夫模型去处理，而这本身是一个更加复杂的分类问题。
对于英文等字符串类型的自然语言，正则表达式能够很好地做一些简单的处理工作。如词干提取，大小写转换等。
现在主流的编程语言对正则表达式都有较好的支持，如Grep、Awk、Sed、Python、Perl、Java、C/C++。可以通过简单的编程完成一些基本任务。
对于英文，分词比较直观。一般被空格区分开来的就是不同的词。但是有些不同的词汇表达需要我们细心判断：
这需要我们根据不同的条件做一些简单的判断规则。
编辑距离（MinimumEditDistance，MED），又称Levenshtein距离，是指两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
允许的编辑操作包括：
一个简单的示意图如下：
我们可以使用动态规划算法解最小编辑距离，其形式化定义如下：
通过这种方法，给字符串之间定义了一个量化的“距离”的概念，而且很有解释力。
在机器学习中，有了“距离”就可以做很多事情。比如判断两个字符串的相似性，做一些分类、聚类的工作。
在工程上，编辑距离可以用来提供用于拼写纠错的侯选单词。比如我用英文输入法输入一个“girlfriand”的单词。但是词库中没有“girlfriand”这个词。则可以寻找与“girlfriand”编辑距离为1或2的其他字符串，如“girlfriend”、“girlfriends”，作为纠正拼写错误的候选词。剩下的问题就是判断哪个侯选词的作为纠正词的概率更高而已。
由于自然语言处理中相当一部分都可以抽象成分类问题去处理。我们在这里补充一些分类问题的基本知识，方便以后探讨。
有时候管多选题叫做软分类，单选题叫硬分类。
对于一般二分类，我们评估的指标有召回率、精确度和F值。对于多分类我们也有类似的评价标准。如果cij为有多少篇ci的文档被自动分类到cj类别下，则有：
本文主要是讲了一些自然语言处理的浅层内容。我们从从破译外星人文字导出自然语言处理过程中的经验主义视角。因为业务场景十分繁杂，我们打算从机器学习算法的角度去观察这些业务场景，以便有个清晰的认识。文本处理的一些基础内容，如正则表达式、分词断句等是自然语言预处理过程中的常用手段。编辑距离是衡量两个字符串相似性的尺度。了解这些基础之后，就可以进行一些典型的自然语言处理问题了，比如文本分类。