除此之外，还可以使用其他的标准操作，比如标记化、删除多余的空格、文本大写转换为小写，以及其他更高级的操作，例如拼写更正、语法错误更正、删除重复字符等。
由于本文的重点是特征工程，我们将构建一个简单的文本预处理程序，其重点是删除特殊字符、多余的空格、数字、无用词以及语料库的大写转小写。
wpt=nltk.WordPunctTokenizer()
defnormalize_document(doc):
#lowercaseandremovespecialcharacters\whitespaces
doc=doc.lower()
doc=doc.strip()
#tokenizedocument
tokens=wpt.tokenize(doc)
#filterstopwordsoutofdocument
filtered_tokens=[tokenfortokenintokensiftokennotinstop_words]
#re-createdocumentfromfilteredtokens
returndoc
normalize_corpus=np.vectorize(normalize_document)
一旦搭建好基础的预处理流程，我们就可以将它应用在语料库中了。
norm_corpus=normalize_corpus(corpus)norm_corpus
上面的输出结果应该能让大家清楚的了解样本文档在预处理之后的样子。现在我们来开始特征工程吧!
这也许是非结构化文本中最简单的向量空间表示模型。向量空间是表示非结构化文本（或其他任何数据）的一种简单数学模型，向量的每个维度都是特定的特征/属性。词袋模型将每个文本文档表示为数值向量，其中维度是来自语料库的一个特定的词，而该维度的值可以用来表示这个词在文档中的出现频率、是否出现（由0和1表示），或者加权值。将这个模型叫做词袋模型，是因为每个文档可以看作是装着单词的袋子，而无须考虑单词的顺序和语法。
fromsklearn.feature_extraction.textimportCountVectorizer
cv=CountVectorizer(min_df=0.,max_df=1.)
cv_matrix=cv.fit_transform(norm_corpus)
cv_matrix=cv_matrix.toarray()
cv_matrix
可以看到，文档已经被转换为数字向量，这样每个文档都由上述特征矩阵中的一个向量（行）表示。下面的代码有助于以一种更易理解的格式来表示这一点。
#getalluniquewordsinthecorpus
vocab=cv.get_feature_names()
#showdocumentfeaturevectors
pd.DataFrame(cv_matrix,columns=vocab)
词袋模型的文档特征向量
上面的表格应该更能助于理解！可以清楚地看到，特征向量中每个列（维度）都代表一个来自语料库的单词，每一行代表一个文档。单元格中的值表示单词（由列表示）出现在特定文档（由行表示）中的次数。因此，如果一个文档语料库是由N个单词组成，那么这个文档可以由一个N维向量表示。
一个单词只是一个标记，通常被称为单元（unigram）或者一元（1-gram）。我们已经知道，词袋模型不考虑单词的顺序。但是如果我们也想要考虑序列中出现的短语或者词汇集合呢？N元模型能够帮我们实现这一点。N-Gram是来自文本文档的单词记号的集合，这些记号是连续的，并以序列的形式出现。二元表示阶数为二的N-Gram，也就是两个单词。同理三元表示三个单词。N元词袋模型是普通词袋模型的一种拓展，使得我们可以利用基于N元的特征。下面的示例展示了文档中二元的特征向量。
#youcansetthen-gramrangeto1,2togetunigramsaswellasbigrams
bv=CountVectorizer(ngram_range=(2,2))
bv_matrix=bv.fit_transform(norm_corpus)
bv_matrix=bv_matrix.toarray()
vocab=bv.get_feature_names()
pd.DataFrame(bv_matrix,columns=vocab)
使用二元词袋模型的特征向量
在上面的例子中，每个二元特征由两个单词组成，其中的值表示这个二元词组在文档中出现的次数。
在大型语料库中使用词袋模型可能会出现一些潜在的问题。由于特征向量是基于词的频率，某些单词可能会在文档中频繁出现，这可能会在特征集上掩盖掉其他单词。TF-IDF模型试图通过缩放或者在计算中使用归一化因子来解决这个问题。TF-IDF即TermFrequency-InverseDocumentFrequency，在计算中结合了两种度量：词频（TermFrequency）和逆文档频率（InverseDocumentFrequency）。这种技术是为搜索引擎中查询排序而开发的，现在它是信息检索和NLP领域中不可或缺的模型。
在数学上，TF-IDF可以定义为：tfidf=tfxidf，也可以进一步拓展为下面的表示：
在这里，tfidf（w,D）表示单词w在文档D中的TF-IDF分数。Tf（w,D）项表示单词w在文档D中的词频，这个值可以从词袋模型中获得。idf（w，D）项是单词w的逆文档频率，可以由语料库中所有文档的总数量C除以单词w的文档频率df（w）的log值得到，其中文档频率是指语料库中文档出现单词w的频率。这种模型有多种变种，但是给出的最终结果都很相似。下面在语料库中使用这个模型吧！
fromsklearn.feature_extraction.textimportTfidfVectorizer
tv=TfidfVectorizer(min_df=0.,max_df=1.,use_idf=True)
tv_matrix=tv.fit_transform(norm_corpus)
tv_matrix=tv_matrix.toarray()
vocab=tv.get_feature_names()
pd.DataFrame(np.round(tv_matrix,2),columns=vocab)
基于TF-IDF模型的文档特征向量
文档相似性是使用从词袋模型或者tf-idf模型中提取出的特征，基于距离或者相似度度量判断两个文档相似程度的过程。
因此，可以使用在上一部分中提到的tf-idf模型提取出的特征，用其来生成新的特征。这些特征在搜索引擎、文档聚类以及信息检索等领域发挥着重要作用。
语料库中的配对文档相似性需要计算语料库中每两个文档对的文档相似性。因此，如果一个语料库中有C个文档，那么最终会得到一个C*C的矩阵，矩阵中每个值代表了该行和该列的文档对的相似度分数。可以用几种相似度和距离度量计算文档相似度。其中包括余弦距离/相似度、欧式距离、曼哈顿距离、BM25相似度、jaccard距离等。在我们的分析中，我们将使用最流行和最广泛使用的相似度度量：余弦相似度，并根据TF-IDF特征向量比较文档对的相似度。
fromsklearn.metrics.pairwiseimportcosine_similarity
similarity_matrix=cosine_similarity(tv_matrix)
similarity_df=pd.DataFrame(similarity_matrix)
similarity_df
文档对的相似性矩阵(余弦相似度)
仔细观察相似度矩阵可以清楚地看出，文档（0，1和6），（2，5和7）之间非常相似，文档3和4略微相似。这表明了这些相似的文档一定具有一些相似特征。这是分组或聚类的一个很好的案例，可以通过无监督的学习方法来解决，特别是当需要处理数百万文本文档的庞大语料库时。
聚类是利用无监督学习的方法，将数据点(本场景中即文档)分类到组或者cluster中。我们将在这里利用一个无监督的层次聚类算法，通过利用我们之前生成的文档相似性特征，将我们的玩具语料库中的类似文档聚合到一起。有两种类型的层次聚类方法，分别是凝聚方法（agglomerative）和分裂方法（divisive）。这里将会使用凝聚聚类算法，这是一种自下而上（bottomup）的层次聚类算法，最开始每个文档的单词都在自己的类中，根据测量数据点之间的距离度量和连接准则（linkagecriterion），将相似的类连续地合并在一起。下图展示了一个简单的描述。
连接准则决定了合并策略。常用的连接准则有Ward,Completelinkage,Averagelinkage等等。这些标准在将一对cluster合并在一起（文档中低层次的类聚类成高层次的）时是非常有用的，这是通过最优化目标函数实现的。我们选择Ward最小方差作为连接准则，以最小化总的内部聚类方差。由于已经有了相似特征，我们可以直接在样本文档上构建连接矩阵。
fromscipy.cluster.hierarchyimportdendrogram,linkage
我们语料库的连接矩阵
下面，把这个矩阵看作一个树状图，以更好地理解元素！
plt.figure(figsize=(8,3))
dendrogram(Z)
可以看到每个数据点是如何从一个单独的簇开始，慢慢与其他数据点合并形成集群的。从颜色和树状图的更高层次来看，如果考虑距离度量为1.0（由虚线表示）或者更小，可以看出模型已经正确识别了三个主要的聚类。利用这个距离，我们可以得到集群的标签。
fromscipy.cluster.hierarchyimportfcluster
max_dist=1.0
pd.concat([corpus_df,cluster_labels],axis=1)
可以清楚地看到，我们的算法已经根据分配给它们的标签，正确识别了文档中的三个不同类别。这应该能够给大家一个关于如何使用TF-IDF特征来建立相似度特征的思路。大家可以用这种处理流程来进行聚类。
也可以使用一些摘要技术从文本文档中提取主题或者基于概念的特征。主题模型围绕提取关键主题或者概念。每个主题可以表示为文档语料库中的一个词袋或者一组词。总之，这些术语表示特定的话题、主题或概念，凭借这些单词所表达的语义含义，可以轻松将每个主题与其他主题区分开来。这些概念可以从简单的事实、陈述到意见、前景。主题模型在总结大量文本来提取和描绘关键概念时非常有用。它们也可用于从文本数据中捕捉潜在的特征。
主题建模有很多种方法，其中大多涉及到某种形式的矩阵分解。比如隐含语义索引（LatentSemanticIndexing，LSI）就使用了奇异值分解。这里将使用另一种技术：隐含狄利克雷分布（LatentDirichletAllocation，LDA），它使用了生成概率模型，其中每个文档由几个主题组合而成，每个术语或单词可以分配给某个主题。这与基于pLSI（probabilisticLSI）的模型很类似。在LDA的情况下，每个隐含主题都包含一个狄利克雷先验。
上图中的黑色框表示利用前面提到的参数，从M个文档中提取K个主题的核心算法。下面的步骤是对算法的解释。
a)对于文档中的单词W：
i.对于主题T：
计算P(T|D)，表示文档D中单词分配给T主题的比例。
计算P(W|T)，表示在所有文档中，主题T包含单词W的比例。
ii.通过计算概率P(T|D)*P(W|T)重新分配单词W的主题T。
运行几个迭代之后，就能获得混合了每个文档的主题，然后就可以根据指向某个主题的单词生成文档的主题。像gensim或者scikit-learn这样的框架，使得我们能够利用LDA模型来生成主题。
大家应该记住，当LDA应用于文档-单词矩阵（TF-IDF或者词袋特征矩阵）时，它会被分解为两个主要部分：
使用scikit-learn可以得到如下的文档-主题矩阵。
fromsklearn.decompositionimportLatentDirichletAllocation
lda=LatentDirichletAllocation(n_topics=3,max_iter=10000,random_state=0)
dt_matrix=lda.fit_transform(cv_matrix)
features
可以清楚地看到哪些文档对上述输出中的三个主题贡献最大，可以通过如下的方式查看主题及其组成部分。
tt_matrix=lda.components_
fortopic_weightsintt_matrix:
topic=[(token,weight)fortoken,weightinzip(vocab,topic_weights)]
topic=sorted(topic,key=lambdax:-x[1])
topic=[itemforitemintopicifitem[1]>0.6]
print(topic)
print()
可以看到，由于组成术语不同，很容易区分这三个主题。第一个在讨论天气，第二个关于食物，最后一个关于动物。主题建模的主题数量选择是一门完整的课题，既是一门艺术，也是一门科学。获得最优主题数量的方法有很多，这些技术既复杂又繁琐，这里就不展开讨论了。
这里使用LDA法从词袋模型特征构建主题模型特征。现在，我们可以利用获得的文档单词矩阵，使用无监督的聚类算法，对文档进行聚类，这与我们之前使用的相似度特征进行聚类类似。
这次我们使用非常流行的基于分区的聚类方法——K-means聚类，根据文档主题模型特征表示，进行聚类或分组。在K-means聚类法中，有一个输入参数K，它制定了使用文档特征输出的聚类数量。这种聚类方法是一种基于中心的聚类方法，试图将这些文档聚类为等方差的类。这种方法通过最小化类内平方和来创建聚类。选择出最优的K的方法有很多，比如误差平方和度量，轮廓系数（SilhouetteCoefficients）和Elbowmethod。