如何对非结构化文本数据进行特征工程操作?这里有妙招!雷峰网

除此之外,还可以使用其他的标准操作,比如标记化、删除多余的空格、文本大写转换为小写,以及其他更高级的操作,例如拼写更正、语法错误更正、删除重复字符等。

由于本文的重点是特征工程,我们将构建一个简单的文本预处理程序,其重点是删除特殊字符、多余的空格、数字、无用词以及语料库的大写转小写。

wpt=nltk.WordPunctTokenizer()

defnormalize_document(doc):

#lowercaseandremovespecialcharacters\whitespaces

doc=doc.lower()

doc=doc.strip()

#tokenizedocument

tokens=wpt.tokenize(doc)

#filterstopwordsoutofdocument

filtered_tokens=[tokenfortokenintokensiftokennotinstop_words]

#re-createdocumentfromfilteredtokens

returndoc

normalize_corpus=np.vectorize(normalize_document)

一旦搭建好基础的预处理流程,我们就可以将它应用在语料库中了。

norm_corpus=normalize_corpus(corpus)norm_corpus

上面的输出结果应该能让大家清楚的了解样本文档在预处理之后的样子。现在我们来开始特征工程吧!

这也许是非结构化文本中最简单的向量空间表示模型。向量空间是表示非结构化文本(或其他任何数据)的一种简单数学模型,向量的每个维度都是特定的特征/属性。词袋模型将每个文本文档表示为数值向量,其中维度是来自语料库的一个特定的词,而该维度的值可以用来表示这个词在文档中的出现频率、是否出现(由0和1表示),或者加权值。将这个模型叫做词袋模型,是因为每个文档可以看作是装着单词的袋子,而无须考虑单词的顺序和语法。

fromsklearn.feature_extraction.textimportCountVectorizer

cv=CountVectorizer(min_df=0.,max_df=1.)

cv_matrix=cv.fit_transform(norm_corpus)

cv_matrix=cv_matrix.toarray()

cv_matrix

可以看到,文档已经被转换为数字向量,这样每个文档都由上述特征矩阵中的一个向量(行)表示。下面的代码有助于以一种更易理解的格式来表示这一点。

#getalluniquewordsinthecorpus

vocab=cv.get_feature_names()

#showdocumentfeaturevectors

pd.DataFrame(cv_matrix,columns=vocab)

词袋模型的文档特征向量

上面的表格应该更能助于理解!可以清楚地看到,特征向量中每个列(维度)都代表一个来自语料库的单词,每一行代表一个文档。单元格中的值表示单词(由列表示)出现在特定文档(由行表示)中的次数。因此,如果一个文档语料库是由N个单词组成,那么这个文档可以由一个N维向量表示。

一个单词只是一个标记,通常被称为单元(unigram)或者一元(1-gram)。我们已经知道,词袋模型不考虑单词的顺序。但是如果我们也想要考虑序列中出现的短语或者词汇集合呢?N元模型能够帮我们实现这一点。N-Gram是来自文本文档的单词记号的集合,这些记号是连续的,并以序列的形式出现。二元表示阶数为二的N-Gram,也就是两个单词。同理三元表示三个单词。N元词袋模型是普通词袋模型的一种拓展,使得我们可以利用基于N元的特征。下面的示例展示了文档中二元的特征向量。

#youcansetthen-gramrangeto1,2togetunigramsaswellasbigrams

bv=CountVectorizer(ngram_range=(2,2))

bv_matrix=bv.fit_transform(norm_corpus)

bv_matrix=bv_matrix.toarray()

vocab=bv.get_feature_names()

pd.DataFrame(bv_matrix,columns=vocab)

使用二元词袋模型的特征向量

在上面的例子中,每个二元特征由两个单词组成,其中的值表示这个二元词组在文档中出现的次数。

在大型语料库中使用词袋模型可能会出现一些潜在的问题。由于特征向量是基于词的频率,某些单词可能会在文档中频繁出现,这可能会在特征集上掩盖掉其他单词。TF-IDF模型试图通过缩放或者在计算中使用归一化因子来解决这个问题。TF-IDF即TermFrequency-InverseDocumentFrequency,在计算中结合了两种度量:词频(TermFrequency)和逆文档频率(InverseDocumentFrequency)。这种技术是为搜索引擎中查询排序而开发的,现在它是信息检索和NLP领域中不可或缺的模型。

在数学上,TF-IDF可以定义为:tfidf=tfxidf,也可以进一步拓展为下面的表示:

在这里,tfidf(w,D)表示单词w在文档D中的TF-IDF分数。Tf(w,D)项表示单词w在文档D中的词频,这个值可以从词袋模型中获得。idf(w,D)项是单词w的逆文档频率,可以由语料库中所有文档的总数量C除以单词w的文档频率df(w)的log值得到,其中文档频率是指语料库中文档出现单词w的频率。这种模型有多种变种,但是给出的最终结果都很相似。下面在语料库中使用这个模型吧!

fromsklearn.feature_extraction.textimportTfidfVectorizer

tv=TfidfVectorizer(min_df=0.,max_df=1.,use_idf=True)

tv_matrix=tv.fit_transform(norm_corpus)

tv_matrix=tv_matrix.toarray()

vocab=tv.get_feature_names()

pd.DataFrame(np.round(tv_matrix,2),columns=vocab)

基于TF-IDF模型的文档特征向量

文档相似性是使用从词袋模型或者tf-idf模型中提取出的特征,基于距离或者相似度度量判断两个文档相似程度的过程。

因此,可以使用在上一部分中提到的tf-idf模型提取出的特征,用其来生成新的特征。这些特征在搜索引擎、文档聚类以及信息检索等领域发挥着重要作用。

语料库中的配对文档相似性需要计算语料库中每两个文档对的文档相似性。因此,如果一个语料库中有C个文档,那么最终会得到一个C*C的矩阵,矩阵中每个值代表了该行和该列的文档对的相似度分数。可以用几种相似度和距离度量计算文档相似度。其中包括余弦距离/相似度、欧式距离、曼哈顿距离、BM25相似度、jaccard距离等。在我们的分析中,我们将使用最流行和最广泛使用的相似度度量:余弦相似度,并根据TF-IDF特征向量比较文档对的相似度。

fromsklearn.metrics.pairwiseimportcosine_similarity

similarity_matrix=cosine_similarity(tv_matrix)

similarity_df=pd.DataFrame(similarity_matrix)

similarity_df

文档对的相似性矩阵(余弦相似度)

仔细观察相似度矩阵可以清楚地看出,文档(0,1和6),(2,5和7)之间非常相似,文档3和4略微相似。这表明了这些相似的文档一定具有一些相似特征。这是分组或聚类的一个很好的案例,可以通过无监督的学习方法来解决,特别是当需要处理数百万文本文档的庞大语料库时。

聚类是利用无监督学习的方法,将数据点(本场景中即文档)分类到组或者cluster中。我们将在这里利用一个无监督的层次聚类算法,通过利用我们之前生成的文档相似性特征,将我们的玩具语料库中的类似文档聚合到一起。有两种类型的层次聚类方法,分别是凝聚方法(agglomerative)和分裂方法(divisive)。这里将会使用凝聚聚类算法,这是一种自下而上(bottomup)的层次聚类算法,最开始每个文档的单词都在自己的类中,根据测量数据点之间的距离度量和连接准则(linkagecriterion),将相似的类连续地合并在一起。下图展示了一个简单的描述。

连接准则决定了合并策略。常用的连接准则有Ward,Completelinkage,Averagelinkage等等。这些标准在将一对cluster合并在一起(文档中低层次的类聚类成高层次的)时是非常有用的,这是通过最优化目标函数实现的。我们选择Ward最小方差作为连接准则,以最小化总的内部聚类方差。由于已经有了相似特征,我们可以直接在样本文档上构建连接矩阵。

fromscipy.cluster.hierarchyimportdendrogram,linkage

我们语料库的连接矩阵

下面,把这个矩阵看作一个树状图,以更好地理解元素!

plt.figure(figsize=(8,3))

dendrogram(Z)

可以看到每个数据点是如何从一个单独的簇开始,慢慢与其他数据点合并形成集群的。从颜色和树状图的更高层次来看,如果考虑距离度量为1.0(由虚线表示)或者更小,可以看出模型已经正确识别了三个主要的聚类。利用这个距离,我们可以得到集群的标签。

fromscipy.cluster.hierarchyimportfcluster

max_dist=1.0

pd.concat([corpus_df,cluster_labels],axis=1)

可以清楚地看到,我们的算法已经根据分配给它们的标签,正确识别了文档中的三个不同类别。这应该能够给大家一个关于如何使用TF-IDF特征来建立相似度特征的思路。大家可以用这种处理流程来进行聚类。

也可以使用一些摘要技术从文本文档中提取主题或者基于概念的特征。主题模型围绕提取关键主题或者概念。每个主题可以表示为文档语料库中的一个词袋或者一组词。总之,这些术语表示特定的话题、主题或概念,凭借这些单词所表达的语义含义,可以轻松将每个主题与其他主题区分开来。这些概念可以从简单的事实、陈述到意见、前景。主题模型在总结大量文本来提取和描绘关键概念时非常有用。它们也可用于从文本数据中捕捉潜在的特征。

主题建模有很多种方法,其中大多涉及到某种形式的矩阵分解。比如隐含语义索引(LatentSemanticIndexing,LSI)就使用了奇异值分解。这里将使用另一种技术:隐含狄利克雷分布(LatentDirichletAllocation,LDA),它使用了生成概率模型,其中每个文档由几个主题组合而成,每个术语或单词可以分配给某个主题。这与基于pLSI(probabilisticLSI)的模型很类似。在LDA的情况下,每个隐含主题都包含一个狄利克雷先验。

上图中的黑色框表示利用前面提到的参数,从M个文档中提取K个主题的核心算法。下面的步骤是对算法的解释。

a)对于文档中的单词W:

i.对于主题T:

计算P(T|D),表示文档D中单词分配给T主题的比例。

计算P(W|T),表示在所有文档中,主题T包含单词W的比例。

ii.通过计算概率P(T|D)*P(W|T)重新分配单词W的主题T。

运行几个迭代之后,就能获得混合了每个文档的主题,然后就可以根据指向某个主题的单词生成文档的主题。像gensim或者scikit-learn这样的框架,使得我们能够利用LDA模型来生成主题。

大家应该记住,当LDA应用于文档-单词矩阵(TF-IDF或者词袋特征矩阵)时,它会被分解为两个主要部分:

使用scikit-learn可以得到如下的文档-主题矩阵。

fromsklearn.decompositionimportLatentDirichletAllocation

lda=LatentDirichletAllocation(n_topics=3,max_iter=10000,random_state=0)

dt_matrix=lda.fit_transform(cv_matrix)

features

可以清楚地看到哪些文档对上述输出中的三个主题贡献最大,可以通过如下的方式查看主题及其组成部分。

tt_matrix=lda.components_

fortopic_weightsintt_matrix:

topic=[(token,weight)fortoken,weightinzip(vocab,topic_weights)]

topic=sorted(topic,key=lambdax:-x[1])

topic=[itemforitemintopicifitem[1]>0.6]

print(topic)

print()

可以看到,由于组成术语不同,很容易区分这三个主题。第一个在讨论天气,第二个关于食物,最后一个关于动物。主题建模的主题数量选择是一门完整的课题,既是一门艺术,也是一门科学。获得最优主题数量的方法有很多,这些技术既复杂又繁琐,这里就不展开讨论了。

这里使用LDA法从词袋模型特征构建主题模型特征。现在,我们可以利用获得的文档单词矩阵,使用无监督的聚类算法,对文档进行聚类,这与我们之前使用的相似度特征进行聚类类似。

这次我们使用非常流行的基于分区的聚类方法——K-means聚类,根据文档主题模型特征表示,进行聚类或分组。在K-means聚类法中,有一个输入参数K,它制定了使用文档特征输出的聚类数量。这种聚类方法是一种基于中心的聚类方法,试图将这些文档聚类为等方差的类。这种方法通过最小化类内平方和来创建聚类。选择出最优的K的方法有很多,比如误差平方和度量,轮廓系数(SilhouetteCoefficients)和Elbowmethod。

THE END
1.学习笔记:DB29基础superdebug通过查看相关的对象,可以更好地理解数据库的结构,了解数据库中现有的对象以及它们之间的关系。例如,如果想删除一个有相关视图的表,Show Related 特性会识别出在删除这个表之后哪些视图会失效。 10、过滤(Filter) 可以对任何 DB2 工具的内容面板中显示的信息进行过滤。还可以对查询返回的信息进行过滤(比如限制结果集中https://redhat.talkwithtrend.com/Article/188197
2.mongoDB和mysql对比分析及选择(详细版)数据库其它比如我们熟知的例子,学生-课程-老师关系,如果用引用模型来实现三者的关系,可能会比内嵌模型更清晰直观,同时会减少很多冗余数据。 当需要实现复杂的树形关系的时候,可以考虑引用模型。 四、应用场景分析 1、MongoDB的应用场景 1)表结构不明确且数据不断变大 MongoDB是非结构化文档数据库,扩展字段很容易且不https://www.jb51.net/database/287301v7z.htm
3.数据架构:大数据数据仓库以及DataVault非重复型非结构化信息与重复型非结构化记录有着根本性的不同。对于非重复型非结构化记录而言,它们无论在形式还是内容上都很少重复或者根本不重复。非重复型非结构化信息的例子有电子邮件、呼叫中心对话和市场调查等。当你查看一封电子邮件时,会有很大概率发现数据库中的下一封邮件与前一封邮件是极为不同的。对呼叫https://www.ituring.com.cn/book/tupubarticle/11854
4.非结构化的数据库51CTO博客已为您找到关于非结构化的数据库的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及非结构化的数据库问答内容。更多非结构化的数据库相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/feijiegouhuadeshujuku.html
5.非结构化数据提取技术在统计工作中的应用摘要结构化数据和非结构化数据是大数据的两种类型,目前非结构化数据信息已达信息总量的85%以上,且每年以55%~65%的速度增长,统计工作受到大数据的冲击,日常总会遇到一些非结构化数据提取的难题,导致工作量加大,效率低下。本文对非结构化数据及其提取技术、大数据处理语言——Python语言进行学习研究,解决实际中遇到https://tjj.changzhi.gov.cn/sjfx/202207/t20220704_2588893.html
6.蓝蓝高频面试之数据库系列第一期数据库基础20题结构化查询语言 (Structured Query Language) 简称 SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。 什么是MySQL? MySQL 是一个关系型数据库管理系统,MySQL 是最流行的关系型数据库管理系统之一,常见的关系型数据库还有 Oracle 、SQL Servhttps://m.nowcoder.com/discuss/353158849412669440
7.结构化数据和非结构化数据的例子可能是文本文件、电流新箱、图片、音频和视瓶文件、社交媒体文章等内容, 非结构化数据的例子包括客户对调查的反馈、社交媒体和产品审查。 与结构化数据相比,非结构化数据更能分析,因为它的组织不整齐。 但是,由于诸如自然语言处理和机器学习等新技术,我们现在可以从无结构的数据中提取有用的信息。 我们可以使用情绪https://wenku.baidu.com/view/cc774aa53a68011ca300a6c30c2259010202f38c.html
8.推荐:处理非结构化数据的7个实例(附链接)本文作者根据个人过往工作经验,整理出了处理非结构化数据的7个实例,希望能对读者处理相关实际问题有所启发。 本文是作为数据科学博客松的一部分发表的。 介绍 我敢肯定,从事数据工作的人,不管数据量大小与否,都遇到过如下问题:数据不好,数据不一致,数据不干净,诸如此类。帮工作中鲜与数据打交道的人科普一下,根据https://blog.csdn.net/Tw6cy6uKyDea86Z/article/details/112255708
9.什么是文本挖掘?IBM半结构化数据:顾名思义,这些数据由结构化和非结构化数据格式混合而成。 虽然这种数据经过了一定的组织,但其结构不足以满足关系数据库的要求。 半结构化数据的例子包括 XML、JSON 和 HTML 文件。 由于世界上约 80% 的数据都属于非结构化格式(链接位于 ibm.com 外部),因此对于组织而言,文本挖掘是一种非常有价值https://www.ibm.com/cn-zh/topics/text-mining
10.结构化半结构化和非结构化数据都有哪些数据可以根据其格式和可访问性被分类为结构化数据、半结构化数据和非结构化数据。下面是每种数据类型的定义和一些例子: 结构化数据 结构化数据是指遵循固定格式的数据,通常存储在关系数据库中。这种数据类型易于搜索和组织,因为它遵循一定的模式(如表格),每个数据项都有明确的字段。 https://www.jianshu.com/p/7018b1bef624
11.大数据测试——完整的软件测试初学者指南腾讯云开发者社区大数据中的数据格式可以分为三类。它们是: 结构化数据 半结构化数据 非结构化数据 结构化数据 这指的是高度组织的数据。 它可以轻松地存储在任何关系数据库中。 这也意味着可以使用简单的查询轻松地检索/搜索它。 结构化数据的例子 下图描述了一个应用程序的数据模型。在这里可以看到表和表中相关的列。在这个例子https://cloud.tencent.com/developer/article/1620817
12.大数据的多样性和混杂性数据分析师Variety能做老二的最大底气来自于占大数据体量八成以上的非结构化数据。天知道这“八成”是怎么算出来的,但既然美林从98年就开始在企业数据市场这么说,十几年过去应该有增无减。 Variety从本义来说是指数据种类的多样性,我把数据质量的多样性即混杂性(舍恩伯格《大数据时代》中对messy的翻译正好是“混杂”)也放入https://www.cda.cn/view/2523.html