如何对非结构化文本数据进行特征工程操作?这里有妙招!雷峰网

除此之外,还可以使用其他的标准操作,比如标记化、删除多余的空格、文本大写转换为小写,以及其他更高级的操作,例如拼写更正、语法错误更正、删除重复字符等。

由于本文的重点是特征工程,我们将构建一个简单的文本预处理程序,其重点是删除特殊字符、多余的空格、数字、无用词以及语料库的大写转小写。

wpt=nltk.WordPunctTokenizer()

defnormalize_document(doc):

#lowercaseandremovespecialcharacters\whitespaces

doc=doc.lower()

doc=doc.strip()

#tokenizedocument

tokens=wpt.tokenize(doc)

#filterstopwordsoutofdocument

filtered_tokens=[tokenfortokenintokensiftokennotinstop_words]

#re-createdocumentfromfilteredtokens

returndoc

normalize_corpus=np.vectorize(normalize_document)

一旦搭建好基础的预处理流程,我们就可以将它应用在语料库中了。

norm_corpus=normalize_corpus(corpus)norm_corpus

上面的输出结果应该能让大家清楚的了解样本文档在预处理之后的样子。现在我们来开始特征工程吧!

这也许是非结构化文本中最简单的向量空间表示模型。向量空间是表示非结构化文本(或其他任何数据)的一种简单数学模型,向量的每个维度都是特定的特征/属性。词袋模型将每个文本文档表示为数值向量,其中维度是来自语料库的一个特定的词,而该维度的值可以用来表示这个词在文档中的出现频率、是否出现(由0和1表示),或者加权值。将这个模型叫做词袋模型,是因为每个文档可以看作是装着单词的袋子,而无须考虑单词的顺序和语法。

fromsklearn.feature_extraction.textimportCountVectorizer

cv=CountVectorizer(min_df=0.,max_df=1.)

cv_matrix=cv.fit_transform(norm_corpus)

cv_matrix=cv_matrix.toarray()

cv_matrix

可以看到,文档已经被转换为数字向量,这样每个文档都由上述特征矩阵中的一个向量(行)表示。下面的代码有助于以一种更易理解的格式来表示这一点。

#getalluniquewordsinthecorpus

vocab=cv.get_feature_names()

#showdocumentfeaturevectors

pd.DataFrame(cv_matrix,columns=vocab)

词袋模型的文档特征向量

上面的表格应该更能助于理解!可以清楚地看到,特征向量中每个列(维度)都代表一个来自语料库的单词,每一行代表一个文档。单元格中的值表示单词(由列表示)出现在特定文档(由行表示)中的次数。因此,如果一个文档语料库是由N个单词组成,那么这个文档可以由一个N维向量表示。

一个单词只是一个标记,通常被称为单元(unigram)或者一元(1-gram)。我们已经知道,词袋模型不考虑单词的顺序。但是如果我们也想要考虑序列中出现的短语或者词汇集合呢?N元模型能够帮我们实现这一点。N-Gram是来自文本文档的单词记号的集合,这些记号是连续的,并以序列的形式出现。二元表示阶数为二的N-Gram,也就是两个单词。同理三元表示三个单词。N元词袋模型是普通词袋模型的一种拓展,使得我们可以利用基于N元的特征。下面的示例展示了文档中二元的特征向量。

#youcansetthen-gramrangeto1,2togetunigramsaswellasbigrams

bv=CountVectorizer(ngram_range=(2,2))

bv_matrix=bv.fit_transform(norm_corpus)

bv_matrix=bv_matrix.toarray()

vocab=bv.get_feature_names()

pd.DataFrame(bv_matrix,columns=vocab)

使用二元词袋模型的特征向量

在上面的例子中,每个二元特征由两个单词组成,其中的值表示这个二元词组在文档中出现的次数。

在大型语料库中使用词袋模型可能会出现一些潜在的问题。由于特征向量是基于词的频率,某些单词可能会在文档中频繁出现,这可能会在特征集上掩盖掉其他单词。TF-IDF模型试图通过缩放或者在计算中使用归一化因子来解决这个问题。TF-IDF即TermFrequency-InverseDocumentFrequency,在计算中结合了两种度量:词频(TermFrequency)和逆文档频率(InverseDocumentFrequency)。这种技术是为搜索引擎中查询排序而开发的,现在它是信息检索和NLP领域中不可或缺的模型。

在数学上,TF-IDF可以定义为:tfidf=tfxidf,也可以进一步拓展为下面的表示:

在这里,tfidf(w,D)表示单词w在文档D中的TF-IDF分数。Tf(w,D)项表示单词w在文档D中的词频,这个值可以从词袋模型中获得。idf(w,D)项是单词w的逆文档频率,可以由语料库中所有文档的总数量C除以单词w的文档频率df(w)的log值得到,其中文档频率是指语料库中文档出现单词w的频率。这种模型有多种变种,但是给出的最终结果都很相似。下面在语料库中使用这个模型吧!

fromsklearn.feature_extraction.textimportTfidfVectorizer

tv=TfidfVectorizer(min_df=0.,max_df=1.,use_idf=True)

tv_matrix=tv.fit_transform(norm_corpus)

tv_matrix=tv_matrix.toarray()

vocab=tv.get_feature_names()

pd.DataFrame(np.round(tv_matrix,2),columns=vocab)

基于TF-IDF模型的文档特征向量

文档相似性是使用从词袋模型或者tf-idf模型中提取出的特征,基于距离或者相似度度量判断两个文档相似程度的过程。

因此,可以使用在上一部分中提到的tf-idf模型提取出的特征,用其来生成新的特征。这些特征在搜索引擎、文档聚类以及信息检索等领域发挥着重要作用。

语料库中的配对文档相似性需要计算语料库中每两个文档对的文档相似性。因此,如果一个语料库中有C个文档,那么最终会得到一个C*C的矩阵,矩阵中每个值代表了该行和该列的文档对的相似度分数。可以用几种相似度和距离度量计算文档相似度。其中包括余弦距离/相似度、欧式距离、曼哈顿距离、BM25相似度、jaccard距离等。在我们的分析中,我们将使用最流行和最广泛使用的相似度度量:余弦相似度,并根据TF-IDF特征向量比较文档对的相似度。

fromsklearn.metrics.pairwiseimportcosine_similarity

similarity_matrix=cosine_similarity(tv_matrix)

similarity_df=pd.DataFrame(similarity_matrix)

similarity_df

文档对的相似性矩阵(余弦相似度)

仔细观察相似度矩阵可以清楚地看出,文档(0,1和6),(2,5和7)之间非常相似,文档3和4略微相似。这表明了这些相似的文档一定具有一些相似特征。这是分组或聚类的一个很好的案例,可以通过无监督的学习方法来解决,特别是当需要处理数百万文本文档的庞大语料库时。

聚类是利用无监督学习的方法,将数据点(本场景中即文档)分类到组或者cluster中。我们将在这里利用一个无监督的层次聚类算法,通过利用我们之前生成的文档相似性特征,将我们的玩具语料库中的类似文档聚合到一起。有两种类型的层次聚类方法,分别是凝聚方法(agglomerative)和分裂方法(divisive)。这里将会使用凝聚聚类算法,这是一种自下而上(bottomup)的层次聚类算法,最开始每个文档的单词都在自己的类中,根据测量数据点之间的距离度量和连接准则(linkagecriterion),将相似的类连续地合并在一起。下图展示了一个简单的描述。

连接准则决定了合并策略。常用的连接准则有Ward,Completelinkage,Averagelinkage等等。这些标准在将一对cluster合并在一起(文档中低层次的类聚类成高层次的)时是非常有用的,这是通过最优化目标函数实现的。我们选择Ward最小方差作为连接准则,以最小化总的内部聚类方差。由于已经有了相似特征,我们可以直接在样本文档上构建连接矩阵。

fromscipy.cluster.hierarchyimportdendrogram,linkage

我们语料库的连接矩阵

下面,把这个矩阵看作一个树状图,以更好地理解元素!

plt.figure(figsize=(8,3))

dendrogram(Z)

可以看到每个数据点是如何从一个单独的簇开始,慢慢与其他数据点合并形成集群的。从颜色和树状图的更高层次来看,如果考虑距离度量为1.0(由虚线表示)或者更小,可以看出模型已经正确识别了三个主要的聚类。利用这个距离,我们可以得到集群的标签。

fromscipy.cluster.hierarchyimportfcluster

max_dist=1.0

pd.concat([corpus_df,cluster_labels],axis=1)

可以清楚地看到,我们的算法已经根据分配给它们的标签,正确识别了文档中的三个不同类别。这应该能够给大家一个关于如何使用TF-IDF特征来建立相似度特征的思路。大家可以用这种处理流程来进行聚类。

也可以使用一些摘要技术从文本文档中提取主题或者基于概念的特征。主题模型围绕提取关键主题或者概念。每个主题可以表示为文档语料库中的一个词袋或者一组词。总之,这些术语表示特定的话题、主题或概念,凭借这些单词所表达的语义含义,可以轻松将每个主题与其他主题区分开来。这些概念可以从简单的事实、陈述到意见、前景。主题模型在总结大量文本来提取和描绘关键概念时非常有用。它们也可用于从文本数据中捕捉潜在的特征。

主题建模有很多种方法,其中大多涉及到某种形式的矩阵分解。比如隐含语义索引(LatentSemanticIndexing,LSI)就使用了奇异值分解。这里将使用另一种技术:隐含狄利克雷分布(LatentDirichletAllocation,LDA),它使用了生成概率模型,其中每个文档由几个主题组合而成,每个术语或单词可以分配给某个主题。这与基于pLSI(probabilisticLSI)的模型很类似。在LDA的情况下,每个隐含主题都包含一个狄利克雷先验。

上图中的黑色框表示利用前面提到的参数,从M个文档中提取K个主题的核心算法。下面的步骤是对算法的解释。

a)对于文档中的单词W:

i.对于主题T:

计算P(T|D),表示文档D中单词分配给T主题的比例。

计算P(W|T),表示在所有文档中,主题T包含单词W的比例。

ii.通过计算概率P(T|D)*P(W|T)重新分配单词W的主题T。

运行几个迭代之后,就能获得混合了每个文档的主题,然后就可以根据指向某个主题的单词生成文档的主题。像gensim或者scikit-learn这样的框架,使得我们能够利用LDA模型来生成主题。

大家应该记住,当LDA应用于文档-单词矩阵(TF-IDF或者词袋特征矩阵)时,它会被分解为两个主要部分:

使用scikit-learn可以得到如下的文档-主题矩阵。

fromsklearn.decompositionimportLatentDirichletAllocation

lda=LatentDirichletAllocation(n_topics=3,max_iter=10000,random_state=0)

dt_matrix=lda.fit_transform(cv_matrix)

features

可以清楚地看到哪些文档对上述输出中的三个主题贡献最大,可以通过如下的方式查看主题及其组成部分。

tt_matrix=lda.components_

fortopic_weightsintt_matrix:

topic=[(token,weight)fortoken,weightinzip(vocab,topic_weights)]

topic=sorted(topic,key=lambdax:-x[1])

topic=[itemforitemintopicifitem[1]>0.6]

print(topic)

print()

可以看到,由于组成术语不同,很容易区分这三个主题。第一个在讨论天气,第二个关于食物,最后一个关于动物。主题建模的主题数量选择是一门完整的课题,既是一门艺术,也是一门科学。获得最优主题数量的方法有很多,这些技术既复杂又繁琐,这里就不展开讨论了。

这里使用LDA法从词袋模型特征构建主题模型特征。现在,我们可以利用获得的文档单词矩阵,使用无监督的聚类算法,对文档进行聚类,这与我们之前使用的相似度特征进行聚类类似。

这次我们使用非常流行的基于分区的聚类方法——K-means聚类,根据文档主题模型特征表示,进行聚类或分组。在K-means聚类法中,有一个输入参数K,它制定了使用文档特征输出的聚类数量。这种聚类方法是一种基于中心的聚类方法,试图将这些文档聚类为等方差的类。这种方法通过最小化类内平方和来创建聚类。选择出最优的K的方法有很多,比如误差平方和度量,轮廓系数(SilhouetteCoefficients)和Elbowmethod。

THE END
1.数据分析常用的知识点概括举例子:从5个彩色球中,选出2个彩球,有多少种排列方法? 代入得出答案是20种 事件及其概率 事件 其实事件为样本空间的一个子集,通常,如果能确定一个试验的所有样本点并且能够知晓每个样本点的概率,那么我们就能求出事件的概率。 概率的基本性质 事件A的补:指的是所有不包含在https://mp.weixin.qq.com/s?__biz=MzA3NzIxNDQ3MQ==&mid=2650329307&idx=1&sn=a8acceeb61e80f30140e97cb94f5c059&chksm=86fc3b0e8e011cb7b5774fd8ddeac196609601fc74c38130b8619d2c15ef06adc9328cce132c&scene=27
2.结构化半结构化和非结构化数据都有哪些半结构化数据是指既不是完全结构化的,也不是完全非结构化的数据。这种数据类型包含标签或其他标记,以区分数据元素,但不遵循严格的数据模型,如关系数据库模型。 举例: JSON文档:用于Web应用的数据交换,包含键值对,但数据结构可以灵活变化。 XML文件:标记语言,用于描述数据的结构,常用于配置文件和数据交换。 https://www.jianshu.com/p/7018b1bef624
3.2022年中国知识图谱行业研究报告澎湃号·湃客澎湃新闻互联网的海量信息带有碎片化与非架构化特征。新兴互联网应用的蓬勃发展,让完整信息被分类分解为信息片段,信息被大量简化,从而导致信息本身不全面、内在逻辑不完整。同时,文本、图片、各类报表和音频、视频、HTML等非结构化数据广泛存在于互联网中。互联网企业需要在现有的存量业务中,收集碎片化信息,处理非结构化数据,挖掘https://www.thepaper.cn/newsDetail_forward_19458208
4.取其精华!设计师读书笔记连载系列之《简约至上》优设网5、非结构化数据 系统要求用户输入信息:2016-04-06,当你少输入一个数字或者输入错误时,就会提示你。向用户转移用在这里并不合适,用户非常反感强制性的做法。如果你能仅仅让用户输入:明天,本周五,七天后这些字符便能识别,用户一定更为愉悦 记得最开始使用siri的时,凌晨一点多,我想让Siri明上八点叫醒我,我们的对话https://www.uisdc.com/note-for-simple-and-usable
5.数据的结构分类:结构化数据,半结构化数据以及非结构化数据(image data) RNN:循环神经网络,对于一位序列化数据有着很好的表现(one-dimensional sequence data) 2.结构化数据和非结构化数据结构化数据:数据库中的数据非结构化数据:机器在结构化数据中表现更好 Why is deep learning taking off? DeepLearning学习1 基础知识 https://www.pianshen.com/article/22011187582/
6.以下那些数据属于非结构化数据的是?()声明: 本网站大部分资源来源于用户创建编辑,上传,机构合作,自有兼职答题团队,如有侵犯了你的权益,请发送邮箱到feedback@deepthink.net.cn 本网站将在三个工作日内移除相关内容,刷刷题对内容所造成的任何后果不承担法律上的任何义务或责任 https://www.shuashuati.com/ti/d13c328065ce4f07888ba39048aa7e72.html
7.非结构化数据采集ETL必备10种工具推荐我心飞翔StreamSets是一个大数据采集工具,数据源支持包括结构化和半/非结构化,目标源支持HDFS,HBase,Hive,Kudu,Cloudera Search, ElasticSearch等。它包括一个拖拽式的可视化数据流程设计界面,定时任务调度等功能。举例,它可以将数据源从Kafka连接到你的Hadoop集群,而不需要写一行代码。 https://www.iteye.com/blog/gaozzsoft-2539359
8.数据湖存储非结构化数据星环科技为您提供数据湖存储非结构化数据相关内容,帮助您快速了解数据湖存储非结构化数据。如果想了解更多数据湖存储非结构化数据资讯,请访问星环科技官网(www.transwarp.cn)查看更多丰富数据湖存储非结构化数据内容。https://www.transwarp.cn/keyword-detail/52484-1
9.IBMCloudObjectStorage在银行业非结构化数据存储嘲下的对象随着银行业IT技术的快速发展和业务的不断升级变革,业务应用系统产生的非结构化数据(包括文件、图片、音视频文件等)的规模也越来越大,银行业非结构化数据呈指数式爆发式增长。目前使用非结构化数据的主要系统包括内容管理平台、后督影像系统、身份验证、柜员办业务扫描件等需要用到影像图片,以及呼叫中心系统、电话客服的https://redhat.talkwithtrend.com/Article/242823
10.Hebbia获1.3亿美元B轮融资,用AI解封96%的非结构化私密数据Google仅索引了全球数据的4%,还有96%的非结构化私密数据没被索引和查询,AI驱动的企业知识管理搜索引擎Hebbia希望将这部分数据的价值释放出来,成为知识工作者的可靠帮手。 它的AI产品能够索引、阅读和理解非结构化私密数据,在复杂数据集上的表现比当前最先进的机器学习信息检索技术平均高出57%,搜索速度和准确度提升十https://36kr.com/p/2857737302100864
11.大数据五大基本特点大数据五大基本特点:数据量大、非结构化数据多样性、数据增长速度快、数据有价值性、数据真实。 大 数据五大基本特点 1、Volume:数据量大 数据量呈指数增长中储存/集中计算已经无法处理巨大的数据量。 2、Variety :非结构化数据多样性 非结构化数据多样性,例如文本/图片/视频/文档等。 https://www.36dianping.com/news/10509.html
12.1+X大数据财务分析职业技能等级标准3.4 结构化数据 structured data 一种数据表示形式,按此种形式,由数据元素汇集而成的每个记录的结构都 是一致的并且可以使用关系模型予以有效描述。 3[GB/T 35295-2017,定义02.02.13] 3.5 非结构化数据 unstructured data 不具有预定义模型或未以预定义方式组织的数据。 https://www.scsw.edu.cn/kjx/info/1014/1054.htm
13.《简约至上》三千字总结(简约至上)书评举例来说,有一大群使用微软的Excel软件长达5年的用户,其中有一些人可能已经知道了某些设置和选项的作用,有一些人会掌握一些高级技巧,而剩下的一大部分人则只会对数字一栏求和。为什么应该忽略专家型用户?因为他们追求主流用户不在乎的功能。福特的T型车并不是市场上的第一辆汽车,但却是第一辆为平民大众制造的汽车https://book.douban.com/review/13806006/
14.数据仓库包含哪些数据类型帆软数字化转型知识库数据仓库包含多种数据类型,包括结构化数据、半结构化数据、非结构化数据、元数据和主数据。 其中,结构化数据是指可以在关系数据库中存储和管理的数据,通常以表格形式呈现,每一行代表一条记录,每一列代表一个字段。例如,公司的财务报表、销售记录等。结构化数据通过SQL查询语言进行管理和检索,因此非常适合需要高效查询https://www.fanruan.com/blog/article/329848/
15.大数据的类型和特点非结构化数据是指缺乏预先确定的概念含义并且难以被传统数据库或数据模型理解或分析的信息。大多数大数据由非结构化数据组成,包括事实、日期和数字。视音频文件、移动活动、卫星照片等各类大数据 半结构化数据: 半结构化数据是指有一定结构但不具有完全结构化的数据,例如XML、JSON、HTML等格式的数据。半结构化数据不具有https://www.013kj.cn/info_view.php?VID=789
16.数据概述因此,如果数据具有某种结构形式但其结构对需要数据的处理任务没有帮助,则仍可将其视为非结构化数据。 举例来说,相较包含客户信息的关系数据库(结构化),难以对大型文本文档缓存(非结构化)进行索引编制和搜索。 在本课程中,可以将非结构化数据定义为不适合关系数据库的数据。 此外,某些数据可能会因使用不可预测的访https://docs.microsoft.com/zh-cn/learn/modules/cmu-cloud-storage/1-data-overview/