百分点认知智能实验室出品:情感分析在舆情中的研发实践(上)

文本情感分析,即SentimentAnalysis(SA),又称意见挖掘或情绪倾向性分析。针对通用场景下带有主观描述的中文文本,自动判断该文本的情感极性类别并给出相应的置信度,情感极性分为积极、消极、中性等。

在文本分析的基础上,也衍生出了一系列细粒度的情感分析任务,如:

核心目标和价值

舆情系统的最核心需求,是能够精准及时的为客户甄别和推送负面,负面识别的准确性直接影响信息推送和客户体验,其中基于文本的情感分析在舆情分析中的重要性不言而喻,下图简要展示了文本分析以及情感分析在舆情体系中的作用。

舆情数据通过底层的大数据采集系统,流入中间层的ETL数据处理平台,经过初级的数据处理转化之后,向上进入数据挖掘核心处理环节;此阶段进行数据标准化、文本深度分析,如地域识别、智能分词、情感判定、垃圾过滤等,经过文本处理的结果,即脱离了原始数据的状态,具备了客户属性,基于客户定制的监测和预警规则,信息将在下一阶段实时的推送给终端客户,负面判定的准确度、召回率,直接影响客户的服务体验和服务认可度。

难点与挑战

舆情业务中的情感分析难点,主要体现在以下几个方面:

1.舆情的客户群体是复杂多样的,涉及行业多达24个(如下图所示),不同行业数据特点或敏感判定方案不尽相同,靠一个模型难以解决所有问题;

3.客户对情感的诉求是有差异的,有些客户会有自己专属的判定条件。通用的情感模型难以适应所有客户的情感需求。

6.对于新闻类数据,通常存在标题和正文两个文本域。如何提取有价值的文本信息作为模型输入也是面临的困难。

二、

情感分析在百分点舆情的发展历程

从2015年开始,百分点舆情便开始将机器学习模型应用在早期的负面判定中;到2020年,我们已经将深度迁移学习场景化和规模化,也取得了不错的成果;

2016年:主要侧重于技术上的递进,进入深度学习领域。引入word2vec在大规模语料集上进行训练,获得具有更好语义信息的词向量表示,替代基于Tfidf等传统的统计特征。随后在TextCnn、TextRnn等深度学习算法进行更新迭代,尽管得到数字指标的提高,但是对于实际业务的帮助还是不足。

2017年:结合舆情全业务特点,需要能做到针对品牌、主体的情感监测。提出SyntaxandRuler-basedDocsentimentanalysis的方式,依据可扩充的句法规则以及敏感词库进行特定的分析。该方式在敏感精准度指标上是有提升的,但是却有较低的召回。同时在进行规则扩充时,也比较繁琐。

2019年上半年:以Bert为代表的迁移学习诞生,并且可以在下游进行fine-tune,使用较小的训练数据集,便能取得不错的成绩。进行以舆情业务数据为基础,构建一个简易的文本平台标注平台,在其上进行训练数据的标注,构建了一个通用的情感模型分类器。评测指标F1值为0.87,后续对ERNIE1.0进行尝试,有两个百分点的提升。

2019年下半年:主要从舆情的业务问题入手,通过优化提取更加精准、贴近业务的情感摘要作为模型输入,使用定制化模型以及多模型融合方案,联合对数据进行情感打标。并提出基于情感实体(主体)的负面信息监测,下述统称ATSA(aspect-termsentimentanalysis),使用Bert-SentencePair的训练方式,将摘要文本、实体联合输入,进行实体的情感倾向性判定。在定点客户上取得不错的成绩,最后的F1值能达到0.95。

2020年:将细化领域做到客户级别,定制私有化情感模型。同时将加大对特定实体的细粒度情感分析(ATSA)的优化;同时,通过内部AI训练平台的规模化应用,做到模型的全生命周期管理,简化操作流程,加强对底层算力平台的资源管控。

三、

预训练语言模型与技术解析

下图大致概括了语言模型的发展状况(未完全统计):

在2019年度情感分析实践中,率先使用预训练语言模型Bert,提高了情感分析的准确率。后来具有更小参数量的ALBERT的提出,使生产环境定制化情感模型成为可能。这里就主要介绍BERT以及ALBERT。

BERT

BERT(BidirectionalEncoderRepresentationsfromTransformerss)的全称是基于Transformer的双向编码器表征,其中「双向」表示模型在处理某一个词时,它能同时利用前面的词和后面的词两部分信息(如下图所示)。

在BERT中,主要是以两种预训练的方式来建立语言模型。

1.MLM(MaskedLM)

MLM可以理解为完形填空,作者会随机mask每一个句子中15%的词,用其上下文来做预测,例如:mydogishairy→mydogis[MASK]。此处将hairy进行了mask处理,然后采用非监督学习的方法预测mask位置的词是什么,具体处理如下:

之后让模型预测和还原被遮盖掉或替换掉的部分。

2.NSP(NextSentencePrediction)

首先我们拿到属于上下文的一对句子,也就是两个句子,之后我们要在这两段连续的句子里面加一些特殊token:[cls]上一句话,[sep]下一句话.[sep]

也就是在句子开头加一个[cls],在两句话之中和句末加[sep],具体地就像下图一样:

ALBERT

ALBERT的全称是ALiteBERTforSelf-supervisedLearningofLanguageRepresentations(用于语言表征自监督学习的轻量级BERT),相对于Bert而言,在保证参数量小的情况下,也能保持较高的性能。当然同样的模型还有DistilBERT、TinyBERT。

1.ALBERT和BERT的比较

下图是BERT和ALBERT在训练速度和性能上的整体比较:

2.ALBERT的目标

在基于预训练语言模型表征时,增加模型大小一般可以提升模型在下游任务中的性能。但是通过增加模型大小会带来以下问题:

在将Bert-large的隐层单元数增加一倍,Bert-xlarge在基准测试上准确率显著降低。

ALBERT核心目标就是解决上述问题,下面就来介绍ALBERT在精简参上的优化。

3.ALBERT模型优化

明确参数的分布,对于有效可靠的减少模型参数十分有帮助。ALBERT同样也只使用到Transformer的Encoder阶段,如下图所示:

图中标明的蓝色方框和红色方框为主要的参数分布区域:

>E,所以ALBERT的词向量的维度是小于encoder输出值维度的。在NLP任务中,通常词典都会很大,embeddingmatrix的大小是E×V。\nALBERT采用了一种因式分解(Factorizedembeddingparameterization)的方法来降低参数量。首先把one-hot向量映射到一个低维度的空间,大小为E,然后再映射到一个高维度的空间,当E<

具体参数优化如下:

Factorizedembeddingparameterization(对Embedding因式分解)

ALBERT认为,tokenembedding是没有上下文依赖的表述,而隐藏层的输出值不仅包括了词本身的意思还包括一些上下文信息,因此应该让H>>E,所以ALBERT的词向量的维度是小于encoder输出值维度的。在NLP任务中,通常词典都会很大,embeddingmatrix的大小是E×V。

ALBERT采用了一种因式分解(Factorizedembeddingparameterization)的方法来降低参数量。首先把one-hot向量映射到一个低维度的空间,大小为E,然后再映射到一个高维度的空间,当E<

可以看到,经过因式分解。参数量从O(V*H)变为O(V*E+E*H),参数量将极大减小。如下图所示:在H=768条件下,对比E=128和E=768,参数量减少17%,而整体性能下降0.6%。

在后续的实验环境(所有的优化汇总后),对embeddingsize的大小进行评估,得出在E=128时,性能达到最佳。

Cross-layerparametersharing(跨层参数共享)

下图是对BERT-BaseAttention分布的可视化。对于一个随机选择的句子,我们可视化来自不同Layer的Head的Attention分布。可以看到,底层的Attention分布类似于顶层的Attention分布。这一事实表明在某种程度上,它们的功能是相似的。

在经过上述的参数优化后,整体参数量有了极大的缩减,训练速度也极大加快。后续作者又在模型变宽和模型变深上做了几组实验。如下:

模型变宽

当我们增加H大小时,性能会逐渐提高。在H=6144时,性能明显下降。如下图所示:

模型变深

在以ALBERT-large为基础参数,设置不同的layer大小,发现layer=48的性能要差于layer=24的性能,如下图所示:

一些实验表示NSP(BERT-style)非但没有作用,反而会对模型带来一些损害。作者接着提出SOP(ALBERT-style)的优化模式。具体如下:

Inter-sentencecoherenceloss(句子连贯性)

在后续的实验中,ALBERT在训练了100w步之后,模型依旧没有过拟合,于是乎作者果断移除了dropout,没想到对下游任务的效果竟然有一定的提升。

当然作者对于增加训练数据和训练时长也做了详尽的对比和测试,这里不再进行描述。

在最初的ALBERT发布时,是只有中文的。感谢数据工程师徐亮以及所在的团队,于2019年10月,开源了首个中文预训练的中文版ALBERT模型。

项目地址:

四、

情感分析在舆情的应用实践

业务调研

2019上半年,舆情服务的整体情感判定框架已经迁移到以Bert训练为基础的情感模型上,得出的测试指标F1值为0.86,相较于旧版模型提升显著;但是虽然数据指标提升明显,业务端实际感受却并不明显。因此我们对代表性客户进行采样调查,辅助我们找出生产指标和实验室指标差异所在。同时针对上文提到的关于舆情业务中情感分析的痛点和难点,进行一次深度业务调研:

1.客户情感满意度调查

2.文本作用域(模型输入文本选择)调研

这里将文本作用域分为以下几个层次,分布情况如下图所示:

3.情感判定因素

这里对判定因素做以下介绍:

我们针对上述调研结果进行详尽分析,最终确定走情感细粒度模型的道路。

情感分析的落地实践

精简版本的情感架构概览如下:

接下来会基于此进行讲述,大致分为如下几个层次:

1.输入层

这里主要是获取相应文本输入,以及客户的文本作用域规则和检索词、主体词,供下游的文本作用域生成提供对应的条件。

2.文本作用域

进行对比分析(客户名称已脱敏),每个客户的情感摘要和文本标题效果依次展示。如下图所示:

可以发现整体效果是有极大提升的。但是也可以看到部分客户的敏感精准率是偏低的,这个和客户的敏感分布有关,大部分的敏感占比只有总数据量的10%~20%,有些甚至更加低。所以面临一个新的问题,如何提升非均匀分布的敏感精准度。这个会在下文进行陈述。

4.模型层

在19年初,使用Bert-Base(12L,768H)进行fine-tune,得到如下指标:情感准确性:0.866,敏感精准率:0.88,敏感召回:0.84,F1:0.867;后来在ERNIE1.0上进行尝试,情感准确性能提升2个百分点。不过因为PaddlePaddle的生态问题,没有选择ERNIE。这是一个符合自然语义的情感模型,但是对于舆情客户来说,这还远远不够。

对生产环境的埋点日志分析,发现客户存在大量的屏蔽操作。选取近一个月屏蔽最多的10个话题进行分析,如下图所示:

客户名称

准确率

正样本数量

负样本数量

C1

0.95

619

1141

收藏、屏蔽数据

C2

0.97

5085

5244

C3

0.93

450

C4

0.94

136

487

5.ATSA-面向情感实体的情感倾向性分析

ATSA(aspect-termsentimentanalysis)要解决就是在特定情感实体下的情感倾向性判定问题。这里主要借鉴《UtilizingBERTforAspect-BasedSentimentAnalysisviaConstructingAuxiliarySentence》文中的思想。这个工作做得非常聪明,它把本来情感计算的常规的单句分类问题,通过加入辅助句子,改造成了句子对匹配任务。很多实验证明了:BERT是特别适合做句子对匹配类的工作的,所以这种转换无疑能更充分地发挥BERT的应用优势。

舆情中要解决的问题如下:

A公司和B公司的情感倾向性是非敏感的,而C公司却是敏感的。要解决这个问题,要面临两个问题:

在舆情的业务场景中,可以简化问题,由于情感实体是提前给定的,所以不需要做实体识别和信息抽取,只需要对特定实体的情感倾向性进行判定。整体流程如下:

主要是利用BertSentence-Pair,文本与实体联合训练,得到输出标签。目前实验证明,经过这种问题转换,在保证召回率提升的情况下,准确率和精准率都得到了提高。选取一个客户进行对比测试,如下所示:

实验条件

实验方式

精准率

召回率

F1

按照自然日采样,测试样本为912条,其中敏感数据108条

ATSA

0.8

0.85

0.82

情感摘要

0.84

0.4

0.7

0.51

上述是一个正负样本及其不均匀的情况,增加敏感精准率将提高客户的满意度。目前的实现的机制还略显简单,未来还将持续投入。

6.情感规则引擎

在部分客户场景中,他们的业务规则是明确的或者是可穷举的。这里会做一些长尾词挖掘、情感新词发现等工作来进行辅助,同时要支持实时的干预机制,快速响应。比如某些客户的官方微博经常会发很多微博,他们会要求都判定成非敏感。这里不再做过多介绍。

五、

长期规划

AI训练平台的构建

软件开发领域和模型开发领域的流程是不同的,如下所示:

持续学习,增量迭代

随着舆情客户对系统的深度使用,一般会有情感标签的人工纠正。所以需要保证模型可以进行增量迭代,减少客户的负反馈。

多实体的情感倾向分析

对包含有多个实体信息的文本,针对每一个系统识别到的实体,做自动情感倾向性判断(敏感、非敏感),并给出相应的置信度,包括实体库的构建。

提升垂直类情感情感分析效果

在垂类上(App、餐饮、酒店等)情感倾向性分析准确率上加大优化力度。

随着舆情业务的发展,各领域客户都沉淀了大量与业务贴近的优质数据,如何有效使用这些数据,形成情感效果联动反馈机制,为业务赋能,是情感分析领域面临的新的挑战。在2019年的实践中,通过场景化的情感分析框架落地应用,对情感效果做到了模型定制化干预,真正提高了客户满意度。这种机制具有整体精度高、定制能力强、业务感知明显的特点。在后续工作中,将以模型训练自动化与人工反馈相结合的方式,将模型定制能力规模化、平台化,实现情感分析在舆情场景下千人千面的效果。

百分点舆情洞察系统

百分点舆情洞察系统(MediaForce)是一款沉淀多年的互联网公开舆情SAAS分析系统,覆盖全网主流资讯站点及社交媒体的公开数据,帮助企业迅速发现舆情热点,掌握负面和舆论动向,为上万客户提供精准的舆情分析服务。

THE END
1.机器学习与深度学习:差异解析简介:机器学习与深度学习作为两大核心技术,各自拥有独特的魅力和应用价值。尽管它们紧密相连,但两者之间存在着显著的区别。本文将从定义、技术、数据需求、应用领域、模型复杂度以及计算资源等多个维度,对机器学习与深度学习进行深入对比,帮助您更好地理解它们之间的差异。 https://developer.aliyun.com/article/1645659
2.持续学习:保持内容创作的新鲜感与竞争力持续学习:保持内容创作的新鲜感与竞争力,在内容创作的领域中,持续学习是保持内容新鲜感与竞争力的关键。随着信息时代的到来,内容创作的形式和风格日新月异,只有不断学习、更新知识,才能跟上时代的步伐,创作出具有吸引力和影响力的作品。以下是一些关于如何通过持续学https://blog.51cto.com/20214843/12890201
3.转学习作者: 转学习 引用: 2024-11-19 16:39 一,通过一段时间的准备,我们启用新域名www.AlphaSeeking.com 也把以前所有的投资观点,整理成一本书籍《终生学习,持续进化》,在网站www.AlphaSeeking.com “ 投资观点 ”栏目下,有书籍下载。全文共11.5万字,149页。https://xueqiu.com/8537615948/317699893
4.发顶会首选:多模态+持续学习!思路找对,高分轻松拿捏!方法:论文提出了一种名为CLAP的方法,用于对预训练的视觉-语言模型(如CLIP)进行概率性微调,以适应持续学习的场景。作者强调了在持续学习环境中,对不确定性的建模和估计的重要性,并提出了一种基于变分推断的框架来学习与视觉特征对齐的任务特定文本特征的后验分布。 https://zhuanlan.zhihu.com/p/13170576800
5.深度学习:重塑学校教育的未来腾讯云开发者社区摘要:本文旨在全面剖析深度学习技术在教育领域的应用现状及未来前景。通过对当前深度学习技术在教育中的应用案例进行深入剖析,探讨其在教学效果、学习体验等方面的积极作用,同时分析存在的挑战与问题。在此基础上,本文将进一步展望深度学习技术在教育领域的未来发展趋势https://cloud.tencent.com/developer/article/2478555
6.人工智能的学习能力从数据到知识人工智能的定义与特点 人工智能(Artificial Intelligence,简称AI)是一门科学与工程,它研究如何创造出能够执行通常需要人类智能的任务的计算机程序。这种“智能”可以是模拟、扩展或增强现有的人类认知功能,如学习、解决问题、决策和自然语言理解。 学习能力的重要性 在https://www.9b25r8e8ur.cn/shu-ma/445685.html
7.CNN连续学习/持续学习,增量学习持续学习增量学习文章浏览阅读3.1k次。这篇博客探讨了连续学习、增量学习和终身学习的异同,重点关注了小样本连续学习与元学习的区别及应用场景。专家们讨论了在非监督或半监督条件下的解决方案,并就基于replay的方法与不使用旧类别样本的方法在增量学习中的角色进行了辩论。报告中,浙江大https://blog.csdn.net/lj2048/article/details/122220823
8.TikTok广告投放指南1.在学习和增量阶段: a.广告主可以通过A/B拆分对比测试找到核心受众,测试不同兴趣标签的投放效果。 ?覆盖的人群不要过窄,会阻碍学习过程。 ?不要频繁修改定向设置(不能超过两天一次),会阻碍学习过程。 2.在高峰期和平稳期阶段: a.兴趣定向: https://www.cifnews.com/guide/izvkhqo9
9.机器学习中的集成在线批量迁移……各种学习的区别相对应的,半监督学习在学习时并不知道最终的测试用例是什么。也就是说,直推学习其实类似于半监督学习的一个子问题,或者说是一个特殊化的半监督学习,所以也有人将其归为半监督学习。 六、增量学习与减量学习 online learning包括了incremental learning和decremental learningincremental learning增量学习,是指一个学习https://www.cnblogs.com/feily/p/14387567.html
10.学习曲线中增量和累计的区别是什么?? 学习曲线也称为经验曲线 学习曲线的两种模式 ? 增量单位时间学习模式(也称为克劳福德方法)-降低体现在为完成最近的一项任务,适用于规模较大,较复杂的运营 ? 累积平均时间学习模式(也称为赖特方法)-降低体现在所有完成任务的累积平均时间,最常用,相对简单,是传统学习曲线模型 80%学习曲线 累积平均时间模型https://www.dongao.com/dy/cma_cwbgghjxykz_41411/12638489.shtml
11.持续学习平台,持续探索创新,逸思长天旗下全自动持续学习工具长天ML持续学习平台 逸思长天(南京)数字智能科技有限公司旗下长天ML持续学习平台,支持更高程度的自动化机器学习和持续学习能力。用户仅需提供训练数据,无需具备任何机器学习知识即可构建机器学习模型,并且随数据变化自动更新,让普通人的AI建模能力达到专家水平。加速各行各业智能化场景探索与落地。 登录SaaS版本私有化部https://www.changtianml.com/
12.针对超临界翼型气动修型策略的强化学习3.2 强化学习的环境构建 强化学习中智能体通过与环境持续交互来学习策略,而环境则需要在输入当前状态和动作后,输出当前回报和下一状态。在翼型减阻设计中,环境包括了翼型参数化造型与几何变形,CFD计算和结果输出2个部分。 本文使用CST方法对翼型上下表面进行参数化造型,在增量修型中使用Hicks-Henne鼓包函数在翼型上表面https://www.fx361.com/page/2021/0705/11490428.shtml
13.万文长字总结“类别增量学习”的前世今生开源工具包然而,我们的人脑却有这种非凡的能力, 能够学习大量不同的任务, 而不会出现任何负面的相互干扰。 持续学习(Continual Learning)算法试图为神经网络实现同样的能力, 并解决灾难性的遗忘问题。 因此, 从本质上讲, 持续学习执行的是对新任务的增量学习(Incremental Learning)。https://www.thepaper.cn/newsDetail_forward_17451573
14.中共厦门市科学技术局党组关于巡察“回头看”整改进展情况的通报26.关于党组中心组理论学习计划性不强的问题 认真学习关于党组中心组理论学习的有关规定,根据上级要求,结合我局特点,完成了《中共厦门市科学技术局党组2020年理论学习中心组学习计划》(厦科党组〔2020〕3号)的制订,明确了具体的学习时间、学习内容、学习方式和达到的效果要求等。 https://www.xmcdi.gov.cn/gzdt/xcgz1/sxcgz/202008/t20200826_5387306.htm
15.第三篇学术研究第四章经济学陈敏之指出,孙冶方同志对“商品”的论述有矛盾之处,认为商品应当和社会分工相联系(《向冶方同志学习;发展商品经济理论》,经济研究1993年第2期)。李家镐论述了张闻天的“生产关系两重性”相关观点,以此对部分现实问题进行解释,并澄清了许多对生产力与生产关系的误解(《张闻天同志的生产关系两重性理论》,经济研究1993年https://www.sssa.org.cn/bzjz/679018.htm
16.2019辽宁纪委遴鸭点廖建宇在中国共产党辽宁省第十二届纪律(一)持续深入学习贯彻习近平新时代中国特色社会主义思想,不断提高政治站位和政治觉悟 加强理论武装。通过专题研讨、集中培训、宣传解读等多种方式,认真学习习近平总书记关于全面从严治党的重要论述特别是在中央纪委三次全会上的重要讲话精神,深入学习习近平总书记在辽宁考察时和在深入推进东北振兴座谈会上重要讲话精神,不断https://www.gongxuanwang.com/articleDetail/51025
17.上海市育鹰学校“基于“基于教学改革融合信息技术的新型教与学《上海教育现代化2035》中提到了“实现学习者全面而有个性的发展”、“实现丰富多彩、充满活力的学校教育。教育教学方式灵活多样,学生学习方式变革持续推进,教育评价更加科学,创新创业教育及指导服务体系更加健全,支持学生主动学习的综合能力显著增强。信息技术与教育教学深度融合,校园建设凸显人文、绿色、智慧特点,智慧学校建http://www.yuying.edu.sh.cn/info/1076/8592.htm
18.珠宝销售工作计划(精选18篇)六、数据分析与反馈 销售数据分析:定期分析销售数据,了解销售趋势、客户需求等,以便及时调整销售策略。 客户反馈收集:关注客户意见和建议,及时改进服务和产品。 七、自我提升与职业发展 持续学习与成长:关注行业动态和趋势,不断学习新的知识和技能,提升自身综合素质。 https://www.unjs.com/fanwenwang/gzjh/20230223174307_6513116.html
19.如何做一名成功的大学生创业者(精选19篇)现在有不少的大学生都只顾着想办法找工作、做兼职,或者就荒废学业,将时间和金钱浪费在网络游戏或者其他方面,甚至很多学生觉得大学学习的那些书本上的知识在以后的工作过程当中根本没有用,这就是走入了一个误区。不管什么样的工作,基础的专业知识和基本的技能都是不可缺少的,只有基础扎实了,才能在将来的学习实践中https://www.yjbys.com/chuangye/zhidao/ruhechuangye/598638.html
20.增强学习(一)增强学习和监督学习的区别是: 1. 增强学习是试错学习(Trail-and-error),由于没有直接的指导信息,智能体要以不断与环境进行交互,通过试错的方式来获得最佳策略。 2. 延迟回报,增强学习的指导信息很少,而且往往是在事后(最后一个状态)才给出的,这就导致了一个问题,就是获得正回报或者负回报以后,如何将回报分配给https://www.jianshu.com/p/7a9f9225e2b2