一种自然语言处理方法及处理平台与流程

本发明涉及自然语言处理技术领域,尤其涉及一种自然语言处理方法及处理平台。

背景技术:

现有技术中提供的自然语言处理算法应用,多数是针对某种特定的自然语言处理任务进行开发,开发后的算法工具包的功能具有局限性,且接口不统一,用户使用难度较大;此外,用户想要对工具包进行扩展时,需要编写大量代码,实现困难。因此,现有的自然语言处理方法中,由于现有的自然语言处理算法应用的使用和扩展的难度较大,导致自然语言处理方法具有较大的使用局限性,适用性较差。

技术实现要素:

本发明提供了一种自然语言处理方法及处理平台,以解决现有的自然语言处理方法中,自然语言处理算法应用的使用和扩展的难度较大,导致自然语言处理方法具有较大的使用局限性,适用性较差的问题。

进一步,该自然语言处理方法还包括:当接收到用户删除/增加需要的目标组件的指令时,根据该指令,重新确认需要的目标组件及相应的运行顺序;将重新确认的需要的目标组件按照相应的运行顺序重新加载至预设核心框架中,生成新的自然语言处理算法应用。

进一步,该自然语言处理方法还包括:根据多次生成的自然语言处理算法应用,确定组合次数大于或等于预设次数的目标组件,生成固定算法组合,以便后续生成自然语言处理算法应用中直接加载对应的固定算法组合。

进一步,所述通过所述自然语言处理算法应用对所述待处理数据进行处理,并输出处理结果的过程,包括:将所述待处理数据输入至起始目标组件中进行处理,所述自然语言处理算法应用对应的其它各个目标组件按照相应运行顺序,根据各目标组件对应的上下文信息,获取对应类型的中间数据并处理,直至最后的目标组件输出处理结果;目标组件对应的上下文信息指示该目标组件要获取的中间数据的类型、及处理后的数据类型;要获取的中间数据为运行在先的目标组件所生成的数据;所述起始目标组件为所述自然语言处理算法应用对应的所有目标组件中运行顺序最先的目标组件。

进一步,该自然语言处理方法还包括:当接收到用户创建新的目标组件指令时,根据预设核心框架对目标组件的定义及目标组件对应的基础算法逻辑,完成新的目标组件的封装。

进一步,所述算法开发层还用于:当接收到用户删除/增加需要的目标组件的指令时,根据该指令,重新确认需要的目标组件及相应的运行顺序;所述业务算法层还用于:将重新确认的需要的目标组件按照相应的运行顺序重新加载至预设核心框架中,生成新的自然语言处理算法应用。

进一步,所述算法开发层还用于:根据多次生成的自然语言处理算法应用,确定组合次数大于或等于预设次数的目标组件,生成固定算法组合,以便后续生成自然语言处理算法应用中直接加载对应的固定算法组合。

进一步,所述业务算法层用于通过所述自然语言处理算法应用对所述待处理数据进行处理,并输出处理结果,具体包括,所述业务算法层用于:将所述待处理数据输入至起始目标组件中进行处理,所述自然语言处理算法应用对应的其它各个目标组件按照相应运行顺序,根据各目标组件对应的上下文信息,获取对应类型的中间数据并处理,直至最后的目标组件输出处理结果;目标组件对应的上下文信息指示该目标组件要获取的中间数据的类型、及处理后的数据类型;要获取的中间数据为运行在先的目标组件所生成的数据;所述起始目标组件为所述自然语言处理算法应用对应的所有目标组件中运行顺序最先的目标组件。

进一步,所述算法开发层还用于:当接收到用户创建新的目标组件指令时,根据预设核心框架对目标组件的定义及目标组件对应的基础算法逻辑,完成新的目标组件的封装。

附图说明

为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种自然语言处理方法的流程示意图;

图2为本发明实施例提供的一种自然语言处理平台的结构框图。

具体实施方式

下面,结合附图详细介绍本发明的实施例。

参见图1,图1示出的是本发明实施例提供的一种自然语言处理方法的流程示意图。结合图1可知,该自然语言处理方法包括:

生成目标组件之后,还可以将目标组件进行存储,以便后续生成完整的自然语言处理算法应用时直接调用或复制存储的目标组件即可。

步骤102、根据用户设置,确定需要的目标组件以及需要的目标组件的运行顺序。

在具体应用中,用户根据自己所需的自然语言处理算法应用包含的基础算法以及各基础算法的运行顺序,在生成的目标组件中,选取需要的目标组件,根据用户的选取以及选取顺序,可以确定出需要的目标组件以及需要的目标组件的运行顺序。

例如:用户所需的自然语言处理算法应用包含分词算法、分句算法、摘要抽取算法、规则匹配算法和停用词过滤算法,并且按照分词算法至分句算法至摘要抽取算法至规则匹配算法至停用词过滤算法的排列顺序依次选取各基础算法对应的目标组件,则,根据用户的选取,可以确定需要的目标组件包含分词算法对应的目标组件、分句算法对应的目标组件、摘要抽取算法对应的目标组件、规则匹配算法对应的目标组件和停用词过滤算法对应的目标组件,并且需要的目标组件的运行顺序为分词算法对应的目标组件至分句算法对应的目标组件至摘要抽取算法对应的目标组件至规则匹配算法对应的目标组件至停用词过滤算法对应的目标组件的运行顺序。

进一步,为了步骤101中生成的目标组件可以被重复利用,提高自然语言处理算法应用的开发效率,在根据用户的设置确定需要的目标组件时,可以通过在步骤101生成的目标组件中复制用户需要的目标组件实现确定需要的目标组件的目的。这样,后续再开发新的自然语言处理算法应用时,无需重新生成目标组件,开发效率更高。

步骤103、将各个需要的目标组件按照所述运行顺序加载至预设核心框架中,生成完整的自然语言处理算法应用。

在将需要的目标组件加载至预设核心框架中之前,先调取存储的预设核心框架或复制存储的预设核心框架,预设核心框架中设置有目标组件加载端口,将需要的目标组件按照需要的目标组件的运行顺序,从目标组件加载端口加载至预设核心框架中,即可生成完整的自然语言处理算法应用。

步骤104、接收待处理数据,通过所述自然语言处理算法应用对所述待处理数据进行处理,并输出处理结果。

预设核心框架中设置有数据输入端口,具体实施时,将所述待处理数据从预设核心框架的数据输入端口中输入至起始目标组件中进行处理,所述自然语言处理算法应用对应的其它各个目标组件按照相应运行顺序,根据各目标组件对应的上下文信息,获取对应类型的中间数据并处理,直至最后的目标组件输出处理结果;目标组件对应的上下文信息指示该目标组件要获取的中间数据的类型、及处理后的数据类型;要获取的中间数据为运行在先的目标组件所生成的数据;所述起始目标组件为所述自然语言处理算法应用对应的所有目标组件中运行顺序最先的目标组件。

其中,待处理数据为语料数据,包括语料集(多个单篇语料的集合)和/或单篇语料。每个运行在先的目标组件生成的中间数据的类型不同,且该中间数据中含有标签,该标签中包含有该中间数据的类型信息,例如,分词算法对应的目标组件生成的中间数据中含有分词标签,该分词标签中包含有分词算法对应的目标组件生成的中间数据的类型信息,运行在后的目标组件对应的标签中包含有运行在先的目标组件对应的类型信息。

在其它一些可选的实施例中,该自然语言处理方法还包括:当接收到用户删除/增加需要的目标组件的指令时,根据该指令,重新确认需要的目标组件及相应的运行顺序,重新确认的需要的目标组件包括步骤101中生成的目标组件和/或根据用户删除/增加需要的目标组件的指令,再次根据预设核心框架对目标组件的定义及目标组件对应的基础算法逻辑,生成的目标组件,并且,如果重新确认的需要的目标组件中包含步骤101中生成的目标组件,则通过从步骤101生成的目标组件中复制的方式重新确认需要的目标组件;重新调取或复制预设核心框架后,将重新确认的需要的目标组件按照相应的运行顺序重新加载至预设核心框架中,生成新的自然语言处理算法应用。由此可知,采用本发明实施例提供的方法,可以根据用户设置,随意对目标组件进行组合,组合的目标组件可以随意进行增加或删除,使得自然语言处理算法应用的开发应用更加简单高效。

进一步,该自然语言处理方法还包括:根据多次生成的自然语言处理算法应用,确定组合次数大于或等于预设次数的目标组件,生成固定算法组合,以便后续生成自然语言处理算法应用中直接加载对应的固定算法组合。即,在多次生成自然语言处理算法应用的过程中,如果某几个目标组件均按照相同的运行顺序被加载至预设核心框架中,且被加载至预设核心框架的次数大于或等于预设次数,则将这几个目标组件按照相应的运行顺序串接在一起,生成固定算法组合,在后续生成自然语言处理算法应用的过程中,可以将生成的固定算法组合直接加载至预设核心框架中。这样,可以进一步提高自然语言处理算法应用开发和应用的效率。

例如:在多次生成自然语言处理算法应用的过程中,分词算法对应的目标组件、分句算法对应的目标组件、摘要抽取算法对应的目标组件、规则匹配算法对应的目标组件和停用词过滤算法对应的目标组件按照由分词算法对应的目标组件至分句算法对应的目标组件至摘要抽取算法对应的目标组件至规则匹配算法对应的目标组件至停用词过滤算法对应的目标组件的顺序加载至预设核心框架的次数大于或等于预设次数,则将分词算法对应的目标组件、分句算法对应的目标组件、摘要抽取算法对应的目标组件、规则匹配算法对应的目标组件和停用词过滤算法对应的目标组件按照由分词算法对应的目标组件至分句算法对应的目标组件至摘要抽取算法对应的目标组件至规则匹配算法对应的目标组件至停用词过滤算法对应的目标组件的顺序串接在一起,生成一个固定算法组合。

在此需要说明的是,本发明不对预设次数的具体次数进行限制。可以根据实际需要进行设定。

与上述自然语言处理方法相对应,本发明实施例还公开了一种自然语言处理平台。

参见图2,图2示出的是本发明实施例提供的一种自然语言处理平台的结构框图。结合图2可知,该自然语言处理平台200包括:算法开发层201、业务算法层202、核心框架层203和算法计算层204。

业务算法层202用于:将各个需要的目标组件按照所述运行顺序加载至预设核心框架中,生成完整的自然语言处理算法应用;接收待处理数据,通过所述自然语言处理算法应用对所述待处理数据进行处理,并输出处理结果。

核心框架层203用于存储预设核心框架。预设核心框架为一个完整自然语言处理算法应用的框架部分,此预设核心框架中包括除目标组件之外,完整自然语言处理算法所需的全部内容,并且该预设核心框架适用于所有自然语言处理算法应用的开发应用。

进一步,业务算法层202用于通过所述自然语言处理算法应用对所述待处理数据进行处理,并输出处理结果,具体包括,所述业务算法层202用于:将所述待处理数据输入至起始目标组件中进行处理,所述自然语言处理算法应用对应的其它各个目标组件按照相应运行顺序,根据各目标组件对应的上下文信息,获取对应类型的中间数据并处理,直至最后的目标组件输出处理结果;目标组件对应的上下文信息指示该目标组件要获取的中间数据的类型、及处理后的数据类型;要获取的中间数据为运行在先的目标组件所生成的数据;所述起始目标组件为所述自然语言处理算法应用对应的所有目标组件中运行顺序最先的目标组件。

进一步,算法开发层201还用于将目标组件进行存储,以便在生成完整的自然语言处理算法应用时,可以从算法开发层201中直接调用或复制存储的目标组件。

在其它一些可选的实施例中,算法开发层201还用于:当接收到用户删除/增加需要的目标组件的指令时,根据该指令,重新确认需要的目标组件及相应的运行顺序;业务算法层202还用于:将重新确认的需要的目标组件按照相应的运行顺序重新加载至预设核心框架中,生成新的自然语言处理算法应用。

进一步,算法开发层201还用于:根据多次生成的自然语言处理算法应用,确定组合次数大于或等于预设次数的目标组件,生成固定算法组合,以便后续生成自然语言处理算法应用中直接加载对应的固定算法组合。

在其它一些可选的实施例中,算法开发层201还用于:当接收到用户创建新的目标组件指令时,根据预设核心框架对目标组件的定义及目标组件对应的基础算法逻辑,完成新的目标组件的封装。预设核心框架对目标组件的定义包括对各目标组件的接口、实现方法、执行过程、初始化以及命名等信息的约定。

本发明实施例提供的自然语言处理平台可以实施上述自然语言处理方法中的各步骤,并且能够得到相同的技术效果。采用该自然语言处理平台对待处理语料数据进行处理时,可以简单快速的生成用于处理待处理语料数据的自然语言处理算法应用,使得整个处理过程更加快速高效,并且,采用该自然语言处理平台对待处理语料数据进行自然语言处理时,所有自然语言处理算法应用的数据输入端口一致,不具有使用局限性,适用性更好。

具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的自然语言处理方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-onlymemory,简称:rom)或随机存储记忆体(英文:randomaccessmemory,简称:ram)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

THE END
1.自然语言处理的过程包括哪五步自然语言处理的过程主要包括以下五步: 文本预处理: 这一步主要是对原始文本进行清洗和整理,去除噪声和冗余信息。 例如,去除标点符号、转换为小写字母(针对英文文本)、去除停用词(如“的”、“是”等常用但对意义贡献不大的词)。 对于中文文本,还需要进行分词处理,将连续的汉字序列切分成独立的词或词组。 https://www.ai-indeed.com/encyclopedia/9243.html
2.自然语言处理(NLP)的5个步骤自认语言处理的流程是什么什么是自然语言处理(NLP)? 自然语言处理是一系列机器执行的步骤,用于分析、分类和理解口语和书面文本。这一过程依赖于深度神经网络风格的机器学习技术,以模拟人脑学习和处理数据的能力。 企业利用遵循这五个NLP步骤的工具和算法,从海量数据中提取有价值的信息,并据此做出明智的商业决策。NLP在商业领域的一些应用实例包括https://blog.csdn.net/swindler_ice/article/details/142833082
3.自然语言处理一般有哪些基本过程自然语言处理工程师 自然语言处理(NLP)是计算机科学中的一个重要领域,它旨在让计算机能够理解和生成人类语言。在自然语言处理的过程中,通常包含一系列基本步骤,这些步骤共同构成了NLP任务的处理流程。下面我将为您详细阐述这些基本过程: 1. 语料预处理 这是NLP任务的起点,主要包括以下几个步骤: 数据清洗:从原始文本中https://agents.baidu.com/content/question/fbed6bf1ec2faf175a04a13f
4.自然语言处理过程的五个层次自然语言处理(NLP)的五个层次: 词法分析(Lexical Analysis): 词法分析是NLP的第一步,它涉及将文本分解为基本单位,通常是单词或标记。 词法分析的目的是识别文本中的词汇和语法结构。 词法分析包括分词(Tokenization)、去除停用词(Stopword Removal)、词干提取(Stemming)和词形还原(Lemmatization)等过程。 https://m.elecfans.com/article/3696997.html
5.自然语言处理技术(精选十篇)由于计算机严密规范的逻辑特性与自然语言的灵活多变使得自然语言处理技术较复杂。通过多年的发展,该项技术已取得了巨大的进步。其处理过程可归纳为:语言形式化描述、处理算法设计、处理算法实现和评估。其中,语言形式化描述就是通过对自然语言自身规律进行研究,进而采用数学的方法将其描述出来,以便于计算机处理,也可认为是https://www.360wenmi.com/f/cnkeys56z2no.html
6.自然语言处理如何处理文本自然语言处理的流程一、自然语言处理 一般来说语言的处理过程分为以下几步: 而中间的两步,句法分析和语义分析是我们自然语言处理课程的主要内容。 以下列出的是NLP的一些应用: 近些年,NLP在工业应用上取得了巨大的成功: 在讲到深度学习之前,我们先来构建一些概念。一般来说信号处理、数据挖掘等等都只是处理数据,从一堆随机数据里面找出https://blog.51cto.com/u_16213716/10772721
7.集成本体与自然语言处理的BIM建筑施工过程安全风险检查研究最后开发了施工过程安全风险检查系统,并利用案例验证了该系统的检查效果。本文提出利用本体技术进行住宅建筑的动态施工过程安全检查和基于自然语言处理的智能化呈现的方法,不仅实现了安全知识重用和分享,并且为安全管理问题即时性解决和智能化呈现提供了解决思路,为安全管理的效率提升做出一定的贡献。https://cdmd.cnki.com.cn/Article/CDMD-10561-1018871984.htm
8.智能型文字游戏开发工具如果当前单句和上一句话是因果关系、先后顺序关系等,就要调用存储过程InsertSS,把这两句话一起存入知识表2。 调用存储过程single,执行单句的自然语言处理。 如果当前句和之前句是关联的双句,但没有提问词,就调用存储过程AnswerSS,问当前句,回答之前句,问之前句,回答当前句。如果回答不了,用抽象句、甲乙句再试。 https://www.cngal.org/articles/index/1857
9.《2021科技趋势报告》重磅发布,正视中国AI发展力量,预言未来世界放射学家和病理学家越来越依赖人工智能来帮助他们进行诊断医学成像。到目前为止,大多数获得批准的设备都增强了检查图像和进行诊断的过程。但是新兴的自主产品正在进入临床环境。 2.5 自然语言处理算法检测病毒突变 自然语言处理 (NLP) 算法通常用于文本、单词和句子,被用来解释病毒的遗传变化。蛋白质序列和遗传密码可以使用https://www.cn-healthcare.com/articlewm/20210323/content-1202112.html
10.2020届计算机科学方向毕业设计(论文)阶段性汇报融入知识图谱的自然语言处理——第二次汇报 本次汇报将主要更新建图算法设计,深度学习模型设计方案、以及在两个关系抽取数据集上的初步实验进展;在训练调优方向,稳定整体训练过程并减少数据分布不平衡带来的影响,提升模型整体表现;继续探索针对知识图谱子图的图神经网络更新策略,利用好关系类型在三元组表征方式中的信息,高https://zhiyuan.sjtu.edu.cn/html/zhiyuan/announcement_view.php?id=3709
11.节点范文12篇(全文)(3)对于原始的词-文本矩阵,通过LSA分析提取出k维语义空间,在保留大部分信息的同时大大得降低了空间维度,这样用低维词、文本向量代替原始的空间向量,可以有效地处理大规模的文本库。 (4)LSA不同于传统的自然语言处理过程和人工智能程序,它是完全自动的。所谓自动,就是LSA不需要人工干预,不需要预先具有语言学或者知觉https://www.99xueshu.com/w/ikey5j38kvf0.html
12.自然语言处理一般处理流程文本情感分析和观点挖掘(Sentiment Analysis),又称意见挖掘(Opinion Mining)是自然语言处理领域的一个重要研究方向。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 情感分析技术可以分为两类,一类是基于机器学习的方法,通过大量有标注、无标注的主观语料,使用统计机器学习算法,通过提取特征,进https://www.jianshu.com/p/4f79815b493f
13.中断处理的基本过程自然语言处理的基本过程01 自然语言处理的基本过程01 自然语言处理的基本过程01 一.获取语料 1.语料的分类 2.数据集与语料 3.获取方法 二.预处理 1.NLTK 2.Jieba分词 3.SnowNLP 4.Pyrouge 5.Sklearn 6.常用python-based机器学习框架 三.特征工程 1.简单的特征工程 2.TF-IDF 三.模型介绍 朴素贝叶斯 线性https://www.pianshen.com/article/7788948655/