回顾知识图谱表示应用场景:实体推荐与知识推理过程简析

今天是2023年11月26日,星期日,天津,天气晴。

我们回到知识图谱这个话题。

本文主要围绕知识图谱表示的落地应用这一主题展开论述,介绍其中的两个重要场景,并结合实际的案例出发进行展示,以加深理解。

知识图谱表示学习,能够将实体和关系嵌入到一个低维空间,使得相似的实体和关系尽可能相近。基于这样一种假设,我们可以得到知识补全以及实体推荐这两个主要应用点。

1、实体补全

实体补全问题,是知识图谱推理的一个形式化表现,包括边的预测和实体或属性的预测两种。形式化出来就是给定去掉其中的一个部分,然后利用其余2个预测其中缺失的部分,例如比如<姚明,老婆,叶莉>,把叶莉扣掉,变成<姚明,老婆,>,然后任务就是预测这个叶莉。

在具体实现上,知识图谱补全任务用来预测三元组(h,r,t)中缺失实体h,t或r的任务,对于每个待测试三元组,每个评测三元组,移去头部实体(迭代的方式替换尾部实体)、轮流替换成词表中的其他实体,构建错误的三元组实体。利用关系函数计算头部实体和尾部实体的相似度,对于这个相似度来讲,正确的三元组的值应该比较小,而错误样本的相似度值会比较大。用关系函数对所有的三元组(包括正确的三元组和错误的三元组)进行计算,并按照升序排序。因此,针对这个结果,就延伸出来了hit@k、MRR等评估指标。

2、实体推荐

这个在具体的实现上,可以基于预先训练好的实体向量,再加入相似度计算方式得到,也可以融合字面相似度,利用fasttext、word2vec等策略现。

下面以FB15k-237这一数据集,采用TransE表示学习训练的过程进行流程介绍。

该方法的输入包括三元组triples.txt,实体文件entity和关系文件relation三部分组成,后面两者可以从第一个文件中处理得到。如下表示了一个三元组文件:

例如:relation_embedding.narray,大小为关系数量*向量维度

首先,我们可以进一步形成向量文件以供相似检索使用,例如:将实体embedding转换为对应的向量文件

通过gensim内置的cosine相似度方法,可以快速的召回向量相似的实体或者关系类型,例如:

1)实体召回

由于利用不同表示学习方法得到的向量表示文件并不相通,其在训练阶段是通严格通过对应的评分函数来进行约束的,因此在测试阶段,将训练得到的向量进行加载,应用评分函数进行计算,得到对应的实体id及其score得分,然后根据id映射关系回查到对应的实体即可。

例如,对于(美国,首都,?)这个三元组,会有北京、华盛顿、洛杉矶、巴黎、费城等多个候选城市,可以通过组合,然后进行得分排序,进行输出。理想情况下,华盛顿的得分会最高。

本文主要介绍了关于知识图谱表示训练的过程,以及两个主要应用场景。

不过,我们可以发展,无论是知识推理,还是实体推荐,其都面临一个很大的现实问题,即增量更新。

因为,在落地上,还存在增量更新的问题,后续图谱是会不断增量更新的,如何适应增量更新,快速得到的质量较好的表示是一个重大挑战。

THE END
1.浅析知识图谱(KnowledgeGraph)知识图谱( Knowledge Graph)的概念由谷歌2012年正式提出,旨在实现更智能的搜索引擎,并且于2013年以后开始在学术界和业界普及。目前,随着智能信息服务应用的不断发展,知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、反欺诈等领域。另外,通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识,使信https://blog.csdn.net/ZKYX_AI/article/details/143209436
2.深度剖析知识图谱:方法工具与实战案例在自然语言处理领域,知识图谱为计算机理解和生成自然语言提供了基础。实体识别和关系抽取等技术与知识图谱的结合,使得计算机能够更好地理解文本中的实体及其关系,从而更智能地处理自然语言。 1.2.3 推荐系统 知识图谱在推荐系统中也发挥着重要作用。通过分析用户的行为和偏好,将用户、物品和其它关联信息表示在知识图谱中,https://www.360doc.cn/article/77924336_1108108858.html
3.知识图谱入门——认识知识图谱知识图谱也可以用于辅助进行数据分析与决策。不同来源的知识通过知识融合进行集成,通过知识图谱和语义技术增强数据之间的关联,用户可以更直观地对数据进行分析。此外知识图谱也被广泛用于作为先验知识从文本中抽取实体和关系,也被用来辅助实现文本中的实体消歧,指代消解等。 https://zhuanlan.zhihu.com/p/396516565
4.知识图谱到底是什么?为什么显得那么重要?怎么构建?你可能会想,这么复杂的东西,只有搜索引擎能用得上吧?其实不然,知识图谱的应用场景非常广泛。 ?医疗健康:在医疗领域,知识图谱可以用来整合患者的健康数据,帮助医生更全面地了解患者病情,甚至可以通过分析症状和药物之间的关系,提出个性化的治疗方案。 ?金融风控:金融行业可以利用知识图谱来识别和预防欺诈行为。比如通https://cloud.tencent.com/developer/article/2445807
5.这是一份通俗易懂的知识图谱技术与应用指南机器之心另外,从分析原则(Analytics Principle)的角度,我们不需要把跟关系分析无关的实体放在图谱当中;从冗余原则(Redundancy Principle)的角度,有些重复性信息、高频信息可以放到传统数据库当中。 6.4 把数据存入知识图谱 存储上我们要面临存储系统的选择,但由于我们设计的知识图谱带有属性,图数据库可以作为首选。但至于选择哪个图https://www.jiqizhixin.com/articles/2018-06-20-4
6.知识图谱是什么,有哪些特性?GaussMind知识图谱平台 GaussMind是沃丰科技AI场景落地专家,自研领先的AI基础设施“原心引擎”(NLP-PaaS、ASR),打造了文本机器人、外呼机器人、呼入机器人、智能质检、智能会话分析、坐席助手、KCS知识库、企业搜索、知识图谱、知识工程平台等AI场景落地应用。 https://www.udesk.cn/ucm/faq/38509
7.知识图谱的应用嘲与技术挑战公安机关在侦查案件时,经常看到办案民警用图谱梳理案件及人物关系。在电视剧《人民的名义》中,警方利用知识图谱分析,可以很快看清“山水集团”背后的利益链条。除此之外,知识图谱从大数据中深度挖掘关联关系,可准实时分析多至千亿级海量关系数据,转化为关系图谱数据,支撑公安机关展开情报研判分析、犯罪团伙跟踪以及重大http://baijiahao.baidu.com/s?id=1749805011677127446&wfr=spider&for=pc
8.广东粤孵申请基于大模型与知识图谱分析的石墨烯产业应用发现方法金融界2024年12月24日消息,国家知识产权局信息显示,广东粤孵产业大数据研究有限公司申请一项名为“基于大模型与知识图谱分析的石墨烯产业应用发现方法”的专利,公开号 CN 119168423 A,申请日期为2024年9月。 专利摘要显示,本发明公开了一种基于大模型与知识图谱分析的石墨烯产业应用发现方法,S1、收集与石墨烯相关的专利https://cj.sina.com.cn/articles/view/1704103183/65928d0f02005yl3c
9.知识图谱KnowledgeGraph链接分析运用拓扑学知识通过分析链接网络来研究网络结构,结合社会网络分析可以分析研究和绘制网络信息知识图谱,展示网络信息、知识分布结构和演化规律等。 统计分析方法 科学知识图谱构建实用的统计分析方法主要是多元统计分析[12]。多元统计分析是经典统计学的分支,在多个对象或指标相互关联的情况下分析其统计规律。“维度降https://www.jianshu.com/p/6e68adcebe37