【说在前面】本人博客新手一枚,象牙塔的老白,职业场的小白。以下内容仅为个人见解,欢迎批评指正,不喜勿喷![认真看图][认真看图]
①大规模简单知识表示
②知识获取
③基于知识图谱的简单推理
①语言表达鸿沟
②缺失的因果链条
③碎片化数据的关联与融合
④深化行业数据的理解与洞察
⑤显著提升了机器的自然语言理解水平
⑥基于知识图谱的大规模知识服务
⑦知识图谱可视化已大量应用
⑧大数据知识工程理论体系日趋完善
①繁杂的应用场景
②深度的知识应用
③密集的专家知识
④有限的数据资源
知识表示方面:
①与其他知识表示的协同表示与推理
②知识图谱的多模态表示
③知识图谱的个性化表示
知识获取方面:
①发展低成本知识获取方法
②注重多粒度知识获取
③发展大规模常识知识获取
④复杂知识获取机制与方法
知识应用方面:
①知识图谱应用透明化
②基于知识图谱的可解释人工智能
③发展符号知识指导下的机器学习模型
▌总结
知识图谱结构拓扑图如图所示:
企业全量数据应用挑战及应对策略:
(1)多源异构数据难以融合
使用知识图谱(本体)对各类数据建模,基于可动态变化的数据模型(概念-实体-属性-关系),实现统一建模。
(2)数据模式动态变迁困难
使用可支持数据模式动态变化的知识图谱的数据存储。
(3)非结构化数据计算机难以理解
利用信息抽取技术。
(4)数据使用专业程度过高
(5)分散的数据难以统一消费利用
在知识融合的基础上,基于语义检索、知识问答、图计算、推理、可视化等技术,提供数据检索/分析/利用,统一平台。
(2)利用属性来表示不同数据源中针对实体的描述,形成对实体的全方位描述。(属性映射与归并)
(3)利用关系来描述各类抽象建模成实体的数据之间的关联关系,从而支持关联分析。(关系抽取)
(4)通过实体链接技术,实现围绕实体的多种类型数据的关联存储。(实体链接)
(5)使用事件机制描述客观世界中动态发展,体现事件与实体间的关联;并利用时序描述事件的发展状况。(动态事件描述)
知识建模工具:Protégé(本体编辑器,较局限)
知识抽取的主要策略如图所示(针对结构化、半结构化、非结构化数据的处理方式不同):
知识抽取中的文本信息抽取,主要包括:实体识别、关系抽取、事件抽取、概念抽取。信息抽取主要有两大类工具:
非结构化文本数据的处理包括以下步骤:
其中,事件抽取可以分为预定义事件抽取和开放域事件抽取,行业知识图谱中主要为预定义事件抽取。采用模式匹配方法,包括三个步骤:
还有基于机器学习模型的抽取:SVM、逻辑回归、CRF、LSTM等:
(1)数据层融合:实体链接技术
即等同性判断:给定不同数据源中的实体,判断其是否指向同一个真实世界实体(实体属性与关系的合并)。
实体链接工具:WikipediaMiner、DBpediaSpotlight等,大部分都是针对百科类的知识库工作的,基本不支持中文的处理。
(2)语义描述层融合:SchemaMapping
当然还有一些别的需要考虑,例如多源知识融合、冲突检测与解决、跨语言融合、知识验证等。
例如,通过人机交互接口对错误信息进行人工纠正,并以此作为种子案例,通过强化学习加强模型的识别精度和鲁棒性。
知识图谱是基于图的数据结构,其存储方式主要有两种方式:RDF存储和图数据库。
下面展示各大图数据库的对比:
(2)本体推理:使用本体推理进行新知识发现或冲突检测。
本体知识推理工具:RDFox。
(3)基于规则的推理:使用规则引擎,编写相应的业务规则,通过推理辅助业务决策。
基于规则推理工具:Drools规则定义。
智能问答(基于语义解析的方法+基于信息检索的方法)、语义搜索(基于实体链接)、可视化决策支持(D3.js、ECharts)等。
举例金融业的基于知识图谱的风险管理:
可构建的图谱:例如公司图谱、产品图谱、物图谱、智能预警等。在行业应用中使用知识图谱,大致有如下几种方式: