数据库AI,DM,ML,PR各种概念的范畴与联系

在计算机科学中,很多学科、名词之间是联系、关联、交叉在一起的,例如DB、AI、DM、ML、PR等,这是一则读书笔记,收集信息的解惑。

这里的一些关键词:

数据库(DataBase,DB)是长期存储在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按一定的数据模型组织、描述和储存,具有较小的冗余度、较高的数据独立性和易扩展性,并可为各种用户共享。

数据库的三个基本特点:永久存储、有组织、可共享

数据库管理系统(DataBaseManagementSystem,DBMS):用户与操作系统之间的一层数据管理软件,计算机的基础软件,在数据库建立、运用和维护时对数据库进行统一控制,以保证数据的完整性和安全性,并在多用户同时使用数据库时进行并发控制,在发生故障后对数据库进行。

人工智能(ArtificialIntelligence,AI),它是研究、开发用于模拟、延伸和拓展人的智能的理论、方法、技术及应用系统的一门新的技术科学。即让机器的行为看起来像人表现的智能行为一样。其本质是用数据和模型为现有的问题提供解决方法。

AI是计算机自动做决策。做决策的原则可以是上面简单的条件判断,可以是穷举,也可以是多个因素连接成的网络,比如下图(称为贝叶斯网络,BayesianNetwork),这是一个通过判断是否有地震和盗窃的简单的智能系统。

机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论,统计学,逼近论,凸分析,算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。(M代表计算机程序(ComputerProgram)时,对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善,那么就称这个计算机程序从经验E学习。)其本质是自动地从过往经验中学习知识,其重要应用就是预测。通过数据训练的学习算法的研究都属于机器学习。推理:从一般到特殊;归纳:从特殊到一般。

这是一个网络小游戏,你在心中想一个人物,然后算法会问你一系列的一般疑问句(比如“这个人是科学家吗?”)你回答Yes或者No。若干个问题后,算法会知道你心中的人物是谁了(通常比你预计的要快)。

之所以说这是一个ML系统,是因为它不仅做决策下一个问题该问什么、已经问的问题和答案能推出什么结果,它还在不断地自我改进。比如说,我心中想的是亚运会的吉祥物阿和(几年前这个游戏推出时它肯定不知道阿和是谁),于是在很多个问题过后,这个ML算法猜成喜羊羊了,然后我告诉它“你猜错了,我想的是阿和”,于是,它会更新它的决策网络,增加阿和这个节点,改变各个概率值。下次有人想阿和的,它就可能猜中了。所以,从上面的例子可以看出,ML重点研究的是算法的学习过程,强调的是一个反馈的框架。一开始系统可能很弱智,但是经过长期训练后它能做出很高超的决策。

举个我的例子。比如说,我老板希望能做一个自动作曲的系统,要求能做莫扎特风格的钢琴奏鸣曲,而听起来不能像海顿和贝多芬。想一想这个决策规则就复杂得看似不可能实现,也许10000个IF…THEN…也不能实现。但是从ML的角度来思考,就变得有可能了。我可以把莫扎特已有的乐谱输入给系统,告诉它这是好结果;再把海顿和贝多芬的给系统,告诉它这是坏结果。然后就期待这个系统能够学到点什么。当然,真正实现起来设计这个学习框架是有难度的,不过ML是正确的思路。

数据挖掘(DataMining,DM),又称为资料勘探,数据采矿。他是数据库知识发现(KnowledgeDiscoveryinDatabase,KDD),中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏在其中信息的过程。

数据挖掘和机器学习的区别和联系,周志华有一篇很好的论述《机器学习与数据挖掘》可以帮助大家理解。数据挖掘受到很多学科领域的影响,其中数据库、机器学习、统计学无疑影响最大。简言之,对数据挖掘而言,数据库提供数据管理技术,机器学习和统计学提供数据分析技术。

由于统计学往往醉心于理论的优美而忽视实际的效用,因此,统计学界提供的很多技术通常都要在机器学习界进一步研究,变成有效的机器学习算法之后才能再进入数据挖掘领域。从这个意义上说,统计学主要是通过机器学习来对数据挖掘发挥影响,而机器学习和数据库则是数据挖掘的两大支撑技术。从数据分析的角度来看,绝大多数数据挖掘技术都来自机器学习领域,但机器学习研究往往并不把海量数据作为处理对象,因此,数据挖掘要对算法进行改造,使得算法性能和空间占用达到实用的地步。同时,数据挖掘还有自身独特的内容,即关联分析。

PR充满了工程的思维方式,“解决问题是关键,不关心系统在理论上是否最优”。比如人脸识别、癌细胞识别、语言识别、入侵检测等等,拿各种分类器(SVM、神经网络神马的)一个一个试,用最好的那个分类器来应用就OK了。

而模式识别和机器学习的关系是什么呢,传统的模式识别的方法一般分为两种:统计方法和句法方法。句法分析一般是不可学习的,而统计分析则是发展了不少机器学习的方法。也就是说,机器学习同样是给模式识别提供了数据分析技术。

至于,数据挖掘和模式识别,那么从其概念上来区分吧,数据挖掘重在发现知识,模式识别重在认识事物。

机器学习的目的是建模隐藏的数据结构,然后做识别、预测、分类等。

因此,机器学习是方法,模式识别是目的。

只要跟决策有关系的都能叫AI,所以说PR、DM、IR属于AI的具体应用应该没有问题。

研究的东西则不太一样,ML强调自我完善的过程。

CCRMA的JonathanBerger来北京演讲,他提到的sonification给我挺大的启发。他说:“我们买西瓜时拍一拍就知道西瓜是否熟了,因为人耳对于这种音色可以做决策,而机器目前还很难做到。监测工作很辛苦,比如核电站工作人员需要成天盯着很多很多数据,不停地做决策,判断是否出异常。为什么不能把数据通过某种算法变换出某种音色,工作人员只需要学习什么是正常的声音,什么是异常的声音,听就行了,这与听拍西瓜的声音是一样的道理。”

THE END
1.数据挖掘概念(AnalysisServices该步骤包括分析业务需求,定义问题的范围,定义计算模型所使用的度量,以及定义数据挖掘项目的特定目标。这些任务转换为下列问题: 您在查找什么?您要尝试找到什么类型的关系? 您要尝试解决的问题是否反映了业务策略或流程? 您要通过数据挖掘模型进行预测,还是仅仅查找受关注的模式和关联? https://technet.microsoft.com/zh-cn/library/ms174949(en-us,sql.105).aspx
2.大数据挖掘价值洞察研究大数据挖掘价值-洞察研究 下载积分: 1388 内容提示: 大数据挖掘价值 第一部分 大数据挖掘概述 2 第二部分 大数据挖掘技术 4 第三部分 大数据挖掘应用场景 https://www.doc88.com/p-69619764087796.html
3.数据挖掘dm是什么意思帆软数字化转型知识库数据挖掘dm是什么意思 数据挖掘(Data Mining,简称DM)是一种从大量数据中提取有价值信息的技术,它通过模式识别、统计分析、机器学习等方法来发现数据之间的关联和趋势。数据挖掘的核心在于从看似无序的数据中挖掘出有意义的模式和关系。这些信息可以用于商业决策、市场分析、科学研究等多个领域。例如,在商业决策中,通过https://www.fanruan.com/blog/article/598648/
4.深度解析数据挖掘如何进行数据挖掘 数据挖掘听起来可能只有大企业才能做,但只要按照阶段进行,任何公司都可以做到。为此,我们推荐使用CRISP-DM(跨行业数据挖掘标准流程)。CRISP-DM(Cross-Industry Standard Process for Data Mining)是一种跨行业的数据挖掘标准流程。它提供了一套结构化的步骤和方法,帮助数据挖掘项目团队规划、实施https://baijiahao.baidu.com/s?id=1772272932209270558&wfr=spider&for=pc
5.什么是数据挖掘?(DM与DWOLAPCRM的区别)数据挖掘中的dw(DM 与DW 、OLAP、CRM 的区别) 什么是数据挖掘 数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知识。https://blog.csdn.net/christmasxu/article/details/52153710
6.什么是DM?()A.数据仓库B.数据挖掘C.数据分析D.数据处理什么是DM?( ) A. 数据仓库 B. 数据挖掘 C. 数据分析 D. 数据处理 点击查看答案 你可能感兴趣的试题 单项选择题铣床加工要手工进料,因此其生产效率和加工质量要比压刨低。( ) A、正确 B、错误 点击查看答案 不定项选择 面膜的防腐首要要求具有安全性,其次要求高效、广谱、扩散性和持久性。 A.正确http://www.ppkao.com/wangke/daan/387b0239197a4b11acf5b41d3b04cb53
7.商战数据挖掘:你需要了解的数据科学与分析思维数据科学的一条重要原则是,数据挖掘的流程可以分解为几个通俗易懂的环节。有些环节涉及信息技术的应用,如数据中模式的自动发现和评估,而有些则主要依赖数据分析师的创意、常识和商业知识。理解数据挖掘的整个过程,有助于组织数据挖掘项目,使它们更接近系统性的分析,而不是凭借运气和个人智慧的冒险行为。 https://www.ituring.com.cn/book/tupubarticle/28952
8.数据挖掘分析平台(DMPlus)挖掘数据价值、寻找数字“金矿“ 概述 数据挖掘分析平台(DMPlus)是什么? 如何从海量数据中找到有价值的数据?什么是有价值的数据? DMPlus提供一个开放的数据挖掘分析平台,极易操作的可视化编辑页面,降低数据挖掘门槛,通过拖拽式流程设计,快速实现各类数据挖掘应用。提供数据计算脚本管理,提供计算任务管理,提供数据计算任务http://www.sudytech.com/_s2/4799/list.psp
9.数据挖掘与数据建模的9大定律(深度长文收藏细读!)虽然CRISP-DM能够指导如何实施数据挖掘,但是它不能解释数据挖掘是什么或者为什么适合这样做。在本文中我将阐述我提出数据挖掘的九种准则或“定律”(其中大多数为实践者所熟知)以及另外其它一些熟知的解释。开始从理论上(不仅仅是描述上)来解释数据挖掘过程。 https://cloud.tencent.com/developer/article/1041773
10.利用DM工具Weka进行数据挖掘(分类)的完整过程利用DM工具Weka进行数据挖掘(分类)的完整过程: (有关Weka的使用详见:ML 与 DM 工具 Weka 的使用) 0 问题背景 任务:根据给定数据集创建分类器。 训练数据集:100 predictive attributes A1,…,A100和一个类标C。每一个属性是介于0-1之间的浮点数https://www.cnblogs.com/shenxiaolin/p/7892611.html
11.数据挖掘技术在客户关系管理中如何应用二、数据挖掘(DM) 数据挖掘(Data Mining,简称DM),简单的讲就是从大量数据中挖掘或抽取出知识。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感兴趣的知识,这些知识是隐讳的、事先未知的、潜在有用的信息。 https://www.wenshubang.com/xingzhengguanlibiyelunwen/151599.html
12.物流服务质量评价模型与方法研究综述(SEM)和多变量统计数据从實证角度分析物流服务质量的影响因素;17.1%的文献使用质量函数开发法(QFD)、情感工程法(AE)和数据挖掘法(DM)等方法将消费者需求转换为企业质量特征,其中模糊层次分析法(FAHP)或层次分析法(AHP)主要用于计算评价指标的权重,占9.21%,只有2篇论文(占2.6%)侧重于数据挖掘或其他收集消费者需求https://www.fx361.com/page/2021/0224/7663320.shtml
13.技术经济分析报告(三)数据挖掘(DM)技术 数据挖掘可以称为数据库中的知识发现,是从大量数据中提取出可信、新颖有效并能被人理解的模式的高级处理过程,是数据库技术、人工智能、神经网路、机器学习等领域的交叉学科。数据挖掘是一个过程,是从大型数据库中抽取隐藏其中的可理解的可操作的信息,目的是帮助分析、决策人员寻找数据之间的关联https://www.ruiwen.com/fenxibaogao/8332890.html
14.dm是什么意思数据挖掘理想股票技术论坛DM在数据挖掘中的含义及相关技术介绍。 ,理想股票技术论坛https://www.55188.com/tag-09806214.html
15.大数据之数仓概念这几天看了一些专业的解释,还是对ODSDW和DMDM:目前网上有两种说法,一说数据集市(Data Mart);一说数据挖掘(Data Mining),百度百科给出的是数据挖掘的概念,我这里将这两种说法都做了解释: DM(Data Mart):数据集市,以某个业务应用为出发点而建立的局部DW,DW只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用,每个应用有自己的DM。 https://juejin.cn/post/6844904058260570119
16.数据挖掘与分析心得体会数据挖掘应当更正确的命名为:“从数据中挖掘知识”,不过后者显得过长了些。而“挖掘”一词确是生动形象的!人们把数据挖掘视为“数据中的知识发现(KDD)”的同义词,而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤! 由此而产生数据挖掘的定义:从大量数据中挖掘有趣模式和知识的过程!数据源包括数据库、数https://www.360wenmi.com/f/file46470luq.html
17.数据挖掘技术论文(5篇).docx二、数据挖掘(DM) 数据挖掘(DataMining,简称DM),简洁的讲就是从大量数据中挖掘或抽取出学问。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感爱好的学问,这些学问是隐讳的、事先未知的、潜在有用的信息。 常用的数据挖掘方法有:(1)https://max.book118.com/html/2023/0614/7012161003005122.shtm