谈谈数据分析数据挖掘大数据的理解数据量维度

在大数据领域里,经常会看到例如数据挖掘、数据分析、大数据数据等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。很多人在刚入门的时候,这几个概念经常会分不清,问十个人这几个词的意思,你可能会得到十五种不同的答案。

今天,我们就来通过一些例子,来为大家说明白—数据挖掘、大数据、数据分析的区别。

首先来介绍一下数据与信息之间的区别。

数据是什么,信息又是什么,其实最本质的区别就是,数据是存在的,有迹可循的,不需要进行处理的,而信息是需要进行处理的。

例如你想要为家里买一个新衣柜,那么首先就是要去测量室内各处的长、宽、高,对于这些数据,只要我们测量就可以得到准确的值,因为这些数据是客观存在的,这些客观存在的值就是数据。

而信息却不同,你来到家具商场购买衣柜,你会说,我们放3米的衣柜放在房间刚刚好,2米的有些短,看着不大气,4米的又太大了,不划算。那这种就属于信息,这些时候经过大脑进行了思考,进行了主观判断的,而你得出这些信息的依据就是那些客观存在的数据。

其次,数据分析是对客观存在的或者说已知的数据,通过各个维度进行分析,得出一个结论。

例如我们发现公司的APP用户活跃度下降:

从区域上看,某区域的活跃度下降的百分比

从性别方面看,男生的活跃度下降的百分比

从年龄来看,20岁~30岁的活跃度下降的百分比

数据挖掘不仅仅用到统计学的知识,还要用到机器学习的知识,这里会涉及到模型的概念。数据挖掘具有更深的层次,来发现未知的规律和价值。而且更注重洞察数据本身的关系,从而获得一些非显型的结论,这是我们从数据分析中无法得到了,例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似,等等,重在从各个维度去发现数据之间的内在联系

因此两者的目的不一样,数据分析是有明确的分析群体,就是对群体进行各个维度的拆、分、组合,来找到问题的所在,而数据发挖掘的目标群体是不确定的,需要我们更多是是从数据的内在联系上去分析,从而结合业务、用户、数据进行更多的洞察解读。

另一种是客观+主观的推断,比如整合社交平台数据(可以知道朋友圈、微博的日常内容、兴趣爱好等等),和自己的行为进行数据挖掘,来看看数据内在的匹配度有多少,这时候,他就可以判断出,他们在一起的概率有99%,从而建立信心,开始行动.....

当然统计学上讲,100%的概率都未必发生,0%的概率都未必不发生,这只是小概率事件,不要让这个成为你脱单的绊脚石。

最后,思考的方式不同,一般来讲,数据分析是根据客观的数据进行不断的验证和假设,而数据挖掘是没有假设的,但你也要根据模型的输出给出你评判的标准。

我们经常做分析的时候,数据分析需要的思维性更强一些,更多是运用结构化、MECE的思考方式,类似程序中的假设

分析框架(假设)+客观问题(数据分析)=结论(主观判断)

而数据挖掘大多数是大而全,多而精,数据越多模型越可能精确,变量越多,数据之间的关系越明确

分析更多依赖于业务知识,数据挖掘更多侧重于技术的实现,对于业务的要求稍微有所降低,数据挖掘往往需要更大数据量,而数据量越大,对于技术的要求也就越高需要比较强的编程能力,数学能力和机器学习的能力。如果从结果上来看,数据分析更多侧重的是结果的呈现,需要结合业务知识来进行解读。而数据挖掘的结果是一个模型,通过这个模型来分析整个数据的规律,一次来实现对于未来的预测,比如判断用户的特点,用户适合什么样的营销活动。显然,数据挖掘比数据分析要更深一个层次。数据分析是将数据转化为信息的工具,而数据挖掘是将信息转化为认知的工具。

大数据对我的感觉并不是数据量大,也不是数据复杂,这些都可以用工具和技术去处理,而是它可以做到千人千面,而且是实时判断规则。

所以大数据时代也显露出了各类问题,数据的隐私、数据杀熟、数据孤岛等,这也许就是我们目前看到大数据分析更看重的是技术、手段的原因,它其实是一门纯技术,但有时候确实可能需要艺术。

在小职看来,我们不需要纠结所谓的“专业名词”,作为一个数据分析师,我们的目标是帮助业务更好的发展、减少决策的风险、提取重要的信息,所以业务的套路和理解才是我们的立足之本,数据分析是我们达成某种目标的工具,疗效才是对我们更深层次的验证。

THE END
1.数据挖掘VS数据分析:区别联系及应用嘲在数据科学的世界里,数据挖掘和数据分析是两大基础概念。尽管它们经常被混为一谈,但它们的目的、方法和应用场景存在明显的差异。作为一名在这个领域有多年实践经验的从业者,我经常见到新手对此感到困惑。今天,我们来深入探讨这两个概念的区别与联系,帮助大家在实际工作中更好地运用它们。 https://www.cda.cn/view/204818.html
2.数据挖掘和数据分析的区别数据挖掘和数据分析的区别 东奥美国注册管理会计师 2024-12-06 14:51:10 数据分析更多采用统计学的知识,对源数据进行描述性和探索性分析,从结果中发现价值信息来评估和修正现状。数据挖掘不仅仅用到统计学的知识,还要用到机器学习的知识,这里会涉及到模型的概念。数据挖掘具有更深的层次,来发现未知的规律和价值。https://www.dongao.com/cma/zy/202406204447304.html
3.什么是数据挖掘,与数据分析的区别。王利头数据挖掘和数据分析是当今数据驱动型世界中至关重要的领域。通过了解这两个术语之间的区别,企业可以更有效地利用数据来改善决策制定、提高效率并获得竞争优势。 常见问答 数据挖掘的优势是什么? 发现隐藏的模式和见解 进行预测建模 优化决策制定 挖掘客户洞察力 https://www.wanglitou.cn/article_47185.html
4.数据分析与数据挖掘有什么区别?很多小伙伴对于数据分析与数据挖掘的差别都存在有疑问,数据分析与数据挖掘有哪些差别呐?两者一样吗?下面就来为小伙伴们解惑来啦! 1、什么是数据分析? 数据分析的目的:目的较为明确,主要是以分析目的为主,通过适当的统计分析方法对数据进行处理与分析,提取有价值的信息。 https://zhuanlan.zhihu.com/p/264803193
5.什么是数据挖掘?SAS数据挖掘让您能够: 筛选掉数据中所有混乱和重复的噪音。 了解相关内容,然后充分利用这些信息来评估可能的结果。 加快做出明智决策的步伐。 阅读《从 A 到 Z 的数据挖掘》(Data Mining From A to Z),了解数据挖掘技术的更多信息,该论文展示了组织如何使用预测分析和数据挖掘来从数据中揭示新的洞察。 https://www.sas.com/zh_cn/insights/analytics/data-mining.html
6.数据挖掘和数据分析数据分析就是数据挖掘吗数据挖掘和数据分析 数据挖掘(Data Mining)和数据分析(Data Analysis)是现代计算机科学中两个重要的领域。它们虽然紧密相关,但在概念和应用上有一定的区别。下面将从定义、主要技术、应用领域和挑战四个方面详细阐述这两个领域。 一、定义 **数据挖掘**:https://blog.csdn.net/weixin_61468920/article/details/139901514
7.数据挖掘的定义和解释什么是数据挖掘? 数据挖掘是对大量数据进行筛选以查找可用于特定目的的相关信息的过程。数据挖掘对于数据科学和商业智能都至关重要,它本质上是关于模式的。 一旦收集并存储数据,下一步就是理解数据,否则就毫无意义。数据分析以多种方式进行,包括使用机器学习之类的概念,其中使用复杂的自适应算法来人工分析数据。 https://www.kaspersky.com.cn/resource-center/definitions/data-mining
8.数据分析数据挖掘有什么用(那用处可太多了)数据信息化就是大家通常所听到的像大数据、商业智能BI、数据分析、数据挖掘、数据报表、可视化报表等这些内容。数据信息化建设的主要目的是帮助我们的企业全面了解企业实际的业务经营和管理成果,由以往的经验驱动变为数据驱动,最后形成业务决策支撑以提高决策的准确性,这是一种更高层次的企业管理方式。 https://www.ewtop.com/archives/11948
9.数据挖掘和数据分析有什么区别?数据分析一般都是得到一个指标统计量结果,比如总和、平均值等,这些指标数据都需要与业务结合进行解读,才能发挥数据的价值与作用。 数据挖掘一般是指从大量的数据中通过算法搜索隐藏在其中有价值的信息的过程。数据挖掘侧重于解决四类问题:分类、聚类、关联和预测(定量、定性),其重点在于寻找未知的模式与现律。 http://pm.itheima.com/news/20230213/113659.html
10.科学网—数据挖掘(Datamining)简介2、数据挖掘能做些什么?[3] 数据挖掘所要完成的任务其实也非常简单,如果一个人有无限的精力,并且不考虑效率的话,仅靠双手也能完成这些工作。只不过,我们往往面临海量的数据,而又必须在短时间内,以较高的准确度完成数据分析工作,这就必须依赖计算机和有效的算法(即数据挖掘算法)。具体来说,数据挖掘(算法)主要完成https://blog.sciencenet.cn/blog-200199-750526.html
11.数据分析和数据挖掘有什么区别大数据是互联网上海量的数据挖掘,而数据挖掘更多的是针对企业内部的小数据挖掘,数据分析是进行有针对性的分析和诊断,大数据需要分析的是趋势和发展趋势,数据挖掘主要是发现问题和诊断。 大数据是互联网上海量的数据挖掘,而数据挖掘更多的是针对企业内部的小数据挖掘,数据分析是进行有针对性的分析和诊断,大数据需要分析的https://www.qianjia.com/zhike/html/2020-10/12_29313.html
12.数据挖掘与数据分析腾讯云开发者社区数据挖掘和数据分析都是从数据中提取一些有价值的信息,二者有很多联系,但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处: 1、在应用工具上,数据挖掘一般要通过自己的编程来实现需要掌握编程语言;而数据分析更多的是借助现有的分析工具进行。 2、在行业知识方面,数据分析要求对所从事的行业有比较深https://cloud.tencent.com/developer/article/1781440
13.数据挖掘与分析报告范文7篇.docx数据挖掘与分析报告范文 第一篇可以肯定,这东西跟数学和算法有关,而且很难既然很难,那么就要付出更大的努力去学习了,去图书馆找书,找了好久发现 老师经常说的 hadoop 都被借完了,只好找了本数据挖掘教程 dataminingatutorihttps://www.renrendoc.com/paper/234470348.html
14.数据分析员岗位职责是什么?数据分析员是指获取相关数据后,利用专业的方法对数据进行统计、归纳、整理以及分析的人员。数据分析员的岗位职责有: 1、负责根据既定的数据收集范围,定期进行各类相关数据的更新与汇总,并形成数据统计报告,对数据进行整理和分析; 2、负责根据已有的数据容量,建立企业内部数据库,并定期对数据库内容进行更新和维护,为企业https://wenku.51job.com/article438423/
15.社交网站的数据挖掘与分析(豆瓣)他们在讨论些什么?或者他们在哪儿?这本简洁而且具有可操作性的书将揭示如何回答这些问题甚至更多的问题。你将学到如何组合社交网络数据、分析技术,如何通过可视化帮助你找到你一直在社交世界中寻找的内容,以及你闻所未闻的有用信息。 每个独立的章节介绍了在社交网络的不同领域挖掘数据的技术,这些领域包括博客和电子邮件https://book.douban.com/subject/10344930/
16.数据向(三)数据建模数据挖掘数据分析异同最近在看数据分析相关文章的时候,看到了很多相似的关键词,如数据建模、数据挖掘、数据分析等等。它们指的是什么,彼此之间又有怎样的关联或者区别呢。 数据建模 在看数据建模相关概念时,有两种截然不同的说法,我尝试将它们总结如下: - 在大数据领域,指的是将业务抽象为数据表以及表与表之间关系的过程; https://www.jianshu.com/p/19ba60261f17
17.数据挖掘利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等, 它们分别从不同的角度对数据进行挖掘。 ①分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到某个给定的类别。它可以应https://baike.esnai.com/view.aspx?w=%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98
18.数据挖掘论文[3]吴秀霞,关于档案管理方面的数据挖掘分析及应用探讨[J].经营管理者,20xx:338. 数据挖掘论文 篇2 随着会计现代化的发展,会计越来越多的运用计算机技术的拓展。 一、数据挖掘 数据挖掘是从数据当中发现趋势和模式的过程,它融合了现代统计学、知识信息系统、机器学习、决策理论和数据库管理等多学科的知识。它能有效https://www.unjs.com/lunwen/f/20220924130749_5650839.html
19.大数据技术大数据采集大数据存储数据挖掘算法从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面,对杂乱无章的数据,进行萃取、提炼和分析的过程。 1、可视化分析 可视化分析,指借助图形化手段,清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析,即借助可视化数据分析平台,对分散异构数据进行关联分析,并做出完整分析图表的过程。 https://www.fanruan.com/bw/dsxkq
20.大数据基础术语精粹来袭Excel作为常用的分析工具,可以实现基本的分析工作,在商业智能领域Cognos、Style Intelligence、Microstrategy、Brio、BO和Oracle以及国内产品如Yonghong Z-Suite BI套件等。 十九:数据挖掘 数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html