谈谈数据分析数据挖掘大数据的理解数据量维度

在大数据领域里,经常会看到例如数据挖掘、数据分析、大数据数据等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。很多人在刚入门的时候,这几个概念经常会分不清,问十个人这几个词的意思,你可能会得到十五种不同的答案。

今天,我们就来通过一些例子,来为大家说明白—数据挖掘、大数据、数据分析的区别。

首先来介绍一下数据与信息之间的区别。

数据是什么,信息又是什么,其实最本质的区别就是,数据是存在的,有迹可循的,不需要进行处理的,而信息是需要进行处理的。

例如你想要为家里买一个新衣柜,那么首先就是要去测量室内各处的长、宽、高,对于这些数据,只要我们测量就可以得到准确的值,因为这些数据是客观存在的,这些客观存在的值就是数据。

而信息却不同,你来到家具商场购买衣柜,你会说,我们放3米的衣柜放在房间刚刚好,2米的有些短,看着不大气,4米的又太大了,不划算。那这种就属于信息,这些时候经过大脑进行了思考,进行了主观判断的,而你得出这些信息的依据就是那些客观存在的数据。

其次,数据分析是对客观存在的或者说已知的数据,通过各个维度进行分析,得出一个结论。

例如我们发现公司的APP用户活跃度下降:

从区域上看,某区域的活跃度下降的百分比

从性别方面看,男生的活跃度下降的百分比

从年龄来看,20岁~30岁的活跃度下降的百分比

数据挖掘不仅仅用到统计学的知识,还要用到机器学习的知识,这里会涉及到模型的概念。数据挖掘具有更深的层次,来发现未知的规律和价值。而且更注重洞察数据本身的关系,从而获得一些非显型的结论,这是我们从数据分析中无法得到了,例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似,等等,重在从各个维度去发现数据之间的内在联系

因此两者的目的不一样,数据分析是有明确的分析群体,就是对群体进行各个维度的拆、分、组合,来找到问题的所在,而数据发挖掘的目标群体是不确定的,需要我们更多是是从数据的内在联系上去分析,从而结合业务、用户、数据进行更多的洞察解读。

另一种是客观+主观的推断,比如整合社交平台数据(可以知道朋友圈、微博的日常内容、兴趣爱好等等),和自己的行为进行数据挖掘,来看看数据内在的匹配度有多少,这时候,他就可以判断出,他们在一起的概率有99%,从而建立信心,开始行动.....

当然统计学上讲,100%的概率都未必发生,0%的概率都未必不发生,这只是小概率事件,不要让这个成为你脱单的绊脚石。

最后,思考的方式不同,一般来讲,数据分析是根据客观的数据进行不断的验证和假设,而数据挖掘是没有假设的,但你也要根据模型的输出给出你评判的标准。

我们经常做分析的时候,数据分析需要的思维性更强一些,更多是运用结构化、MECE的思考方式,类似程序中的假设

分析框架(假设)+客观问题(数据分析)=结论(主观判断)

而数据挖掘大多数是大而全,多而精,数据越多模型越可能精确,变量越多,数据之间的关系越明确

分析更多依赖于业务知识,数据挖掘更多侧重于技术的实现,对于业务的要求稍微有所降低,数据挖掘往往需要更大数据量,而数据量越大,对于技术的要求也就越高需要比较强的编程能力,数学能力和机器学习的能力。如果从结果上来看,数据分析更多侧重的是结果的呈现,需要结合业务知识来进行解读。而数据挖掘的结果是一个模型,通过这个模型来分析整个数据的规律,一次来实现对于未来的预测,比如判断用户的特点,用户适合什么样的营销活动。显然,数据挖掘比数据分析要更深一个层次。数据分析是将数据转化为信息的工具,而数据挖掘是将信息转化为认知的工具。

大数据对我的感觉并不是数据量大,也不是数据复杂,这些都可以用工具和技术去处理,而是它可以做到千人千面,而且是实时判断规则。

所以大数据时代也显露出了各类问题,数据的隐私、数据杀熟、数据孤岛等,这也许就是我们目前看到大数据分析更看重的是技术、手段的原因,它其实是一门纯技术,但有时候确实可能需要艺术。

在小职看来,我们不需要纠结所谓的“专业名词”,作为一个数据分析师,我们的目标是帮助业务更好的发展、减少决策的风险、提取重要的信息,所以业务的套路和理解才是我们的立足之本,数据分析是我们达成某种目标的工具,疗效才是对我们更深层次的验证。

THE END
1.数据挖掘与机器学习——概念篇机器学习与数据挖掘概念回归分析包括:线性和非线性回归、一元和多元回归。常用的回归是一元线性回归和多元线性回归。 6. 聚类分析 聚类分析多用于人群分类,客户分类。所谓聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程。 五、数据挖掘流程 1.基本流程 2.数据处理 六、案例 —— 推荐算法https://blog.csdn.net/m0_63181360/article/details/138890384
2.数据挖掘数据量多少合适帆软数字化转型知识库数据挖掘数据量的合适程度取决于几个关键因素:目标问题的复杂性、数据的质量、计算资源的可用性、以及模型的复杂性。一般来说,为了确保数据挖掘结果的可靠性和有效性,数据量应足够大以捕捉数据中的模式和趋势。数据量越大,模型的泛化能力越强。举例来说,在处理图像分类任务时,需要数万甚至数百万张图像来训练深度学习https://www.fanruan.com/blog/article/581003/
3.数据量太少怎么做机器学习数据太少如何分析数据量太少怎么做机器学习 数据太少如何分析,没有高质量的数据,就没有高质量的数据挖掘结果,数据值缺失是数据分析中经常遇到的问题之一。当缺失比例很小时,可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中,往往缺失数据占有相当的比重。这时如果手工处理非常https://blog.51cto.com/u_16213565/8785831
4.直播回顾单细胞测序:从样本制备到数据挖掘的全流程探讨10. 请问老师测序的数据量和捕获细胞数对数据的结果影响大吗? 答:不同的测序深度,在达到饱和之前,获得基因中位数据和细胞数量相差比较大,基因中位数不同的组织样本的标准差别较大,一般应该大于1000;捕获的细胞数量对不同研究需求有一定的影响,如一些稀有细胞群的鉴定可能会受影响。 https://www.yiqi.com/news/detail_23958.html
5.数据挖掘算法(logistic回归,随机森林,GBDT和xgboost)第一,从原始的数据集中采取有放回的抽样,构造子数据集,子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复,同一个子数据集中的元素也可以重复。 第二,利用子数据集来构建子决策树,将这个数据放到每个子决策树中,每个子决策树输出一个结果。最后,如果有了新的数据需要通过随机森林得到分类结果https://cloud.tencent.com/developer/article/1061147
6.三级数据库技术概念2知识发现过程由三个阶段组成:数据准备、数据挖掘、结果的解释评估。 数据仓库是面向主题的、集成的、不可更新的、随时间不断变化的数据的集合。 数据从操作型环境转移到数据仓库过程中所用到ETL(Extract-Transform-Load)工具通常需要完成的处理操作包括抽取、转换和装载。 https://www.jianshu.com/p/32815082fdb3
7.用户画像应该怎么做数据是零散的,或者是表面的,用户画像要对收集到的数据做整理,比较常用的是通过数据建模的方式做归类创建。小圆接触过的大多是比较初级的用户画像,通过excel工具就可以基本完成整合。而对于技术工具层面的数据建模,感兴趣的可以看推文的第二条。 在数据量不大,用户画像比较初级的情况下,通过筛选、归类、整合的过程对用https://www.linkflowtech.com/news/153
8.2020年最值得收藏的60个AI开源工具语言&开发李冬梅LazyNLP 的使用门槛很低——用户可以使用它爬网页、清洗数据或创建海量单语数据集。 据开发者称,LazyNLP 可以让你创建出大于 40G 的文本数据集,比 OpenAI 训练 GPT-2 时使用的数据集还要大。 项目地址:https://github.com/chiphuyen/lazynlp Subsync 自动将视频与字幕同步 https://www.infoq.cn/article/2uabiqaxicqifhqikeqw
9.易撰专注新媒体数据挖掘分析服务易撰自媒体工具,基于数据挖掘技术把各大自媒体平台内容进行整合分析,为自媒体作者提供在运营过程中需要用到的实时热点追踪,爆文素材,视频素材微信文章编辑器排版,标题生成及原创度检测等服务.https://www.yizhuan5.com/customService/