什么是分析,数据分析决胜未来

------故明君贤将,所以动而胜人,成功处于众者,先知也。先知者,不可取于鬼神,不可象于事,不可验于度,必取于人,知敌之情也。

——《孙子兵法用间篇》

通过上面《孙子兵法》这段话,我们也可以知道古人也在很早就会使利用分析知己知彼,洞察秋毫,决胜千里。

02

什么是分析

一般的定义是为:一种全面的、基于数据驱动的解决问题的策略和方法。分析通过试用逻辑、归纳推理、演绎推理、批判思维、定量阀(结合数据)等手段,来检验和分析现象,从而确定其本质特征。

分析的概念

1.商业智能和报表

关于分析和商业智能的的区别,几乎没有形成过共识。有些人将分析归类为商业智能的一个子集,而另一些人则把它归为完全不同的类别。

大多数商业智能应用的局限性并不在于技术的限制,而在于分析的深度和为行动提供依据的真正洞察力。例如,告诉我们已经发生了什么事情并不能帮助我们决定如何行动以改变未来,这样的结果往往通过离线分析可以得到。分析的真正责任是形成可行动的,可操作的洞察力,从而能够帮助我们了解已经发生的事情(在什么地点发生,为什么会发生,在什么条件下发生)预测出未来可能发生什么,以及我们可以做什么来影响和优化未来的结果。

图1:商业智能(BI)仪表盘

而报表,是用来描述有关现象的信息展示技术,通常位于数据传递管道的尾部,在那里可以直观地访问数据和结果。而另一方面,分析则超越了对数据的描述,它真正理解了这个现象的内在规律,从而来预测、优化和预判未来应采取的适当行动。

2.大数据

大数据(BigData)是一种描述不和谐信息的方法、在将数据转化为洞察能力的过程中,组织必须处理这些难以处理的信息。如果将大数据描述当今信息复杂的概念,那分析就可以帮助我们以主动的方式(预测性和规范性)来分析复杂性,而不是以被动的方式(BI,商业智能)来应对。

3.数据科学

数据科学是一门科学学科,它利用统计学和数学等领域的定量方法及现代技术,开发出用于发现模式、预测结果和为复杂问题找到最佳解决方案的算法。

数据科学和分析的区别在于,数据科学可以帮助甚至支持自动化实现对数据的分析,但是分析是一种以人为中心的策略,它充分利用各种工具,包括那些在数据科学中发现的工具,来理解事物现象之间的真正本质。

4.边缘分析

边缘分析一般指的是分布式分析,分析被内置到一些机器或系统中,通过这种内置的方式,信息的生成与收集已经成为企业“下意识”的自主活动。边缘分析通常与智能设备,物联网(IoT)联系在一起,把分析嵌入到收集设备上完成的,给物联网带来独特的价值机会。

5.信息学

信息学(informatics)是信息技术和信息管理的交叉学科。在实践中,信息学涉及用于数据存储和检索的处理技术。从本质上讲,信息学讨论信息是如何管理的,指的是支持流程化工作流的系统和数据生态系统,而不是对其中发现的数据进行分析。

在信息科学中经常谈到的健康信息学,它专门用于保健医疗研究,是介于健康信息技术和健康信息管理之间的一种专业技术,它将信息技术、通信和保健结合起来,以提高病人护理的质量和安全性。在下图中,我们可以看出,它位于人、信息和技术三者交汇的中心。

分析集成了所有这些概念,并依赖于底层数据、支持技术和信息管理过程来实现这一目标。

图2:健康信息管理、健康信息技术和信息学之间的区别

6.人工智能与认知计算

人工智能(AI)是一门“让计算机做需要人类智能才能做的事情的科学”。

人工智能和机器学习的区别在于,人工智能是指利用计算机完成模式的识别与探索这类“智能”工作的广义概念,而机器学习是人工智能的子集,它主要利用计算机从数据中学习的概念。

机器学习可以根据数据进行学习和预测,不是仅仅根据特定的一组规则或指令完成事先规划好的操作,而是利用算法训练来自主识别大量数据中的模式。

03

分析方法论

1.应用统计与数学

图3:统计与其他定量科学之间的关系

数学的思维是演绎性的,就是通过一般定律或原则来推断某一特定实例,而统计推理是归纳性的,就是从具体实例中提炼一般规律。这种差异在分析环境下是很重要的,因为我们将归纳推理和演绎推理应用与分析解决不同的问题。因此,将数学和统计都应用到分析领域是适当的和必要的。

3.自然语言处理

自然语言处理(NaturalLanguageProcess,NLP)是通过计算机来理解和生成“自然语言”的方法。NLP专注人类语言和计算机之间相互交互的研究领域,NLP的目标是理解计算机文本中的自然语言,用于文本分类、提取和总结。例如:在分析过程中,我们获取过去的描述信息(如,文本、文档、推文、演讲),并对它们进行语义分类或情绪理解,处理过的文本将作为分析过程的输入,用于预测建模、决策分析、搜索或回答问题的机器人。

下图描述了一个完整的自然语言处理的普遍过程。

图5:自然语言处理过程示意图

4.文本挖掘与文本分析

文本挖掘处理文本数据本身,文本分析涵盖范围比较广泛,通常包括应用统计分析、机器学习和其他一些高级分析技术,但通常被认为等同于文本挖掘。

5.机器学习

机器学习的核心是使用算法来建立量化分析模型,帮助计算机模型从数据中“学习”。它同以人为中心的处理过程不同,它是由计算机学习和发现隐藏在数据中的模式,而不是由人去直接建立模型。一般而言,机器学习中模型建立和模型管理的概念是指能够持续并重复开展后续的决策流程,而不是高度人工参与的常常基于统计手段的分析。

随着近年来计算能力的进步,机器学习可以用来自动地实现针对大数据的复杂数学计算,而这在以前是不可能实现的。

机器学习常见的方法如下图:

图6:机器学习常用的技术归纳

6.数据挖掘

数据挖掘是指在大型数据集中发现和解释规律模式,以解决业务问题的过程。数据挖掘作为一种分析大型数据库以生成新的或与众不同的信息方法而被广泛使用。

数据挖掘采用传统的统计方法,以及人工智能和机器学习技术,目的是在我们拥有的数据中识别出以前未知的模式并进行预测。

04

分析的目的

分析是一种支持变革的全面战略,它为干预措施或战略转型提供信息。分析的目的是支持数据驱动的、基于事实的探索过程。这一切是为了建立信心,推动我们了解知识,并利用这些知识来理解、解释、预测和优化。

总的来说,分析的主要目的主要有以下四点:

1.分析是关于改善结果的活动

我们通过分析来理解、描述和解决问题,并通过分析做出决策和创造洞察力,以推动变革。我们用我们所知道的来理解我们的世界:描述、发现、预测并给出建议。

2.分析是关于创造价值的活动

结果是分析的一个关键组成部分,我们通过分析要创造一些有价值的东西,否则分析将无任何意义。

3.分析是关于发现的活动

如何我们常用的商业智能是关于认知可知的事物,那么分析可以帮助我们探索未知的事物。分析的力量在与它支持我们对未知探索,我们利用推理和理解能力来挖掘数据中隐藏的模式。

4.分析是关于促成变革的活动

最后,关于变革,很少人喜欢或者主动拥抱变革,但变革是不可避免,完全不变的组织几乎不存在。推动组织变革的动力可以有多种形式,对于组织来说,可能是以危机的形式出现,比如灾难、利润下降、政府强制要求、系统性失败或者公共卫生危机等。

05

总结

在很大程度上,分析是一项有弹性的工作,因为它能够影响我们的工作方式,我们所做的决策以及我们取得的成果。分析常常与大数据、数据科学、信息学、甚至商业智能(BI)等放在一起讨论。

分析是一种组织战略,也是一个过程。对于企业来说分析不是终点,而是获得洞察力以实现变革的过程,分析是将数据转化为切实可行的措施的艺术和科学。

推荐阅读

数据分析的价值是什么?

经常有同学在工作中抱怨,感觉“做的分析没有啥业务价值,报表丢出去了也没回应”。到底怎么做才能让数据分析体现价值,今天结合一个具体场景,详细讲解一下。问题场景…

1,412

数据分析与数据挖掘的区别是什么?

数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析,下面我们来看一下数据分析与…

1,832

小会计做着做着,就跑去做数据分析了,分析做着…

最让我头疼的应该是在会议上面做汇报吧,内心是胆怯的。我觉得认真也是一种天赋的。特别是高压下还能仔细认真不出错。有时候不是不认真,而是工作太多又要求几天内出报表,…

THE END
1.数据挖掘与数据分析[通俗易懂]腾讯云开发者社区数据挖掘和数据分析都是从数据中提取一些有价值的信息,二者有很多联系,但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处: 1、在应用工具上,数据挖掘一般要通过自己的编程来实现需要掌握编程语言;而数据分析更多的是借助现有的分析工具进行。 2、在行业知识方面,数据分析要求对所从事的行业有比较深https://cloud.tencent.com/developer/article/2095313
2.数据分析和数据挖掘的区别在哪数据分析数据分拣数据挖掘数据分析和数据挖掘是数据科学领域的两个重要分支,它们在目标、方法和应用场景上有所不同,但也有一定的重叠。以下是它们的主要区别: 1. 目标 数据分析 目标:理解和解释已有数据。 重点:提供数据的可视化和报告,帮助决策者理解数据的含义和趋势。 输出:通常是可视化图表、报告和业务洞察。 https://blog.csdn.net/q383965374/article/details/143670022
3.数据挖掘VS数据分析:区别联系及应用嘲在数据科学的世界里,数据挖掘和数据分析是两大基础概念。尽管它们经常被混为一谈,但它们的目的、方法和应用场景存在明显的差异。作为一名在这个领域有多年实践经验的从业者,我经常见到新手对此感到困惑。今天,我们来深入探讨这两个概念的区别与联系,帮助大家在实际工作中更好地运用它们。 https://www.cda.cn/view/204818.html
4.数据挖掘和数据分析的区别数据挖掘和数据分析的区别 东奥美国注册管理会计师 2024-12-06 14:51:10 数据分析更多采用统计学的知识,对源数据进行描述性和探索性分析,从结果中发现价值信息来评估和修正现状。数据挖掘不仅仅用到统计学的知识,还要用到机器学习的知识,这里会涉及到模型的概念。数据挖掘具有更深的层次,来发现未知的规律和价值。https://www.dongao.com/cma/zy/202406204447304.html
5.什么是数据挖掘,与数据分析的区别。王利头什么是数据挖掘,与数据分析的区别。 什么是数据挖掘,与数据分析的区别? 引言 在当今信息爆炸的时代,数据已成为一种宝贵的资产。企业和组织都认识到了从数据中提取洞察力以做出明智决策的重要价值。数据挖掘和数据分析是两个密切相关的领域,共同致力于从数据中发现有意义的模式和见解。然而,这两个术语经常被混淆,因此https://www.wanglitou.cn/article_47185.html
6.1.数据分析的目的21.1.描述型:发生了什么?可视化仪表盘化1.3. 3.预测型:可能发生什么?4 1.4. 4.指导型规划未来行动:我需要做什么?4 2. 数据分析 4 3.与数据挖掘的区别5 3.1.数据挖掘更侧重于机器对未来的预测,一般应用于分类、聚类、推荐、关联规则等。5 3.2.与数据分析的区别5 4.数据类型.1 数据库、SQL和大数据 26 https://www.cnblogs.com/attilax/p/15197768.html
7.数据挖掘工程师和数据分析师有什么区别说明:数据挖掘工程师和数据分析师哪个就业前景好?数据挖掘工程师2023年招聘职位量 1.3K,较2022年下降了 19%。数据分析师2023年招聘职位量 14.9K,较2022年下降了 2%。统计依赖于各大平台发布的公开数据,系统稳定性会影响客观性,仅供参考。 学历要求区别 https://www.jobui.com/gangwei/pk/shujuwajuegongchengshi-shujufenxishi/
8.数据向(三)数据建模数据挖掘数据分析异同最近在看数据分析相关文章的时候,看到了很多相似的关键词,如数据建模、数据挖掘、数据分析等等。它们指的是什么,彼此之间又有怎样的关联或者区别呢。 数据建模 在看数据建模相关概念时,有两种截然不同的说法,我尝试将它们总结如下: - 在大数据领域,指的是将业务抽象为数据表以及表与表之间关系的过程; https://www.jianshu.com/p/19ba60261f17
9.科学网—数据挖掘(Datamining)简介数据挖掘与常规数据分析方法最大的区别有两点:其一,前者自动化程度较高;其二,前者适用性高。这里说是区别,而不用优点,是因为这两点有时也会转化成为数据挖掘的缺点:其一,常规分析中靠大脑完成的推理,演算,假设和简化也是一种理解数据的过程,把这一过程让于计算机,也许真的会与宝藏擦肩而过;其二,普遍性的方法有时https://blog.sciencenet.cn/blog-200199-750526.html
10.数据挖掘和数据分析有什么区别?数据分析一般都是得到一个指标统计量结果,比如总和、平均值等,这些指标数据都需要与业务结合进行解读,才能发挥数据的价值与作用。 数据挖掘一般是指从大量的数据中通过算法搜索隐藏在其中有价值的信息的过程。数据挖掘侧重于解决四类问题:分类、聚类、关联和预测(定量、定性),其重点在于寻找未知的模式与现律。 http://pm.itheima.com/news/20230213/113659.html
11.论述数据挖掘与数据可视化分析的区别与联系数据挖掘和可视化论述数据挖掘与数据可视化分析的区别与联系 数据挖掘和可视化,作者|小F之前在「数据分析岗」的文章提到,会写一期有关「数据挖掘岗」的文章。本次结合最近学的统计推断,来波简单的实战。首先请教了两位从事过数据挖掘的大佬,简单说了下什么是数据挖掘。让小F和大家对数据https://blog.51cto.com/u_16099170/9487255
12.数据分析和数据挖掘有什么区别大数据是互联网上海量的数据挖掘,而数据挖掘更多的是针对企业内部的小数据挖掘,数据分析是进行有针对性的分析和诊断,大数据需要分析的是趋势和发展趋势,数据挖掘主要是发现问题和诊断。 大数据是互联网上海量的数据挖掘,而数据挖掘更多的是针对企业内部的小数据挖掘,数据分析是进行有针对性的分析和诊断,大数据需要分析的https://www.qianjia.com/zhike/html/2020-10/12_29313.html
13.数据分析师和数据挖掘师有什么区别数据分析师和数据挖掘师有什么区别 【数据分析师】: 数据分析师是指基于大数据进行数据处理分析的人员,能熟练的用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总、理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析师在企业中发挥的价值在于能够利用已有的数据资料(一手或二手的)进行https://www.elecfans.com/d/884393.html
14.统计分析与数据挖掘有区别吗统计和数据挖掘都是数据分析处理的技术。内容上,统计学的任务主要是假设检验和参数估计,数据挖掘的任务是分析数据中的结构、模式并产生特定形式的信息,是统计学的补充和扩展。时间上统计学是经典学科,数据挖掘是计算机和大数据催生的新学科。如果你指数据挖掘专业在计算机和统计这两个学科里的区别计算机学科的数据挖掘侧重https://m.edu.iask.sina.com.cn/jy/2JhHt8DaT3K.html
15.数据分析数据挖掘有什么用(那用处可太多了)数据信息化就是大家通常所听到的像大数据、商业智能BI、数据分析、数据挖掘、数据报表、可视化报表等这些内容。数据信息化建设的主要目的是帮助我们的企业全面了解企业实际的业务经营和管理成果,由以往的经验驱动变为数据驱动,最后形成业务决策支撑以提高决策的准确性,这是一种更高层次的企业管理方式。 https://www.ewtop.com/archives/11948
16.大数据数据分析数据统计数据挖掘OLAP的区别慧都智能制造在大数据领域里,经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。\r\n\r\n \r\n\r\n https://bigdata.evget.com/post/79.html