什么是分析,数据分析决胜未来

------故明君贤将,所以动而胜人,成功处于众者,先知也。先知者,不可取于鬼神,不可象于事,不可验于度,必取于人,知敌之情也。

——《孙子兵法用间篇》

通过上面《孙子兵法》这段话,我们也可以知道古人也在很早就会使利用分析知己知彼,洞察秋毫,决胜千里。

02

什么是分析

一般的定义是为:一种全面的、基于数据驱动的解决问题的策略和方法。分析通过试用逻辑、归纳推理、演绎推理、批判思维、定量阀(结合数据)等手段,来检验和分析现象,从而确定其本质特征。

分析的概念

1.商业智能和报表

关于分析和商业智能的的区别,几乎没有形成过共识。有些人将分析归类为商业智能的一个子集,而另一些人则把它归为完全不同的类别。

大多数商业智能应用的局限性并不在于技术的限制,而在于分析的深度和为行动提供依据的真正洞察力。例如,告诉我们已经发生了什么事情并不能帮助我们决定如何行动以改变未来,这样的结果往往通过离线分析可以得到。分析的真正责任是形成可行动的,可操作的洞察力,从而能够帮助我们了解已经发生的事情(在什么地点发生,为什么会发生,在什么条件下发生)预测出未来可能发生什么,以及我们可以做什么来影响和优化未来的结果。

图1:商业智能(BI)仪表盘

而报表,是用来描述有关现象的信息展示技术,通常位于数据传递管道的尾部,在那里可以直观地访问数据和结果。而另一方面,分析则超越了对数据的描述,它真正理解了这个现象的内在规律,从而来预测、优化和预判未来应采取的适当行动。

2.大数据

大数据(BigData)是一种描述不和谐信息的方法、在将数据转化为洞察能力的过程中,组织必须处理这些难以处理的信息。如果将大数据描述当今信息复杂的概念,那分析就可以帮助我们以主动的方式(预测性和规范性)来分析复杂性,而不是以被动的方式(BI,商业智能)来应对。

3.数据科学

数据科学是一门科学学科,它利用统计学和数学等领域的定量方法及现代技术,开发出用于发现模式、预测结果和为复杂问题找到最佳解决方案的算法。

数据科学和分析的区别在于,数据科学可以帮助甚至支持自动化实现对数据的分析,但是分析是一种以人为中心的策略,它充分利用各种工具,包括那些在数据科学中发现的工具,来理解事物现象之间的真正本质。

4.边缘分析

边缘分析一般指的是分布式分析,分析被内置到一些机器或系统中,通过这种内置的方式,信息的生成与收集已经成为企业“下意识”的自主活动。边缘分析通常与智能设备,物联网(IoT)联系在一起,把分析嵌入到收集设备上完成的,给物联网带来独特的价值机会。

5.信息学

信息学(informatics)是信息技术和信息管理的交叉学科。在实践中,信息学涉及用于数据存储和检索的处理技术。从本质上讲,信息学讨论信息是如何管理的,指的是支持流程化工作流的系统和数据生态系统,而不是对其中发现的数据进行分析。

在信息科学中经常谈到的健康信息学,它专门用于保健医疗研究,是介于健康信息技术和健康信息管理之间的一种专业技术,它将信息技术、通信和保健结合起来,以提高病人护理的质量和安全性。在下图中,我们可以看出,它位于人、信息和技术三者交汇的中心。

分析集成了所有这些概念,并依赖于底层数据、支持技术和信息管理过程来实现这一目标。

图2:健康信息管理、健康信息技术和信息学之间的区别

6.人工智能与认知计算

人工智能(AI)是一门“让计算机做需要人类智能才能做的事情的科学”。

人工智能和机器学习的区别在于,人工智能是指利用计算机完成模式的识别与探索这类“智能”工作的广义概念,而机器学习是人工智能的子集,它主要利用计算机从数据中学习的概念。

机器学习可以根据数据进行学习和预测,不是仅仅根据特定的一组规则或指令完成事先规划好的操作,而是利用算法训练来自主识别大量数据中的模式。

03

分析方法论

1.应用统计与数学

图3:统计与其他定量科学之间的关系

数学的思维是演绎性的,就是通过一般定律或原则来推断某一特定实例,而统计推理是归纳性的,就是从具体实例中提炼一般规律。这种差异在分析环境下是很重要的,因为我们将归纳推理和演绎推理应用与分析解决不同的问题。因此,将数学和统计都应用到分析领域是适当的和必要的。

3.自然语言处理

自然语言处理(NaturalLanguageProcess,NLP)是通过计算机来理解和生成“自然语言”的方法。NLP专注人类语言和计算机之间相互交互的研究领域,NLP的目标是理解计算机文本中的自然语言,用于文本分类、提取和总结。例如:在分析过程中,我们获取过去的描述信息(如,文本、文档、推文、演讲),并对它们进行语义分类或情绪理解,处理过的文本将作为分析过程的输入,用于预测建模、决策分析、搜索或回答问题的机器人。

下图描述了一个完整的自然语言处理的普遍过程。

图5:自然语言处理过程示意图

4.文本挖掘与文本分析

文本挖掘处理文本数据本身,文本分析涵盖范围比较广泛,通常包括应用统计分析、机器学习和其他一些高级分析技术,但通常被认为等同于文本挖掘。

5.机器学习

机器学习的核心是使用算法来建立量化分析模型,帮助计算机模型从数据中“学习”。它同以人为中心的处理过程不同,它是由计算机学习和发现隐藏在数据中的模式,而不是由人去直接建立模型。一般而言,机器学习中模型建立和模型管理的概念是指能够持续并重复开展后续的决策流程,而不是高度人工参与的常常基于统计手段的分析。

随着近年来计算能力的进步,机器学习可以用来自动地实现针对大数据的复杂数学计算,而这在以前是不可能实现的。

机器学习常见的方法如下图:

图6:机器学习常用的技术归纳

6.数据挖掘

数据挖掘是指在大型数据集中发现和解释规律模式,以解决业务问题的过程。数据挖掘作为一种分析大型数据库以生成新的或与众不同的信息方法而被广泛使用。

数据挖掘采用传统的统计方法,以及人工智能和机器学习技术,目的是在我们拥有的数据中识别出以前未知的模式并进行预测。

04

分析的目的

分析是一种支持变革的全面战略,它为干预措施或战略转型提供信息。分析的目的是支持数据驱动的、基于事实的探索过程。这一切是为了建立信心,推动我们了解知识,并利用这些知识来理解、解释、预测和优化。

总的来说,分析的主要目的主要有以下四点:

1.分析是关于改善结果的活动

我们通过分析来理解、描述和解决问题,并通过分析做出决策和创造洞察力,以推动变革。我们用我们所知道的来理解我们的世界:描述、发现、预测并给出建议。

2.分析是关于创造价值的活动

结果是分析的一个关键组成部分,我们通过分析要创造一些有价值的东西,否则分析将无任何意义。

3.分析是关于发现的活动

如何我们常用的商业智能是关于认知可知的事物,那么分析可以帮助我们探索未知的事物。分析的力量在与它支持我们对未知探索,我们利用推理和理解能力来挖掘数据中隐藏的模式。

4.分析是关于促成变革的活动

最后,关于变革,很少人喜欢或者主动拥抱变革,但变革是不可避免,完全不变的组织几乎不存在。推动组织变革的动力可以有多种形式,对于组织来说,可能是以危机的形式出现,比如灾难、利润下降、政府强制要求、系统性失败或者公共卫生危机等。

05

总结

在很大程度上,分析是一项有弹性的工作,因为它能够影响我们的工作方式,我们所做的决策以及我们取得的成果。分析常常与大数据、数据科学、信息学、甚至商业智能(BI)等放在一起讨论。

分析是一种组织战略,也是一个过程。对于企业来说分析不是终点,而是获得洞察力以实现变革的过程,分析是将数据转化为切实可行的措施的艺术和科学。

推荐阅读

数据分析的价值是什么?

经常有同学在工作中抱怨,感觉“做的分析没有啥业务价值,报表丢出去了也没回应”。到底怎么做才能让数据分析体现价值,今天结合一个具体场景,详细讲解一下。问题场景…

1,412

数据分析与数据挖掘的区别是什么?

数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析,下面我们来看一下数据分析与…

1,832

小会计做着做着,就跑去做数据分析了,分析做着…

最让我头疼的应该是在会议上面做汇报吧,内心是胆怯的。我觉得认真也是一种天赋的。特别是高压下还能仔细认真不出错。有时候不是不认真,而是工作太多又要求几天内出报表,…

THE END
1.数据挖掘概念(AnalysisServices该步骤包括分析业务需求,定义问题的范围,定义计算模型所使用的度量,以及定义数据挖掘项目的特定目标。这些任务转换为下列问题: 您在查找什么?您要尝试找到什么类型的关系? 您要尝试解决的问题是否反映了业务策略或流程? 您要通过数据挖掘模型进行预测,还是仅仅查找受关注的模式和关联? https://technet.microsoft.com/zh-cn/library/ms174949(en-us,sql.105).aspx
2.数据挖掘的分析方法可以划分为关联分析序列模式分析分类分析和数据挖掘分析方法指南 数据挖掘是从大量数据中提取有用信息的方法,主要分为四种分析方式:关联分析、序列模式分析、分类分析和聚类分析。在本指南中,我们将详细介绍这四种方法的实现过程,并提供相应的代码示例。 数据挖掘流程 首先,我们需要明确数据挖掘的基本流程,如下表所示: https://blog.51cto.com/u_16213297/12863680
3.数据分析与数据挖掘的区别是什么?哪个更适合从业?CDA认证从业者 资深数据分析师 数据分析与数据挖掘是数据科学领域中两个重要的分支,它们在目标、方法和应用场景上存在显著差异。从目标来看,数据分析主要关注于理解和解释已有数据,提供数据的可视化和报告,帮助决策者理解数据的含义和趋势。数据分析侧重于描述性分析、预测性分析、诊断性分析等,通过统计方法对数据https://baijiahao.baidu.com/s?id=1816021912348363605&wfr=spider&for=pc
4.数据挖掘与数据分析数据分析与挖掘在当今数字化的时代,数据成为了我们生活和工作中不可或缺的一部分。数据的价值在于其所蕴含的信息,而数据挖掘和数据分析则成为了解读这些信息、发现规律的重要工具。在探讨数据挖掘和数据分析的概念之前,我们首先需要明确什么是数据。 一.数据的本质 不谈数据,就无以谈大数据挖掘和大数据分析,因此,我们先说一下什么https://blog.csdn.net/shuijing55hi/article/details/140954910
5.什么是数据挖掘,与数据分析的区别。王利头什么是数据挖掘,与数据分析的区别。 什么是数据挖掘,与数据分析的区别? 引言 在当今信息爆炸的时代,数据已成为一种宝贵的资产。企业和组织都认识到了从数据中提取洞察力以做出明智决策的重要价值。数据挖掘和数据分析是两个密切相关的领域,共同致力于从数据中发现有意义的模式和见解。然而,这两个术语经常被混淆,因此https://www.wanglitou.cn/article_47185.html
6.说说什么是数据挖掘数据挖掘涵盖的面非常大,本文仅旨在让读者对数据挖掘有一个感性的认识。关于什么是数据挖掘如果读者还不清楚的话也不要纠结,跟着本系列一起学习一定能有所收获并会最终发现:数据挖掘是一门非常有趣的学问,比单纯的写代码要有意思多了。 CDA数据分析师考试相关入口一览(建议收藏): https://www.cda.cn/view/122248.html
7.在完成数据分析之前,你需要先了解下什么是数据挖掘数据挖掘并不是数字化时代的新发明。这个概念已经存在了一个多世纪,但直到20世纪30年代才引起了更多的公众关注。http://www.shcpda.com/shujuliliang/1763.html
8.什么是数据挖掘?SAS数据挖掘是分析的基石,可帮助您开发可揭示数百万或数十亿条记录中的联系的模型。了解数据挖掘如何影响我们所生活的世界。 揭秘石油和天然气运营中的数据挖掘 探索石油和天然气运营中的数据挖掘以及预测建模和实时分析使用情况。本文探讨了实用的方法、工作流和使用的技术。 https://www.sas.com/zh_cn/insights/analytics/data-mining.html
9.[转载]神奇的数据挖掘JingleGuo2.根据目标分析这些数据,找出输入列、可预测列。 3.选择合适的数据挖掘方法。 4.分析数据挖掘结果,给出建议。 第2、3步可能需要不断地尝试和调试,才能找到合适的分析结果。 怎么样?这个过程不简单吧?以上这个例子已经经过我的简化和提炼,其目标就是让大家能容易理解什么是数据挖掘,实际工作中的数据挖掘难度是很高https://www.cnblogs.com/studynote/articles/4922646.html
10.商战数据挖掘:你需要了解的数据科学与分析思维数据科学的一条重要原则是,数据挖掘的流程可以分解为几个通俗易懂的环节。有些环节涉及信息技术的应用,如数据中模式的自动发现和评估,而有些则主要依赖数据分析师的创意、常识和商业知识。理解数据挖掘的整个过程,有助于组织数据挖掘项目,使它们更接近系统性的分析,而不是凭借运气和个人智慧的冒险行为。 https://www.ituring.com.cn/book/tupubarticle/28952
11.网络资源:数据挖掘实战2(航空公司客户价值分析)数据挖掘实战2-航空公司客户价值分析 本次学习我们仍然遵循“什么是数据挖掘”文章中的研究方法对航空公司消费客户进行聚类。本章学习重点是如何标准化处理数据,使用k-means聚类,明白聚类和分类的区别。 问题背景:假设你是航空公司的,如何针对不同的顾客进行活动的推销,维持经常飞行的顾客,吸引新的顾客。这就需要我们对https://nonlinear.wtu.edu.cn/info/1117/1664.htm
12.大数据分析师岗位职责(工作内容,是做什么的)大数据分析师岗位职责来自前程无忧 1.负责手机零售、分销市场分析工作,对公司全盘业务进行经营分析和诊断,识别出关键问题并提出改进举措,帮助管理层看清业务经营状况和提供决策支持; 2.负责研究移动用户市场,挖掘移动用户需求,有效整合数据产品研发资源,协调产品研发人员对需求进行管理、分析,推进产品研发落地; https://www.jobui.com/gangwei/dashujufenxishi/
13.数据挖掘:实用案例分析完整pdf扫描版[103MB]电子书下载《数据挖掘:实用案例分析》是数据挖掘实战领域颇具特色的一部作品,作者曾为10余个行业上百家大型企业提供数据挖掘服务,本书是其在数据挖掘领域探索近10年的经验总结之作。全书以实践和实用为宗旨,深度与广度兼顾,实践与理论并举。 《数据挖掘:实用案例分析》共12章,分三个部分。第一部分是基础篇(第1~4章),主要https://www.jb51.net/books/629234.html
14.数据挖掘论文因此,数据挖掘技术为档案信息的迅速有效收集,为档案分类以及后续工作的顺利展开,提供了有利条件,为个性化服务的实现提供了保证。(二)档案信息的分类。数据挖掘技术具有的属性分析能力,可以将数据库中的信息进行分门别类,将信息的对象通过不同的特征,规划为不同的分类。将数据挖掘技术运用到档案管理中时,可以简单快速https://www.unjs.com/lunwen/f/20220924130749_5650839.html
15.数据挖掘与分析报告范文7篇.docx数据挖掘与分析报告范文第一篇可以肯定,这东西跟数学和算法有关,而且很难!既然很难,那么就要付出更大的努力去学习了,去图书馆找书,找了好久发现老师经常说的hadoop都被借完了,只好找了本《数据挖掘教程》//《dataminingatutorial-basedprimer》,看起来比较入门,借着平时空闲的时间翻阅了一下,数据挖掘,顾名思义https://www.renrendoc.com/paper/234470348.html
16.数据挖掘与分析的六种经典方法论6、数据挖掘与分析的“七步法” “七步法”分为七个步骤,分别是:业务理解、数据获取、数据探索、模型构建、模型评估、策略输出、应用部署。“七步法”更侧重从乙方的视角来完成用数据挖掘及其应用的闭环。 -END-https://www.niaogebiji.com/article-30475-1.html
17.什么是文本挖掘?IBM什么是文本挖掘? 文本挖掘,也称文本数据挖掘,这个过程旨在将非结构化文本转换为结构化格式,以发现有意义的模式和全新洞察。 通过应用高级分析方法,例如朴素贝叶斯、支持向量机 (SVM) 和其他深度学习算法,企业能够探索和发现非结构化数据中隐藏的关系。 文本是数据库中最常见的数据类型之一。 根据数据库的不同,这些数据https://www.ibm.com/cn-zh/topics/text-mining
18.数据向(三)数据建模数据挖掘数据分析异同最近在看数据分析相关文章的时候,看到了很多相似的关键词,如数据建模、数据挖掘、数据分析等等。它们指的是什么,彼此之间又有怎样的关联或者区别呢。 数据建模 在看数据建模相关概念时,有两种截然不同的说法,我尝试将它们总结如下: - 在大数据领域,指的是将业务抽象为数据表以及表与表之间关系的过程; https://www.jianshu.com/p/19ba60261f17