什么是分析,数据分析决胜未来

------故明君贤将,所以动而胜人,成功处于众者,先知也。先知者,不可取于鬼神,不可象于事,不可验于度,必取于人,知敌之情也。

——《孙子兵法用间篇》

通过上面《孙子兵法》这段话,我们也可以知道古人也在很早就会使利用分析知己知彼,洞察秋毫,决胜千里。

02

什么是分析

一般的定义是为:一种全面的、基于数据驱动的解决问题的策略和方法。分析通过试用逻辑、归纳推理、演绎推理、批判思维、定量阀(结合数据)等手段,来检验和分析现象,从而确定其本质特征。

分析的概念

1.商业智能和报表

关于分析和商业智能的的区别,几乎没有形成过共识。有些人将分析归类为商业智能的一个子集,而另一些人则把它归为完全不同的类别。

大多数商业智能应用的局限性并不在于技术的限制,而在于分析的深度和为行动提供依据的真正洞察力。例如,告诉我们已经发生了什么事情并不能帮助我们决定如何行动以改变未来,这样的结果往往通过离线分析可以得到。分析的真正责任是形成可行动的,可操作的洞察力,从而能够帮助我们了解已经发生的事情(在什么地点发生,为什么会发生,在什么条件下发生)预测出未来可能发生什么,以及我们可以做什么来影响和优化未来的结果。

图1:商业智能(BI)仪表盘

而报表,是用来描述有关现象的信息展示技术,通常位于数据传递管道的尾部,在那里可以直观地访问数据和结果。而另一方面,分析则超越了对数据的描述,它真正理解了这个现象的内在规律,从而来预测、优化和预判未来应采取的适当行动。

2.大数据

大数据(BigData)是一种描述不和谐信息的方法、在将数据转化为洞察能力的过程中,组织必须处理这些难以处理的信息。如果将大数据描述当今信息复杂的概念,那分析就可以帮助我们以主动的方式(预测性和规范性)来分析复杂性,而不是以被动的方式(BI,商业智能)来应对。

3.数据科学

数据科学是一门科学学科,它利用统计学和数学等领域的定量方法及现代技术,开发出用于发现模式、预测结果和为复杂问题找到最佳解决方案的算法。

数据科学和分析的区别在于,数据科学可以帮助甚至支持自动化实现对数据的分析,但是分析是一种以人为中心的策略,它充分利用各种工具,包括那些在数据科学中发现的工具,来理解事物现象之间的真正本质。

4.边缘分析

边缘分析一般指的是分布式分析,分析被内置到一些机器或系统中,通过这种内置的方式,信息的生成与收集已经成为企业“下意识”的自主活动。边缘分析通常与智能设备,物联网(IoT)联系在一起,把分析嵌入到收集设备上完成的,给物联网带来独特的价值机会。

5.信息学

信息学(informatics)是信息技术和信息管理的交叉学科。在实践中,信息学涉及用于数据存储和检索的处理技术。从本质上讲,信息学讨论信息是如何管理的,指的是支持流程化工作流的系统和数据生态系统,而不是对其中发现的数据进行分析。

在信息科学中经常谈到的健康信息学,它专门用于保健医疗研究,是介于健康信息技术和健康信息管理之间的一种专业技术,它将信息技术、通信和保健结合起来,以提高病人护理的质量和安全性。在下图中,我们可以看出,它位于人、信息和技术三者交汇的中心。

分析集成了所有这些概念,并依赖于底层数据、支持技术和信息管理过程来实现这一目标。

图2:健康信息管理、健康信息技术和信息学之间的区别

6.人工智能与认知计算

人工智能(AI)是一门“让计算机做需要人类智能才能做的事情的科学”。

人工智能和机器学习的区别在于,人工智能是指利用计算机完成模式的识别与探索这类“智能”工作的广义概念,而机器学习是人工智能的子集,它主要利用计算机从数据中学习的概念。

机器学习可以根据数据进行学习和预测,不是仅仅根据特定的一组规则或指令完成事先规划好的操作,而是利用算法训练来自主识别大量数据中的模式。

03

分析方法论

1.应用统计与数学

图3:统计与其他定量科学之间的关系

数学的思维是演绎性的,就是通过一般定律或原则来推断某一特定实例,而统计推理是归纳性的,就是从具体实例中提炼一般规律。这种差异在分析环境下是很重要的,因为我们将归纳推理和演绎推理应用与分析解决不同的问题。因此,将数学和统计都应用到分析领域是适当的和必要的。

3.自然语言处理

自然语言处理(NaturalLanguageProcess,NLP)是通过计算机来理解和生成“自然语言”的方法。NLP专注人类语言和计算机之间相互交互的研究领域,NLP的目标是理解计算机文本中的自然语言,用于文本分类、提取和总结。例如:在分析过程中,我们获取过去的描述信息(如,文本、文档、推文、演讲),并对它们进行语义分类或情绪理解,处理过的文本将作为分析过程的输入,用于预测建模、决策分析、搜索或回答问题的机器人。

下图描述了一个完整的自然语言处理的普遍过程。

图5:自然语言处理过程示意图

4.文本挖掘与文本分析

文本挖掘处理文本数据本身,文本分析涵盖范围比较广泛,通常包括应用统计分析、机器学习和其他一些高级分析技术,但通常被认为等同于文本挖掘。

5.机器学习

机器学习的核心是使用算法来建立量化分析模型,帮助计算机模型从数据中“学习”。它同以人为中心的处理过程不同,它是由计算机学习和发现隐藏在数据中的模式,而不是由人去直接建立模型。一般而言,机器学习中模型建立和模型管理的概念是指能够持续并重复开展后续的决策流程,而不是高度人工参与的常常基于统计手段的分析。

随着近年来计算能力的进步,机器学习可以用来自动地实现针对大数据的复杂数学计算,而这在以前是不可能实现的。

机器学习常见的方法如下图:

图6:机器学习常用的技术归纳

6.数据挖掘

数据挖掘是指在大型数据集中发现和解释规律模式,以解决业务问题的过程。数据挖掘作为一种分析大型数据库以生成新的或与众不同的信息方法而被广泛使用。

数据挖掘采用传统的统计方法,以及人工智能和机器学习技术,目的是在我们拥有的数据中识别出以前未知的模式并进行预测。

04

分析的目的

分析是一种支持变革的全面战略,它为干预措施或战略转型提供信息。分析的目的是支持数据驱动的、基于事实的探索过程。这一切是为了建立信心,推动我们了解知识,并利用这些知识来理解、解释、预测和优化。

总的来说,分析的主要目的主要有以下四点:

1.分析是关于改善结果的活动

我们通过分析来理解、描述和解决问题,并通过分析做出决策和创造洞察力,以推动变革。我们用我们所知道的来理解我们的世界:描述、发现、预测并给出建议。

2.分析是关于创造价值的活动

结果是分析的一个关键组成部分,我们通过分析要创造一些有价值的东西,否则分析将无任何意义。

3.分析是关于发现的活动

如何我们常用的商业智能是关于认知可知的事物,那么分析可以帮助我们探索未知的事物。分析的力量在与它支持我们对未知探索,我们利用推理和理解能力来挖掘数据中隐藏的模式。

4.分析是关于促成变革的活动

最后,关于变革,很少人喜欢或者主动拥抱变革,但变革是不可避免,完全不变的组织几乎不存在。推动组织变革的动力可以有多种形式,对于组织来说,可能是以危机的形式出现,比如灾难、利润下降、政府强制要求、系统性失败或者公共卫生危机等。

05

总结

在很大程度上,分析是一项有弹性的工作,因为它能够影响我们的工作方式,我们所做的决策以及我们取得的成果。分析常常与大数据、数据科学、信息学、甚至商业智能(BI)等放在一起讨论。

分析是一种组织战略,也是一个过程。对于企业来说分析不是终点,而是获得洞察力以实现变革的过程,分析是将数据转化为切实可行的措施的艺术和科学。

推荐阅读

数据分析的价值是什么?

经常有同学在工作中抱怨,感觉“做的分析没有啥业务价值,报表丢出去了也没回应”。到底怎么做才能让数据分析体现价值,今天结合一个具体场景,详细讲解一下。问题场景…

1,412

数据分析与数据挖掘的区别是什么?

数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析,下面我们来看一下数据分析与…

1,832

小会计做着做着,就跑去做数据分析了,分析做着…

最让我头疼的应该是在会议上面做汇报吧,内心是胆怯的。我觉得认真也是一种天赋的。特别是高压下还能仔细认真不出错。有时候不是不认真,而是工作太多又要求几天内出报表,…

THE END
1.数据挖掘与预测分析(第2版)中文pdf扫描版[119MB]电子书下载● 超过750个章节练习,使读者能够自己测试对所学知识的掌握程度,并着手开展数据挖掘与预测分析工作。 《数据挖掘与预测分析(第2版)》将对数据分析人员、数据库分析人员以及CIO具有极大的吸引力,通过学习将使他们知道何种类型的分析将会增加其投资回报。 目录 https://www.jb51.net/books/665227.html
2.数据分析与挖掘11篇(全文)Web数据挖掘过程是一个完整的知识发现的过程,但与传统数据和数据仓库相比,Web上的信息是非结构化或半结构化的、动态的,并且是容易造成混淆的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理。因此可以将Web数据挖掘分为确定业务对象、数据准备、数据挖掘、结果分析等四个步骤。 https://www.99xueshu.com/w/ikeyp687ycyz.html
3.数据挖掘论文(优选10篇)分在商业数据处理技术中,整合商业数据提取和转化机制,并且建构更加系统化 的分析模型和处理机制,从根本上优化商业决策。借助数据挖掘技术能建构完整 的数据仓库,满足集成性、时变性以及非易失性等需求,整和数据 处理和冗余参 数,确保技术框架结构的完整性。 http://www.360doc.com/content/23/1127/11/82785916_1105448548.shtml
4.数据分析与数据挖掘课程的主要内容从两条主线开展,一条围绕数据科学的体系:数据收集、数据预处理、数据存储、数据分析、数据挖掘、数据可视化、数据产品等;一条围绕着人工智能的诸多专题方向,简要包括:人工智能的宏观概念,数据分析基础,数据挖掘,机器学习,深度学习,神经网络,统计分析,前沿跟踪等。 https://i.study.uestc.edu.cn/DATAM/menu/teaching-programme
5.全栈金融工程师算法技术解构训练数据是否有标记信息,分为监督学习(训练时有特征标签,告诉你对错,如分类和回归),无监督学习(训练时无特征标签,如聚类)。 机器学习vs数据挖掘:数据挖掘可以认为是数据库技术与机器学习的交叉,它利用数据库技术来管理海量的数据,并利用机器学习和统计分析来进行数据分析。其关系如下图: https://www.jianshu.com/p/6c3888c2e846
6.安徽大学《大数据分析与数据挖掘》2023《大数据分析与数据挖掘》2023-2024学年第一学期期末试卷题号一二三四总分得分批阅人一、单选题(本大题共15个小题,每小题2分,共30分.在每小题给出的四个选项中,只有一项是符合题目要求的.)1、在大数据的特征工程中,除了手动选择和提取特征,还可以使用自动特征工程的方法。假设我们有一个复杂的数据集,以下哪种https://www.renrendoc.com/paper/368746521.html
7.数据库培训课程数据分析师培训 央财统计学院教授,中国人民大学统计学专业博士,中国统计教育学会高等教育分会副秘书长。 中央财经大学统计学院教授,电话调查与数据挖掘实验室主任,研究领域有数据挖掘、统计学。 主讲数据挖掘技术及应用,著作有《北京市居民民生感知问题研究报告》、《数据挖掘前沿问题》等。 https://www.qinxue365.com/member/sjfx-archives-76.html
8.数据挖掘概念与技术.pdf数据挖掘技术和用户界面问题:这反映所挖掘的知识类型、在多粒度上挖掘知识的能力、领域知识的使用、特定的挖掘和知识显示。在数据库中挖掘不同类型的知识:由于不同的用户可能对不同类型的知识感兴趣,数据挖掘系统应当覆盖广谱的数据分析和知识发现任务,包括数据特征、区分、关联、聚类、趋势、偏差https://m.book118.com/html/2024/0715/5212133331011243.shtm
9.1什么是数据挖掘?(a)它是一种广告宣传吗?(d)它是一种从数据库因此,数据挖掘可以被看作是信息技术的自然演变的结果。 数据挖掘不是一种从数据库、统计学和机器学习发展的技术的简单转换,而是来自多学科,例如数据库技术、统计学,机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成。 数据库技术开始于数据收集和数据库创建https://easylearn.baidu.com/edu-page/tiangong/bgkdetail?id=a181682b5901020207409c4e&fr=search
10.数据挖掘与数据分析.pdf微博社交网络数据挖掘与用户权重分析.pdf 浏览:1 微博社交网络数据挖掘与用户权重分析.pdf 基于教育数据挖掘的高校学生学业表现建模研究.pdf 浏览:0 基于教育数据挖掘的高校学生学业表现建模研究.pdf 基于数据挖掘的金融数据分析.pdf 浏览:0 基于数据挖掘的金融数据分析.pdf https://download.csdn.net/download/qq_43934844/87339345
11.数据挖掘工作总结(通用8篇)数据挖掘就业的途径从我看来有以下几种,(注意:本文所说的数据挖掘不包括数据仓库或数据库管理员的角色)。 A:做科研(在高校、科研单位以及大型企业,主要研究算法、应用等)B:做程序开发设计(在企业做数据挖掘及其相关程序算法的实现等)C:数据分析师(在存在海量数据的企事业单位做咨询、分析等)2.数据挖掘从业人员切入https://www.360wenmi.com/f/file17l2qeo4.html
12.数据挖掘论文数据挖掘技术具有的属性分析能力,可以将数据库中的信息进行分门别类,将信息的对象通过不同的特征,规划为不同的分类。将数据挖掘技术运用到档案管理中时,可以简单快速地找到想要的档案数据,能根据数据中使用者的相关数据,找寻使用者在数据库中的信息,使用数据模型的分析能力,分析出使用者的相关特征。利如,在使用者https://www.unjs.com/lunwen/f/20220924130749_5650839.html
13.终于有人把数据挖掘讲明白了快速增长的海量数据被收集、存放在大型数据库中,没有强有力的工具,以人类现有的能力很难理解它们。因此,有人说大数据是数据“坟墓”。当采用数据挖掘工具进行数据分析时,可以发现隐藏在大数据之中重要的数据内容、模式,能对商务决策、知识库、科学和医学研究等做出巨大贡献。为解决数据和信息之间的鸿沟,我们应系统地学https://www.51cto.com/article/698009.html
14.数据分析师就业前景BOSS直聘2024年数据分析师招聘工资2.熟悉主流数据库sql查询,能够使用Python,R语言进行数据挖掘分析 3.熟悉并掌握统计学习相关模型以及算法,如:决策树,随机森林,逻辑回归等 4.有很好的逻辑思维能力,以及一定的产品sense,数学,统计学以及计算机相关专业优先。 职责: 1.根据不同部门不同的需求,制作相关的数据报告,给出相应的数据分析,提出建议和策略。https://www.zhipin.com/job_detail/33e05079b046da7f03x73d-_GQ~~.html
15.数据统计分析和数据挖掘有何区别?大数据CIO时代网摘要:从实践应用角度来看,这个问题并没有很大的意义,正如“不管黑猫白猫,抓住老鼠才是好猫”一样,在企业的商业实战中,数据分析分析问题、解决问题时,首先考虑的是思路,其次才会对与思路匹配的分析挖掘技术进行筛选,而不是先考虑到底是用统计技术还是用数据挖掘技术来解决这个问题。 https://www.ciotimes.com/bigdata/158710.html
16.数据分析与数据挖掘(第2版)(中文版)喻梅,于健编理科教材本书主要介绍数据分析与数据挖掘的基本概念和方法,包括数据的基本属性和概念、数据预处理、数据仓库与联机分析处理、回归分析、频繁模式挖掘、分类、聚类、离群点检测。对书中每一部分先介绍基本概念、理论基础,再给出应用实例,便于读者更好地理解和应用算法,每章的最后给出习题。书中算法由浅入深、由原理到应用,有https://item.winxuan.com/1202147137