什么是分析,数据分析决胜未来

------故明君贤将,所以动而胜人,成功处于众者,先知也。先知者,不可取于鬼神,不可象于事,不可验于度,必取于人,知敌之情也。

——《孙子兵法用间篇》

通过上面《孙子兵法》这段话,我们也可以知道古人也在很早就会使利用分析知己知彼,洞察秋毫,决胜千里。

02

什么是分析

一般的定义是为:一种全面的、基于数据驱动的解决问题的策略和方法。分析通过试用逻辑、归纳推理、演绎推理、批判思维、定量阀(结合数据)等手段,来检验和分析现象,从而确定其本质特征。

分析的概念

1.商业智能和报表

关于分析和商业智能的的区别,几乎没有形成过共识。有些人将分析归类为商业智能的一个子集,而另一些人则把它归为完全不同的类别。

大多数商业智能应用的局限性并不在于技术的限制,而在于分析的深度和为行动提供依据的真正洞察力。例如,告诉我们已经发生了什么事情并不能帮助我们决定如何行动以改变未来,这样的结果往往通过离线分析可以得到。分析的真正责任是形成可行动的,可操作的洞察力,从而能够帮助我们了解已经发生的事情(在什么地点发生,为什么会发生,在什么条件下发生)预测出未来可能发生什么,以及我们可以做什么来影响和优化未来的结果。

图1:商业智能(BI)仪表盘

而报表,是用来描述有关现象的信息展示技术,通常位于数据传递管道的尾部,在那里可以直观地访问数据和结果。而另一方面,分析则超越了对数据的描述,它真正理解了这个现象的内在规律,从而来预测、优化和预判未来应采取的适当行动。

2.大数据

大数据(BigData)是一种描述不和谐信息的方法、在将数据转化为洞察能力的过程中,组织必须处理这些难以处理的信息。如果将大数据描述当今信息复杂的概念,那分析就可以帮助我们以主动的方式(预测性和规范性)来分析复杂性,而不是以被动的方式(BI,商业智能)来应对。

3.数据科学

数据科学是一门科学学科,它利用统计学和数学等领域的定量方法及现代技术,开发出用于发现模式、预测结果和为复杂问题找到最佳解决方案的算法。

数据科学和分析的区别在于,数据科学可以帮助甚至支持自动化实现对数据的分析,但是分析是一种以人为中心的策略,它充分利用各种工具,包括那些在数据科学中发现的工具,来理解事物现象之间的真正本质。

4.边缘分析

边缘分析一般指的是分布式分析,分析被内置到一些机器或系统中,通过这种内置的方式,信息的生成与收集已经成为企业“下意识”的自主活动。边缘分析通常与智能设备,物联网(IoT)联系在一起,把分析嵌入到收集设备上完成的,给物联网带来独特的价值机会。

5.信息学

信息学(informatics)是信息技术和信息管理的交叉学科。在实践中,信息学涉及用于数据存储和检索的处理技术。从本质上讲,信息学讨论信息是如何管理的,指的是支持流程化工作流的系统和数据生态系统,而不是对其中发现的数据进行分析。

在信息科学中经常谈到的健康信息学,它专门用于保健医疗研究,是介于健康信息技术和健康信息管理之间的一种专业技术,它将信息技术、通信和保健结合起来,以提高病人护理的质量和安全性。在下图中,我们可以看出,它位于人、信息和技术三者交汇的中心。

分析集成了所有这些概念,并依赖于底层数据、支持技术和信息管理过程来实现这一目标。

图2:健康信息管理、健康信息技术和信息学之间的区别

6.人工智能与认知计算

人工智能(AI)是一门“让计算机做需要人类智能才能做的事情的科学”。

人工智能和机器学习的区别在于,人工智能是指利用计算机完成模式的识别与探索这类“智能”工作的广义概念,而机器学习是人工智能的子集,它主要利用计算机从数据中学习的概念。

机器学习可以根据数据进行学习和预测,不是仅仅根据特定的一组规则或指令完成事先规划好的操作,而是利用算法训练来自主识别大量数据中的模式。

03

分析方法论

1.应用统计与数学

图3:统计与其他定量科学之间的关系

数学的思维是演绎性的,就是通过一般定律或原则来推断某一特定实例,而统计推理是归纳性的,就是从具体实例中提炼一般规律。这种差异在分析环境下是很重要的,因为我们将归纳推理和演绎推理应用与分析解决不同的问题。因此,将数学和统计都应用到分析领域是适当的和必要的。

3.自然语言处理

自然语言处理(NaturalLanguageProcess,NLP)是通过计算机来理解和生成“自然语言”的方法。NLP专注人类语言和计算机之间相互交互的研究领域,NLP的目标是理解计算机文本中的自然语言,用于文本分类、提取和总结。例如:在分析过程中,我们获取过去的描述信息(如,文本、文档、推文、演讲),并对它们进行语义分类或情绪理解,处理过的文本将作为分析过程的输入,用于预测建模、决策分析、搜索或回答问题的机器人。

下图描述了一个完整的自然语言处理的普遍过程。

图5:自然语言处理过程示意图

4.文本挖掘与文本分析

文本挖掘处理文本数据本身,文本分析涵盖范围比较广泛,通常包括应用统计分析、机器学习和其他一些高级分析技术,但通常被认为等同于文本挖掘。

5.机器学习

机器学习的核心是使用算法来建立量化分析模型,帮助计算机模型从数据中“学习”。它同以人为中心的处理过程不同,它是由计算机学习和发现隐藏在数据中的模式,而不是由人去直接建立模型。一般而言,机器学习中模型建立和模型管理的概念是指能够持续并重复开展后续的决策流程,而不是高度人工参与的常常基于统计手段的分析。

随着近年来计算能力的进步,机器学习可以用来自动地实现针对大数据的复杂数学计算,而这在以前是不可能实现的。

机器学习常见的方法如下图:

图6:机器学习常用的技术归纳

6.数据挖掘

数据挖掘是指在大型数据集中发现和解释规律模式,以解决业务问题的过程。数据挖掘作为一种分析大型数据库以生成新的或与众不同的信息方法而被广泛使用。

数据挖掘采用传统的统计方法,以及人工智能和机器学习技术,目的是在我们拥有的数据中识别出以前未知的模式并进行预测。

04

分析的目的

分析是一种支持变革的全面战略,它为干预措施或战略转型提供信息。分析的目的是支持数据驱动的、基于事实的探索过程。这一切是为了建立信心,推动我们了解知识,并利用这些知识来理解、解释、预测和优化。

总的来说,分析的主要目的主要有以下四点:

1.分析是关于改善结果的活动

我们通过分析来理解、描述和解决问题,并通过分析做出决策和创造洞察力,以推动变革。我们用我们所知道的来理解我们的世界:描述、发现、预测并给出建议。

2.分析是关于创造价值的活动

结果是分析的一个关键组成部分,我们通过分析要创造一些有价值的东西,否则分析将无任何意义。

3.分析是关于发现的活动

如何我们常用的商业智能是关于认知可知的事物,那么分析可以帮助我们探索未知的事物。分析的力量在与它支持我们对未知探索,我们利用推理和理解能力来挖掘数据中隐藏的模式。

4.分析是关于促成变革的活动

最后,关于变革,很少人喜欢或者主动拥抱变革,但变革是不可避免,完全不变的组织几乎不存在。推动组织变革的动力可以有多种形式,对于组织来说,可能是以危机的形式出现,比如灾难、利润下降、政府强制要求、系统性失败或者公共卫生危机等。

05

总结

在很大程度上,分析是一项有弹性的工作,因为它能够影响我们的工作方式,我们所做的决策以及我们取得的成果。分析常常与大数据、数据科学、信息学、甚至商业智能(BI)等放在一起讨论。

分析是一种组织战略,也是一个过程。对于企业来说分析不是终点,而是获得洞察力以实现变革的过程,分析是将数据转化为切实可行的措施的艺术和科学。

推荐阅读

数据分析的价值是什么?

经常有同学在工作中抱怨,感觉“做的分析没有啥业务价值,报表丢出去了也没回应”。到底怎么做才能让数据分析体现价值,今天结合一个具体场景,详细讲解一下。问题场景…

1,412

数据分析与数据挖掘的区别是什么?

数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析,下面我们来看一下数据分析与…

1,832

小会计做着做着,就跑去做数据分析了,分析做着…

最让我头疼的应该是在会议上面做汇报吧,内心是胆怯的。我觉得认真也是一种天赋的。特别是高压下还能仔细认真不出错。有时候不是不认真,而是工作太多又要求几天内出报表,…

THE END
1.学堂在线数据挖掘网课答案mob64ca12d70c79的技术博客数据分析:通过不同的算法来分析数据并提取有价值的模式。 结果评估:评估模型的效果,选择最佳模型。 结果呈现:通过可视化工具展示分析结果。 下面是数据挖掘流程的示意图: 数据采集数据预处理数据分析结果评估结果呈现 实际代码示例 在这个示例中,我们将使用Python进行简单的数据分析。我们假设有一个包含客户消费数据的CSVhttps://blog.51cto.com/u_16213327/12894449
2.大数据在线分析近线分析与离线分析近线分析介于在线分析和离线分析之间,它允许数据处理和分析在短时间内完成,但不一定要求实时处理。近线分析的目标是在可接受的延迟范围内提供分析结果。 特点 准实时性:数据处理延迟通常在几分钟到几小时内,具体取决于应用场景。 灵活性:相比在线分析,近线分析可以处理更复杂的数据处理任务。 https://blog.csdn.net/weixin_44231544/article/details/142467700
3.在线分析并且,有些目标物不稳定,不便于长期贮存,离线检测中从采样到送检的这段时间有可能发生变化,导致检测结果与实际情况的差异,这时候在线检测就体现出它的优势。离线分析通常只是用于产品(包括中间产品)质量的检验,而在线分析可以进行全程质量控制,保证整个生产过程最优化。https://www.360doc.cn/article/1081018318_1081018318.html
4.离线分析离线分析 就是生产流取样并将样品送到便于分析器分析的某一分析地点进行的分析 离线分析 analysis off-line 从生产流取样并将样品送到便于分析器分析的某一分析地点,此处并不与生产装置直接相连,也可以说分析器位于远处的实验室。https://baike.baidu.com/item/%E7%A6%BB%E7%BA%BF%E5%88%86%E6%9E%90/12730463
5.OLAP在线分析引擎介绍及应用嘲腾讯云开发者社区OLAP(Online Analytical Processing,在线分析处理)引擎是一种专为复杂数据分析和报告设计的系统,它使用户能够从多个角度快速地对大量数据进行交互式分析。 核心原理:1. 多维数据模型:OLAP的核心是一个多维数据模型,通常体现为数据立方体(Data Cube)。数据立方体由维度(Dimensions)、层次(Levels)和度量(Measures)组成。维度https://cloud.tencent.com/developer/article/2424720
6.总有机总有机碳toc分析仪在线离线有什么特点?怎么选用?大家在使用总有机总有机碳toc分析仪的时候,不了解什么是在线监测,什么是离线检测?应该怎么选用?下面有我为大家介绍一下:如果是实验室使用,选择离线检测,如果是测流动的水,比如连接管道,选择在线检测。总有https://www.chem17.com/tech_news/detail/3008773.html
7.用手机导航是个坑细说麻烦在哪里?GPSGPS新闻离线版软件优缺点分析 那么看到了在线电子地图导航的一些缺陷之后,我们最快能够相当的解决办法就是安装一款离线版导航软件。其实行货手机中偶尔会附赠一些离线版的导航软件供用户使用,但是不一定好用,所以很多用户更加倾向于选择比较熟悉的凯立德、道道通、高德等导航软件。 https://gps.zol.com.cn/239/2399981_all.html
8.啥是离线数据处理什么是离线数据处理离线数据处理是指在数据存储和处理过程中,将数据从其原始来源中移除,并在离线环境中进行处理和分析的过程。这种处理方式通常用于对历史数据进行分析,以便找出趋势、模式和其他有价值的信息。 离线数据处理的主要优势包括: 更大的数据处理能力:离线处理可以使用更大的计算资源和存储空间,以处理大量的数据。 https://cloud.tencent.cn/developer/information/%E5%95%A5%E6%98%AF%E7%A6%BB%E7%BA%BF%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86-video
9.什么是离线大数据分析帆软数字化转型知识库什么是离线大数据分析 离线大数据分析是指在不依赖实时数据流的情况下,对收集到的大规模数据进行批处理分析的过程,高效、灵活、经济是其显著特点。高效是指能够在较短时间内处理大规模数据,灵活则是指可以根据需求进行多种分析和处理,经济主要体现在可以利用相对低廉的硬件资源进行大规模数据处理。高效是离线大数据分析的https://www.fanruan.com/blog/article/46659/
10.全面解析十七种数据分析方法,具象数据分析思维!在当今数据驱动的商业环境中,数据分析已经成为了企业获取竞争优势的关键工具。无论是为了优化运营效率,提高客户满意度,还是推动产品创新,企业都需要通过分析大量数据来做出明智的决策。数据分析方法多种多样,每种方法都有其独特的定义和用途,适用于不同的业务场https://mp.weixin.qq.com/s?__biz=MzU3OTg5Njk2NA==&mid=2247496232&idx=1&sn=ed89f750c935267d4a22d9e57fe28c7c&chksm=fd5da1c3ca2a28d581a1063b691e029137d86bbb2a7640e3a50bbd3dc6553a46ebbfcb51cda1&scene=27
11.在线气相色谱仪软件中的在线和脱机模式的功能比较在线气相色谱仪是一种常用的化学分析仪器,其软件系统在实验过程中起到至关重要的作用。其中,在线模式和脱机模式是两种常见的工作模式。http://www.jinghe17.com/huaijun-News-1510187/
12.一文入门Go的性能分析go tool pprof 可以对采集到的 CPU、内存等信息进行分析,go tool trace 则是对采集的 trace 信息进行分析。 2.1 在线分析 go tool pprof 既可以对采集到的离线数据进行分析,也可以是结合上面的 pprof Http 接口,直接在线上进行分析,比如分析程序的内存使用情况: https://xie.infoq.cn/article/58f7ed6c58b97ed01d859f2e3
13.笔记——Dragoon:ahybridandefficientbigtrajectory在本文中,我们提出了一个混合和高效的框架,称为dragoon,基于Spark,以支持离线和在线大轨迹管理和分析。该框架具有一个可变的弹性分布式数据集模型,包括RDD共享、RDD 更新和RDD镜像,它支持历史和流轨迹的混合存储。它还包含一个实时分配器,能够有效地分发轨迹数据,并支持离线和在线分析。因此,Dragoon提供了一个混合分析https://www.jianshu.com/p/e2a4474d8b98
14.NanoscopeAnalysis官方版(AFM数据离线分析软件)下载v1.5.0.0在实验室做研究的各位用户一定需要一款软件帮助分析各种数据,尤其是一些做秘密研究的更是不能够在有网络的情况下使用,这款nanoscope analysis就是非常不错的AFM离线数据分析软件,如果是一位实验室工作人员,那么一定知道AFM是什么,如果你是不小心点进来的那么小编告诉你,这就是原子力显微镜,是众多现代实验室必备的一个东https://www.32r.com/soft/12163.html
15.关于DataLake的概念架构与应用嘲介绍极客公园支持多种分析引擎 可以通过多种引擎对湖上数据进行分析计算,例如离线分析、实时分析、交互式分析、机器学习等多种数据分析场景。 计算可扩展性 计算引擎需要具备可扩展的能力,具备随数据量不断变大、业务不断增长的弹性数据分析的能力。 存储与计算分离(云上) https://www.geekpark.net/news/303245
16.JProfiler帮助文档分析一个应用程序,JProfiler有两种完全不同的方式:默认情况下,你在连接JProfiler GUI的情况下进行分析。 JProfiler GUI为你提供了开始和停止记录按钮,并显示所有记录的分析数据。 在某些情况下,你想在没有JProfiler GUI的情况下进行分析,并在以后分析结果。对于这种情况,JProfiler提供离线分析。 离线分析允许你使用https://www.ej-technologies.com/resources/jprofiler/help_zh_CN/doc/main/offline.html
17.大显身手!固态拉曼分析仪轻松应对各类分析应用(文末有礼)在过程分析技术中有四种主要的分析类型:在线,线上,旁线和离线。新型过程分析技术(PAT)对准确性和可靠性有更高的要求。对 PAT 而言,最 重要的也许就是不受位置和接口限制,使过程分析具有充分的适应性。 本文介绍了在线,线上,旁线和离线四种采样方式的过程分析类型中,固态拉曼系统如何提供快速、连续和准确的成分分https://www.yiqi.com/news/detail_15588.html