什么是分析,数据分析决胜未来

------故明君贤将,所以动而胜人,成功处于众者,先知也。先知者,不可取于鬼神,不可象于事,不可验于度,必取于人,知敌之情也。

——《孙子兵法用间篇》

通过上面《孙子兵法》这段话,我们也可以知道古人也在很早就会使利用分析知己知彼,洞察秋毫,决胜千里。

02

什么是分析

一般的定义是为:一种全面的、基于数据驱动的解决问题的策略和方法。分析通过试用逻辑、归纳推理、演绎推理、批判思维、定量阀(结合数据)等手段,来检验和分析现象,从而确定其本质特征。

分析的概念

1.商业智能和报表

关于分析和商业智能的的区别,几乎没有形成过共识。有些人将分析归类为商业智能的一个子集,而另一些人则把它归为完全不同的类别。

大多数商业智能应用的局限性并不在于技术的限制,而在于分析的深度和为行动提供依据的真正洞察力。例如,告诉我们已经发生了什么事情并不能帮助我们决定如何行动以改变未来,这样的结果往往通过离线分析可以得到。分析的真正责任是形成可行动的,可操作的洞察力,从而能够帮助我们了解已经发生的事情(在什么地点发生,为什么会发生,在什么条件下发生)预测出未来可能发生什么,以及我们可以做什么来影响和优化未来的结果。

图1:商业智能(BI)仪表盘

而报表,是用来描述有关现象的信息展示技术,通常位于数据传递管道的尾部,在那里可以直观地访问数据和结果。而另一方面,分析则超越了对数据的描述,它真正理解了这个现象的内在规律,从而来预测、优化和预判未来应采取的适当行动。

2.大数据

大数据(BigData)是一种描述不和谐信息的方法、在将数据转化为洞察能力的过程中,组织必须处理这些难以处理的信息。如果将大数据描述当今信息复杂的概念,那分析就可以帮助我们以主动的方式(预测性和规范性)来分析复杂性,而不是以被动的方式(BI,商业智能)来应对。

3.数据科学

数据科学是一门科学学科,它利用统计学和数学等领域的定量方法及现代技术,开发出用于发现模式、预测结果和为复杂问题找到最佳解决方案的算法。

数据科学和分析的区别在于,数据科学可以帮助甚至支持自动化实现对数据的分析,但是分析是一种以人为中心的策略,它充分利用各种工具,包括那些在数据科学中发现的工具,来理解事物现象之间的真正本质。

4.边缘分析

边缘分析一般指的是分布式分析,分析被内置到一些机器或系统中,通过这种内置的方式,信息的生成与收集已经成为企业“下意识”的自主活动。边缘分析通常与智能设备,物联网(IoT)联系在一起,把分析嵌入到收集设备上完成的,给物联网带来独特的价值机会。

5.信息学

信息学(informatics)是信息技术和信息管理的交叉学科。在实践中,信息学涉及用于数据存储和检索的处理技术。从本质上讲,信息学讨论信息是如何管理的,指的是支持流程化工作流的系统和数据生态系统,而不是对其中发现的数据进行分析。

在信息科学中经常谈到的健康信息学,它专门用于保健医疗研究,是介于健康信息技术和健康信息管理之间的一种专业技术,它将信息技术、通信和保健结合起来,以提高病人护理的质量和安全性。在下图中,我们可以看出,它位于人、信息和技术三者交汇的中心。

分析集成了所有这些概念,并依赖于底层数据、支持技术和信息管理过程来实现这一目标。

图2:健康信息管理、健康信息技术和信息学之间的区别

6.人工智能与认知计算

人工智能(AI)是一门“让计算机做需要人类智能才能做的事情的科学”。

人工智能和机器学习的区别在于,人工智能是指利用计算机完成模式的识别与探索这类“智能”工作的广义概念,而机器学习是人工智能的子集,它主要利用计算机从数据中学习的概念。

机器学习可以根据数据进行学习和预测,不是仅仅根据特定的一组规则或指令完成事先规划好的操作,而是利用算法训练来自主识别大量数据中的模式。

03

分析方法论

1.应用统计与数学

图3:统计与其他定量科学之间的关系

数学的思维是演绎性的,就是通过一般定律或原则来推断某一特定实例,而统计推理是归纳性的,就是从具体实例中提炼一般规律。这种差异在分析环境下是很重要的,因为我们将归纳推理和演绎推理应用与分析解决不同的问题。因此,将数学和统计都应用到分析领域是适当的和必要的。

3.自然语言处理

自然语言处理(NaturalLanguageProcess,NLP)是通过计算机来理解和生成“自然语言”的方法。NLP专注人类语言和计算机之间相互交互的研究领域,NLP的目标是理解计算机文本中的自然语言,用于文本分类、提取和总结。例如:在分析过程中,我们获取过去的描述信息(如,文本、文档、推文、演讲),并对它们进行语义分类或情绪理解,处理过的文本将作为分析过程的输入,用于预测建模、决策分析、搜索或回答问题的机器人。

下图描述了一个完整的自然语言处理的普遍过程。

图5:自然语言处理过程示意图

4.文本挖掘与文本分析

文本挖掘处理文本数据本身,文本分析涵盖范围比较广泛,通常包括应用统计分析、机器学习和其他一些高级分析技术,但通常被认为等同于文本挖掘。

5.机器学习

机器学习的核心是使用算法来建立量化分析模型,帮助计算机模型从数据中“学习”。它同以人为中心的处理过程不同,它是由计算机学习和发现隐藏在数据中的模式,而不是由人去直接建立模型。一般而言,机器学习中模型建立和模型管理的概念是指能够持续并重复开展后续的决策流程,而不是高度人工参与的常常基于统计手段的分析。

随着近年来计算能力的进步,机器学习可以用来自动地实现针对大数据的复杂数学计算,而这在以前是不可能实现的。

机器学习常见的方法如下图:

图6:机器学习常用的技术归纳

6.数据挖掘

数据挖掘是指在大型数据集中发现和解释规律模式,以解决业务问题的过程。数据挖掘作为一种分析大型数据库以生成新的或与众不同的信息方法而被广泛使用。

数据挖掘采用传统的统计方法,以及人工智能和机器学习技术,目的是在我们拥有的数据中识别出以前未知的模式并进行预测。

04

分析的目的

分析是一种支持变革的全面战略,它为干预措施或战略转型提供信息。分析的目的是支持数据驱动的、基于事实的探索过程。这一切是为了建立信心,推动我们了解知识,并利用这些知识来理解、解释、预测和优化。

总的来说,分析的主要目的主要有以下四点:

1.分析是关于改善结果的活动

我们通过分析来理解、描述和解决问题,并通过分析做出决策和创造洞察力,以推动变革。我们用我们所知道的来理解我们的世界:描述、发现、预测并给出建议。

2.分析是关于创造价值的活动

结果是分析的一个关键组成部分,我们通过分析要创造一些有价值的东西,否则分析将无任何意义。

3.分析是关于发现的活动

如何我们常用的商业智能是关于认知可知的事物,那么分析可以帮助我们探索未知的事物。分析的力量在与它支持我们对未知探索,我们利用推理和理解能力来挖掘数据中隐藏的模式。

4.分析是关于促成变革的活动

最后,关于变革,很少人喜欢或者主动拥抱变革,但变革是不可避免,完全不变的组织几乎不存在。推动组织变革的动力可以有多种形式,对于组织来说,可能是以危机的形式出现,比如灾难、利润下降、政府强制要求、系统性失败或者公共卫生危机等。

05

总结

在很大程度上,分析是一项有弹性的工作,因为它能够影响我们的工作方式,我们所做的决策以及我们取得的成果。分析常常与大数据、数据科学、信息学、甚至商业智能(BI)等放在一起讨论。

分析是一种组织战略,也是一个过程。对于企业来说分析不是终点,而是获得洞察力以实现变革的过程,分析是将数据转化为切实可行的措施的艺术和科学。

推荐阅读

数据分析的价值是什么?

经常有同学在工作中抱怨,感觉“做的分析没有啥业务价值,报表丢出去了也没回应”。到底怎么做才能让数据分析体现价值,今天结合一个具体场景,详细讲解一下。问题场景…

1,412

数据分析与数据挖掘的区别是什么?

数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分析就包括狭义的数据分析和数据挖掘,我们常说的数据分析就是指狭义的数据分析,下面我们来看一下数据分析与…

1,832

小会计做着做着,就跑去做数据分析了,分析做着…

最让我头疼的应该是在会议上面做汇报吧,内心是胆怯的。我觉得认真也是一种天赋的。特别是高压下还能仔细认真不出错。有时候不是不认真,而是工作太多又要求几天内出报表,…

THE END
1.数据挖掘在物联网行业的应用与挑战数据挖掘在物联网行业中的应用主要包括以下几个方面: 1.2.1 设备故障预测:通过对设备数据进行分析,可以预测设备故障,从而提前进行维护,降低维护成本。 1.2.2 设备优化:通过对设备数据进行分析,可以找出设备运行不佳的原因,从而进行优化,提高设备运行效率。 https://blog.csdn.net/universsky2015/article/details/137336871
2.前沿技术面试题51CTO博客**物联网发展前景:**物联网技术尽管在发展中存在一定的问题,但这种技术本身的优势是非常明显的。通过在各个行业中应用物联网技术对于进一步获取及时有效的信息,提高企业竞争力,降低人力成本,获取更大的经济效益具有重要作用。当前物联网技术的应用价值主要体现在在通信行业、智慧城市建设以及智能工业制造等方面。 https://blog.51cto.com/u_12877374/4913946
3.物联网原理及应用期末复习免挂指南定义:物联网是在互联网、移动通信网等通信网络的基础上,针对不同应用领域的需求,利用具有感知、通信与计算能力的智能物体自动获取物理世界的各种信息,将所有能够独立寻址的物理对象互联起来,实现全面感知、可靠传输、智能处理,构建人与物、物与物互联的智能信息服务系统。 https://www.jianshu.com/p/33aa0cb1147c
4.物联网技术及应用概述12篇(全文)物联网技术及应用概述 第1篇 1995年, 比尔盖茨《未来之路》中提及到物联网概念, 因为当时受限于无线网络、硬件及传感设备的发展, 并未引起重视。1999年, 美国麻省理工Auto-ID中心提出物联网的构想:物品上装置的电子标签存储唯一的EPC码, 利用射频识别技术 (RFID) 完成标签数据的自动采集, 然后通过互联网实现产品https://www.99xueshu.com/w/ikeynxrbo18d.html
5.什么是数据挖掘概念帆软数字化转型知识库什么是数据挖掘概念 数据挖掘是一种从大型数据集中提取有价值信息的过程,其核心概念包括数据预处理、模式识别、知识发现、数据可视化等。在数据挖掘中,数据预处理是非常重要的一步,因为它能够提高数据的质量,从而提高挖掘结果的准确性。数据预处理通常包括数据清理、数据集成、数据变换和数据简化。数据清理是指处理缺失https://www.fanruan.com/blog/article/601580/
6.物联网(IoT)应用开发是指什么?数据传输和存储:从传感器和设备收集的数据需要传输到云端或中央服务器进行存储和分析。在物联网应用开发中,通常会使用云服务来处理大量数据,如AWS、Azure、Google Cloud等。 数据分析和处理:收集到的数据需要进行分析,以从中提取有用的信息。这可以包括数据挖掘、机器学习和人工智能技术,以便更好地理解和预测环境中的http://www.apppark.cn/t-47570.html
7.面向5G的蜂窝物联网(CIoT)规划设计及应用本书介绍了物联网的基础知识,对非蜂窝物联网典型技术与应用;NB-IoT与eMTC技术标准,物理层和包括小区搜索、随机接入、HARQ流程在内的物理过程,CIoT网络覆盖发展策略、频率部署规划、覆盖和容量能力、参数规划、无线仿真技术、无线设备、机房、塔桅和天馈改造方案;CIoT业务及产业链发展情况、运营商建设;对CIoT未来发展、https://labs.epubit.com/bookDetails?id=UBbf18c7d5eff3
8.数据挖掘论文的参考文献概括来讲,大数据有三个特征,可总结归纳为“3V”,即量(Volume)、类(Variety)、时(Velocity)。量,数据容量大,现在数据单位已经跃升至ZB级别。类,数据种类多,主要来自业务系统,例如社交网络、电子商务和物联网应用。时,处理速度快,时效性要求高,从传统的事务性数据到实时或准实时数据。 https://www.yjbys.com/bylw/cankaowenxian/76866.html
9.一文总览数据科学全景:定律算法问题类型;什么是数据分析Pradeep Menon是一位在大数据,数据科学,数据架构领域拥有丰富经验以及影响力的专家。这是他今年所撰写的简述数据科学系列文章中的第一篇,主要介绍数据科学中的基本定律、常用算法以及问题类型,读者可以从中一窥数据科学的全景。 2016年,英国数学家,乐购俱乐部构架师Clive Humbly提出“数据是新能源”这样一个说法。他说:https://zhuanzhi.ai/document/ba50f489f166e5f700f1800aab8dea65
10.物联网应用技术专业调研报告物联网技术近年来,长三角地区对物联网应用技术专业的人才需求始终非常旺盛,在未来十多年内,新型的物联网应用、网络技术、智能家居等的就业前景仍十分看好。而我省将打造成为具有全球影响力的物联网技术创新中心、产业基地和应用示范中心,使物联网产业尽快成为支撑我省创新型经济发展的新兴产业。为充分发挥规模效应和集聚效应,以https://www.ycswgz.com/xxgcx/zy/wlw/20220215/111526.shtml
11.论油田物联网建设的作用和意义油田物联网,是一个全新的概念,油田物联网技术,是物联网技术在油田数字化管理建设中的应用。油田物联网作为数字油田的重要组成部分,油田物联网的建设与发展,对数字油田建设具有着十分重要的作用和意义。 1.1油田物联网建设的背景 油田物联网是在物联网提出后出现的一个新生事物,它集成了油田数字化管理建设的全部https://doicu.chd.edu.cn/2017/1121/c2952a42024/page.htm
12.物联网技术在会计审计中的应用.pptx物联网数据分析与审计物联网技术在会计审计中的应用物联网数据分析与审计物联网数据关联分析1.物联网数据关联分析是指利用物联网数据挖掘数据间的相关关系,从而发现数据内部隐藏的规律及其相互联系,以辅助审计工作。2.物联网数据关联分析可以帮助审计人员识别异常交易并提示潜在的风险,有助于提高审计效率和准确性。3https://m.renrendoc.com/paper/312216994.html
13.物联网在体外诊断行业中的应用及发展物联网在体外诊断试剂研发过程中的应用及发展 在体诊断产品研发阶段,涉及到几个流程,包括产品研发总体设计、研发过程对应的文件和记录控制、研制控制及程序文件,原材料的采购控制、研发环境控制、检测和测量装置的控制等。物联网在整个研发过程中,可起到有效监控、有效管理、有效溯源的作用。 http://www.caivd-org.cn/article.asp?id=8927
14.物联网智能家居(精选十篇)基于物联网的智能家居结合了Internet、无线传感器网络、智能控制等先进技术, 它可以将家居中的所有物品连接起来, 使物品可被寻址、可通信、可被操作, 并具备传感和信息上传能力。物联网在智能家居中的应用大致包括以下几方面: (1) 家居安防:利用传感器、红外、网络等技术实现防火、防盗、防煤气泄漏、视频监控等功能的https://www.360wenmi.com/f/cnkeymdvlpy9.html
15.物联网技术的论文(锦集14篇)(1)平台服务技术。平台服务技术关系到这个物联网产业的生态圈的建立。一个适合未来发展的物联网应用体系,应该具有强适应能力和通用的数据平台,兼容行业内大部分使用者的需求,可以实现业务流程定制、各种设备的冗余自修复、数据集中管理、平台间物件的通信管理等。 https://www.hrrsj.com/wendang/lunwen/781632.html