深度好文▏傅志华:2017年大数据发展的十大趋势新闻中心数据观中国大数据产业观察

2016年,大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景依然非常乐观。2017年大数据的发展呈现十大趋势。

趋势1:越来越多的企业实现数据孤岛的打通,驱动大数据发挥更强的威力

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不通,导致企业内部数据无法打通。若不打通,大数据的价值则难以挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。

刚刚过去的2016年,无论是企业还是政府机构,都在不同程度的展开了大数据的工作,并意识到了内部数据打通,解决内部数据孤岛是启动大数据战略的重要基础。但是,大部分企业和机构内部数据打通的工作做的并不到位。2017年,我们有理由相信,更多企业会有更大的决心去推动内部数据打通,并在此基础上,构建与外部数据打通的基础,实现内外部数据打通,更好的发挥大数据关联和整合的业务价值。

趋势2:大数据在企业管理中落地,大数据和企业精细化经营结合更为紧密

很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又为非盈利部门,导致很多企业在搭建大数据部门时犹豫不决,或者处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘数据资产。

一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。2016年,大数据在互联网、电信、金融、零售等行业取得了较好的效果。在2017年的经济大环境下,更多的企业和机构会更注重精细化经营,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,驱动业绩增长。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。

趋势3:大数据已经成为企业或机构的无形资产,将成为企业参与市场竞争的新武器

在移动互联网和大数据时代,每一个企业日常运营中所产生的大数据都将成为企业最为重要的无形资产。随着2017年大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。如何有效的管理企业每日所产生的数据,从海量的数据中挖掘并沉淀有价值的数据,并把这些有价值的数据作为驱动业务增长的重要引擎,均为数据作为无形资产管理的重要任务。

Google、亚马逊、腾讯、百度、阿里巴巴和360、今日头条等互联网企业通过不断的挖掘和沉淀大数据,利用大数据驱动业务的增长;金融和电信企业也在运用大数据来提升自己的竞争力。这些企业均有一个共同的特点,即成立了大数据部门对企业大数据做重点管理和应用,真正的把大数据作为无形资产管理和应用起来。

我们有理由相信,在2017年越来越多的企业和机构将大数据定位为企业的无形资产,并对大数据无形资产做系统化的管理和应用。大数据作为无形资产将成为提升机构和企业竞争力的有力武器。

趋势4:大数据能力产品化,驱动越来越多自助服务出现

另外,随着大数据专家的成本上升,越来越多的企业也会寻求简单易用成本相对较低的第三方数据产品。国际知名咨询机构IDC预测,可视化数据发现工具的增长速度将比商业智能(BI)市场的其余工具快2.5倍。到2018年,投入于支持最终用户自助服务的这种工具将成为所有企业的要求。诸多大数据厂商已经发布了拥有“自助服务”功能的大数据分析工具。

趋势5:大数据算法越来越智能化,深度学习将更为普及

知名IT研究与顾问咨询公司Gartner认为,机器学习是2017年的十大战略技术趋势之一。在2017年,随着大数据分析能力不断增强,越来越多的企业开始投入于机器学习,并从中获益。企业可以通过机器学习算法识别潜在客户,或识别即将流失的客户,或识别营销推广中作弊的渠道,或及时发现关键KPI下跌的原因等。总之,机器学习可以驱动企业运营更加智能化。

趋势6:大数据和人工智能深度融合,成为人工智能发展的重要驱动力

未来人工智能的发展,取决于两个方面:一方面是深度学习算法技术的成熟和计算效率的提升;另一方面取决于海量数据或大数据的发展。这是因为,深度学习算法要发挥作用必须先接受训练。比如,机器要学会识别图片中的狗,必须先被输入一个包含数量上万或者数十万的标记为狗的“训练集”,这个训练集数量越大,狗的种类越全,机器学习的效果越好。

人工智能专家吴恩达曾把人工智能比作火箭,其中深度学习是火箭的发动机,大数据是火箭的燃料,这两部分必须同时做好,才能顺利发射到太空中。因此,对于深度学习和人工智能,需要越来越多的数据。国际上互联网巨头除了自身业务可以采集到海量的数据以外,正在用更开放的策略吸引第三方的数据输入,以充实其大数据,更好的促进人工智能的所依赖的大数据基础。

趋势7:大数据促进智慧生活和智慧城市的发展

随着大数据与智能硬件的结合发展,大数据将进一步改善我们的生活。

在健康方面,我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;

在出行方面,我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优;

在居家生活方面,大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如可以根据室内温度自动调整空调的温度、根据空气质量来决定是否要打开空气净化器等。

同时,随着大数据和智慧城市的融合,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。

智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。

趋势8:工业大数据成为工业互联网发展的重要引擎

工业大数据是指在工业领域信息化应用中所产生的大数据。随着工业信息化的进一步发展,工业企业也进入了互联网工业新的发展阶段。信息技术和大数据分析技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器等技术在工业企业得到广泛应用,工业企业所拥有的数据也日益丰富,从而进一步形成了工业大数据。工业设备所产生、采集和处理的数据量非常大,而且非结构化数据也非常多。因此,工业大数据的处理和有效挖掘也成为重要的课题。工业大数据应用将成为工业企业创新和发展的重要引擎。

工业大数据在工业企业有诸多方面的应用:

(1)在产品创新方面,企业可以对客户使用产品过程中的行为进行数据上报及分析,以了解客户需求和行为,从而启发创新;

(2)在产品故障诊断与预测方面,企业可以对产品运行过程中的各种关键运行参数实时分析,以实现故障诊断和预测,如GE在航空发动机实现物联网连接,通过传感器把发动机运行时的各种关键参数实施回传到云端进行实时分析;

(3)在工业生产流程优化方面,利用大数据可以掌握某个流程是否偏离标准,快速发出报警及时调优;或监控生产过程中的能耗异常环节,从而进行能耗的优化;

(4)在工业生产故障分析及预测方面,通过智能传感器等数据传输设备,把工业生产流程中关键设备的实时参数状态回传到云端并进行实时分析,实时掌握异常情况,并作出预警和预测,提前进行检测;

趋势9:随着大数据的全方位发展,大数据安全机遇和挑战并存

随着大数据的发展和落地,大数据的安全稳定也将会逐渐被重视。对于拥有大数据厂商来说,最大的挑战就是数据安全;对于安全厂商来说,最大的机遇也是数据安全。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。

大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势10:大数据人才需求增多,越来越多的机构参与到大数据人才培育中

一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。

未来,大数据将会出现约超过百万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向,因此需要高校和企业共同努力去培养和挖掘。

—关于作者—

傅志华,中国信息协会大数据分会理事,北京航空航天大学软件学院大数据专业特聘教授,中科院管理学院MBA企业导师,首都经济贸易大学统计学院硕士生导师。

傅志华现任360公司大数据中心副总经理,曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。

THE END
1.大数据大数据算法大数据算法的技术涵盖了多个领域,包括分布式存储与处理、数据挖掘、机器学习、图计算、文本挖掘与自然语言处理、推荐系统、关联规则挖掘、时间序列分析、异常检测、数据压缩与降维、网络分析、模式识别等。这些算法的选择取决于具体的应用场景和问题要求,通常需要综合倾斜考虑算法的效率、准确性、可扩展性等因素。 https://blog.csdn.net/xiaoyingxixi1989/article/details/141688931
2.大数据:聚类算法深度解析聚类分析的应用非常广泛,从市场细分到图像分割,都离不开聚类的帮助。通过深入理解聚类分析的概念和方法,我们能够更好地应用它来解决实际问题。 1.2 大数据背景下的挑战 在大数据背景下,数据量巨大、多样性高、实时性要求等因素给聚类分析带来了巨大的挑战。传统的聚类算法可能无法有效处理这些庞大的数据集,因此需要采用http://www.360doc.com/content/24/0111/21/78411425_1110749888.shtml
3.PrefixSpan算法的基本概念51CTO学堂序列模式挖掘和和关联规则算法是比较类似的,但项集是有序的,相对关联规则的推荐算法更精准。 本课就从序列模式挖掘简介、序列模式挖掘应用场景、 序列模式挖掘基本概念、PrefixSpan的基本概念、PrefixSpan算法流程、PrefixSpan算法优势和劣势、Spark MLlib实现的PrefixSpan源码实战、充电了么自研序列模式挖掘源码实战等从理https://edu.51cto.com/lesson/831195.html
4.干货一文读懂工业大数据的算法与模型基本知识与应用算法和模型是大数据分析系统中的两个问题,很多时候人们无法将这两个概念准确的区分开来,或者在某些场景下经常把算法和模型当做是同一个概念。实际上,算法和模型是有紧密联系的。 数据分析的算法是一般规则,所采用的方法是具有通用性和一般性的,如果需要用算法来解决实际的问题,达到商业的价值,就需要将算法和实际的应https://www.evget.com/doclib/s/14/10645
5.什么是大数据数据挖掘6帆软数字化转型知识库大数据和数据挖掘是两者之间既有联系又有区别的概念。大数据指的是体量巨大、结构复杂且增长速度快的数据集合,通常用来描述企业和组织所面临的数据挑战。数据挖掘则是从大数据中提取有价值的信息和知识的过程,通过应用各种算法和技术发现隐藏的模式和关系。大数据强调的是数据的规模和多样性、数据挖掘强调的是从数据中提取https://www.fanruan.com/blog/article/602195/
6.大数据的详细定义三种类型的大数据 结构化数据:这类数据最容易整理和搜索,主要包括财务数据、机器日志和人口统计明细等。结构化数据很好理解,类似于 Excel 电子表格中预定义的行列布局。这种结构下的数据很容易分门别类,数据库设计人员和管理员只需要定义简单的算法就能实现搜索和分析。不过,即使结构化数据数量非常大,也不一定称得上大数https://blog.itpub.net/70041355/viewspace-3029299/
7.大数据基础术语精粹来袭大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的4V: Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值) 三、当前用于分析大数据的工具主要有开源与商用两个生态圈 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html
8.许成钢:大数据从市场上来,如果把市场消灭了,数据没有了再一点就是今天讨论人工智能也好、讨论相关的激励机制问题也好,有一个重要基本概念——硬数据和软数据,硬数据就是前面我提到过的,所有可以度量可以传递的数据;但是,永远和硬数据对应的还有一部分是软数据,软数据是没有办法用传感器或移动设备度量的,不能度量就无法传递、无法处理。所以当我们讨论人工智能是基于大数据训https://www.thepaper.cn/newsDetail_forward_1804344
9.浅析“大数据杀熟”维权路径,守护平安3·15一、概念解析 “大数据杀熟”是指互联网平台对老用户杀熟。大数据挖掘算法获取用户信息并对用户进行“画像”分析,基于其获取的用户消费频率、消费习惯、消费能力等信息,在消费者不知情的情况下,向老用户收取高于新用户的价格,且该价格并不反映成本差异,实现“千人千价”。 http://www.xufenglawfirm.com/a/571
10.DizzyK/ustccyber大数据算法 密码工程原理与实践 数据建模与分析基础 网络优化导论 机器学习及其安全应用 网络空间安全数学建模基础 2020级王小谟英才班 专业核心课 编译原理和技术 ( H ) 编译原理和技术的高级课程 2020级第二学士 必修课 网络算法学 数字图像处理与分析 https://toscode.gitee.com/DizzyK/ustc_cyber_security
11.《数据结构与算法》课程教学大纲能力贡献:通过学习数据结构与算法的基本概念和基本原理,增强学生对抽象数据类型的理解能力;通过用C++编程语言实现数据结构和算法,增强学生的程序设计能力;掌握基本的算法分析技术,增强对算法流程和程序实现的分析能力;通过分析数据结构与算法的应用案例、上机练习以及数据结构与算法应用设计,培养学生利用所学知识解决具体问题https://www.cse.cqu.edu.cn/info/2105/3558.htm
12.2020年中国人工智能+物流发展研究报告界面新闻·JMedia尤其是对配送时效性要求非常高的即时物流领域,在引入基于机器学习与运筹优化算法的订单分配系统后,将行业发展初期使用的效率较低的骑手抢单模式和人工派单模式转变为系统派单模式。即时物流订单分配本质上可以看作是带有若干复杂约束的动态车辆路径问题(DVRP),订单分配系统的工作原理是以大数据平台收集的骑手轨迹、配送业务https://www.jiemian.com/article/4654860.html
13.大数据算法(王宏志著)完整pdf扫描版[101MB]电子书下载大数据算法是国内系统介绍大数据算法设计与分析技术的教材,内容丰富,结构合理,旨在讲述和解决大数据处理和应用中相关算法设计与分析的理论和方法,切实培养读者设计、分析与应用算法解决大数据问题的能力。不仅适合计算机科学、软件工程、大数据、物联网等学科的本科生和研究生使用,而且可供其他相近学科的本科生和研究生使用。https://www.jb51.net/books/583619.html
14.神经网络算法:大数据分析的强大工具神经网络算法作为一种重要的机器学习算法,在大数据分析中发挥着越来越重要的作用。本文将围绕“大数据 神经网络算法 神经网络算法综述”这一主题,分以下几个部分进行阐述:摘要、引言、文献综述、结论和参考文献。在引言部分,我们将介绍大数据和神经网络算法的基本概念,简要说明本文的研究范围和目的,重点突出神经网络算法在https://developer.baidu.com/article/detail.html?id=1831261
15.郑智航徐昭曦:大数据时代算法歧视的法律规制与司法审查——以内容提要:算法自动化决策为人们带来方便的同时,也可能因其决策过程的不透明和信息不对称而对某些群体造成歧视。实践中,算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。为了消除算法歧视给社会带来的影响,各国政府采取了一系列的规制措施。从规制的空间维度来看,这些措施包括原则性规制https://www.legal-theory.org/?mod=info&act=view&id=25344
16.大数据的基本概念和应用基础大数据集群为什么是奇数台服务器? 因为hadoop框架需要奇数台服务器 因为kafka需要奇数台服务器 因为zookeeper的半数存活机制 因为hdfs的存储机制 * HDFS是( ) 计算引擎 资源调度器 文件系统 辅助工具 * Hive的默认计算引擎是( ) HDFS Spark Tez MR * https://www.wjx.cn/vm/wVwUfsl.aspx
17.孟勤国谈算法歧视侵害消费者权益——是大数据和算法技术运用引发算法作为人机互动的机制,即人类通过代码设置、数据运算于机器自动化判断与决策,其公正性取决于人的意志而非算法技术。算法技术运用可能对特定群体或个体出现系统、重复的不公正结果,构成算法歧视,如算法价格歧视、算法就业歧视、算法信用歧视等。算法歧视侵害消费者权益,其中,以大数据杀熟最为普遍。大数据杀熟是经营者利用https://m.yunnan.cn/system/2023/06/07/032618660.shtml
18.大数据:数据挖掘十大经典算法概述腾讯云开发者社区大数据:数据挖掘十大经典算法概述 国际权威的学术组织theIEEEInternationalConferenceonDataMining(ICDM)2006年12月评选出了数据挖掘领域的十大经典算法:C4.5,k-Means,SVM,Apriori,EM,PageRank,AdaBoost,kNN,NaiveBayes,andCART. 不仅仅是选中的十大算法,其实参加评选的18种算法,实际上随便拿出一种来都可以称得上是经典https://cloud.tencent.com/developer/news/236172
19.大数据日知录(豆瓣)大数据是当前最为流行的热点概念之一,其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象,作为最明确的技术发展趋势之一,基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。 《大数据日知录:架构与算法》从架构与算法角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多https://book.douban.com/subject/25984046/
20.清华教授彭兰:数据与算法时代的新风险数据分析算法大数据“数据,在本质上,是人类观察世界的表征形式。不论是过去的小数据,还是现在的大数据,研究数据,在某种程度上,其实在本质上都是在研究人本身……人类文化是存在偏见的,作为与人类社会同构的大数据,也必然包含着根深蒂固的偏见。而大数据算法仅仅是把这种歧视文化归纳出来而已。” https://tech.sina.com.cn/it/2018-11-05/doc-ihmutuea7098355.shtml