深度好文▏傅志华:2017年大数据发展的十大趋势新闻中心数据观中国大数据产业观察

2016年,大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景依然非常乐观。2017年大数据的发展呈现十大趋势。

趋势1:越来越多的企业实现数据孤岛的打通,驱动大数据发挥更强的威力

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不通,导致企业内部数据无法打通。若不打通,大数据的价值则难以挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。

刚刚过去的2016年,无论是企业还是政府机构,都在不同程度的展开了大数据的工作,并意识到了内部数据打通,解决内部数据孤岛是启动大数据战略的重要基础。但是,大部分企业和机构内部数据打通的工作做的并不到位。2017年,我们有理由相信,更多企业会有更大的决心去推动内部数据打通,并在此基础上,构建与外部数据打通的基础,实现内外部数据打通,更好的发挥大数据关联和整合的业务价值。

趋势2:大数据在企业管理中落地,大数据和企业精细化经营结合更为紧密

很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又为非盈利部门,导致很多企业在搭建大数据部门时犹豫不决,或者处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘数据资产。

一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。2016年,大数据在互联网、电信、金融、零售等行业取得了较好的效果。在2017年的经济大环境下,更多的企业和机构会更注重精细化经营,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,驱动业绩增长。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。

趋势3:大数据已经成为企业或机构的无形资产,将成为企业参与市场竞争的新武器

在移动互联网和大数据时代,每一个企业日常运营中所产生的大数据都将成为企业最为重要的无形资产。随着2017年大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。如何有效的管理企业每日所产生的数据,从海量的数据中挖掘并沉淀有价值的数据,并把这些有价值的数据作为驱动业务增长的重要引擎,均为数据作为无形资产管理的重要任务。

Google、亚马逊、腾讯、百度、阿里巴巴和360、今日头条等互联网企业通过不断的挖掘和沉淀大数据,利用大数据驱动业务的增长;金融和电信企业也在运用大数据来提升自己的竞争力。这些企业均有一个共同的特点,即成立了大数据部门对企业大数据做重点管理和应用,真正的把大数据作为无形资产管理和应用起来。

我们有理由相信,在2017年越来越多的企业和机构将大数据定位为企业的无形资产,并对大数据无形资产做系统化的管理和应用。大数据作为无形资产将成为提升机构和企业竞争力的有力武器。

趋势4:大数据能力产品化,驱动越来越多自助服务出现

另外,随着大数据专家的成本上升,越来越多的企业也会寻求简单易用成本相对较低的第三方数据产品。国际知名咨询机构IDC预测,可视化数据发现工具的增长速度将比商业智能(BI)市场的其余工具快2.5倍。到2018年,投入于支持最终用户自助服务的这种工具将成为所有企业的要求。诸多大数据厂商已经发布了拥有“自助服务”功能的大数据分析工具。

趋势5:大数据算法越来越智能化,深度学习将更为普及

知名IT研究与顾问咨询公司Gartner认为,机器学习是2017年的十大战略技术趋势之一。在2017年,随着大数据分析能力不断增强,越来越多的企业开始投入于机器学习,并从中获益。企业可以通过机器学习算法识别潜在客户,或识别即将流失的客户,或识别营销推广中作弊的渠道,或及时发现关键KPI下跌的原因等。总之,机器学习可以驱动企业运营更加智能化。

趋势6:大数据和人工智能深度融合,成为人工智能发展的重要驱动力

未来人工智能的发展,取决于两个方面:一方面是深度学习算法技术的成熟和计算效率的提升;另一方面取决于海量数据或大数据的发展。这是因为,深度学习算法要发挥作用必须先接受训练。比如,机器要学会识别图片中的狗,必须先被输入一个包含数量上万或者数十万的标记为狗的“训练集”,这个训练集数量越大,狗的种类越全,机器学习的效果越好。

人工智能专家吴恩达曾把人工智能比作火箭,其中深度学习是火箭的发动机,大数据是火箭的燃料,这两部分必须同时做好,才能顺利发射到太空中。因此,对于深度学习和人工智能,需要越来越多的数据。国际上互联网巨头除了自身业务可以采集到海量的数据以外,正在用更开放的策略吸引第三方的数据输入,以充实其大数据,更好的促进人工智能的所依赖的大数据基础。

趋势7:大数据促进智慧生活和智慧城市的发展

随着大数据与智能硬件的结合发展,大数据将进一步改善我们的生活。

在健康方面,我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;

在出行方面,我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优;

在居家生活方面,大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如可以根据室内温度自动调整空调的温度、根据空气质量来决定是否要打开空气净化器等。

同时,随着大数据和智慧城市的融合,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。

智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。

趋势8:工业大数据成为工业互联网发展的重要引擎

工业大数据是指在工业领域信息化应用中所产生的大数据。随着工业信息化的进一步发展,工业企业也进入了互联网工业新的发展阶段。信息技术和大数据分析技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器等技术在工业企业得到广泛应用,工业企业所拥有的数据也日益丰富,从而进一步形成了工业大数据。工业设备所产生、采集和处理的数据量非常大,而且非结构化数据也非常多。因此,工业大数据的处理和有效挖掘也成为重要的课题。工业大数据应用将成为工业企业创新和发展的重要引擎。

工业大数据在工业企业有诸多方面的应用:

(1)在产品创新方面,企业可以对客户使用产品过程中的行为进行数据上报及分析,以了解客户需求和行为,从而启发创新;

(2)在产品故障诊断与预测方面,企业可以对产品运行过程中的各种关键运行参数实时分析,以实现故障诊断和预测,如GE在航空发动机实现物联网连接,通过传感器把发动机运行时的各种关键参数实施回传到云端进行实时分析;

(3)在工业生产流程优化方面,利用大数据可以掌握某个流程是否偏离标准,快速发出报警及时调优;或监控生产过程中的能耗异常环节,从而进行能耗的优化;

(4)在工业生产故障分析及预测方面,通过智能传感器等数据传输设备,把工业生产流程中关键设备的实时参数状态回传到云端并进行实时分析,实时掌握异常情况,并作出预警和预测,提前进行检测;

趋势9:随着大数据的全方位发展,大数据安全机遇和挑战并存

随着大数据的发展和落地,大数据的安全稳定也将会逐渐被重视。对于拥有大数据厂商来说,最大的挑战就是数据安全;对于安全厂商来说,最大的机遇也是数据安全。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。

大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势10:大数据人才需求增多,越来越多的机构参与到大数据人才培育中

一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。

未来,大数据将会出现约超过百万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向,因此需要高校和企业共同努力去培养和挖掘。

—关于作者—

傅志华,中国信息协会大数据分会理事,北京航空航天大学软件学院大数据专业特聘教授,中科院管理学院MBA企业导师,首都经济贸易大学统计学院硕士生导师。

傅志华现任360公司大数据中心副总经理,曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。

THE END
1.大数据之数据分类指南拟定实施流程宜结合大数据的生命周期,拟定具体的分类实施流程,包括但不限于明确实施步骤、启动实施工作、开展实施工作、总结实施过程等。4.2 开发工具脚本 开发工具/脚本宜根据实施流程、分类维度和分类方法编写分类算法,遵循软件开发者或者脚本编制的规范开发分类工具/脚本。4.3 记录实施过程 记录实施过程宜记录分类https://baijiahao.baidu.com/s?id=1785591161706545792&wfr=spider&for=pc
2.大数据分析建模有哪些算法帆软数字化转型知识库大数据分析建模有哪些算法 大数据分析建模有多种算法,包括决策树算法、支持向量机(SVM)算法、随机森林算法、K-means聚类算法、线性回归算法、逻辑回归算法、神经网络算法和贝叶斯分类算法。其中,决策树算法是一种使用树状模型对数据进行分类和回归的方法。决策树算法通过递归地将数据集分成更小的子集,同时相应地构建树结构https://www.fanruan.com/blog/article/71906/
3.大数据处理中常见的算法有哪些?大数据处理中常见的算法有哪些? 收藏 在大数据处理中,有许多常见的算法被广泛应用。这些算法帮助我们从海量的数据中提取有用信息、进行模式识别和预测分析。以下是一些常见的大数据处理算法: MapReduce:MapReduce 是 Google 提出的一种分布式计算模型,可以并行处理大规模数据集。它将输入数据集分割成多个小块,并在分布式https://www.cda.cn/view/203009.html
4.大数据算法十大经典算法大数据算法有哪些大数据算法 十大经典算法 一、 CART: 分类与回归树 CART, Classification and Regression Trees。 在分类树下面有两个关键的思想:第一个 是关于递归地划分自变量空间的想法;第二个想法是用验证数据进行剪枝。 二、Thek-meansalgorithm 即K-Means算法 k-means algorithm算法是一个聚类算法,把n的对象根据他们的属性分https://blog.csdn.net/qiucheng_198806/article/details/84991269
5.大数据基础知识科普丨大数据的相关技术在大数据任务中,海量的原始数据中存在着大量不完整、不一致有异常的数据,严重影响到数据分析效率,一般情况下,需要对数据进行预处理,主要包含清理异常、纠正错误数据等行为。数据预处理没有标准的流程,通常会根据任务和数据集属性的不同而有所差别。数据预处理有多种方法https://mp.weixin.qq.com/s?__biz=MzI4MjE0NDQ5OA==&mid=2651057298&idx=8&sn=384a15c2165a92397367fb69486f3a84&chksm=f14e55943bd690c09e126ff6c06fbcbc29b978ad762fc6086c8e67a5c01448d105ebbf762807&scene=27
6.大数据去重使用的算法有哪些问答大数据去重可以使用以下算法:1. 哈希算法:将数据映射到哈希表中,相同的数据会得到相同的哈希值,通过比较哈希值进行去重。2. 布隆过滤器:布隆过滤器是一种概率型数据结构,可以高效地判断一个元素是否存在https://www.yisu.com/ask/57547373.html
7.极光大数据有哪些主要的数据分析技术和算法数据格式和结构的转换:极光大数据具备强大的数据转换和格式化功能。在将不同类型和结构的数据整合到一起时,开发者可以利用极光大数据提供的工具和算法,对数据进行标准化、格式化和结构化的处理。这样可以使得不同源头的数据具有一致的格式和结构,方便后续的数据分析和挖掘。 https://www.jiguang.cn/tips/796
8.大数据的数据挖掘方案有哪些?大数据的数据挖掘方案有:1、神经网络方法;2、遗传算法;3、决策树方法;4、粗糙集方法;5、覆盖正例排斥反例方法;6、统计分析方法;7、模糊集方法。关于数据挖掘,你必须知道的几个主要方法数据挖掘是一门交叉性的新兴学科,它将数据可视化、数据库技术、高性能计算机、统计学、机器学习、模式识别、人工智能等多个范畴的https://www.linkflowtech.com/news/1986
9.Contents/premium.mdatmaster·Newslab2020/Contents·GitHub如果取消牌照费,有哪些替代方案? 与流媒体的竞争,以及 BBC的未来. 618 伊朗:女青年之死、抗议、断网 2022/9/25 “头巾法”与宗教警察; 第三次切断互联网; 女性革命的到来? 617 《柳叶刀》新冠报告 2022/9/20 委员会的构成与运行; 报告的主要观点; https://github.com/Newslab2020/Contents/blob/master/premium.md
10.干货一文读懂工业大数据的算法与模型基本知识与应用算法和模型是大数据分析系统中的两个问题,很多时候人们无法将这两个概念准确的区分开来,或者在某些场景下经常把算法和模型当做是同一个概念。实际上,算法和模型是有紧密联系的。 数据分析的算法是一般规则,所采用的方法是具有通用性和一般性的,如果需要用算法来解决实际的问题,达到商业的价值,就需要将算法和实际的应https://www.evget.com/doclib/s/14/10645
11.大数据算法哈尔滨工业大学通过这门课程的学习,同学可以掌握大数据算法设计的基本思想,并通过本门课程的作业,初步掌握大数据算法设计与分析的技术,并能够将其中的思想应用于实际的研究和开发。 大数据算法是一门年轻的课程,海外尽管有一些相关的课程已经开设,但是所讲的内容不尽相同,仅仅涉及到一个侧面。这门课程将采取广度优先的策略,尽可能多https://www.xuetangx.com/course/HIT08091000092
12.郑智航徐昭曦:大数据时代算法歧视的法律规制与司法审查——以内容提要:算法自动化决策为人们带来方便的同时,也可能因其决策过程的不透明和信息不对称而对某些群体造成歧视。实践中,算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。为了消除算法歧视给社会带来的影响,各国政府采取了一系列的规制措施。从规制的空间维度来看,这些措施包括原则性规制https://www.legal-theory.org/?mod=info&act=view&id=25344
13.大数据分析中的算法(2024年春季)内容包括凸优化的一些典型算法、流形优化、非线性规划等等 典型任务参考:Software implementaion for the proximal gradient methods 编程语言: C++ 提供助研岗位,具体待遇面谈 “大数据分析中的算法”教材编写草稿 将课程PPT扩展成更加详细的文字版本,添加具体的问题介绍,典型算法介绍,典型的理论结果,详细的案例分析http://faculty.bicmr.pku.edu.cn/~wenzw/bigdata2024.html
14.共达地李苏南:0代码自动化,让AI算法赋能千行百业商业模式鲸解从已有的合作案例来看,共达地将AI的应用效率、规模、边界拓展到了什么程度?有哪些好的案例可以分享? 李苏南:一方面,我们在和大型客户,比如说像平安智慧城市,软通智慧还有千世通这样的公司做城市级或者金融级的AI项目落地。 例如在智慧城市的合作中,涉及几百种算法,按照行业过去的sop和落地的标准可能需要几个月的时间https://www.cls.cn/detail/1154839
15.大数据分析各种算法大数据分析常用算法大数据分析各种算法 大数据分析常用算法 相对于复杂度分析,还有一个对立的分析方法,叫做事后统计法,但它有两个缺点: 测试结果非常依赖测试环境 测试结果受数据规模的影响很大 我们需要一个不用具体的测试数据来测试,就可以粗略地估计算法的执行效率的方法。这就是我们今天要讲的时间、空间复杂度分析方法。https://blog.51cto.com/u_13633/9262829
16.大数据基础术语精粹来袭大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的4V: Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值) 三、当前用于分析大数据的工具主要有开源与商用两个生态圈 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html
17.大数据算法工程师岗位职责BOSS直聘大数据算法工程师职位百科,介绍大数据算法工程师岗位信息:包括岗位职责(大数据算法工程师是做什么的?)以及不同工作经验大数据算法工程师的任职要求和岗位工作内容描述,帮您快速定位,并能通过大数据算法工程师的薪资情况全面认知该岗位!https://www.zhipin.com/baike/b100511/adc79d3151a49f5f1nxy09W-FVs~.html
18.大数据分析的常用算法大数据处理算法研究与实现.pdf大数据分析的常用算法大数据处理算法研究与 实现 大数据处理算法研究与实现 摘要:在适应了不同的环境的企业的发展的条下,提供有包括 企业或具有确定相对运动的构的组合等在互联网上注册的名称, 是互联网比较重要的部分、成套的设备、系统控制在内的完整的 网络平台服务。构建有自己的电子商务寄放平台,大数据是我国 重要https://m.book118.com/html/2021/0812/8007117002003133.shtm
19.人工智能的深度学习算法建立在大数据的基础上目前人工智能的深度学习算法是建立在大数据的基础上的,人工智能在工作过程中首先要对大数据进行挖掘,然后再利用大数据训练人工智能模型。 对于图片数据来说,这一工作说起来好像很简单,但实际上整个工作过程并不智能,这背后隐藏着一个赚钱十分辛苦而且工作内容非常枯燥的劳动密集型的产业。 https://m.hqew.com/tech/fangan_2009016