深度好文▏傅志华:2017年大数据发展的十大趋势新闻中心数据观中国大数据产业观察

2016年,大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景依然非常乐观。2017年大数据的发展呈现十大趋势。

趋势1:越来越多的企业实现数据孤岛的打通,驱动大数据发挥更强的威力

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不通,导致企业内部数据无法打通。若不打通,大数据的价值则难以挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。

刚刚过去的2016年,无论是企业还是政府机构,都在不同程度的展开了大数据的工作,并意识到了内部数据打通,解决内部数据孤岛是启动大数据战略的重要基础。但是,大部分企业和机构内部数据打通的工作做的并不到位。2017年,我们有理由相信,更多企业会有更大的决心去推动内部数据打通,并在此基础上,构建与外部数据打通的基础,实现内外部数据打通,更好的发挥大数据关联和整合的业务价值。

趋势2:大数据在企业管理中落地,大数据和企业精细化经营结合更为紧密

很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又为非盈利部门,导致很多企业在搭建大数据部门时犹豫不决,或者处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘数据资产。

一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。2016年,大数据在互联网、电信、金融、零售等行业取得了较好的效果。在2017年的经济大环境下,更多的企业和机构会更注重精细化经营,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,驱动业绩增长。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。

趋势3:大数据已经成为企业或机构的无形资产,将成为企业参与市场竞争的新武器

在移动互联网和大数据时代,每一个企业日常运营中所产生的大数据都将成为企业最为重要的无形资产。随着2017年大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。如何有效的管理企业每日所产生的数据,从海量的数据中挖掘并沉淀有价值的数据,并把这些有价值的数据作为驱动业务增长的重要引擎,均为数据作为无形资产管理的重要任务。

Google、亚马逊、腾讯、百度、阿里巴巴和360、今日头条等互联网企业通过不断的挖掘和沉淀大数据,利用大数据驱动业务的增长;金融和电信企业也在运用大数据来提升自己的竞争力。这些企业均有一个共同的特点,即成立了大数据部门对企业大数据做重点管理和应用,真正的把大数据作为无形资产管理和应用起来。

我们有理由相信,在2017年越来越多的企业和机构将大数据定位为企业的无形资产,并对大数据无形资产做系统化的管理和应用。大数据作为无形资产将成为提升机构和企业竞争力的有力武器。

趋势4:大数据能力产品化,驱动越来越多自助服务出现

另外,随着大数据专家的成本上升,越来越多的企业也会寻求简单易用成本相对较低的第三方数据产品。国际知名咨询机构IDC预测,可视化数据发现工具的增长速度将比商业智能(BI)市场的其余工具快2.5倍。到2018年,投入于支持最终用户自助服务的这种工具将成为所有企业的要求。诸多大数据厂商已经发布了拥有“自助服务”功能的大数据分析工具。

趋势5:大数据算法越来越智能化,深度学习将更为普及

知名IT研究与顾问咨询公司Gartner认为,机器学习是2017年的十大战略技术趋势之一。在2017年,随着大数据分析能力不断增强,越来越多的企业开始投入于机器学习,并从中获益。企业可以通过机器学习算法识别潜在客户,或识别即将流失的客户,或识别营销推广中作弊的渠道,或及时发现关键KPI下跌的原因等。总之,机器学习可以驱动企业运营更加智能化。

趋势6:大数据和人工智能深度融合,成为人工智能发展的重要驱动力

未来人工智能的发展,取决于两个方面:一方面是深度学习算法技术的成熟和计算效率的提升;另一方面取决于海量数据或大数据的发展。这是因为,深度学习算法要发挥作用必须先接受训练。比如,机器要学会识别图片中的狗,必须先被输入一个包含数量上万或者数十万的标记为狗的“训练集”,这个训练集数量越大,狗的种类越全,机器学习的效果越好。

人工智能专家吴恩达曾把人工智能比作火箭,其中深度学习是火箭的发动机,大数据是火箭的燃料,这两部分必须同时做好,才能顺利发射到太空中。因此,对于深度学习和人工智能,需要越来越多的数据。国际上互联网巨头除了自身业务可以采集到海量的数据以外,正在用更开放的策略吸引第三方的数据输入,以充实其大数据,更好的促进人工智能的所依赖的大数据基础。

趋势7:大数据促进智慧生活和智慧城市的发展

随着大数据与智能硬件的结合发展,大数据将进一步改善我们的生活。

在健康方面,我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;

在出行方面,我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优;

在居家生活方面,大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如可以根据室内温度自动调整空调的温度、根据空气质量来决定是否要打开空气净化器等。

同时,随着大数据和智慧城市的融合,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。

智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。

趋势8:工业大数据成为工业互联网发展的重要引擎

工业大数据是指在工业领域信息化应用中所产生的大数据。随着工业信息化的进一步发展,工业企业也进入了互联网工业新的发展阶段。信息技术和大数据分析技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器等技术在工业企业得到广泛应用,工业企业所拥有的数据也日益丰富,从而进一步形成了工业大数据。工业设备所产生、采集和处理的数据量非常大,而且非结构化数据也非常多。因此,工业大数据的处理和有效挖掘也成为重要的课题。工业大数据应用将成为工业企业创新和发展的重要引擎。

工业大数据在工业企业有诸多方面的应用:

(1)在产品创新方面,企业可以对客户使用产品过程中的行为进行数据上报及分析,以了解客户需求和行为,从而启发创新;

(2)在产品故障诊断与预测方面,企业可以对产品运行过程中的各种关键运行参数实时分析,以实现故障诊断和预测,如GE在航空发动机实现物联网连接,通过传感器把发动机运行时的各种关键参数实施回传到云端进行实时分析;

(3)在工业生产流程优化方面,利用大数据可以掌握某个流程是否偏离标准,快速发出报警及时调优;或监控生产过程中的能耗异常环节,从而进行能耗的优化;

(4)在工业生产故障分析及预测方面,通过智能传感器等数据传输设备,把工业生产流程中关键设备的实时参数状态回传到云端并进行实时分析,实时掌握异常情况,并作出预警和预测,提前进行检测;

趋势9:随着大数据的全方位发展,大数据安全机遇和挑战并存

随着大数据的发展和落地,大数据的安全稳定也将会逐渐被重视。对于拥有大数据厂商来说,最大的挑战就是数据安全;对于安全厂商来说,最大的机遇也是数据安全。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。

大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势10:大数据人才需求增多,越来越多的机构参与到大数据人才培育中

一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。

未来,大数据将会出现约超过百万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向,因此需要高校和企业共同努力去培养和挖掘。

—关于作者—

傅志华,中国信息协会大数据分会理事,北京航空航天大学软件学院大数据专业特聘教授,中科院管理学院MBA企业导师,首都经济贸易大学统计学院硕士生导师。

傅志华现任360公司大数据中心副总经理,曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。

THE END
1.大数据机器学习算法概论腾讯云开发者社区大数据 机器学习 算法概论 ?算法概述? 算法是计算机科学领域最重要的基石之一,计算机语言和开发平台日新月异,但万变不离其宗的是那些算法和理论,数据结构和算法是软件开发必备的核心基础,是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例:https://cloud.tencent.com/developer/article/2479107
2.人工智能与大数据的深度融合带来的创新应用3. 大数据与人工智能紧密结合——新兴科技革命 3.1 数据驱动的人类活动模式转变 随着大规模集成式采集工具和云计算服务变得普遍可用,大量关于用户行为、环境监测以及经济活动等方面的大型数据源开始出现。大部分组织现在都意识到了这份宝贵资源,并努力将其转换为有用的知识,这正是利用大规模计算平台加上先进算法实现的人https://www.ykngnhhi.cn/shou-ji/544151.html
3.当今的大模型,普遍患有“数据饥渴症”澎湃号·湃客澎湃新闻澳鹏数据专注于AI数据服务,提供高精度数据标注平台和大模型智能开发平台,其自主研发的预标注通用模型和交互式算法在数据标注任务中能产生显著效率提升; 星尘数据提供AI数据标注和数据管理服务,平台可以处理100多种主流采集和标注场景。 数据挖掘的新方向:多模态与非传统数据源 https://www.thepaper.cn/newsDetail_forward_29673947
4.有人反复评论机票太贵让价格骤减3000元,年轻人开始算法驯化大数据大数据杀熟是平台无良,但卸载APP治标不治本。得让监管出手,把算法透明化、公平化,让老客户也享受到实惠才行啊! 12-14 13:47 山西 回复 64 心瀚小1C 抱歉打扰了我是个老兵,娃娃现正在被病痛缠身实在是没有任何办法了,现在我和孩子母亲每天在走廊盖着一个破毯子,一切只为了娃,可是现在真的无能为力了,恳求https://quanmin.baidu.com/sv?source=share-h5&pd=qm_share_search&vid=6285840807725490875
5.大数据:分类算法深度解析大数据分类算法深度解析 在大数据时代,处理海量数据并从中提取有用信息变得至关重要。分类算法是机器学习领域的核心,它们在大数据分析、模式识别和决策支持等方面发挥着关键作用。本文将深度解析大数据分类算法,包括其基本原理、常见算法、应用场景以及未来发展方向。 http://www.360doc.com/content/24/0112/20/78411425_1110858832.shtml
6.专业定制师or大数据推荐,你愿意把你的黄金假期交给谁?这家总员工数将近150人却有110多位技术人员的公司将重心放在了通过算法排列组合出最佳行程这件事上。 比如你想去欧洲玩10天,先输入你要去的城市、时间、人数、预定房间数、出发和返回城市;然后设置旅行偏好,比如飞机还是火车、是否接受廉价航空;大致行程出炉后,再做城市内规划,选择想去的景点、喜欢的酒店或餐厅风格https://www.tmtpost.com/1706368.html
7.美柚:最懂女性App背后的混合云架构与大数据服务这张图展示了美柚利用大数据进行反垃圾算法的整体框架,主要包含两部分。虚线上方是反垃圾算法的训练流程,最开始是基于NLP自然语言处理进行,首先对文本数据(垃圾贴和正常贴)进行分词,这些分词需要定期更新,然后再对帖子进行特征处理和选取,将提取之后的特征送入分类器模型训练,其中分类器包括贝叶斯分类、逻辑回归分类等,通https://developer.aliyun.com/article/11259
8.大数据“杀熟”套路太深!多位法学专家建言破解之道南方plus中国社科院大学副教授韩伟认为,消费者面临供应商通过算法实施的各类策略行为,可以考虑通过算法来武装自己。理论上来看,数字经济时代独立化的算法助理发展,一定程度上有助于对抗基于算法的大数据杀熟这类问题。 韩伟表示,算法助理大体有五大作用:提升买方力量、强化卖方约束、节约交易成本、抑制算法合谋、缓解算法歧视。比如,https://static.nfapp.southcn.com/content/202110/27/c5875937.html
9.大数据的诅咒:算法霸权与数学杀伤性武器看来,大数据有时候并不准。把大数据挂在嘴边的人,也通常不大靠谱。 之前写了一篇关于大数据的文章——《大数据推荐机制错在哪里?》,至今并没有看到这些使用大数据算法的互联网企业有什么进步,无非是多了一些数据,优化了推荐内容,更加相信大数据和算法的力量。 https://www.jianshu.com/p/b2840e78be21
10.java大数据算法java大数据是什么意思jacksky的技术博客java 大数据 算法 java大数据是什么意思 一、 大数据 背景:随着科技的发展,智能手机、智能穿戴设备越来越普及,数据量越来越庞大,大数据应运而生。 1M=1024KB 1G=1024M 1T=1024G 1P=1024TB… 大数据:大(海量)+数据(论文、视频、游戏战绩、购买记录等等)https://blog.51cto.com/u_14125/6788081
11.TCCT通讯Newsletter2016No.05资产组合优化的多分形模型及实证分析 系统科学与数学, 2016 Vol. 36 (2): 198- Abstract | PDF 刘爽,吕永波,张仲义 网络学术期刊核心竞争力评价研究 系统科学与数学, 2016 Vol. 36 (2): 210- Abstract | PDF 贾效伟,李梦,贾忠伟 从健康系统工程谈口腔影像学大数据研究伦理 系统科学与数学, 2016 Vol. https://tcct.amss.ac.cn/newsletter/2016/201605/journal.html
12.多拉快跑更安全?看G7智能挂的神级操作1、大数据算法,智能配货 拉货永远遵循一个原则,那就是多拉快跑,这句话用在快递快运领域尤其适合。 大家都知道,在快递快运领域多用的是厢式车。那么,如何在国家法律法规的允许下获得更大容积的厢式车,在同样容积的箱体里摆放更多的货物则成为现代运输人亟待解决的问题。 http://www.360che.com/news/190228/106757.html
13.滴滴出行定制公交上线济南基于数据算法选择线路利用滴滴出行以及合作公交公司大数据,滴滴公交可以串起城市中的居住区域与工作区域,选定最佳路线覆盖到最多人群。 这些公交线路基于城市现状公交站点及线网分布,根据滴滴平台大数据挖掘出的用户地理标签,先利用聚类算法找出城市中的热点通勤区域及通道,再利用路径规划算法在热点通勤通道中选出具体经行站点及路径,以最大化满http://3g.sdchina.com/show/4336361.html