新职业——大数据工程技术人员就业景气现状分析报告

(一)国家实施大数据战略,构建数字中国

大数据被认为是“未来的新石油”,也被比喻为21世纪的“钻石矿”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告;2015年8月国务院颁布《促进大数据发展行动纲要》,大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策,覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场,加快实施国家大数据战略。

同时,伴随大数据政策出台,各地政府相继成立了大数据管理机构,促进大数据产业发展,全国22个省区,200多个地市相继成立大数据管理部门。

图1各省大数据管理机构设置数量(单位:个)

(二)大数据行业发展迅猛,产业规模巨大

2016年,工信部印发了《大数据产业发展规划(2016-2020年)》,全国大数据产业建设掀起热潮,目前已形成八大大数据综合试验区,建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型,大数据的产业支撑得到强化,应用范围加速拓展,产业规模实现快速增长。

近四成的企业已经应用了大数据。在接受调查的企业中,已经应用大数据的企业有623家,占比为39.6%,垂直行业中如金融等领域大数据应用增加趋势较为明显。此外,24.3%的企业表示未来一年内将应用大数据。

对数据分析方式选择情况的调查显示,40.3%的企业采取实时处理动态数据并提供分析结果,占比最高;其次是分析历史数据和通过机器学习进行辅助决策,占比分别为32.3%和25.5%。不久的将来,随着人工智能技术的发展和应用普及,选择机器学习进行辅助决策的企业占比有望进一步提升。

2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书(2019年)》,书中综合国内外环境、新兴技术发展等多种因素,测算2018年我国大数据产业增速约为15%,产值达到5405亿元。另据赛迪数据显示,2018年中国大数据产业规模为4384.5亿元,同比增长23.5%;到2021年,中国大数据产业规模将超过8000亿元。

图22016-2021年中国大数据产业规模(单位:亿元)

从企业业务布局来看,大数据产业主要集中在华北、华东及中南地区。

表12018年中国大数据产业区域分布情况

(三)数据资源资产化步伐稳步推进

2015年8月,国务院印发《促进大数据发展行动纲要》,明确“加快政府数据开放共享,推动资源整合”。社会各界通过对数据资源的整合、利用,加速了数据流通共享以及数据资源化进程。2018年10月,《数据管理能力成熟度评估模型》发布实施,规范了各组织、机构数据管理和应用工作,提升国内数据管理和应用能力。2019年10月,在中国共产党第十九届中央委员会第四次全体会议上,中央首次公开指出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制。”这是中央首次在公开场合提出数据可作为生产要素按贡献参与分配,反映了随着经济活动数字化转型加快,数据对提高生产效率的乘数作用凸显,成为最具时代特征新生产要素的重要变化。

(四)技术融合成为大数据发展主流

二、职业定义和工作任务

近年来,随着经济社会发展、科学技术进步和产业结构调整,新产业、新业态、新模式滋生孕育出许多新职业。大数据技术应用在各行各业的全面展开,我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下:

大数据工程技术人员职业定义:从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

大数据工程技术人员主要工作任务:

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;

2.研究、应用大数据平台体系架构、技术和标准;

3.设计、开发、集成、测试大数据软硬件系统;

4.大数据采集、清洗、建模与分析;

5.管理、维护并保障大数据系统稳定运行;

6.监控、管理和保障大数据安全;

7.提供大数据的技术咨询和技术服务。

三、当前就业人群分析

本报告基于2019年4月对27家大数据行业典型企业的人力资源情况进行调研后分析所得。

(一)学历层次

大数据人才的学历层次分为4个大类,分别是硕士及以上、本科、专科、专科以下。

图3大数据人才学历结构(单位:人)

可以看出,本科占比最高,其次是硕士及以上,专科占比只有12.22%。大数据行业是新兴行业,目前学历要求比较高。

其中社招占比最大,比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招,说明学校教育与社会需求脱节,内培和培训也不能满足岗位要求。

(四)薪资水平分布

当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。

图6大数据人才薪资水平分布(单位:人)

(五)岗位类型及数量

目前企业提供的大数据岗位按照工作内容要求,可以分为以下几类:

①初级分析类,包括业务数据分析师、商务数据分析师等。②挖掘算法类,包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类,包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类,包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。四类岗位的数量和占比见下图。

图7大数据岗位类型结构(单位:人)

四、行业人才需求情况

(一)整体需求

当前信息化对人类经济活动产生深刻影响,正渗透到生产生活方方面面,数据已经成为新的生产要素,大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式,也是进行大数据处理和深度挖掘的重要平台,大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

《大数据产业发展规划(2016-2020年)》指出,目前大数据人才队伍建设亟需加强,大数据基础研究、产品研发和业务应用等各类人才短缺,难以满足发展需要。要建设多层次人才队伍,建立适应大数据发展需求的人才培养和评价机制。加强大数据人才培养,整合高校、企业、社会资源,推动建立创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。

根据天府大数据国际战略与技术研究院(简称“天府大数据研究院”)《2018全球大数据发展分析报告》数据,2018年我国大数据产业人才占整体就业人口规模的0.23%,大约179.4万人。

猎聘《2019年中国AI&大数据人才大数据人才就业趋势报告》指出,2019年中国大数据人才缺口高达150万。另据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万。

图8大数据人才规模及增速

随着大数据、物联网、5G等技术应用的不断发展,社会对该职业从业人员的需求日益增长。预计2020年中国大数据行业的人才需求规模将达到210万,2025年前大数据人才需求仍将保持30%-40%的增速,需求总量在2000万人左右。

(1)技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变,中国标准逐渐成为业界标准,中国证书逐渐成为业界证书。

(2)技术纵深发展和横向拓展,引发企业对人才需求变化,既有岗位重新细分的高精尖专才需求,又有中等层次的广博复合型人才需求。

(三)岗位职责及技能要求

岗位

岗位职责

岗位技能

数据分析师

负责行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测

数理统计基本知识,Excel,SQL,Python/R。

挖掘工程师

负责行业数据整理、挖掘,并依据数据做出行业研究、评估和预测

常用数据挖掘算法,SQL,Python/R/Java。

深度学习/算法/机器学习工程师

负责利用各种神经网络模型及其算法并处理具体事务。

各种神经网络模型,Python/C++/Java,TensorFlow、Caffe等深度学习系统。

大数据开发

工程师

Java/Python/C++/Scala,Linux/Unix系统。

大数据架构

负责大数据架构的设计与实施。

分布式系统原理,Linux/Unix系统及其脚本shell等,Hadoop、Spark等大数据框架及其组件Yarn,HBase、Hive、Pig等。

大数据运维

负责大数据系统的运行和维护

Linux/Unix系统及其脚本shell等,Java。

数据可视化

负责大数据可视化应用开发,对数据分析结果多维度生动地体现。

数据采集

负责数据采集、预处理、标注等。

Linux/Unix系统,数据库如Mysql,redis,mongdb等,爬虫框架如Scrapy等等,web基础知识如HTML/JavaScript/CSS/xpath/url/Ajax/xml等,解析工具如HttpClient、jsoup、WebDriver、phantomjs等。

数据库管理员

负责数据库的运行和维护。

Linux/Unix系统,MySQL、SQL等数据库的运行机制和体系架构。

数据运营经理

负责数据的运营。

数理统计基本知识,运营方法,SQL。

数据产品经理

负责数据产品的销售。

工具如:

Axure;Visio,Mindmanager,Project,PPT等,BI,SQL,产品规划能力,撰写需求文档能力。

数据项目经理

负责数据项目。

项目管理工具,PMP证书,梳理流程能力。

大数据销售

负责大数据业务销售。

沟通能力,业务谈判能力。

五、职业发展通道

目前,长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师方面的工程师,以及需要通过数据来进行判断决策的管理者,通过一定的培训或自学,均可成为大数据工程技术人员。

由于我国大数据人才数量较少、缺口较大,因此多数公司的数据部门采用扁平化层级的模式,一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队,规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展,成为企业重要数据战略人才。此外,大数据工程技术人员对商业和产品的理解较业务部门员工更加深入,也可转向产品部或市场部,乃至高级管理层。

六、专家观点

两山转化数字研究院院长、杭州数梦工场研究院执行院长念灿华:数据是这个时代最重要的生产要素,政府、城市、产业数据资源的资产化、价值化、服务化是大势所趋,百行百业的数字化转型迫在眉睫。培养大数据工程技术人员对于实施国家大数据战略,构建数字中国,发展数字经济,满足当下各级政府和百行百业的海量人才需求,是非常充分而必要的。

工业和信息化部信息化和软件服务业司司长谢少锋:大数据开启了信息化发展的新阶段,数据已成为关键生产要素,“软件定义、数据驱动”对于推动制造业转型升级发挥着重要支撑作用。工业和信息化部作为行业主管部门,推出了一系列推动大数据产业发展的举措,下一步将扎实推进大数据战略的实施,大力推动大数据和实体经济融合,打造数字经济时代下制造业国际竞争新优势。

中国工程院院士、中国科学院计算所研究员倪光南:把大数据作为生产力,可能比把大数据作为一种财富更好、更全面。大数据生产力会推动生产关系的发展、推动社会的发展,会创造无穷无尽的财富,甚至将来会对我们思维的发展造成很大的变革。

中国科学院院士陈国良:在计算信息时代的三大标志性技术则是数字计算机、集成电路、光纤通信,新一代信息技术的三大亮点则是物联网、云计算和大数据。现在大数据潮流浩浩荡荡,大数据时代已经到来,我们要顺乎时代之潮流,不断学习新知识,与时俱进,跟上时代之步伐!计算机事业永远是年轻人的天下,大数据对年轻的一代而言,既是挑战更是机遇,无限风光在险峰!

阿里巴巴集团主要创始人、董事局原主席马云:大数据时代的出现让人类进入了万物互联的时代,取得对数据进行重新处理的能力也远远超过过去,对世界的认识将会提升到一个新的高度,大数据让预判和计划都成为了可能。

七、典型人物案例

(一)邵天富:投身大数据应用,创造精彩人生

随着政府、企业等社会组织与互联网结合得越来越紧密,自有大数据机房已经满足不了发展的需要,尽管大量的数据公司涌入,仍然无法满足高速增长的市场需求。邵天富敏锐地意识到大数据的春天来了。

从广东工业大学机电一体化专业毕业后,邵天富就一头扎入大数据管理“蓝海”,凭着浑然忘我、严谨细致的工作精神,不断的实践探索,经过10余年的努力,如今已是一个技术全面、经验丰富的大数据工程技术人员,并已成长为某数据服务有限公司数据中心技术骨干。

(二)刘岩:大数据应用的排头兵

研究生毕业的刘岩,怀着对公安工作的无限热爱投身到天津市某公安分局这个大家庭。从警以后,刘岩深深体会到大数据、科技信息对公安工作的深远影响,便立足岗位,在创新上下苦功,自觉提升大数据、信息化应用工作能力。自学了JAVA语言、安卓编程、搭建数据库等理论知识,并将理论知识应用于实际,自主研发了“鹰眼”手机APP系统,充分利用互联网信息资源,结合部分业务数据,打造了一个单位全员共享、交流的个性化业务平台,方便了外出办案民警随时查阅。并为该APP增加图形数据模块,使其真正成为图侦工作的重要工具,为案件侦破提供技术支撑。作为科研创新人员,刘岩被选入该市“公安智囊团队”成员、“信息化”人才库和“大数据分析挖掘应用”人才库。

(三)宋正龙:爱岗敬业,致力铁路大数据创新研发

宋正龙,毕业于大连铁道学院计算机专业,现为某车务段网络技术总监,主要负责车务段信息设备管理、维护、应用和软件开发工作。

参加工作30年来,他从一名普普通通的技术人员干起,一步步成长为网络数据开发的行家里手,他相继开发出适合车站的“编组顺序表”“货运制票程序”软件,极大地提高了工作效率和统计工作的准确性。

2014年,他所工作的单位提出创建数字化管理平台,实行全覆盖闭环管理的工作思路。宋正龙受命担当课题筹划、研发和建设任务。为设计制作好信息管理平台,他白天组织研发,晚上挑灯奋战建模,带领开发团队自主研发了管理平台、预警防控平台、作业控制平台和表簿册电子化平台。最终实现了人防、物防和技防的深度融合,推进了企业管理创新,加快了“数字连车”向“智能连车”的创新升级,得到了集团公司领导和兄弟单位的高度认可。

(四)荆琦:致力推动公安科技信息化的攻坚能手

荆琦是吉林大学计算机科学系的高材生,参加公安工作后,她致力于推动公安科技信息化建设。2009年,荆琦被评定为深圳市高层次专业技术人才,曾多次被抽调省公安厅、市公安局参与公安应用系统的研发和建设。

为解决公安基层存在各业务系统信息不互通、重复录入等问题,荆琦被委任为该单位信息采集攻坚团队副组长,在反复与成员讨论后,最后确立以警务综合信息系统改造为核心,以执法办案流程为主线,打通、合并、精简各条线系统的总体思路。为完成好任务,荆琦舍小家顾大家,调研、开会、沟通、协调的第一线总能看到她的身影。最终,荆琦带领的团队实现了信息“一次录入,全警共享”的目标,有力地提升了公安工作效率。

THE END
1.销售数据分析报告的分析思路销售数据分析是企业管理中至关重要的一环。通过深入分析销售数据,企业可以更好地了解市场需求,优化产品策略,提升销售效率,从而实现持续增长。本文将探讨销售数据分析报告的分析思路,帮助企业更好地利用数据进行决策。 二、数据收集与整理 销售数据来源于各个渠道,包括线上线下销售、分销商渠道、客户数据等。在进行数据分析https://wenku.baidu.com/view/84594055b84cf7ec4afe04a1b0717fd5360cb2ad.html
2.如何撰写PPT数据分析报告一、数据分析报告概况 1、简介 根据数据分析原理和方法,运用数据来反应、研究和分析事物的现状、存在的问题、背后的本质和运行的规律,并得出结论,提出解决办法的一种分析应用文体。https://www.jianshu.com/p/4e9c77d25937
3.销售怎么进行数据分析?全年销售趋势怎么分析销售数据分析可以做的分析很多,比如销售额同环比、产品线帕累托分析、客户RFM分析等等,但如果你只是笼统的将销售额做个汇总,将客户数做个统计,那肯定没有多大的价值,无法对之后的商业动作做指导的销售数据分析都是无用功。 销售数据分析思路: 首先我们需要知道分析销售数据的目的。 https://blog.csdn.net/m0_59236602/article/details/134180550
4.电子商务数据分析习题库及答案.pdf10、在数据监控中发现商品的流量不低,下单转化率下降幅度很大,应 该重点检查的指标不包括的是()(5.0) A、客服引导话术 B、商品价格 C、商品评价 D、商品主图 正确答案:D 11、数据分析报告的前言部分一般包括除()外的其他部分。(5.0) 分析背景 A、分析思路 B、分析目的 C、专业术语解析 正确答案:B 12、在https://m.renrendoc.com/paper/322549883.html
5.商务数据分析与应用,教你如何应对不同领域难题客户满意度和忠诚度分析:通过调研、反馈和数据分析,评估客户对产品和服务的满意度,并测量客户的忠诚度水平。这有助于发现改进点和提升客户忠诚度的机会。 2)可视化报告 3.人力资源管理分析 1)分析思路 数据指标 招聘:渠道,质量,成本; 培训:参与、产出; https://www.finebi.com/industry/swsjfxyyy
6.人力资源分析报告截止到20xx年7月,智联招聘各行业客户数达199万家,每天有220万个热门职位更新,每日平均浏览量达485万人次,简历库有效简历2680万份,为行业报告提供了庞大的数据分析基础。 本报告结合外部行业调研、企业招聘需求和简历库数据集合分析而成,主要分析了行业从业人员现状、企业招聘需求、求职群体分布以及薪酬数据。广泛的数据积https://www.oh100.com/zhichang/4256572.html
7.Prompt用得好,增长工作下班早2.找数据分析思路 你是一位XX行业的市场营销分析专家,请根据这份数据集合,给出4个不同方向的分析主题和思路。 3.产出数据分析报告 你是一位数据分析专家,请对数据集进行数据处理,请你输出一份数据分析报告,至少包含5个方面的总结分析,要有对应的图表和解释。 https://www.niaogebiji.com/article-645093-1.html
8.企业业绩分析怎么写?业绩报表模板与分析思路分享!业绩报表模板与分析思路分享! 一、什么是业绩报表 企业业绩报表作为企业的一个有价值的工具,提供分析的数字汇编,预测,收入,和预算,提供他们的表现的概述。这些报告通常包括图表、图形、表格和统计数据等图形元素,它们补充了基于文本的信息,并提供了直观的表示。它们作为一种手段,将业务结果和绩效与基准进行比较,同时还https://www.finereport.com/report/qyyezmfx.html
9.调研工作计划(15篇)(三)走访医院或企业,对医院或企业人员(每家10人左右,10家100人左右,要求不同工作岗位的'人)进行问卷调研;要有照片资料、视频资料和问卷分析报告及签订的合作协议、聘请的行业专家的基本情况登记表。 (四)行业发展现状数据分析。 (五)专业发展现状数据分析。 https://www.yuwenmi.com/fanwen/jihua/4073392.html
10.一套正确且高效的数据分析体系,该如何搭建?数据分析主要包括6个既相对独立又互有联系的阶段,依次是:明确分析目的和思路——数据收集——数据处理——数据分析——数据展现——报告撰写。 图片来源于网络 (1)明确分析目的和思路 在做任何一件事之前都要有一个明确目的,数据分析也是如此。在进行数据分析之前首先要明确数据分析的目的,知道自己为什么要做数据分析https://dy.163.com/article/EBP1EF9C0511805E.html
11.数据分析报告范文(精选10篇)经营数据分析报告, 分析范围。 分析时间。 如下图所示,分析目标除了主要包括三个方面外,还有备注一栏,这里备注的是计算周期问题。强调一点,我们做运营数据分析的时候通常都会拿更新前和更新后的数据进行比较,因此我们的设定的分析周期一般都会跟着游戏实际的更新情况走。 https://mip.wenshubang.com/baogao/155767.html
12.数据库需求分析报告(精选5篇)前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇数据库需求分析报告范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。 数据库需求分析报告范文第1篇 【关键词】基于工作过程,项目导向,课程开发,程序设计 一、引言 面向对象程序设计语言是高职软件专业学生的必修专业课程,在此类课程的教学中虽然https://www.1mishu.com/haowen/87338.html
13.如何写好一份数据分析报告写好数据分析报告首先需要了解数据分析的步骤:1、目标的确定;2、数据获取;3、数据清洗;4、数据整理;5、描述分析;6、将数据展现和输出;7、洞察结论;8、报告撰写;其次,按照分析报告的类型,根据标题、目录、前言、正文、结论的形式撰写数据分析报告,注重逻辑性、架构和结论的清晰可行。 https://www.linkflowtech.com/news/633
14.销售分析报告(模板12篇)销售分析报告 篇1 无论是在南方还是北方,空调行业都相当火爆,市场前景巨大,能够说是一片蓝海,有着关阔的发展、销售空间。所以很有必要对空调销售市场进行详细、系统的分析。根据消费者的性别、年龄、居住地、职业和经济收入等关于顾客的基本状况,分析空调的销售状况。 以到各个空调热卖的卖场购物的各个年龄断的顾客总https://www.liuxue86.com/a/4859675.html
15.财务总监亲述:理解财务分析的关键点,对财务工作很有帮助财务报告的分析思路是: 总体指标分析—集团总部情况分析—各二级公司情况分析; 4、紧密结合业务过程中存在的问题 财务人员在做分析报告时,由于不了解业务,往往闭门造车,并由此陷入就数据论数据的被动局面,得出来的分析结论也就常常令人啼笑皆非。 因此,有必要强调的一点是:各种财务数据并不仅仅是通常意义上数字的简单https://m.thepaper.cn/newsDetail_forward_20379510
16.数据分析报告(14篇)数据分析报告顾名思义肯定是要有数据来说话的,这是资料站为您准备的销售数据分析报告,希望你喜欢!销售数据分析工作涉及到销售成本分析(包括原材料成本、制造损耗、运输成本等)、销售利润分析(包括纯利润和毛利润)、客户满意度分析、客户需求分析等。 要进行销售数据分析,主要是统计和分类,必须借助一些工具,单靠人基本http://cooco.net.cn/zuowen/410639.html
17.2023一带一路暨金砖国家技能发展与技术创新大赛新零售大数据2.模型指标构建:需要构建营销、营运、考核三大方面的指标体系,指标体系应符合规范,指标之间尽量相互独立,能够覆盖数据分析所需要的大部分信息,包括但不限于成交指标、商品销售指标、日追踪指标等。 3.模型构建与求解:需要掌握统计分析的方法、数学建模的方法以及掌握相应的分析软件,能够理解模型本身的含义,寻找最适合解决https://www.hsxy.edu.cn/info/1222/11145.htm