新职业——大数据工程技术人员就业景气现状分析报告

(一)国家实施大数据战略,构建数字中国

大数据被认为是“未来的新石油”,也被比喻为21世纪的“钻石矿”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告;2015年8月国务院颁布《促进大数据发展行动纲要》,大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策,覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场,加快实施国家大数据战略。

同时,伴随大数据政策出台,各地政府相继成立了大数据管理机构,促进大数据产业发展,全国22个省区,200多个地市相继成立大数据管理部门。

图1各省大数据管理机构设置数量(单位:个)

(二)大数据行业发展迅猛,产业规模巨大

2016年,工信部印发了《大数据产业发展规划(2016-2020年)》,全国大数据产业建设掀起热潮,目前已形成八大大数据综合试验区,建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型,大数据的产业支撑得到强化,应用范围加速拓展,产业规模实现快速增长。

近四成的企业已经应用了大数据。在接受调查的企业中,已经应用大数据的企业有623家,占比为39.6%,垂直行业中如金融等领域大数据应用增加趋势较为明显。此外,24.3%的企业表示未来一年内将应用大数据。

对数据分析方式选择情况的调查显示,40.3%的企业采取实时处理动态数据并提供分析结果,占比最高;其次是分析历史数据和通过机器学习进行辅助决策,占比分别为32.3%和25.5%。不久的将来,随着人工智能技术的发展和应用普及,选择机器学习进行辅助决策的企业占比有望进一步提升。

2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书(2019年)》,书中综合国内外环境、新兴技术发展等多种因素,测算2018年我国大数据产业增速约为15%,产值达到5405亿元。另据赛迪数据显示,2018年中国大数据产业规模为4384.5亿元,同比增长23.5%;到2021年,中国大数据产业规模将超过8000亿元。

图22016-2021年中国大数据产业规模(单位:亿元)

从企业业务布局来看,大数据产业主要集中在华北、华东及中南地区。

表12018年中国大数据产业区域分布情况

(三)数据资源资产化步伐稳步推进

2015年8月,国务院印发《促进大数据发展行动纲要》,明确“加快政府数据开放共享,推动资源整合”。社会各界通过对数据资源的整合、利用,加速了数据流通共享以及数据资源化进程。2018年10月,《数据管理能力成熟度评估模型》发布实施,规范了各组织、机构数据管理和应用工作,提升国内数据管理和应用能力。2019年10月,在中国共产党第十九届中央委员会第四次全体会议上,中央首次公开指出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制。”这是中央首次在公开场合提出数据可作为生产要素按贡献参与分配,反映了随着经济活动数字化转型加快,数据对提高生产效率的乘数作用凸显,成为最具时代特征新生产要素的重要变化。

(四)技术融合成为大数据发展主流

二、职业定义和工作任务

近年来,随着经济社会发展、科学技术进步和产业结构调整,新产业、新业态、新模式滋生孕育出许多新职业。大数据技术应用在各行各业的全面展开,我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下:

大数据工程技术人员职业定义:从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

大数据工程技术人员主要工作任务:

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;

2.研究、应用大数据平台体系架构、技术和标准;

3.设计、开发、集成、测试大数据软硬件系统;

4.大数据采集、清洗、建模与分析;

5.管理、维护并保障大数据系统稳定运行;

6.监控、管理和保障大数据安全;

7.提供大数据的技术咨询和技术服务。

三、当前就业人群分析

本报告基于2019年4月对27家大数据行业典型企业的人力资源情况进行调研后分析所得。

(一)学历层次

大数据人才的学历层次分为4个大类,分别是硕士及以上、本科、专科、专科以下。

图3大数据人才学历结构(单位:人)

可以看出,本科占比最高,其次是硕士及以上,专科占比只有12.22%。大数据行业是新兴行业,目前学历要求比较高。

其中社招占比最大,比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招,说明学校教育与社会需求脱节,内培和培训也不能满足岗位要求。

(四)薪资水平分布

当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。

图6大数据人才薪资水平分布(单位:人)

(五)岗位类型及数量

目前企业提供的大数据岗位按照工作内容要求,可以分为以下几类:

①初级分析类,包括业务数据分析师、商务数据分析师等。②挖掘算法类,包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类,包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类,包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。四类岗位的数量和占比见下图。

图7大数据岗位类型结构(单位:人)

四、行业人才需求情况

(一)整体需求

当前信息化对人类经济活动产生深刻影响,正渗透到生产生活方方面面,数据已经成为新的生产要素,大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式,也是进行大数据处理和深度挖掘的重要平台,大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

《大数据产业发展规划(2016-2020年)》指出,目前大数据人才队伍建设亟需加强,大数据基础研究、产品研发和业务应用等各类人才短缺,难以满足发展需要。要建设多层次人才队伍,建立适应大数据发展需求的人才培养和评价机制。加强大数据人才培养,整合高校、企业、社会资源,推动建立创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。

根据天府大数据国际战略与技术研究院(简称“天府大数据研究院”)《2018全球大数据发展分析报告》数据,2018年我国大数据产业人才占整体就业人口规模的0.23%,大约179.4万人。

猎聘《2019年中国AI&大数据人才大数据人才就业趋势报告》指出,2019年中国大数据人才缺口高达150万。另据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万。

图8大数据人才规模及增速

随着大数据、物联网、5G等技术应用的不断发展,社会对该职业从业人员的需求日益增长。预计2020年中国大数据行业的人才需求规模将达到210万,2025年前大数据人才需求仍将保持30%-40%的增速,需求总量在2000万人左右。

(1)技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变,中国标准逐渐成为业界标准,中国证书逐渐成为业界证书。

(2)技术纵深发展和横向拓展,引发企业对人才需求变化,既有岗位重新细分的高精尖专才需求,又有中等层次的广博复合型人才需求。

(三)岗位职责及技能要求

岗位

岗位职责

岗位技能

数据分析师

负责行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测

数理统计基本知识,Excel,SQL,Python/R。

挖掘工程师

负责行业数据整理、挖掘,并依据数据做出行业研究、评估和预测

常用数据挖掘算法,SQL,Python/R/Java。

深度学习/算法/机器学习工程师

负责利用各种神经网络模型及其算法并处理具体事务。

各种神经网络模型,Python/C++/Java,TensorFlow、Caffe等深度学习系统。

大数据开发

工程师

Java/Python/C++/Scala,Linux/Unix系统。

大数据架构

负责大数据架构的设计与实施。

分布式系统原理,Linux/Unix系统及其脚本shell等,Hadoop、Spark等大数据框架及其组件Yarn,HBase、Hive、Pig等。

大数据运维

负责大数据系统的运行和维护

Linux/Unix系统及其脚本shell等,Java。

数据可视化

负责大数据可视化应用开发,对数据分析结果多维度生动地体现。

数据采集

负责数据采集、预处理、标注等。

Linux/Unix系统,数据库如Mysql,redis,mongdb等,爬虫框架如Scrapy等等,web基础知识如HTML/JavaScript/CSS/xpath/url/Ajax/xml等,解析工具如HttpClient、jsoup、WebDriver、phantomjs等。

数据库管理员

负责数据库的运行和维护。

Linux/Unix系统,MySQL、SQL等数据库的运行机制和体系架构。

数据运营经理

负责数据的运营。

数理统计基本知识,运营方法,SQL。

数据产品经理

负责数据产品的销售。

工具如:

Axure;Visio,Mindmanager,Project,PPT等,BI,SQL,产品规划能力,撰写需求文档能力。

数据项目经理

负责数据项目。

项目管理工具,PMP证书,梳理流程能力。

大数据销售

负责大数据业务销售。

沟通能力,业务谈判能力。

五、职业发展通道

目前,长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师方面的工程师,以及需要通过数据来进行判断决策的管理者,通过一定的培训或自学,均可成为大数据工程技术人员。

由于我国大数据人才数量较少、缺口较大,因此多数公司的数据部门采用扁平化层级的模式,一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队,规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展,成为企业重要数据战略人才。此外,大数据工程技术人员对商业和产品的理解较业务部门员工更加深入,也可转向产品部或市场部,乃至高级管理层。

六、专家观点

两山转化数字研究院院长、杭州数梦工场研究院执行院长念灿华:数据是这个时代最重要的生产要素,政府、城市、产业数据资源的资产化、价值化、服务化是大势所趋,百行百业的数字化转型迫在眉睫。培养大数据工程技术人员对于实施国家大数据战略,构建数字中国,发展数字经济,满足当下各级政府和百行百业的海量人才需求,是非常充分而必要的。

工业和信息化部信息化和软件服务业司司长谢少锋:大数据开启了信息化发展的新阶段,数据已成为关键生产要素,“软件定义、数据驱动”对于推动制造业转型升级发挥着重要支撑作用。工业和信息化部作为行业主管部门,推出了一系列推动大数据产业发展的举措,下一步将扎实推进大数据战略的实施,大力推动大数据和实体经济融合,打造数字经济时代下制造业国际竞争新优势。

中国工程院院士、中国科学院计算所研究员倪光南:把大数据作为生产力,可能比把大数据作为一种财富更好、更全面。大数据生产力会推动生产关系的发展、推动社会的发展,会创造无穷无尽的财富,甚至将来会对我们思维的发展造成很大的变革。

中国科学院院士陈国良:在计算信息时代的三大标志性技术则是数字计算机、集成电路、光纤通信,新一代信息技术的三大亮点则是物联网、云计算和大数据。现在大数据潮流浩浩荡荡,大数据时代已经到来,我们要顺乎时代之潮流,不断学习新知识,与时俱进,跟上时代之步伐!计算机事业永远是年轻人的天下,大数据对年轻的一代而言,既是挑战更是机遇,无限风光在险峰!

阿里巴巴集团主要创始人、董事局原主席马云:大数据时代的出现让人类进入了万物互联的时代,取得对数据进行重新处理的能力也远远超过过去,对世界的认识将会提升到一个新的高度,大数据让预判和计划都成为了可能。

七、典型人物案例

(一)邵天富:投身大数据应用,创造精彩人生

随着政府、企业等社会组织与互联网结合得越来越紧密,自有大数据机房已经满足不了发展的需要,尽管大量的数据公司涌入,仍然无法满足高速增长的市场需求。邵天富敏锐地意识到大数据的春天来了。

从广东工业大学机电一体化专业毕业后,邵天富就一头扎入大数据管理“蓝海”,凭着浑然忘我、严谨细致的工作精神,不断的实践探索,经过10余年的努力,如今已是一个技术全面、经验丰富的大数据工程技术人员,并已成长为某数据服务有限公司数据中心技术骨干。

(二)刘岩:大数据应用的排头兵

研究生毕业的刘岩,怀着对公安工作的无限热爱投身到天津市某公安分局这个大家庭。从警以后,刘岩深深体会到大数据、科技信息对公安工作的深远影响,便立足岗位,在创新上下苦功,自觉提升大数据、信息化应用工作能力。自学了JAVA语言、安卓编程、搭建数据库等理论知识,并将理论知识应用于实际,自主研发了“鹰眼”手机APP系统,充分利用互联网信息资源,结合部分业务数据,打造了一个单位全员共享、交流的个性化业务平台,方便了外出办案民警随时查阅。并为该APP增加图形数据模块,使其真正成为图侦工作的重要工具,为案件侦破提供技术支撑。作为科研创新人员,刘岩被选入该市“公安智囊团队”成员、“信息化”人才库和“大数据分析挖掘应用”人才库。

(三)宋正龙:爱岗敬业,致力铁路大数据创新研发

宋正龙,毕业于大连铁道学院计算机专业,现为某车务段网络技术总监,主要负责车务段信息设备管理、维护、应用和软件开发工作。

参加工作30年来,他从一名普普通通的技术人员干起,一步步成长为网络数据开发的行家里手,他相继开发出适合车站的“编组顺序表”“货运制票程序”软件,极大地提高了工作效率和统计工作的准确性。

2014年,他所工作的单位提出创建数字化管理平台,实行全覆盖闭环管理的工作思路。宋正龙受命担当课题筹划、研发和建设任务。为设计制作好信息管理平台,他白天组织研发,晚上挑灯奋战建模,带领开发团队自主研发了管理平台、预警防控平台、作业控制平台和表簿册电子化平台。最终实现了人防、物防和技防的深度融合,推进了企业管理创新,加快了“数字连车”向“智能连车”的创新升级,得到了集团公司领导和兄弟单位的高度认可。

(四)荆琦:致力推动公安科技信息化的攻坚能手

荆琦是吉林大学计算机科学系的高材生,参加公安工作后,她致力于推动公安科技信息化建设。2009年,荆琦被评定为深圳市高层次专业技术人才,曾多次被抽调省公安厅、市公安局参与公安应用系统的研发和建设。

为解决公安基层存在各业务系统信息不互通、重复录入等问题,荆琦被委任为该单位信息采集攻坚团队副组长,在反复与成员讨论后,最后确立以警务综合信息系统改造为核心,以执法办案流程为主线,打通、合并、精简各条线系统的总体思路。为完成好任务,荆琦舍小家顾大家,调研、开会、沟通、协调的第一线总能看到她的身影。最终,荆琦带领的团队实现了信息“一次录入,全警共享”的目标,有力地提升了公安工作效率。

THE END
1.大数据算法工程师大数据算法工程师招聘猎聘大数据算法工程师招聘频道为您提供大量的大数据算法工程师招聘信息,有超过10000多大数据算法工程师招聘信息任你选寻,招聘大数据算法工程师人才就来猎聘大数据算法工程师招聘!求职找工作就用猎聘聊。https://www.liepin.com/s/fe30ed5b10ce9e95a1dcf182391085cb/
2.数据算法工程师岗位职责(工作内容,是做什么的)大数据算法工程师(2025届校招)岗位职责来自天锐星通 加载更多 招聘学历要求:本科最多 3%大专57.3%本科34.2%硕士0.8%博士4.7%不限 数据算法工程师需要什么学历?大专占3%,本科占57.3%……想知道其他学历占比多少,请点击查看 按学历统计 大专¥18.5K https://www.jobui.com/gangwei/shujusuanfagongchengshi/
3.算法工程师(大数据分析方向)算法工程师(大数据分析方向)2022-03-02 云上高博会 https://heec.cahe.edu.cn 需求类型 岗位需求 岗位经验 应届生及短期工作经验 工作地点 福建省 宁德市 岗位简介 1.基于业务诉求进行数据挖掘 2.基于业务场景建立预测系统 3.对模型参数进行调优.岗位要求 https://heec.cahe.edu.cn/company/gw-xuqiu/929.html
4.大家觉得大数据研发工程师和算法工程师哪个比较好一些?RT,本来是打算做算法工程师的(机器学习方向,虽然只学了一个学期的机器学习……),今天公司打电话说是做大数据研发,应该是hadoop spark这类的,想问一下这俩个方向哪个发展比较好一些。。全部评论 推荐 最新 楼层 supercat 上海交通大学 算法工程师 如果你只学了一学期的机器学习的话,算法还是放弃吧。。个人感受https://www.nowcoder.com/discuss/16456
5.重庆nlp算法工程师招聘重庆传晟酷德大数据科技有限公司更多 重庆nlp算法工程师招聘职位 明星雇主 查看更多 相关岗位招聘 相关招聘企业 相关行业招聘 热门兼职招聘 相关地区招聘 重庆自然语言处理工程师 nlp自然语言处理工程师 机器学习 深度学习 重庆传晟酷德大数据科技有限公司 重庆传晟酷德大数据科技有限公司是重庆市大型的专业从事大数据产业链各项业务的高新技术企业之一。http://www.huibo.com/cq/job/jobg49l94e/
6.大数据转行算法工程师面试经验总共面了5家左右吧,只有一家给了offer,title是算法工程师。 说一说面试主要问的问题: 1. 普通的算法(leetcode题库看一看,刷一刷)频率不高,5家的话记得是由1家有问到。比重不多,5%左右。 2. 项目(项目背景,技术选型,如何实现,模型选取,主要负责部分,对应算法原理,效果评估)这个比重会高很多,大概80%都是https://ask.julyedu.com/question/88771
7.算法工程师软件工程师大数据工程师,傻傻分不清楚算法工程师Em**女皇 上传280KB 文件格式 pdf 大数据 层次模型 工程 算法工程师的范围是小于数据挖掘工程师的 数据挖掘工程师需要了解整套数据流入的过程,包括数据的接入、预处理,然后需要知道怎么用数据解决实际的业务问题,说白就是想办法让数据产生价值。 他需要知道一整个数据到业务输出的机制或者说是系统,可能涉及到复杂的https://www.coder100.com/index/index/content/id/2743329
8.算法工程师软件工程师大数据工程师,傻傻分不清楚算法工程师工作内容更单一(其实有时候,他们只是在思考问题,而不是真的闲),但是更专,需要更好的数学功底。 不过,目前市面上大部分招聘算法工程师的岗位,特指机器学习、数据挖掘领域的非确定性算法或解决一些非确定性问题(见名词通俗解释)。 因此,有时候所谓的算法工程师,真的和大数据相关的工程师在工作上存在大量https://www.jianshu.com/p/76a51688856d
9.观点有一种说法,算法工程师的薪酬只有三档(附大数据工程师比如,以格灵深瞳为例,作为一家计算机视觉领域的大数据公司,团队中既需要对算法进行过透彻研究的人才,也需要工程实力比较强的人才,或帮团队搭建一整套视频图像数据采集、标注、机器学习、自动化测试、产品实现的平台; 所以,对前一种工程师,需要在深度学习算法甚至在计算视觉领域都有过深入研究,编程能力可以稍弱一点;而https://blog.itpub.net/69903766/viewspace-2286314/
10.华能清洁能源研究院大数据与人工智能专业技术人才招聘公告5.大数据算法工程师(1人) 岗位描述: (1)基于业务目标,分析和挖掘海量业务数据,发现有价值的模式与规律,提出优化产品生态的策略建议; (2)为公司新能源数字平台业务提供大数据算法支撑,并为大数据平台和应用中的大数据算法进行设计、实现和调优。 岗位要求: https://www.chng.com.cn/detail_zpxx/-/article/YjJqG0pRRQU6/v/915260.html
11.大数据技术热门的岗位有哪些算法工程师在现在可以说是非常吃香的,数据挖掘、互联网搜索算法这些体现大数据发展方向的算法,在近几年越来越流行,而且算法工程师也逐渐朝向人工智能的方向发展。 科多妹今天在某网站上查看的背景算法工程师的平均薪资,北京的平均薪资是26150元/月。受行业的影响,算法工程师的热门程度将会越来越高! https://www.douban.com/note/694956622/
12.「职位对比」京东集团大数据算法工程师怎么样大数据算法工程师 - K· 薪 京东集团 电子商务 已上市 更换职位 招聘中 算法专家 - K· 薪 京东科技集团 互联网 不需要融资 更换职位 立即沟通 职位详情 北京 5-10年 本科 Spark Hadoop hive 1:工作内容 1、基于海量数据和大数据平台,开发设计高可扩展/高并发/高效的数据挖掘、机器学习、统计分析、用户画https://www.zhipin.com/job_pk/c08c35404657b63e03B_3NW8E1c~/ea02b83e505ca6871HJ63928E1BY.html
13.大数据开发+算法简历5(1).docx大数据开发简历资源大数据开发+算法简历5(1) 本简历概括了一个大数据开发和算法工程师的职业经历和技术技能。下面是从简历中提取的知识点: 1. 大数据处理技术: * MapReduce:一个分布式 programming 模型,用于处理大规模数据集。 * ZooKeeper:一个分布式配置管理系统,用于管理大数据处理应用程序的配置。 * Hive:一个数据仓库工具,用于大https://download.csdn.net/download/yzd6789/48931552
14.算法工程师的职责4.具有视觉图像处理项目经验,视觉算法开发经验者有限 5.熟悉非标自动化视觉设备软件开发流程,能够对接客户并整理软件研发需求。 算法工程师的职责3 一、岗位职责 1、负责大数据算法设计及实现工作,并将研究成果形成应用,推进实际业务发展; 2、负责大数据算法框架体系架构设计和相关技术路线规划; https://www.unjs.com/w/436010.html
15.大数据面试工程师星海一哥大数据开发工程师 职位描述 1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。 职位https://www.cnblogs.com/xinghaiyige/p/14029082.html
16.算法工程师是青春饭吗还是越老越值钱?算法属于哪个专业就业前景说到算法工程师,虽然大家不知道是做什么的,但是一听起来就感觉非常的厉害。据悉,随着人工智能、大数据的火爆,算法工程师这个群体就逐渐走进大家的视野,成为科技型企业眼中的稀缺人才。那么,算法工程师是吃青春饭的职业吗?还是越老越值钱呢?算法属于哪个专业?算法工程师未来就业前景如何?今天就随小编一起来看看吧。 http://m.jdxzz.com/jiuye/2020/0226/11371.html
17.国内算法工程师人才分布2. 金融科技:随着金融科技的崛起,金融机构和科技企业对算法工程师的需求也在增加,如支付宝、微众银行、陆金所等。 3. 人工智能:人工智能是当前热门的领域之一,很多企业在人工智能领域进行研发和应用,对算法工程师的需求很大。 4. 大数据和数据科学:大数据技术在各个行业中得到广泛应用,对于能够处理和分析大规模数据的http://www.yl1001.com/article/7581690190710218.htm
18.中国开发者真实现状:不爱跳槽月薪集中在8K本次报告中,我们发现,AI 领域开发者中软件工程师占比最高,为 38.3%,可见软件工程师在 AI 领域也占重要地位。其次,机器学习/深度学习算法工程师、计算机视觉/图像识别/图像处理工程师都是较为热门的岗位,分别占 19.9% 和 15.5%。 不过,此次调研中,在机器学习/深度学习/神经网络成为开发者最感兴趣的方向同时,有https://www.36kr.com/p/1164571992032388.html