新职业——大数据工程技术人员就业景气现状分析报告

(一)国家实施大数据战略,构建数字中国

大数据被认为是“未来的新石油”,也被比喻为21世纪的“钻石矿”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告;2015年8月国务院颁布《促进大数据发展行动纲要》,大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策,覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场,加快实施国家大数据战略。

同时,伴随大数据政策出台,各地政府相继成立了大数据管理机构,促进大数据产业发展,全国22个省区,200多个地市相继成立大数据管理部门。

图1各省大数据管理机构设置数量(单位:个)

(二)大数据行业发展迅猛,产业规模巨大

2016年,工信部印发了《大数据产业发展规划(2016-2020年)》,全国大数据产业建设掀起热潮,目前已形成八大大数据综合试验区,建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型,大数据的产业支撑得到强化,应用范围加速拓展,产业规模实现快速增长。

近四成的企业已经应用了大数据。在接受调查的企业中,已经应用大数据的企业有623家,占比为39.6%,垂直行业中如金融等领域大数据应用增加趋势较为明显。此外,24.3%的企业表示未来一年内将应用大数据。

对数据分析方式选择情况的调查显示,40.3%的企业采取实时处理动态数据并提供分析结果,占比最高;其次是分析历史数据和通过机器学习进行辅助决策,占比分别为32.3%和25.5%。不久的将来,随着人工智能技术的发展和应用普及,选择机器学习进行辅助决策的企业占比有望进一步提升。

2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书(2019年)》,书中综合国内外环境、新兴技术发展等多种因素,测算2018年我国大数据产业增速约为15%,产值达到5405亿元。另据赛迪数据显示,2018年中国大数据产业规模为4384.5亿元,同比增长23.5%;到2021年,中国大数据产业规模将超过8000亿元。

图22016-2021年中国大数据产业规模(单位:亿元)

从企业业务布局来看,大数据产业主要集中在华北、华东及中南地区。

表12018年中国大数据产业区域分布情况

(三)数据资源资产化步伐稳步推进

2015年8月,国务院印发《促进大数据发展行动纲要》,明确“加快政府数据开放共享,推动资源整合”。社会各界通过对数据资源的整合、利用,加速了数据流通共享以及数据资源化进程。2018年10月,《数据管理能力成熟度评估模型》发布实施,规范了各组织、机构数据管理和应用工作,提升国内数据管理和应用能力。2019年10月,在中国共产党第十九届中央委员会第四次全体会议上,中央首次公开指出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制。”这是中央首次在公开场合提出数据可作为生产要素按贡献参与分配,反映了随着经济活动数字化转型加快,数据对提高生产效率的乘数作用凸显,成为最具时代特征新生产要素的重要变化。

(四)技术融合成为大数据发展主流

二、职业定义和工作任务

近年来,随着经济社会发展、科学技术进步和产业结构调整,新产业、新业态、新模式滋生孕育出许多新职业。大数据技术应用在各行各业的全面展开,我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下:

大数据工程技术人员职业定义:从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

大数据工程技术人员主要工作任务:

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;

2.研究、应用大数据平台体系架构、技术和标准;

3.设计、开发、集成、测试大数据软硬件系统;

4.大数据采集、清洗、建模与分析;

5.管理、维护并保障大数据系统稳定运行;

6.监控、管理和保障大数据安全;

7.提供大数据的技术咨询和技术服务。

三、当前就业人群分析

本报告基于2019年4月对27家大数据行业典型企业的人力资源情况进行调研后分析所得。

(一)学历层次

大数据人才的学历层次分为4个大类,分别是硕士及以上、本科、专科、专科以下。

图3大数据人才学历结构(单位:人)

可以看出,本科占比最高,其次是硕士及以上,专科占比只有12.22%。大数据行业是新兴行业,目前学历要求比较高。

其中社招占比最大,比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招,说明学校教育与社会需求脱节,内培和培训也不能满足岗位要求。

(四)薪资水平分布

当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。

图6大数据人才薪资水平分布(单位:人)

(五)岗位类型及数量

目前企业提供的大数据岗位按照工作内容要求,可以分为以下几类:

①初级分析类,包括业务数据分析师、商务数据分析师等。②挖掘算法类,包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类,包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类,包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。四类岗位的数量和占比见下图。

图7大数据岗位类型结构(单位:人)

四、行业人才需求情况

(一)整体需求

当前信息化对人类经济活动产生深刻影响,正渗透到生产生活方方面面,数据已经成为新的生产要素,大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式,也是进行大数据处理和深度挖掘的重要平台,大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

《大数据产业发展规划(2016-2020年)》指出,目前大数据人才队伍建设亟需加强,大数据基础研究、产品研发和业务应用等各类人才短缺,难以满足发展需要。要建设多层次人才队伍,建立适应大数据发展需求的人才培养和评价机制。加强大数据人才培养,整合高校、企业、社会资源,推动建立创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。

根据天府大数据国际战略与技术研究院(简称“天府大数据研究院”)《2018全球大数据发展分析报告》数据,2018年我国大数据产业人才占整体就业人口规模的0.23%,大约179.4万人。

猎聘《2019年中国AI&大数据人才大数据人才就业趋势报告》指出,2019年中国大数据人才缺口高达150万。另据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万。

图8大数据人才规模及增速

随着大数据、物联网、5G等技术应用的不断发展,社会对该职业从业人员的需求日益增长。预计2020年中国大数据行业的人才需求规模将达到210万,2025年前大数据人才需求仍将保持30%-40%的增速,需求总量在2000万人左右。

(1)技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变,中国标准逐渐成为业界标准,中国证书逐渐成为业界证书。

(2)技术纵深发展和横向拓展,引发企业对人才需求变化,既有岗位重新细分的高精尖专才需求,又有中等层次的广博复合型人才需求。

(三)岗位职责及技能要求

岗位

岗位职责

岗位技能

数据分析师

负责行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测

数理统计基本知识,Excel,SQL,Python/R。

挖掘工程师

负责行业数据整理、挖掘,并依据数据做出行业研究、评估和预测

常用数据挖掘算法,SQL,Python/R/Java。

深度学习/算法/机器学习工程师

负责利用各种神经网络模型及其算法并处理具体事务。

各种神经网络模型,Python/C++/Java,TensorFlow、Caffe等深度学习系统。

大数据开发

工程师

Java/Python/C++/Scala,Linux/Unix系统。

大数据架构

负责大数据架构的设计与实施。

分布式系统原理,Linux/Unix系统及其脚本shell等,Hadoop、Spark等大数据框架及其组件Yarn,HBase、Hive、Pig等。

大数据运维

负责大数据系统的运行和维护

Linux/Unix系统及其脚本shell等,Java。

数据可视化

负责大数据可视化应用开发,对数据分析结果多维度生动地体现。

数据采集

负责数据采集、预处理、标注等。

Linux/Unix系统,数据库如Mysql,redis,mongdb等,爬虫框架如Scrapy等等,web基础知识如HTML/JavaScript/CSS/xpath/url/Ajax/xml等,解析工具如HttpClient、jsoup、WebDriver、phantomjs等。

数据库管理员

负责数据库的运行和维护。

Linux/Unix系统,MySQL、SQL等数据库的运行机制和体系架构。

数据运营经理

负责数据的运营。

数理统计基本知识,运营方法,SQL。

数据产品经理

负责数据产品的销售。

工具如:

Axure;Visio,Mindmanager,Project,PPT等,BI,SQL,产品规划能力,撰写需求文档能力。

数据项目经理

负责数据项目。

项目管理工具,PMP证书,梳理流程能力。

大数据销售

负责大数据业务销售。

沟通能力,业务谈判能力。

五、职业发展通道

目前,长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师方面的工程师,以及需要通过数据来进行判断决策的管理者,通过一定的培训或自学,均可成为大数据工程技术人员。

由于我国大数据人才数量较少、缺口较大,因此多数公司的数据部门采用扁平化层级的模式,一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队,规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展,成为企业重要数据战略人才。此外,大数据工程技术人员对商业和产品的理解较业务部门员工更加深入,也可转向产品部或市场部,乃至高级管理层。

六、专家观点

两山转化数字研究院院长、杭州数梦工场研究院执行院长念灿华:数据是这个时代最重要的生产要素,政府、城市、产业数据资源的资产化、价值化、服务化是大势所趋,百行百业的数字化转型迫在眉睫。培养大数据工程技术人员对于实施国家大数据战略,构建数字中国,发展数字经济,满足当下各级政府和百行百业的海量人才需求,是非常充分而必要的。

工业和信息化部信息化和软件服务业司司长谢少锋:大数据开启了信息化发展的新阶段,数据已成为关键生产要素,“软件定义、数据驱动”对于推动制造业转型升级发挥着重要支撑作用。工业和信息化部作为行业主管部门,推出了一系列推动大数据产业发展的举措,下一步将扎实推进大数据战略的实施,大力推动大数据和实体经济融合,打造数字经济时代下制造业国际竞争新优势。

中国工程院院士、中国科学院计算所研究员倪光南:把大数据作为生产力,可能比把大数据作为一种财富更好、更全面。大数据生产力会推动生产关系的发展、推动社会的发展,会创造无穷无尽的财富,甚至将来会对我们思维的发展造成很大的变革。

中国科学院院士陈国良:在计算信息时代的三大标志性技术则是数字计算机、集成电路、光纤通信,新一代信息技术的三大亮点则是物联网、云计算和大数据。现在大数据潮流浩浩荡荡,大数据时代已经到来,我们要顺乎时代之潮流,不断学习新知识,与时俱进,跟上时代之步伐!计算机事业永远是年轻人的天下,大数据对年轻的一代而言,既是挑战更是机遇,无限风光在险峰!

阿里巴巴集团主要创始人、董事局原主席马云:大数据时代的出现让人类进入了万物互联的时代,取得对数据进行重新处理的能力也远远超过过去,对世界的认识将会提升到一个新的高度,大数据让预判和计划都成为了可能。

七、典型人物案例

(一)邵天富:投身大数据应用,创造精彩人生

随着政府、企业等社会组织与互联网结合得越来越紧密,自有大数据机房已经满足不了发展的需要,尽管大量的数据公司涌入,仍然无法满足高速增长的市场需求。邵天富敏锐地意识到大数据的春天来了。

从广东工业大学机电一体化专业毕业后,邵天富就一头扎入大数据管理“蓝海”,凭着浑然忘我、严谨细致的工作精神,不断的实践探索,经过10余年的努力,如今已是一个技术全面、经验丰富的大数据工程技术人员,并已成长为某数据服务有限公司数据中心技术骨干。

(二)刘岩:大数据应用的排头兵

研究生毕业的刘岩,怀着对公安工作的无限热爱投身到天津市某公安分局这个大家庭。从警以后,刘岩深深体会到大数据、科技信息对公安工作的深远影响,便立足岗位,在创新上下苦功,自觉提升大数据、信息化应用工作能力。自学了JAVA语言、安卓编程、搭建数据库等理论知识,并将理论知识应用于实际,自主研发了“鹰眼”手机APP系统,充分利用互联网信息资源,结合部分业务数据,打造了一个单位全员共享、交流的个性化业务平台,方便了外出办案民警随时查阅。并为该APP增加图形数据模块,使其真正成为图侦工作的重要工具,为案件侦破提供技术支撑。作为科研创新人员,刘岩被选入该市“公安智囊团队”成员、“信息化”人才库和“大数据分析挖掘应用”人才库。

(三)宋正龙:爱岗敬业,致力铁路大数据创新研发

宋正龙,毕业于大连铁道学院计算机专业,现为某车务段网络技术总监,主要负责车务段信息设备管理、维护、应用和软件开发工作。

参加工作30年来,他从一名普普通通的技术人员干起,一步步成长为网络数据开发的行家里手,他相继开发出适合车站的“编组顺序表”“货运制票程序”软件,极大地提高了工作效率和统计工作的准确性。

2014年,他所工作的单位提出创建数字化管理平台,实行全覆盖闭环管理的工作思路。宋正龙受命担当课题筹划、研发和建设任务。为设计制作好信息管理平台,他白天组织研发,晚上挑灯奋战建模,带领开发团队自主研发了管理平台、预警防控平台、作业控制平台和表簿册电子化平台。最终实现了人防、物防和技防的深度融合,推进了企业管理创新,加快了“数字连车”向“智能连车”的创新升级,得到了集团公司领导和兄弟单位的高度认可。

(四)荆琦:致力推动公安科技信息化的攻坚能手

荆琦是吉林大学计算机科学系的高材生,参加公安工作后,她致力于推动公安科技信息化建设。2009年,荆琦被评定为深圳市高层次专业技术人才,曾多次被抽调省公安厅、市公安局参与公安应用系统的研发和建设。

为解决公安基层存在各业务系统信息不互通、重复录入等问题,荆琦被委任为该单位信息采集攻坚团队副组长,在反复与成员讨论后,最后确立以警务综合信息系统改造为核心,以执法办案流程为主线,打通、合并、精简各条线系统的总体思路。为完成好任务,荆琦舍小家顾大家,调研、开会、沟通、协调的第一线总能看到她的身影。最终,荆琦带领的团队实现了信息“一次录入,全警共享”的目标,有力地提升了公安工作效率。

THE END
1.行业数据分析招聘网2024年行业数据分析招聘信息猎聘2024年行业数据分析招聘信息,海量高薪猎头职位等你来选,了解行业数据分析岗位要求、薪资待遇等真实招聘信息,找高薪职位,上猎聘!https://www.liepin.com/zpxingyeshujufenxi/
2.行业数据各行业最新数据分析数据中心报告大厅数据中心为您提供各个行业数据分析,包括了各行业最新数据分析、地方行业数据分析。涉及农业、医疗医药保健、家用电器、建筑、化工、纺织、通讯、能源等30多个行业数据分析。https://www.chinabgao.com/stat/industry.html
3.大数据分析这个职位属于哪个行业数据分析行业属于一个边缘学科,交叉学科,准确的说它不属于哪个行业,不属于IT,也不属于金融业,但是...https://edu.iask.sina.com.cn/jy/1Dt2oU7TsyOW.html
4.数据分析师数据分析培训数据培训课程CPDA数据分析师,是中国商业联合会数据分析专业委员会主办的数据分析师培训课程,旨在通过大数据分析人工智能实战案例等形式为企业培养经营决策提供服务的专业数据分析师人才。https://m.chinacpda.com/
5.数据分析和数据科学行业SWOT分析报告.docx第二部分 数据分析和数据科学行业技术趋势分析 6 第三部分 数据分析和数据科学行业SWOT分析 8 第四部分 数据分析和数据科学行业投资与前景预测 11 第一部分 数据分析和数据科学行业市场分析 标题:数据分析和数据科学行业市场分析 摘要: 本文旨在对数据分析和数据科学行业进行市场分析,以了解其当前和未来的趋势和发展。https://max.book118.com/html/2023/0803/5132010020010303.shtm
1.3大领域,4大方向,做好数据分析岗位的职业规划如果已经有一定行业履历,只是想要转岗数据分析师,那么跨岗不跨行,避免跳到一个陌生的领域。 领域经验太宽泛,我给不了太多的指点,主要也就三点:1.自己感兴趣的,2.自己擅长的,3.有钱途的。从职场生涯看,成为某领域的数据专家,会是一个更好的筹码。 https://36kr.com/p/5094852
2.解析大数据分析行业的现状与前景:全球视角下的中国力量在一个充满数据的时代,大数据分析已经成为推动各行各业发展的核心动力。最近,一位来自其他行业的前辈向我咨询大数据分析行业的从业情况。为了更好地回答他的疑问,我决定写一篇文章,结合全球视角,重点介绍中国大数据分析行业的现状与未来前景。希望通过这篇文章,能够为有志于进入大数据分析领域的朋友们提供一些有价值的见...https://blog.csdn.net/qq_41780234/article/details/140755655
3.数据分析是什么行业数据分析已经渗透到各行各业中,涵盖了很多不同的应用领域,包括金融业、零售业、医疗保健业、制造业、电子商务行业、人力资源行业、物联网行业等。虽然,数据分析行业目前尚处在发展初期,但随着人工智能技术的发展,未来几年将会见证更多可能性的实现。 一、数据分析的应用与发展 ...https://www.linkflowtech.com/news/2705
4.工作十年的数据分析师被炒,没有方向,你根本躲不过中年危机单纯聚焦于数据分析行业本身来说不是青春饭,或者说这个行业跟年纪大小压根就没关系,但是劝大家也不要太乐观,三百六十行,行行有难处。 跟程序员很像,数据分析的职业分水岭也在30-35岁左右,因为大多数做数据分析的人,不到十年一定会遇到职业的天花板问题,这个行业的天花板下限太低,很多人都触底之后就会选择转行或者...https://www.51cto.com/article/687244.html
5.从执行到专家详解数据分析师的职业层级划分1、数据跟踪员:机械拷贝看到的数据,很少处理数据 虽然这个工作的人还不能称作数据分析师,但是往往作这样工作的人还都自称是数据分析师,这样的人,只能通过×××系统看到有限的数据,并且很少去处理数据,甚至不理解数据的由来和含义,只是机械的把自己看到的数据拷贝出来,转发给相应的人。这类人发出来的数据,是否有意义...https://sjfx.hbue.edu.cn/72/ad/c4354a94893/page.htm
6.行业分析/数据岗的四大类型八大行业腾讯云开发者社区针对很多同学想深入了解数据岗的情况,今天小编跟大家来介绍下大数据岗位的四大类型及涉及的八大行业。 我们一起看看数据分析还能去那些数据岗位? 一、数据分析师 二、数据科学家 三、数据工程师 四、数据产品经理 所以,掌握数据分析技术职业发展空间很大,通过工作经验的积累,可塑性非常强,当下数据万联的时代,职业路径呈...https://cloud.tencent.com/developer/news/1194147
7.帆软FineBI大数据Spider引擎——为海量数据分析而生保险行业常用传统展示分析工具如BO、SSAS、cognos、Microstrategy等,常规汇总分析数据与粗粒度维度汇总计算较为方便,固定的指标查看等都没有问题。但是到明细数据的展示分析与汇总时候,就存在各种性能瓶颈以及传统BI工具的约束,比如维度过多导致cube难以支撑; 无法在线查看实际明细数据,而下载导出的数据有数据量的限制;任意...https://maimai.cn/article/detail?fid=1087958660&efid=cFC-D1L_rX-NNAoQf2Qh1A
8.《2020疫情数据报道分析报告》澎湃号·湃客澎湃新闻得益于近几年大数据行业的蓬勃发展和疫情数据的公开可得,数据新闻生产主体的下沉迹象愈来愈明显,不少高校媒体、个人自媒体也陆续着手组建专业的数据新闻团队。除此之外还涌现出了大批数据服务提供商,在有偿提供数据分析服务的本职工作外,借助自身数据采集优势无偿向公众传递信息。 https://www.thepaper.cn/newsDetail_forward_9182883