新职业——大数据工程技术人员就业景气现状分析报告

(一)国家实施大数据战略,构建数字中国

大数据被认为是“未来的新石油”,也被比喻为21世纪的“钻石矿”,在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。2014年大数据首次写入政府工作报告;2015年8月国务院颁布《促进大数据发展行动纲要》,大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策,覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场,加快实施国家大数据战略。

同时,伴随大数据政策出台,各地政府相继成立了大数据管理机构,促进大数据产业发展,全国22个省区,200多个地市相继成立大数据管理部门。

图1各省大数据管理机构设置数量(单位:个)

(二)大数据行业发展迅猛,产业规模巨大

2016年,工信部印发了《大数据产业发展规划(2016-2020年)》,全国大数据产业建设掀起热潮,目前已形成八大大数据综合试验区,建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型,大数据的产业支撑得到强化,应用范围加速拓展,产业规模实现快速增长。

近四成的企业已经应用了大数据。在接受调查的企业中,已经应用大数据的企业有623家,占比为39.6%,垂直行业中如金融等领域大数据应用增加趋势较为明显。此外,24.3%的企业表示未来一年内将应用大数据。

对数据分析方式选择情况的调查显示,40.3%的企业采取实时处理动态数据并提供分析结果,占比最高;其次是分析历史数据和通过机器学习进行辅助决策,占比分别为32.3%和25.5%。不久的将来,随着人工智能技术的发展和应用普及,选择机器学习进行辅助决策的企业占比有望进一步提升。

2019年5月6日中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书(2019年)》,书中综合国内外环境、新兴技术发展等多种因素,测算2018年我国大数据产业增速约为15%,产值达到5405亿元。另据赛迪数据显示,2018年中国大数据产业规模为4384.5亿元,同比增长23.5%;到2021年,中国大数据产业规模将超过8000亿元。

图22016-2021年中国大数据产业规模(单位:亿元)

从企业业务布局来看,大数据产业主要集中在华北、华东及中南地区。

表12018年中国大数据产业区域分布情况

(三)数据资源资产化步伐稳步推进

2015年8月,国务院印发《促进大数据发展行动纲要》,明确“加快政府数据开放共享,推动资源整合”。社会各界通过对数据资源的整合、利用,加速了数据流通共享以及数据资源化进程。2018年10月,《数据管理能力成熟度评估模型》发布实施,规范了各组织、机构数据管理和应用工作,提升国内数据管理和应用能力。2019年10月,在中国共产党第十九届中央委员会第四次全体会议上,中央首次公开指出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制。”这是中央首次在公开场合提出数据可作为生产要素按贡献参与分配,反映了随着经济活动数字化转型加快,数据对提高生产效率的乘数作用凸显,成为最具时代特征新生产要素的重要变化。

(四)技术融合成为大数据发展主流

二、职业定义和工作任务

近年来,随着经济社会发展、科学技术进步和产业结构调整,新产业、新业态、新模式滋生孕育出许多新职业。大数据技术应用在各行各业的全面展开,我国社会需要越来越多的大数据工程技术人员。其职业定义和工作任务如下:

大数据工程技术人员职业定义:从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。

大数据工程技术人员主要工作任务:

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;

2.研究、应用大数据平台体系架构、技术和标准;

3.设计、开发、集成、测试大数据软硬件系统;

4.大数据采集、清洗、建模与分析;

5.管理、维护并保障大数据系统稳定运行;

6.监控、管理和保障大数据安全;

7.提供大数据的技术咨询和技术服务。

三、当前就业人群分析

本报告基于2019年4月对27家大数据行业典型企业的人力资源情况进行调研后分析所得。

(一)学历层次

大数据人才的学历层次分为4个大类,分别是硕士及以上、本科、专科、专科以下。

图3大数据人才学历结构(单位:人)

可以看出,本科占比最高,其次是硕士及以上,专科占比只有12.22%。大数据行业是新兴行业,目前学历要求比较高。

其中社招占比最大,比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招,说明学校教育与社会需求脱节,内培和培训也不能满足岗位要求。

(四)薪资水平分布

当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。

图6大数据人才薪资水平分布(单位:人)

(五)岗位类型及数量

目前企业提供的大数据岗位按照工作内容要求,可以分为以下几类:

①初级分析类,包括业务数据分析师、商务数据分析师等。②挖掘算法类,包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类,包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类,包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。四类岗位的数量和占比见下图。

图7大数据岗位类型结构(单位:人)

四、行业人才需求情况

(一)整体需求

当前信息化对人类经济活动产生深刻影响,正渗透到生产生活方方面面,数据已经成为新的生产要素,大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式,也是进行大数据处理和深度挖掘的重要平台,大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

《大数据产业发展规划(2016-2020年)》指出,目前大数据人才队伍建设亟需加强,大数据基础研究、产品研发和业务应用等各类人才短缺,难以满足发展需要。要建设多层次人才队伍,建立适应大数据发展需求的人才培养和评价机制。加强大数据人才培养,整合高校、企业、社会资源,推动建立创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。

根据天府大数据国际战略与技术研究院(简称“天府大数据研究院”)《2018全球大数据发展分析报告》数据,2018年我国大数据产业人才占整体就业人口规模的0.23%,大约179.4万人。

猎聘《2019年中国AI&大数据人才大数据人才就业趋势报告》指出,2019年中国大数据人才缺口高达150万。另据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万。

图8大数据人才规模及增速

随着大数据、物联网、5G等技术应用的不断发展,社会对该职业从业人员的需求日益增长。预计2020年中国大数据行业的人才需求规模将达到210万,2025年前大数据人才需求仍将保持30%-40%的增速,需求总量在2000万人左右。

(1)技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变,中国标准逐渐成为业界标准,中国证书逐渐成为业界证书。

(2)技术纵深发展和横向拓展,引发企业对人才需求变化,既有岗位重新细分的高精尖专才需求,又有中等层次的广博复合型人才需求。

(三)岗位职责及技能要求

岗位

岗位职责

岗位技能

数据分析师

负责行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测

数理统计基本知识,Excel,SQL,Python/R。

挖掘工程师

负责行业数据整理、挖掘,并依据数据做出行业研究、评估和预测

常用数据挖掘算法,SQL,Python/R/Java。

深度学习/算法/机器学习工程师

负责利用各种神经网络模型及其算法并处理具体事务。

各种神经网络模型,Python/C++/Java,TensorFlow、Caffe等深度学习系统。

大数据开发

工程师

Java/Python/C++/Scala,Linux/Unix系统。

大数据架构

负责大数据架构的设计与实施。

分布式系统原理,Linux/Unix系统及其脚本shell等,Hadoop、Spark等大数据框架及其组件Yarn,HBase、Hive、Pig等。

大数据运维

负责大数据系统的运行和维护

Linux/Unix系统及其脚本shell等,Java。

数据可视化

负责大数据可视化应用开发,对数据分析结果多维度生动地体现。

数据采集

负责数据采集、预处理、标注等。

Linux/Unix系统,数据库如Mysql,redis,mongdb等,爬虫框架如Scrapy等等,web基础知识如HTML/JavaScript/CSS/xpath/url/Ajax/xml等,解析工具如HttpClient、jsoup、WebDriver、phantomjs等。

数据库管理员

负责数据库的运行和维护。

Linux/Unix系统,MySQL、SQL等数据库的运行机制和体系架构。

数据运营经理

负责数据的运营。

数理统计基本知识,运营方法,SQL。

数据产品经理

负责数据产品的销售。

工具如:

Axure;Visio,Mindmanager,Project,PPT等,BI,SQL,产品规划能力,撰写需求文档能力。

数据项目经理

负责数据项目。

项目管理工具,PMP证书,梳理流程能力。

大数据销售

负责大数据业务销售。

沟通能力,业务谈判能力。

五、职业发展通道

目前,长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师方面的工程师,以及需要通过数据来进行判断决策的管理者,通过一定的培训或自学,均可成为大数据工程技术人员。

由于我国大数据人才数量较少、缺口较大,因此多数公司的数据部门采用扁平化层级的模式,一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队,规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展,成为企业重要数据战略人才。此外,大数据工程技术人员对商业和产品的理解较业务部门员工更加深入,也可转向产品部或市场部,乃至高级管理层。

六、专家观点

两山转化数字研究院院长、杭州数梦工场研究院执行院长念灿华:数据是这个时代最重要的生产要素,政府、城市、产业数据资源的资产化、价值化、服务化是大势所趋,百行百业的数字化转型迫在眉睫。培养大数据工程技术人员对于实施国家大数据战略,构建数字中国,发展数字经济,满足当下各级政府和百行百业的海量人才需求,是非常充分而必要的。

工业和信息化部信息化和软件服务业司司长谢少锋:大数据开启了信息化发展的新阶段,数据已成为关键生产要素,“软件定义、数据驱动”对于推动制造业转型升级发挥着重要支撑作用。工业和信息化部作为行业主管部门,推出了一系列推动大数据产业发展的举措,下一步将扎实推进大数据战略的实施,大力推动大数据和实体经济融合,打造数字经济时代下制造业国际竞争新优势。

中国工程院院士、中国科学院计算所研究员倪光南:把大数据作为生产力,可能比把大数据作为一种财富更好、更全面。大数据生产力会推动生产关系的发展、推动社会的发展,会创造无穷无尽的财富,甚至将来会对我们思维的发展造成很大的变革。

中国科学院院士陈国良:在计算信息时代的三大标志性技术则是数字计算机、集成电路、光纤通信,新一代信息技术的三大亮点则是物联网、云计算和大数据。现在大数据潮流浩浩荡荡,大数据时代已经到来,我们要顺乎时代之潮流,不断学习新知识,与时俱进,跟上时代之步伐!计算机事业永远是年轻人的天下,大数据对年轻的一代而言,既是挑战更是机遇,无限风光在险峰!

阿里巴巴集团主要创始人、董事局原主席马云:大数据时代的出现让人类进入了万物互联的时代,取得对数据进行重新处理的能力也远远超过过去,对世界的认识将会提升到一个新的高度,大数据让预判和计划都成为了可能。

七、典型人物案例

(一)邵天富:投身大数据应用,创造精彩人生

随着政府、企业等社会组织与互联网结合得越来越紧密,自有大数据机房已经满足不了发展的需要,尽管大量的数据公司涌入,仍然无法满足高速增长的市场需求。邵天富敏锐地意识到大数据的春天来了。

从广东工业大学机电一体化专业毕业后,邵天富就一头扎入大数据管理“蓝海”,凭着浑然忘我、严谨细致的工作精神,不断的实践探索,经过10余年的努力,如今已是一个技术全面、经验丰富的大数据工程技术人员,并已成长为某数据服务有限公司数据中心技术骨干。

(二)刘岩:大数据应用的排头兵

研究生毕业的刘岩,怀着对公安工作的无限热爱投身到天津市某公安分局这个大家庭。从警以后,刘岩深深体会到大数据、科技信息对公安工作的深远影响,便立足岗位,在创新上下苦功,自觉提升大数据、信息化应用工作能力。自学了JAVA语言、安卓编程、搭建数据库等理论知识,并将理论知识应用于实际,自主研发了“鹰眼”手机APP系统,充分利用互联网信息资源,结合部分业务数据,打造了一个单位全员共享、交流的个性化业务平台,方便了外出办案民警随时查阅。并为该APP增加图形数据模块,使其真正成为图侦工作的重要工具,为案件侦破提供技术支撑。作为科研创新人员,刘岩被选入该市“公安智囊团队”成员、“信息化”人才库和“大数据分析挖掘应用”人才库。

(三)宋正龙:爱岗敬业,致力铁路大数据创新研发

宋正龙,毕业于大连铁道学院计算机专业,现为某车务段网络技术总监,主要负责车务段信息设备管理、维护、应用和软件开发工作。

参加工作30年来,他从一名普普通通的技术人员干起,一步步成长为网络数据开发的行家里手,他相继开发出适合车站的“编组顺序表”“货运制票程序”软件,极大地提高了工作效率和统计工作的准确性。

2014年,他所工作的单位提出创建数字化管理平台,实行全覆盖闭环管理的工作思路。宋正龙受命担当课题筹划、研发和建设任务。为设计制作好信息管理平台,他白天组织研发,晚上挑灯奋战建模,带领开发团队自主研发了管理平台、预警防控平台、作业控制平台和表簿册电子化平台。最终实现了人防、物防和技防的深度融合,推进了企业管理创新,加快了“数字连车”向“智能连车”的创新升级,得到了集团公司领导和兄弟单位的高度认可。

(四)荆琦:致力推动公安科技信息化的攻坚能手

荆琦是吉林大学计算机科学系的高材生,参加公安工作后,她致力于推动公安科技信息化建设。2009年,荆琦被评定为深圳市高层次专业技术人才,曾多次被抽调省公安厅、市公安局参与公安应用系统的研发和建设。

为解决公安基层存在各业务系统信息不互通、重复录入等问题,荆琦被委任为该单位信息采集攻坚团队副组长,在反复与成员讨论后,最后确立以警务综合信息系统改造为核心,以执法办案流程为主线,打通、合并、精简各条线系统的总体思路。为完成好任务,荆琦舍小家顾大家,调研、开会、沟通、协调的第一线总能看到她的身影。最终,荆琦带领的团队实现了信息“一次录入,全警共享”的目标,有力地提升了公安工作效率。

THE END
1.中国数据分析行业网[05-16]观远数据成为中商联数据委会员,携手共促数据分析行业新发展! [05-11]卓信通信有限公司加入中商联数据委行业会员,携手共创数字未来! [04-01]第九届中国数据分析行业峰会盛大启动! [03-20]关于规范驻会人员工作的说明 [03-05]关于召开第九届中国数据分析行业峰会的通知 ...http://chinacpda.org/
2.前瞻数据中国行业数据中心数据分析企业数据库前瞻网数据频道,汇集各行业最新的市场变化数据、行业进出口数据、行业供需平衡数据、产品价格数据,用科学的分析模型为你绘制各行业的关键数据图表,让你对当前宏观经济、行业市场变化一目了然、尽揽于胸。https://xw.qianzhan.com/qzdata/
3.行业数据各行业最新数据分析数据中心报告大厅数据中心为您提供各个行业数据分析,包括了各行业最新数据分析、地方行业数据分析。涉及农业、医疗医药保健、家用电器、建筑、化工、纺织、通讯、能源等30多个行业数据分析。https://www.chinabgao.com/stat/industry.html
4.各行业数据分析如何在各个项目之间迁移报告-1_数据分析及可视化_产品文档_帮助与文档-网易云 如何在各个项目之间共享报告?如何导出报告信息? 操作路径:项目中心--资源导出管理 http://59.111.93.226:8087/youdata/whq2020053011.jpg 选择添加报告/大屏,可以将报告/大屏导出为一个压缩包进行保存,此压缩包包含报告/数据模型/数据连接...https://sf.163.com/search/5ZCE6KGM5Lia5pWw5o2u5YiG5p6Q?t=website
5.数据分析现状与前景简介:企业数字化转型的大趋势,以及个人数字化赋能的职业技能提升大需求下,当前数据分析行业与前景如何?数据分析师岗位现状如何?如何成为数据分析师?数据分析在不同行业的应用变得怎么样? 难度: 报名人数:705人 免费立即报名 适用人群: 希望了解数据化赋能技能人群 ...https://www.cda.cn/kecheng/133.html
6....行业研究丨调查研究报告丨行业分析报告丨行业数据报告丨股票报告报告查一查作为专业研报平台,收录最新、最全行业报告,可免费阅读各类行业报告,智能分类搜索,支持全文关键词匹配,可下载PDF格式报告。https://report.seedsufe.com/
7.各行业常见的业务指标汇总(数据分析常用数据指标)数据分析10)市场数据指标 市场占有率、用户份额、交易额排名、流量排名 整理的指标思维导图如下: 跨境电商行业 常用指标 1)CTR 通过点击率 点击量/曝光量 = 通过点击率 这个指标可以反应投放关键词的效果怎么样,获得流量有没有足够得多 2)ACP 平均点击价格 消费总额/点击次数 = 平均点击价格 ...https://xie.infoq.cn/article/8e71c43a31c84bead417ee824
8.产业调研网产业调研网cir.cn提供市场调研报告、行业分析研究报告、市场前景分析报告、发展趋势预测报告、按需定制、企业调研、专项调研等产品和服务。https://www.cir.cn/
9.数据分析行业峰会大数据行业的盛会,由中国商业联合会、中国商业联合会数据分析专业委员会主办。 至今已有10年历史,被业界誉为“知识和实战的盛宴”,得到了社会各界的广泛关注与褒奖。峰会在北京、广州、上海、济南等 诸多重点城市成功举办,通过嘉宾实战演讲、高端访谈、专场分论坛等形式,每年吸引众多企业、决策精英、 ...https://www.cpda.cn/meet/
10.电子商务数据分析(1+X)中3市场数据分析3.1目标行业发展分析...模块三 市场数据分析 3.1 目标行业发展分析 1.女装子行业市场容量分析一、任务背景电商企业在进入新的行业前,需要全面地了解行业的发展状况,据此提前规避风险,避免进入红海行业或处于衰退期的行业。某电商企业想要探索女装行业,并从中选择市场容量大、销售前景好的子行业进入,并进一步分析子行业的集中度,明确是否还有...https://max.book118.com/html/2020/1018/7102136005003010.shtm
1.艾媒网iiMedia Research(艾媒咨询)是全球领先的新经济产业第三方数据挖掘和分析机构,每年公开或者定制发布基于大数据的行业研究报告_市场调研报告超2000份,覆盖房地产、IT互联网、金融、人工智能、新零售、游戏、音乐、教育、VR、网络安全等领域https://www.iimedia.cn/
2.全面解析十七种数据分析方法,具象数据分析思维在当今数据驱动的商业环境中,数据分析已经成为了企业获取竞争优势的关键工具。无论是为了优化运营效率,提高客户满意度,还是推动产品创新,企业都需要通过分析大量数据来做出明智的决策。数据分析方法多种多样,每种方法都有其独特的定义和用途,适用于不同的业务场景和问题解决需求。本文将详细介绍17种常见的数据分析方法,包...https://blog.csdn.net/yuanziok/article/details/137457708
3.行业数据分析概念51CTO博客已为您找到关于行业数据分析概念的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及行业数据分析概念问答内容。更多行业数据分析概念相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/a156d00ee0fe373.html
4.数据分析是什么行业数据分析已经渗透到各行各业中,涵盖了很多不同的应用领域,包括金融业、零售业、医疗保健业、制造业、电子商务行业、人力资源行业、物联网行业等。虽然,数据分析行业目前尚处在发展初期,但随着人工智能技术的发展,未来几年将会见证更多可能性的实现。 一、数据分析的应用与发展 ...https://www.linkflowtech.com/news/2705
5.66个史上最全的行业数据研报网站刘大大https://www.caasdata.com/index/index/index.html 卡思数据平台旨在打造专业的视频行业数据分析平台,提供全方位多维度的数据查询、趋势分析、舆情分析、榜单解读、行业研究等服务。 18、旅游圈 https://www.dotour.cn/ 旅游市场数据、消费者调查、旅游排行榜等相关数据报告 ...https://www.shangyexinzhi.com/article/4901903.html
6.数据仓库和分析本示例方案演示一个将大量数据从多个源集成到 Azure 中统一分析平台的数据管道。 此特定方案基于某个销售和营销解决方案,但设计模式与需要对大型数据集进行高级分析的多个行业(例如电子商务、零售和医疗保健)相关。 体系结构 下载此体系结构的Visio 文件。 https://docs.microsoft.com/zh-cn/azure/architecture/example-scenario/data/data-analysis-regulated-industries
7.万字总结,行业分析到底应该怎么做!腾讯云开发者社区很多新手分析师在拿到一个新的行业后,往往第一反应都是一脸懵逼。面对陌生的行业,不知道如何切入。 其实,切入的关键并不在于了解行业,而是要了解行业研究的目的。 咨询公司的行业研究报告一般都目的很明确,无非是向潜在客户宣传:“我很懂XX行业,你们赶紧来找我买数据/做项目吧!” ...https://cloud.tencent.com/developer/article/2096314
8.中国有哪些查询行业市场数据的网站?阿里官方出品,主要是淘宝平台的市场数据分析,适合想进入电子商务、物流等行业的人。 权威性的科技媒体,随时获取互联网新闻资讯,快速进入互联网行业的首选。 3、艾瑞咨询 知名咨询公司,行业报告全面,提供电子商务、移动互联网、网络营销等行业内容。 艾瑞咨询通过研究咨询等专业服务,助力企业提高对新经济产业的认知水平、...https://www.yoojia.com/ask/17-11978565864759628098.html
9.数据分析报告(通用17篇)数据分析报告(通用17篇) 在人们越来越注重自身素养的今天,报告的适用范围越来越广泛,报告包含标题、正文、结尾等。那么报告应该怎么写才合适呢?以下是小编精心整理的数据分析报告,欢迎阅读与收藏。 数据分析报告 篇1 回顾,我从XX年10月27日迈入xx铝业这个大家庭已经和大家和谐相处了数十年。 随着公司的成长,也不断...https://www.ruiwen.com/gongwen/baogao/919787.html
10.研究报告艾瑞网报告频道专注于互联网相关领域的数据研究、数据调研、数据分析、互联网咨询数据等互联网研究及报告,并致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供数据服务。https://report.iresearch.cn/
11.行业报告行业白皮书行业洞察根植于月狐海量数据资源,面向移动互联网及新经济生态,及时、准确地反映行业现状与变化趋势,助力企业洞悉先机。https://www.moonfox.cn/insight/report
12.猎头实务如何做好行业分析?以下仅为我们聚仕猎头在做行业分析、内部学习时用到的渠道,有更好的欢迎在留言,共同进步,一起抵御寒冬 行业报告检索大全 1、第一财经商业数据中心 https://www.cbndata.com/report 把他放到第一个,自然是因为小编最喜欢,因为内容很多都跟消费相关,最重要的是:做的美。小编反正又不是重度数据党,美的话看着也开心...https://maimai.cn/article/detail?fid=1383534150&efid=puTHqi5mZWTBSrdlNhfp2Q