数据中台的概念是最早由阿里巴巴首次提出,是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的,它既要满足业务部门日常性的多个业务前台的数据需求,又要满足像双十一,六一八这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂活动场景业务系统的解耦问题,而在技术、组织架构等方面采取的一些变革。数据中台的定义阿里巴巴数据中台是阿里云上实现数据智能的最佳实践,它是由数据中台方法论+组织+工具所组成,数据中台方法论采用实现企业数据的全局规划设计,通过前期的设计形成统一的数据标准、计算口径,统一保障数据质量,面向数据分析场景构建数据模型,让通用计算和数据能沉淀并能复用,提升计算效能;数据中台的建设实施必须有能与之配合的组织,不仅仅相应岗位的人员要配备齐全,而且组织架构建设也需要对应,有一个数据技术部门统筹企业的数字化转型,数据赋能业务中形成业务模式,在推进数字化转型中实现价值;数据中台由一系列的工具和产品组成,阿里云数据中台以智能数据构建与管理Dataphin产品、商业智能QuickBI工具和企业参谋产品为主体等一系列工具组成。
阿里云在过去几年中经过数十个实际项目沉淀形成实施标准化流程和方法论。阿里云OneData数据中台解决方案基于大数据存储和计算平台为载体,以OneModel统一数据构建及管理方法论为主干,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,以数据资产管理为皮,数据应用服务为枝叶的松耦性整体解决方案。其数据服务理念根植于心,强调业务模式,在推进数字化转型中实现价值。数据中台的概念来自于阿里巴巴“大中台,小前台”业务战略下的数据化实践,它是关于“数据价值化和数据资产化”的一整套解决方案,内容包括数据中台方法论,组织,数据产品三个方面。数据中台建设成果主要体现在两方面:一个是数据的技术能力,另一个是数据的资产。今天阿里的各个业务都在共享同一套数据技术和资产。阿里内部为这个统一化的数据体系命名为“OneData”。Onedata体系包括OneModel,OneID,OneService3个方面,在OneData体系之下,不断扩大的业务版图内的各种业务数据,都将按统一的方式接入中台系统,之后通过统一化的数据服务反哺业务。如下图所示:
业务主题性:传统的数仓要求解决服务问题,比如对一个生产型企业来说公司的主题域是产品、订单、销售商、材料等,要解决应用问题可能是库存、销售、销售商等。其有业务是面向主题的。
系统集成性:在传统数据仓库中,集成是最重要的,由于计算和存储的成本原因,其数据需要从不同的数据源抽取过来并集中,其数据的冗余度需要尽可能的降低,因此数据进入数据仓库中需要进行转化、格式化、重新排列和汇总等操作,其所有数据具有单一物理特性,都是结构化方式存在。在系统架构方面,也是以集中式存储和计算方式存在,新一代的数仓采用分布式计算,但软件产品采用集中部署方式存在。
非易失性:数仓系统会记录所有记录,与业务系统相比,它不会对记录进行变化操作(update和delete),它会保留所有记录的变化,但受限于成本和计算能力考虑,数仓不会记录全量明细数据,特别是日志数据,因此大部分数仓平台的数据容量在TB级别。
系统一体化:传统数仓以系统整体设计为特性,软件平台围绕着数据库或计算平台以整套服务为主,结合度缜密,对外服务也较单一。
在继承性方面,数据中台采用传统的数仓Kimball维度建模法,按照事实表,维表来构建数据中台的数据模型。
数据中台与数据湖区别业界近3年对datalake说的比较多,是结合近10年来大数据理念兴起的,首次由DanWoods在2011年7月福布斯上的“BigDataRequiresaBig,NewArchitecture”中提出,它提出CIO们应该考虑数据湖(“Datalake”)这个思维方式来替代数据仓库(“datawarehouse”)的思维,它的架构和理念是把原先不存储的基础数据也存储起来,汇总各个数据源的数据方便以后的数据分析和查询,因此数据湖是数据的聚集、加工为目的数据资源池,但是数据湖只是解决了聚集问题,在数据加工方面由于不可控制的需求变得异常繁重,由于数据的繁杂和混乱引入数据治理让数据的加工更是举步维艰。
传统上数据湖中的数据会存储原始数据,量大并且非结构化和半结构化的数据较多,需要有一个低成本分布式存储和计算架构来承载这些数据,属于ODS层,缺乏数据主题和加工能力,因此近期对数据湖上的数据治理项目和应用越来越多。
企业数据智能需要解决企业数据智能所面临的诸多问题,企业数据智能需要解决数据的快速计算和结果产出;需要对企业数据资产有整体规划和掌控;需要有一个好的方法论处理业务逻辑繁杂的统计;需要有一个好的构建和管理平台面向业务使用方和开发使用方...这些都是数据湖所不能解决的问题。
数据中台是由阿里巴巴在2015年在内部技术演进和组织优化中提出中台战略中提到的,数据湖本身的缺陷正是数据中台强项,二者可以起到方案补充的作用,在现有技术框架中数据中台可以基于Hadoop数据湖平台作为数据存储和计算载体,实现数据的加工和处理,数据中台更多实现数据的管理,强调利用数据的能力,强调数据开发和高效的使用,数据中台的数据资产管理可以对数据湖中的数据按照数据域方式进行管理并结合业务的逻辑实现整个数据模型的加工和开发。
数据中台与数据域相比,数据中台强调方法论,组织和工具的建设。非常强调数据赋能业务,衍生出很多的数据业务产品。比如在阿里面向商家的生意参谋,面向人物属性的标签服务、面向行业小二的行业洞察…这些都极大的扩展了数据价值,其次数据中台按分析的原子指标和派生指标方式做计算并存储在Maxcompute平台上,如有及时查询要求会同步分析结果数据给MPP或其他DB。这块在数据顶层设计,全域资产、统一技术、产品业务上与Datalke及EDW是不同的。
现有大数据平台厂商和云服务厂商推崇数据湖有其商业目的,AWS认为“云数据湖代表未来,能从数据中挖掘出更多价值”。AWS对数据湖的理解是基于同一存储、对接各类引擎进行分析查询工作,因此推崇AmazonS3来构建数据湖;微软推崇“AzureDatalake”基于HDinsight(原先Hortonworks公司产品,现是Cloudera产品)上层使用hive,spark,U-SQL计算引擎实现计算和查询;华为推荐DAYU数据湖运营平台,强调统一管理和功能的丰富性。这些解决方案非常强调存储服务和想配套的硬件销售。最后说到底都是企业提供数据计算、存储和应用的平台,最终各种平台的目的都是要更好地服务于业务。
数据中台所面临的调战随着数据中台理念的普及,各行各业逐步接受了这个概念,很多厂商通过招投标采购、自身投入等各种方式建设了数据中台,但在建设和具体运营中发现了很多问题,诸如数据运营是否能产生效益,对业务是否有推动价值,取数是否快速敏捷等问题…
数据中台建设是一个徐徐渐进的建设过程,数据积累和分析维度都有一个数据和知识积累,认知的过程,和业务系统的“交钥匙”工程有本质不同,营销,市场和供应链的数据是在不断变化中,营销活动,产品也在不断发展和更新中,因此,数据中台建设是一个不停迭代和发展的过程,需要持续投入是数据中台运营部门所面临的最大的挑战。
传统企业在数仓建设都有一个分析平台,固化了很多分析指标,这些分析指标每天发生一些变化,为决策层提供了决策支撑,但指标的更替和变化确以月和年计,这导致对新业务和事物的业务反馈不够及时,因此面对这一挑战需要有一个灵活的数据中台加工机制来满足这些需求。这首先需要有一个组织来支撑这个运营目标,使得运营和开发团队为这个目标达成这个目标,在阿里巴巴内部数据技术及产品部门就是这个组织的典型代表,通过组织机制来推动运营,满足业务部门不间断的数据需求,同时基于需求开创了一套方法论并开发了一系列的工具帮助业务部门达成这一业务目标。这需要数据中台的开发团队开发一套方便,便捷的自助取数工具来满足业务部门的需求。
诚然,在数据建设中还会碰到一些其他潜在问题,诸如需求不明确,分析场景设计不合理,数据指标和分析思路不够能解决用户痛点等情况,但这些都可以通过增加投入,特别是加强咨询和调研的力度来解决这些问题。
尾声数据中台是很多传统企业做数字化转型的重点投入,这需要从战略、方法论、工具、执行和组织层面做系统规划、有序执行,阿里过去多年经历了内部多年的建设沉淀出多个工具和数据产品,经过央视网、海底捞、飞鹤、联华商超、南航等多个传统行业落地项目的淬炼得出实施的方法论,这些转型先锋为中国企业的数字化转型具有借鉴意义。