面向数字化产品和技术的学习、交流平台
神策数据企业数据治理解决方案
神策数据企业数据治理解决方案帮助企业进行全端数据采集、治理、存储、查询及展示,高效积累数据资产,发挥数据资产价值,赋能业务应用场景,助力企业构建扎实的数据根基,实现数字化经营。
企业数据治理的整体目标是持续运营数据价值,推动企业数字化转型。而企业在转型过程中会面临来自业务、组织架构、技术等等方面的问题,从企业整体的数据治理链路来看,我们把企业数据治理过程中面临的问题总结为以下六大痛点。
神策数据立足于大数据分析及营销技术领域,在服务2000+企业的过程中,依托丰富的企业实践经验及真实营销需求,沉淀了一套具有极强普适性的方法体系-SDAF数据闭环方法论。其中,Sense即感知,从抽象的数据分析中形成对业务和用户的洞察;Decision即决策,感性与理性的平衡,人与机器共同决策;Action即行动,基于数据的全方位智能触达手段;Feedback即反馈,实现全端数据全面、实时的反馈。
对企业来说,数据治理是上述数据应用的基础和根基,它的好坏直接影响数据应用过程中的价值体现。同时,数据治理也是企业进行数据资产沉淀的基础,直接决定企业的数据资产能否得到有效的沉淀,以及在数据应用过程中能否充分地发挥数据价值。
在基于SDAF数据闭环方法论开展业务的过程中,神策数据治理方案贯穿企业整个业务流程,在合规的前提下,为企业提供实时、高效、规范化的全域数据接入、全域数据标识打通以及数据质量的把控和管理,帮助企业沉淀数据资产,为企业在后续SDAF框架中的数据应用打下良好的数据根基。神策数据治理方案的核心是面向企业客户数据,助力企业发挥数据资产价值,主要从以下4方面帮助企业推动数字化运营。
数据治理离不开企业组织管理架构的支持,在推行数据治理之前,企业需要梳理哪些角色参与数据管理、分配至哪些部门和人员、分别承担哪些职责,同时,建立体系化的数据管理制度和沟通机制,提高业务部门的参与度,推动企业数据文化和标准衡量体系的建设。
一个典型的数据管理组织模式应该有统一的数据管理角色和独立的数据管理部门,与信息科技部门
及业务部门并行,受公司领导层统一管理,具备高度的数据管理协作性和统一性,如下图所示。
数据治理的核心目标是帮助企业整合数据资产,发挥数据资产价值,赋能企业形成数字化的业务闭环,实现企业数字化转型。以神策数据治理方案为例,数据治理方案涵盖数据源采集→数据打通→数据质量→数据管理→数据开放→数据应用→数据安全整个流程。
企业数据治理需要从源头上进行管控,这需要优质可靠的数据采集工具提供支持,对于最常见的App、网页等业务生态,SDK是最佳的数据采集方案。数据治理应拥有统一的数据采集框架,并支持多种数据采集方式。企业可以通过市面上50+种SDK数据采集工具,灵活适配各类数据源,完成全域数据源的高效采集。
对于外部接入进来的数据可以对数据进行快速的数据模型映射,将外部数据做简单的标准化和归一化的操作。对于每一个接入的数据都会记录在数据接入管理当中,知晓数据同步的具体情况。与此同时,为了帮助接入进来的数据的最终确认可以对接入的数据进行预览,确认无误后会将数据写入到底层存储当中。
数据打通的核心是实现数据模型和标准的统一。企业数据的存储按照标准的四层数据分层进行每层数据的存储进行差异化的类型定义和受众对象。在分层的基础上考虑数据模型本身的设计,遵循数据服务于业务,业务形态决定数据模型。
数据模型一方面考虑当前数据的实际情况,另外一方面考虑业务对于数据的实际诉求,将两者合二为一构建整个企业统一的数据模型体系。
每一个数据字段都有业务、技术、管理三个视角的数据标准定义,统一企业内部对于数据的理解和认知,避免数据同名不同义、同义不同名,保证每个数据在整个企业内部的唯一性。
优先级,系统会根据维护的用户标识和其对应的ID优先级,将接入的数据进行自动打通。
企业数据治理方案需要构建一整套完善的数据质量监控体系,包含质量规则引擎、数据质量异常监控报警、异常数据在线修复。
在数据质量看板中,企业可以结合业务梳理,通过可视化的形式选择数据和字段对数据质量规则进行配置,定义接入数据需要满足的质量要求。
根据用户设定的数据质量规则,所有进入数据平台的数据都会主动进行规则校验,并将不符合规则的异常数据及时通过异常看板,实时反馈给数据使用者。同时,平台会对异常数据进行实时修复和改正,并及时调整上游数据和规则。数据质量规则校验后能够保证接入的数据符合数据质量要求,对于那些没有通过数据质量规则校验的数据,用户可在界面当中对异常数据进行修复和改正,经数据修复后的异常数据如果通过数据质量的校验可以将数据存储到底层数据存储当中。
企业数据治理方案包含整套数据资产管理平台,涉及数据资产管理、数据开放平台、数据地图元数据管理四个部分,帮助企业以可视化的方式实现数据管理。在数据资产管理上,企业数据管理人员可以通过可视化的数据资产管理平台,快速查看当前数据大盘情况,也可以快速查询入口检索需要的数据。
在元数据管理上,通过可视化、极简化的方式实现底层数据的管理工作,使所有日常数据工作标准化、规范化,解放专业数据人员,让更多非技术人员上手进行底层数据管理。
企业数据安全是越来越不容忽视的重点,为了保障企业本身的数据安全,神策数据治理方案对不同的使用者提供不同数据安全级别的控制,从取数和访问流程对数据进行隔离和区分,同时提供专门针对于数据安全的服务控制,切实保障企业数据安全。
数据采集是数据应用的源头,是企业进行精细化运营的基础和前提。如果数据采集没有做好,会影响整体的数据质量,即使在后面环节进行弥补,其代价会更大,最终的数据应用以及基于数据做出的决策和反馈也必然会受到影响。
企业在开展精细化运营过程中,首先需要一套标准化、规范化的数据采集方案来收集一方体系和三方平台的全域业务数据,夯实数据应用根基。通过数据采集SDK、预置系统/数据对接、电商/三方平台API、定制开发且集成进行全域的数据接入,从而打通各渠道数据,构建全域数据基础。
企业业务侧往往存在多个终端,由于终端用户所在渠道不一致,导致用户数据的标识也不一致,无法实现数据OnelD化。比如,有的渠道只能获取设备ID,有的渠道只能获取虚拟用户名等,无法打通用户数据在全域上的身份标识,并获取用户在企业所有的交互数据。由此可见,企业数据治理中,全域数据OneID体系设计对企业的用户精细化运营、CDP构建等都至关重要,下面以神策数据治理方案为例。
神策数据采集方案拥有规范的ETL流程,让企业低成本获得干净的数据,从源头保证数据质量。成熟的Event-User-Item数据模型,让跨部门、跨业务的数据治理标准统一,同时通过实时一对多的ID-Mapping,构建全局统一的用户体系,打通用户在各端、各场景下的用户数据,获取用户真实画像,从而为后续的精准营销和精细化运营打下基础。
即使是用户的那段“匿名时光”,也可通过多设备关联,把用户登陆之前的那段行为与ABC进行关联,实现一个更为完整的用户路径打通。
数据治理方案可以为企业提供全局的数据质量监控体系,并通过可量化的数据质量指标体系刻画当前数据质量情况。
加上该品牌的数据多以SDK埋点数据、日志数据为主,但当前埋点数据质量较差,
主要使用日志数据,而数据当中的关键信息缺失、数据字段缺失、数据数量与实际不符。
针对当前整个数据体系所存在的问题,该品牌对源头数据进行理,并确立每一种数据本身应该达到的质量标准,将质量标准转化为对于每一个业务数据的质量规则定义。基于神策整体数据质量管理,对该汽车品牌进行如下落地架构上的整体实施设计。
为了帮助该品牌数据团队认识到当前数据质量情况,避免小题大做和业务误解,神策针对不同数据质量规则进行可量化的数据质量指标体系设计,并通过打分机制掌握当前数据问题的情况。
数据治理方案可以帮助企业摆脱底层命令式的数据管理,利用可视化、极简化的手段进行企业数据体系的管理,通过工具化的手段实现主数据、元数据的便捷管理。
典型场景:某奶饮国际巨头,以往的公司内部数据管理主要依赖外包厂商的数仓工程师和DBA等技术人员通过服务器端工作,非专业人员无法进行数据管理工作,也无法直观地获取当前数据库当中的数据体量和种类,因此需要有一个可视化数据资产管理系统进行日常数据的管理工作。
通过数据资产系统可以按照业务主题对数据进行管理和维护,同时支持查看每个数据表的血缘关系。通过数据资产系统的资产目录也可以快速索引和查找需要的数据表,同时支持对数据字典的支持和维护。
数据治理方案通过对数据的梳理,统一企业对于每个数据的定义,达成对数据的统一口径和认知,解决数据二义性,同时通过数据标准管理规范企业全域数据。
典型场景:某智能电动汽车公司业务发展速度较快,随着汽车保有量的逐年增长,用户数和服务量增加,数据增长速度和数据体量增大。如果不做数据治理的话,根据这种接近指数级的数据增长趋势来预测,未来数据生产、存储、服务的复杂性及成本负担都会变得非常之高。基于此,该公司确立了四个数据治理目标:建立健全数据标准框架,制定基础类数据标准和指标类数据标准;提高数据使用和运营效率,提高数据运营的自动化和系统化程度;提高数据治理程度通过系统化手段管理指标口径,保障数据一致性;健全企业线上数据权限管理流程。此后,该公司主要从组织、标准规范、技术、衡量指标四个维度进行数据治理。整体数据治理的实现路径以标准化的规范和组织保障为前提,通过技术保证数据治理策略的实现,搭建数据治理的衡量标准来观测和监控数据治理的效果。
在具体落地时,该公司专门成立了数据管理委员会,下设业务数据产品组、业务数据开发组以及业务数据智能分析组,并明确三组的具体职责:
·业务数据产品组:负责数据标准、数据需求对接、数据产品设计·技术数据开发组:负责数据仓库、数据产品、数据治理、数据安全和数据工具的开发和实现
·业务数据智能分析组:负责根据业务需求将数据转换为可用、易用的数据报表同时,该公司还确立了数据标准框架,并上线数字报表工具。通过这些数据标准化的管理动作,该公司的数据治理效果显著。
随着保险行业数字化转型的深入,很多保险公司越来越意识到:数据资产是保险企业获得永久性竞争的基石,是推动生产力的数据资本。完备的数据资产可以帮助企业获取更强的决策力、洞察发现力和流程优化能力,因此重视数据根基的搭建成为很多保险公司的共识。在推动数据基础建设中,通过完成数据资产建设与管理、数据采集规范体系建设、数据质量保障体系建立、实现全渠道数据采集及融合,从而赋能实际业务的应用。
加之,随着“以客户为中心”逐渐成为保险公司普遍认同的战略重点,保险公司要了解客户需求与偏好,投其所好地提供相匹配的产品或服务。建构数据根基平台,形成对客户实时精确的分析洞察,进而提供匹配的保险产品和服务,最终提升客户粘性,促进转化,成为保险公司提升自身品牌影响力和竞争力的重点。此外,由于保险业务“低频交易,弱连接”的特点,对企业的精细化运营程度要求更高。
某人寿保险公司A近年大力发展数据资产与数据智能化应用建设,改变以往业务运营缺乏数据支持的情况。希望基于OneID打通用户全链路以及与内部数据,助力公司业务的数据化、精细化用户运营,提升用户及价值增长。
该保险公司在数字化转型战略之下,大力建设及丰富App生态,逐步将客户向线上化迁移,在此过程中,线上端积累了一定数量的客户,如何将客户线上行为数据与保单数据、自然属性数据等融合,基于MDM客户号与神策ID融合多策略产生唯一ID、具备实时生成标签能力,客户经营系统标签和用户行为标签、实时标签贯通,是该公司的核心诉求。基于此,建立全公司层面的客户标签体系,形成360°的客户视图与洞察,方便后续推进精细化运营促转化。
通过神策数据治理的OneID能力,通过采集该公司展业端、保险官网、保险公众号、保险商城及保险管家等全渠道的A端和C端用户行为数据以及企业内的CRM系统、投保系统、核保系统理赔系统、风控系统等各业务系统明细及标签数据的导入,加上第三方数据的导入,比如保险经纪公司A端和C端用户行为和业务数据等,运用ID-Mapping统一保险客户的ID,完成数据资产的积累和沉淀。
基于OneID打通数据后,可以通过用户信息全景看板和对用户行为的归因分析、转化分析、复购分析等数据表现,根据相应的规则搭建用户标签体系,通过静态的基本属性和动态的行为属性及付费属性,构建完整的用户画像,从而可以360°地进行客户洞察和机会挖掘。比如,通过标签体系的搭建,可以清楚地看到某个年龄在30-35岁的白领用户,收入约5W,多次浏览重疾,且做了保费测算和咨询了客服,基于这样的标签画像,对此进行针对性的重疾险、教育金险、养老金险、车险等商品和服务的推送,转化率会更高。
ID-Mapping助力跨端行为打通,真正实现全渠道追踪
当前,众多品牌商和零售商都开始意识到“以消费者为中心”和“数据驱动”是企业增长的两大核心武器,纷纷进行基于大数据的全渠道精细化运营。如何围绕用户构建消费场景,运用数据提升极致体验,是大环境下品牌零售企业需要直面的命题。
不可否认,数据根基建设是一切精细化运营应用的基础。品牌零售企业普遍面临着消费者数据数据采集难、质量差、割裂严重等制约精细化运营的难题,他们格外需要可以打通消费者全触点的数据根基平台。通过数据治理可以实时采集、治理、存储、查询、展示数据,并搭载数据智能引擎高效积累数据资产,真实还原消费者的足迹,真正赋能业务应用场景,帮助品牌零售企业构建扎实的数据根基,实现数字化经营。
在Sense感知阶段,品牌零售企业依托于全域数据采集能力和便捷的ID-Mapping数据整合技术打通移动端、线下门店、电商渠道、社交媒体以及企业自身所有的(S)CRM、数据平台等全渠道数据,打造一体化消费者数据中心(CDP),从而掌握全面、实时的消费者画像及灵活的标签分群能力。只有做到对自己的消费者了熟于心,才能在策略制定和营销触达时有的放矢。
接下来,基于业务需求和消费者本身所有数据的情况,提取数据中可描绘消费者不同维度信息的标签,全方位读懂用户,还原出运营的真相,针对性地做出业务决策(Decision)。
然后展开Action行动,即根据用户画像和具体的业务目标,针对不同的用户进行个性化的触达营销和差异化的运营,同时根据用户触点识别客户旅程所处的生命周期阶段,利用个性化的接触和需求满足达到极致的用户体验。
最后,针对用户触点数据进行拉新、激活、支付、复购的营销数据反馈,进行效果分析,通过事件。归因、漏斗等用户行为分析,以及各生命周期的用户旅程分析,在投放端的流量分析等,优化营销决策。最终完成对消费者形成洞察(Sense)、制订策略(Decision)、实施动作(Action)、回收效果(Feedback)四个步骤的运营闭环,真正赋能品牌零售业务增长。
接下来以品牌B为例,看看它是如何通过搭建消费者数据中心,一步步践行消费者数字化运营闭环,逐步实现数字化转型。
整合全渠道消费者数据,务实品牌数据根基
经过对品牌B小程序的现有数据的综合诊断,神策数据帮助其找到了重构数据根基的5大障碍:1)缺失统一的ID-Mapping规则2)埋点的深度与广度皆不足3)缺少有效的数据维度属性
私域精细化运营,赋能618大促实现降本增效
在对各渠道消费者数据整合完善后,品牌B希望针对消费者特征进行更精细化的运营。在2020年618大促期间,神策数据在品牌B推行了精细化运营闭环的SDAF方法论,具体实践如下。
那什么样的工具可以满足车企的数字化转型,现阶段而言,搭建车企自身的CDP平台是个很好的解决方案。通过CDP平台的打造,完成内外部系统数据源连接,打通营销触点,为车企以及其业务部门提供从客户数据采集与分析、统一用户画像构建以及营销自动化融达的全渠道闭环运营解决方案,帮助车企实现数字化转型。
通过数据治理与分析,CDP平台可以解决车企内部业务部门之间、品牌与经销商之间的数据一致性与数据割裂问题,通过建立统一的底层数据湖,沉淀高价值数据资产。同时搭建敏捷的数据驾驶舱,衡量行动真实效果,赋能业务决策。同时,以可靠的ID-Mapping能力建立360°车主用户画像,准确识别唯一用户,还原完整用户旅程,为运营与营销行动提供坚实基础。
车企CDP平台建成后,最直观的感受是散落在各个业务系统的数据得到了有效的互通,比如DMS系统、CRM系统、DMP系统等,数据互通后利用ID-Mapping的方法,完成用户线上线下行为的唯一识别,实现用户从看车、购车、用户、聊车、玩车、换车关键业务节点的全生命周期覆盖,接下来使用不同的数据模型分析用户在不同端、不同业务触点、不同业务系统的行为数据,完成车主画像的建立,区分不同用户群体的特征,通过不同的运营动作实现用户精细运营,形成数据闭环。
接下来以某汽车品牌C为例具体展开讲述。汽车品牌C成立于九十年代后期,旗下拥有多个品牌和三十多款产品,覆盖了从高端豪华车到经济型轿车各梯度市场以及MPV、SUV、混合动力和电动车等细分市场。经过二十余年的发展,品牌C形成了千万级的车主保有量和庞大的经销商网络,该品牌在2010年前后引入了车联网服务系统,并且逐步推广到品牌旗下的所有车型。作为传统的汽车企业,企业内部存在着各式各样的业务系统并且拥有巨量的数据,企业内部不同的业务部门有养很强的数据应用需求。
数据治理是一个持续交付的过程,整体方案的执行涉及硬件、技术、人员、组织架构等方方面面同时也需要企业和服务商双方相向而行。我们将从一个数据治理解决方案执行流程角度出发,为企业全局数据治理的实施提供建议。
企业在推行数据治理的流程可以概括为三个步骤:数据治理现状评估、数据治理解决方案产出数据治理交付场景验证。整体逻辑可以按照发现问题、认识问题、解决问题、总结问题来展开通过需求调研、治理分析、解决方案、场景验证四个步骤针对企业当前所遇到的有关数字化转型、数据应用的场景进行评估,整体流程动作将展开讲述。
在数据治理实施前,企业需要对自身数据治理现状进行评估,明确数据治理的需求。企业可以从以下三个维度进行梳理
识别各业务环节涉及的人、事、物,输入、输出、组件和数据沉淀,补充业务流程中涉及的数据属性,梳理出不同业务之间的流程关系和流程中输入输出的上下文情况,最后基于上述动作输出企业业务的流程图并转化生成对应的数据流图。
对照业务流程图和数据流图,数据管理人员需要进一步明确业务流程逻辑和交互数据明细,业务权限分配和输入输出控制,访问权限控制,操作流程及风险防控规范要求等内容。
在数据层面上,企业需要对自身的数据资产和应用情况进行盘点,最终完成数据治理现状分析可以从以下四个角度出发
根据需求调研和治理分析得出的结论,数据治理的解决方案应该包含企业数据治理策略和方法论数据资产管理方案以及数据治理产品方案。
其中,数据治理策略和方法论用于帮助企业建立数字化转型战略,规划组织架构,理流程管理规范,保障数据治理的顺利实施;数据资产管理方案用于指导企业顺利管理、应用数据资产,实现数据赋能企业业务,并基于管理方案完成数据治理产品方案的选型和构建;数据治理产品方案包含标准的产品套件,覆盖从源头数据采集端到数据应用端的整个数据治理链路:同时应基于企业自身角度出发,量体裁衣,按需定制符合企业自身数据治理现状的系统解决方案。
数据治理解决方案应当适用于前期需求调研阶段的企业业务应用场景,通过数据治理解决方案的实施,为客户数据质量提供持续保障,帮助客户构建数据资产体系,实现数据价值的最大化,最终完成企业数字化转型。
医疗数据中台是基于腾讯多年积累的大数据技术和产品能力,专门为医疗健康行业打造的一站式大数据处理平台。基于医疗数据处理产品化的思路,提供安全、可靠、低门槛的医疗大数据处理平台,满足不同医疗业务健康业务场景下的数据采集、治理、加工和应用需求。
一站式大数据处理平台
提供安全、可靠、低门槛的医疗大数据处理平台
满足不同医疗业务健康业务场景下的数据采集
提供多种类型的可视化建表
数语Datablau数据资产目录解决方案中“数据资产”这一概念是由信息资源和数据资源的概念逐渐演变而来的,“数据资产”是指由企业拥有或者控制的、能够为企业带来未来经济利益的、以一定的方式记录的数据资源。“数据资产管理”是指规划、控制和提供数据及信息资产的一组业务职能。“数据资产管理”需要充分融合业务、技术和管理,以确保数据资产保值增值。
组织保障
价值输出
资产管控
持续运营
DataBlack,奇点云自主研发的数据安全引擎,遵循以数据为中心的安全架构设计理念,支撑企业完成数据全生命周期安全管控,强化企业数据安全治理能力与风险防御能力,为数据资产安全保驾护航。