第9章供应链大数据运营本章内容9.1供应链大数据运营概述9.2供应链企业开展大数据运营的路径9.3供应链企业开展大数据运营的具体应用本章小结本章练习9.1供应链大数据运营概述9.1.1供应链大数据运营的概念
近年来，智慧供应链、数字供应链、供应链大数据以及数据运营、数字化运营等概念层出不穷，“数据运营”也有广义和狭义之分，狭义指“数据运营”这一工作岗位。它跟内容运营、产品运营、活动运营、用户运营一样，属于运营的一个分支。从事数据采集、清理、分析、策略等工作，支撑整个运营体系朝精细化方向发展。近年来，越来越多的互联网企业开设了“数据运营”这一工作岗位，主要分布在一线运营部门。与数据分析师这一岗位不同的是，数据运营更加侧重支持一线业务决策。广义的“数据运营”则指“用数据指导运营决策、驱动业务增长”的思维方式，即数据化运营。属于运营的一种必备技能或者思维方式，泛指通过数据分析的方法发现问题、解决问题、提升工作效率、用数据指导运营决策、驱动业务增长。9.1供应链大数据运营概述
供应链大数据运营指通过建立供应链大数据平台，连接制造商、供应商、经销商和消费者，用大数据指导运营决策、驱动业务增长，实现供应链企业运营指标的提升，包括在销售和研发环节利用大数据手段增加收入，在采购、制造和支持部门利用大数据技术降低成本，在供应链资本管理环节利用大数据方式优化现金流，在采购、仓储、物流等供应链全场景构建大数据分析模型实现供应商等企业风控预警。9.1供应链大数据运营概述9.1.2供应链大数据运营与传统运营的区别
传统供应链模式对企业经营的贡献主要在于企业对市场是一处永的形式满足部分需求而进行产品的设计，在这种情况下，终端消费者的基本需求能够得到满足，但是现有产品不能满足终端消费者的潜在的深层次需求，这种产品经营的设计和生态注定了终端消费需求和源头的生产制造脱节的商业逻辑。供给侧的生产制造不能够针对终端用户的体验进行个性化设计，只能在短期内以批量的模式提升自己的生产效率。
（3）库存周期较长
供应链管理模式协同效应较差主要体现在，生产制造型企业不能够快速地实现渠道的建立，销售渠道未能实现和终端消费者有效的互动，终端消费者的反馈也不能其实的成为生产制造企业进行产品换的升级的依据，从整个供应链的管理水平可以看出各个环节都在实现自身利益的最大化，但是未能实现整体效益的最大化，在面临市场的竞争时存在着互相挤压，为维护自身环节的利益牺牲整体供应链整体效益的情况屡见不鲜。（5）管理成本非常高
传统供应链模式的管理成本由于信息化水平低下，不能将各个环节所设计的企业进行信息的有效传递最终造成了各自企业所付出的固定成本中的摊销成本非常高，人工成本尤其突出，因为条块分割的严重所造成的管理混乱进而导致的管理成本已经成为供应链管理当中占比较高的部分之一。9.1供应链大数据运营概述2.供应链大数据运营相比较传统运营的优势（1）供应链管理理念精准化
通过智能硬件和软件技术的数据化处理，在供应链各个环节的信息处理收集分析和应用方面，均能及时有效地实现最优化，不但实现每个环节执行层面的学术性和敏捷性而且可以实现整体各个环节的协同作用，例如在当代电子商务的供应链管理中最典型的是以京东商城为代表的自营物流体系和平台的协同结合，不仅实现了订单的快速处理，而且是京东商城的自营物流体系实现了库存管理的最优化，更使商城的卖家能够一大数据为基础进行产品的选择，营销策略的制定，采购渠道的优化，从而最终实现了供应链一体化的最大协同效应。9.1供应链大数据运营概述（3）消费需求定制化驱动
大数据的应用对供应链管理中消费者精准需求实现了有效地满足，不仅能够对交易的分析和消费者购买行为的分析以及消费者对未来预期的分析而且可以根据这种分析实现生产定制化，把供给侧问题存在的批量生产转变为以个性化需求为满足特征的定制化生产。（4）供给侧结构管理优化
供给侧改革是我国十三五期间的主导政策，大数据时代为供给侧改革提供了有利的条件。当前，我国大部分行业在传统模式，以投资需求和外贸为拉动的主要发展模式下普遍发生了产能过剩，解决产能过剩的问题主要从两个方面入手，一方面有提高供给侧产品生产制造的质量，实现产业的转型升级，优化结构，提高生产制造的效率特别是注重保护环境等可持续发展策略；另一方面要针对终端消费者的消费需求，实现适销对路、真正满足消费者需求的竞争性产品。大数据时代为供给侧改革提供了难得的机遇。9.1供应链大数据运营概述（5）中小企业大数据应用提升竞争力
在传统的生产力条件下，中小企业面临市场激烈的竞争，资源方面的不足创造力的不足效率利用地下等各个方面造成了大企业对中小企业的生存空间的挤压，大数据出现之后，中小企业虽然在资源方面以及创新能力方面不如大企业强，但是中小企业利用战略上的灵活性，充分发挥瞄准立即市场进行发力的敏捷有事，利用大数据对市场进行再次细分，锁定目标细分市场，对客户进行深度挖掘，对产品进行二次创新，实现了市场竞争中的不对称性，在创新方面不断满足消费者的需求，提升自身产品和服务的竞争能力，有效的完善了自身的不足，最终提升了生存竞争力，在国家大力倡导大众创新万众创业的宏观环境下，中小企业使用大数据技术，在信息沟通、营销竞争、战略再投资等方面紧紧地把握住了细分市场目标客户的有效需求，不但满足了针对性的深度需求而且提升了掌控用户体验、满足细分市场目标客户潜在需求的工具和方法，在创造和实现顾客价值的同时，也创造了大量的就业岗位，从此品牌竞争深入人心。
Feedback反馈则指全面实时的数据反馈，在前面提到了神策现在基本上可以将各种各样的数据导入进来，不仅是导入进来，我们还可以把不同的数据孤岛打通，这样才能真实的还原业务流程，提供动态的数据画像。
企业应用SDAF闭环，可实现：观察和动作统一在一个平台后，知行合一，效率大增；运营没有魔法，没有什么策略能一蹴而就；基于观察的共识，形成动作的合力。
其中，Sense感知，从抽象的数据中形成对业务和用户的洞察；Decision决策，感性与理性的平衡，人与机器共同决策；Action行动，基于数据的全方位智能触达手段；Feedback反馈，实现全端数据全面、实时的反馈。SDAF闭环的四个环节缺一不可。9.1供应链大数据运营概述9.1供应链大数据运营概述基于SDAF对企业数据运营的价值，可构建供应链大数据运营的整体框架如图9-3所示。9.1供应链大数据运营概述1.供应链大数据管理
供应链大数据运营工作需要根据实际需求搭建供应链大数据分析框架，因此需要掌握学习确定分析思路要用到的营销、管理等方面的知识。如过缺乏管理等理论知识，就很难搭建所需的数据分析框架，会导致后续的数据运营无法正常运行。2.熟练基于大数据的供应链业务
指掌握数据运营的基本原理与常用的数据分析方法论，并能灵活运用到实践工作中，以便有效地展开数据运营工作。9.1供应链大数据运营概述4.运营分析软件工具
在进行数据运营时，除了依靠现有数据得出相应结果，能够运用图表有效表达自身观点也是十分重要的。图表的排版、设计都有着一套系统的理论，如图表的选择、板式的设计、颜色的搭配等，都需要掌握一定的设计原则。如有需要，应当掌握PS、AI等技能。9.1供应链大数据运营概述9.1.4供应链大数据运营市场概况1.中国供应链大数据市场规模
中国信息消费市场规模量级巨大，增长迅速。在网络能力的提升、居民消费升级和四化加快融合发展的背景下，新技术、新产品、新内容、新服务、新业态不断激发新的消费需求，而作为提升信息消费体验的重要手段，大数据将在行业领域获得广泛应用。
2020年，中国大数据行业市场规模约为378亿元，较2019年上涨了7.08%，行业增速有所放缓。IDC于2021年6月发布了《中国大数据平台市场研究报告-2020》。报告显示，2020年全球大数据软件市场规模达4813.6亿元人民币，微软、Oracle、SAP作为Top3的厂商贡献了30%以上的市场份额；中国市场，包括硬软服在内的中国大数据市场规模达677.3亿元人民币。
供应链大数据市场的商业服务类型主要包括数据众包服务、数据仓库应用管理服务和云端按需应用服务等方面。（1）数据众包服务
1）数据仓库：帮助企业快速且低成本的构建云上数据仓库，对导入的海量数据，进行大数据的多维分析；兼容主流BI工具，数据分析师可以通过可视化的方式分析和展示数据，快速获取洞察以辅助决策。
2）数据湖管理与分析：可封装数据从汇聚、管理、开发、分析及服务流程，屏蔽了大数据底层技术，提供简易的可视化开发操作界面，一站完成数据集成、数据管理、批量流数据开发、数据分析服务等。降低了数据资产构建和开发分析应用的门槛，帮助企业数据资产建设和开发分析应用，实现数据价值释放。
云端按需应用服务包括：
1）智能云平台：融合开放安全的大数据，全面落地的AI技术提供便捷的AI基础服务，为企业智能化升级充分赋能，可助力企业实现系统自运维修复，简化运维过程，降低运维成本，云产品的智能运营可帮助企业租户和云业务最大化利用资源，降低使用成本。
2）多场景解决方案：从源头获取金融、安防、交通、城市、制造、教育等多行业的需求信息，洞察潜在需求，为供应链企业提供全面、完整的云产品和解决方案。
3）专家级全流程服务：资深云技术专家提供全程架构设计，为企业系统安全保驾护航，同时配备专业完善的售后服务团队，提供驻场服务，随时解决客户问题、全流程陪同管理。9.2供应链企业开展大数据运营的路径
物联网、大数据、云计算、人工智能等前沿技术的发展，推动着传统“链式”供应链向“网状”供应链转型，这给全球范围内的企业都带来了新一轮的发展机遇，要想抓住发展的契机，就必须顺势而为，改造升级传统供应链，向数字化供应链转型。
传统供应链向数字化供应链转型并非只是简单的在企业内部引入智能化、数字化的高新技术、信息系统，而是需要企业从供应链的各个环节，以及企业管理、员工管理、客户管理、市场管理等各个方面进行全方位的转型，最终实现整个商业模式的创新。供应链企业开展大数据运营的路径通常为：确定大数据运营战略-建立大数据运营团队-构建大数据运营平台-设计供应链大数据治理方案-实施大数据驱动供应链企业运营。9.2供应链企业开展大数据运营的路径9.2.1确定大数据运营战略1.经营策略
企业若没有战略决策指明发展方向，就可能无法按照商业规划进行竞争，从而浪费资源。应用大数据分析法也是如此，企业应该制定分析法策略来支持其商业策略。9.2供应链企业开展大数据运营的路径2.分析法策略
企业应当制定统一的分析法策略，以支持商业策略，全面考虑数据模型、架构与解决方案属性。举个消费者数据的例子，若企业不能实现整个组织的数据整合与共享，个体业务单位就很难制定自己的数据策略，因此，他们会发现整个企业对消费者与自身性质的认识都不尽相同，即便是在同一个业务单位，这种情况也会发生。这种缺乏以消费者为中心的认识使得企业不能全面应用大数据来创造价值。以信息技术为中心并加以巩固这一能力是很有帮助的。分析法策略的属性越来越要求不同分析法中创新与应用的整合与协作，例如，优化价格能够影响产品分类、物流、营销与财务等多个流程。许多企业都采取了信息技术中心化策略。例如，百思买专门针对分析法成立了项目管理办公室，来协调其不同的分析法应用，而且主要集中在跨职能部门对这一方法的应用。咖啡连锁店星巴克(Starbucks)也在制定公司战略的组织内部实现了分析法应用中心化。在制定分析法策略时，企业除了必须制定商业策略外，还需要考虑分析法的其他几个方面:技术差距、外包策略、供应链分析法策略以及长短期策略。9.2供应链企业开展大数据运营的路径（1）技术差距
有效的分析法策略必须考虑数据架构、数据模型和包括安全、一致性和一线服务等在内的各项因素。许多企业为了达到其期望的技术水准，会在信息技术硬件、软件和各种信息技术服务领域进行额外的投资，而投资的多少会随着当前的信息技术水平而有很大不同。企业需要进行差距分析，以评估、识别现有技术和所需技术之间的差距，它们包括有效捕捉技术、存储技术、聚合技术、通信技术及分析数据技术。许多企业都觉得其遗留系统有待更新，这可能需要巨额的技术投资。企业不应该模仿同行业企业，采取“追随领袖”的模式，而是需要确立与自身商业战略与技术领导力角色相符的分析法策略；领导者则要为新的投资建立新的商业案例，并优先考虑这方面的投资。（2）外包策略
企业需要了解自身应该发展哪方面的能力，应该外包哪些能力，这是分析法策略非常重要的一点，也是重要的外包决策与战略决策。由于技术和所需能力的更新速度非常快，企业无法单枪匹马地进行信息技术探索。因此，外包技术就会产生对外部供应商的依赖性，所以他们可以选择在内部保留一部分技术能力并控制一些数据组。选择外包的合作伙伴是外包策略的一部分。方式之一是选择为整个行业提供服务的合作伙伴为其提供高效分析。例如，CatalinaMarketing公司为美国超过200家果蔬连锁店与欧洲部分果蔬连锁店管理客户忠诚度计划。方式之二是与非特定行业服务提供商合作以创造竞争优势。例如，提供顾客分析服务的Dunnhumby公司与克罗格和特易购等零售商合作，其客户并不局限于特定地理位置或行业领域。9.2供应链企业开展大数据运营的路径（3）供应链分析法策略
当企业与供应链参与者整合并共享数据时，必须考虑供应链分析法策略。他们需要确保能够结合外部数据和自身交易数据，将其进行整合并加以分析。企业若要实现一体化，就需要实现数据整合与共享，但同时要仔细辨别哪些参与者能通过数据共享与分析获益，进一步实现选择性的数据整合与共享。
对于企业来说，要建设自己的大数据平台，需要的不只是技术解决方案，更重要的是组建一支优秀的团队。具体而言，建立大数据运营团队包括确定大数据运营团队的成员组成，明确大数据运营团队成员的工作方式，以及建立合理的大数据运营团队组织架构。9.2供应链企业开展大数据运营的路径1.团队成员
大数据运营团队成员主要包括基础平台团队成员、数据平台团队成员和数据分析团队成员。各种不同团队的成员角色和他们的工作职责有所不同。（1）基础平台团队成员
基础平台团队成员主要负责搭建稳定、可靠的大数据存储和计算平台。其中，数据开发工程师负责Hadoop、Spark、Hbase和Storm等系统的搭建、调优、维护和升级等工作，保证平台的稳定；数据平台架构师负责大数据底层平台整体架构设计、技术路线规划等工作，确保系统能支持业务不断发展过程中对数据存储和计算的高要求；运维工程师负责大数据平台的日常运维工作。（2）数据平台团队成员
数据平台团队成员主要负责数据的清洗、加工、分类和管理等工作，构建企业的数据中心，为上层数据应用提供可靠的数据。其中，数据开发工程师负责数据清洗、加工、分类等开发工作，并能响应数据分析师对数据提取的需求；数据挖掘工程师负责从数据中挖掘出有价值的数据，把这些数据录入到数据中心，为各类应用提供高质量、有深度的数据；数据仓库架构师负责数据仓库整体架构设计和数据业务规划工作。（3）数据分析团队成员
数据分析团队成员主要负责为改善产品体验设计和商业决策提供数据支持。其中，业务分析师主要负责深入业务线，制定业务指标，反馈业务问题，为业务发展提供决策支持；建模分析师主要负责数据建模，基于业务规律和数据探索构建数据模型，提升数据利用效率和价值。9.2供应链企业开展大数据运营的路径2.团队的工作方式
大数据运营团队的工作可以分成两大部分，一部分是建设数据存储和计算平台，另一部分是基于供应链大数据平台提供数据产品和数据服务。
供应链大数据平台的建设者包括基础平台团队成员、数据平台团队成员和数据产品经理团队成员三种人群，如图9-6所示。其中，基础平台团队成员对Hadoop、Spark、Storm等各类大数据技术都非常熟悉，负责搭建稳定、可靠的大数据存储和计算平台。数据平台团队成员主要负责各类业务数据进行清洗、加工、分类以及挖掘分析，然后把数据有组织地存储到数据平台当中，形成公司的数据中心，需要团队具有强大的数据建模和数据管理能力。数据产品经理团队成员主要是分析挖掘用户需求，构建数据产品为开发者、分析师和业务人员提供数据可视化展示。
在整个大数据平台体系中的团队，包括基础平台、数据平台、数据应用和数据产品经理团队都可以保持独立的运作，只有数据分析团队的组织架构争议比较大。数据团队一方面要对业务比较敏感，另一方面又需要与数据平台技术团队有深度融合，以便能获得他们感兴趣的数据以及在数据平台上尝试实验复杂建模的可能
从各团队的工作方式可以看出，数据分析团队是衔接技术和业务的中间团队，这样的团队组织架构比较灵活多变，主要有外包模式、分散式、集中式和嵌入式四种，每种架构有各自的优劣势。（1）外包
每个产品部门独立成立数据分析团队，负责响应自己产品的数据需求，为业务发展提供决策支持。
优势：数据分析团队与开发团队、设计团队以及策划团队具有共同的目标，团队整体归属感强，绩效考核与产品发展直接挂钩，有利于业务的发展。
劣势：在业务规模比较小的情况下，数据分析师比较少，交流的空间也比较小。因为身边的同事都不是该领域的人才，无法进行学习交流，所以成长空间会比较小，分析师的流失也会比较严重，最终陷入招募新人——成长受限——离职——招募新人的恶性循环。另一方面，每个产品团队都零星地招募几个分析师，整体来看给员工的感觉是公司并不是特别重视数据化运营的文化，对数据的认同感会被削弱，不利于公司建立数据分析平台体系
（3）集中式
数据分析团队与产品团队、运营团队各自独立，团队的负责人具有直接向分管数据的副总裁或CEO直接汇报的权限，团队负责响应各业务部门的数据需求。
优势：分析团队具有充分的自主权，可以专心建设好公司级别的数据平台体系，研究数据最具有价值的那些问题，有权平衡业务短期需求和平台长期需求直接的关系。另一方面，这种自上而下建立起来组织架构，可以向全体员工传达数据在公司的重要位置，有利于建立数据化运营的文化。
劣势：产品业务团队会觉得他们对数据的掌控权比较弱，一些业务数据需求得不到快速响应，认为分析团队的反应太慢无法满足业务发展的需要。随着业务发展越来越大，产品团队会自己招募分析师来响应数据需求，逐渐替代分析团队的工作，这样势必会导致分析团队的工作被边缘化。9.2供应链企业开展大数据运营的路径（4）嵌入式
数据分析团队同样独立于产品团队存在，但只保留部分资深数据专家，负责招聘、培训数据分析师，然后把这些人派遣到各产品团队内部，来响应各类业务数据需求。
优势：团队的灵活性比较好，可以根据公司各业务线的发展情况合理调配人力资源，重点发展的项目投入优秀的人才，一些需要关闭的项目人才可以转移到其他项目中去。
劣势：分析师被嵌入到产品团队内部，受产品团队主管的领导，从而失去了自主权，导致沦落为二等公民。人事关系在公司数据分析团队中，却要被业务团队主管考核，但业务团队主管并不关心他们的职业发展，导致分析师的职业发展受到限制。9.2供应链企业开展大数据运营的路径
具体某个企业到底应该采取哪一种组织架构，可以根据供应链企业大数据运营进展的深度灵活地采取一种或几种方式。一般来说，早期采用分散式、中期采用集中式、后期采用分散式或嵌入式以及两种结合。1)早期阶段：公司对数据体系的投入一般是比较谨慎的，因为要全面建设数据体系需要投入大量的人力和财力，公司不太可能还没有看清楚局势的情况下投入那么多资源。所以，往往都是让每个产品团队自己配置分析师，能解决日常的业务问题就行。杭研院早期的网易云阅读、印象派等项目中就是采用的这种分散的模式。
3)后期阶段：一旦公司级别的数据分析平台构建完成，消除了早期分散模式中分析师缺少底层平台支持的窘境，他们能够在分析平台上自助完成大量的数据分析工作。而且经历过集中式阶段的洗礼，公司上上下下对数据的认识都有了很大的提高。此时，在回到分散模式时，原先的很多弊端已基本消除，此外，采用嵌入模式也是可以的。目前杭研院在网易云音乐、网易云课堂、考拉海购等几个产品中就是分散式和嵌入式并存的架构。
总之，没有最好的组织架构，只有适合自己的组织架构。企业要根据其供应链大数据运营所处的阶段来选择适合自己的团队组织架构，扬长避短。9.2供应链企业开展大数据运营的路径9.2.3构建大数据运营平台
目前我国相当一部分企业没有实力建设自己的大数据运营平台，往往会基于购买服务的基础上，结合企业数据资产现状及数据分析应用规划，快速建设大数据平台或搭建企业级托管大数据平台，包括分布式存储、批数据处理框架、实时流式计算、NoSQL数据库、Kafka消息服务、MPP数据仓库等系统以及一站式大数据平台服务。全托管构建、可视化运维管理、一站式使用大数据平台服务。国内和国际上已有多家公司提供大数据平台搭建服务，国外有名的公司有Cloudera，Hortonworks，MapR等，国内也有华为、明略数据、星环等。另外有些公司如明略数据等还提供一体化的解决方案，寻求这些公司合作对于入门级的大数据企业或没有大数据分析能力的企业来说是最好的解决途径，可在实现企业业务目标的同时保证大数据运营平台的稳定性、可扩展性和安全性。
在搭建大数据运营平台之前，要先明确业务需求场景以及用户的需求，通过大数据运营平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本的功能，来决定大数据运营平台搭建的具体步骤和影响因素。9.2供应链企业开展大数据运营的路径1.构建大数据运营平台的步骤（1）操作系统的选择和安装
操作系统一般使用开源版的RedHat、CentOS或者Debian作为底层的构建平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。要根据供应链大数据平台所要搭建的数据分析工具可以支持的系统，正确地选择操作系统的版本。（2）分布式计算平台/组件的安装
目前国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心的设计是HDFS和MapReduce，HDFS是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，适用于那些有着超大数据集的应用程序；MapReduce是一套可以从海量的数据中提取数据最后返回结果集的编程模型。在生产实践应用中，Hadoop非常适合应用于大数据存储和大数据的分析应用，适合服务于几千台到几万台大的服务器的集群运行，支持PB级别的存储容量。Hadoop家族还包含各种开源组件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等。使用开源组件的优势显而易见，活跃的社区会不断地迭代更新组件版本，使用的人也会很多，遇到问题会比较容易解决，同时代码开源，高水平的数据开发工程师可结合自身项目的需求对代码进行修改，以更好地为项目提供服务。9.2供应链企业开展大数据运营的路径（3）数据接入
数据接入主要包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入常用的工具有Flume，Logstash，NDC（网易数据运河系统），Sqoop等。例如：Sqoop可以将数据从文件或者传统数据库导入到分布式平台，一般主要导入到Hive，也可将数据导入到Hbase。
对于实时性要求比较高的业务场景，比如对存在于社交网站、新闻等的数据信息流需要快速处理反馈，那么数据的接入可以使用开源的Strom，Sparkstreaming等。当需要使用上游模块的数据进行计算、统计和分析的时候，就需要用到分布式的消息系统，比如基于发布/订阅的消息系统kafka。还可以使用分布式应用程序协调服务Zookeeper来提供数据同步服务，更好地保证数据的可靠和一致性。9.2供应链企业开展大数据运营的路径（4）数据存储
除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key/value系统，部署在HDFS上，与Hadoop一样，HBase的目标主要是依赖横向扩展，通过不断的增加廉价的商用服务器，增加计算和存储能力。同时hadoop的资源管理器Yarn，可以为上层应用提供统一的资源管理和调度，为集群在利用率、资源统一等方面带来巨大的好处。Kudu是一个围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，可以运行在普通的服务器上，作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Redis是一种速度非常快的非关系型数据库，可以将存储在内存中的键值对数据持久化到硬盘中，可以存储键与5种不同类型的值之间的映射。9.2供应链企业开展大数据运营的路径（5）数据分析和挖掘
数据分析和挖掘一般包括两个阶段：数据预处理和数据建模分析。数据预处理是为后面的建模分析做准备，主要工作是从海量的数据中提取出可用特征，建立大宽表，创建数据仓库，这个过程会使用到HiveSQL，SparkSQL和Impala等工具。其中，Hive可以将结构化的数据映射为一张数据库表，并提供HQL的查询功能，它是建立在Hadoop之上的数据仓库基础架构，是为了减少MapReduce编写工作的批处理系统，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce、编程能力较弱和不擅长Java的用户能够在HDFS大规模数据集上很好的利用SQL语言查询、汇总、分析数据。Impala是对Hive的一个补充，可以实现高效的SQL查询，但是Impala将整个查询过程分成了一个执行计划树，而不是一连串的MapReduce任务，相比Hive有更好的并发性和避免了不必要的中间sort和shuffle。Spark可以将Job中间输出结果保存在内存中，不需要读取HDFS，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
随着业务量的增多，需要进行训练和清洗的数据也会变得越来越复杂，可以使用azkaban或者oozie作为工作流调度引擎，用来解决有多个Hadoop或者Spark等计算任务之间的依赖关系问题。
可视化一般是对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。在这里，要基于供应链大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速『ms级别』的行查找。ElasticSearch可以实现列索引，提供快速列查找。对于处理得到的数据可以对接主流的BI系统，比如国外的Tableau、QlikView、PowrerBI等，国内的SmallBI和新兴的网易有数等，将结果进行可视化，用于决策分析；或者回流到线上，支持线上业务的发展。9.2供应链企业开展大数据运营的路径2.影响大数据运营平台的因素
搭建供应链大数据运营平台不是一件简单的事情，本身就是一项复杂的工作，在这过程中需要考虑的因素有很多，包括平台的稳定性、可扩展性和安全性。（1）稳定性
大数据平台部署在多台机器上，如何在其基础上扩充新的机器是实际应用中经常会遇到的问题；如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。9.2供应链企业开展大数据运营的路径（3）安全性
保障数据安全是大数据平台不可忽视的问题，在海量数据的处理过程中，如何防止数据的丢失和泄露一直是大数据安全领域的研究热点。决定是否实现一个大数据平台时，组织可能会查看新数据源和新的数据元素类型，而这些信息当前的所有权尚未明确定义。一些行业制度会约束组织获取和使用的数据。例如，在医疗行业，通过访问患者数据来从中获取洞察是否合法？类似的规则约束着所有行业。除了IT治理问题之外，组织的业务流程可能也需要重新定义和修改，让组织能够获取、存储和访问外部数据。具体涉及的数据安全问题包括：1）安全性和隐私：为了与当地法规一致，解决方案可以访问哪些数据？可以存储哪些数据？哪些数据应在移动过程中加密？静止数据呢？谁可以查看原始数据和洞察？2）数据的标准化：是否有标准约束数据？数据是否具有专用的格式？是否有部分数据为非标准格式？3）数据可用的时段：数据在一个允许及时采取操作的时段是否可用？4）数据的所有权：谁拥有该数据？解决方案是否拥有适当的访问权和权限来使用数据？5）允许的用法：允许如何使用该数据？9.2供应链企业开展大数据运营的路径9.2.4设计供应链大数据治理方案1.治理目标
IBM及吴信东等提出大数据治理的目标包括战略一致、风险可控合规及价值创造三大方面。其中，战略一致主要要求数据治理分析的目标与企业整体战略一致；风险可控合规主要要求在数据治理过程中遵守法规和规范，合理控制治理风险，最终实现数据价值转化；价值创造是数据治理最核心的目标，即实现数据资产的价值转化，为企业创造价值。
大数据治理和数字化转型的核心目标是价值创造，所有大数据治理和数字化技术的应用和落实也应围绕这个目标展开。9.2供应链企业开展大数据运营的路径2.治理内容
供应链企业开展大数据治理的内容主要包括业务转型、技术转型和组织转型三个方面，贯穿供应链各个环节。（1）业务转型
技术转型指搭建企业数字化转型所需的工业物联网架构和技术生态系统。工业物联网架构是支撑数字化业务用例试点和推广的“骨骼”，数据架构是确保“数据-信息-洞见-行动”能够付诸实现的“血液”，而整体架构的构建需要始终以数字化转型的终极目标为导向。技术生态系统则是一个囊括外部丰富数字化智慧和能力的朋友圈，部署数字化用例、数字化技术的迭代创新以及新技术的引进，都离不开技术生态系统其他合作伙伴的支持。成功的技术转型需要健全物联网架构，创造并引领主题明确的技术合作伙伴生态圈，促进企业借力合作，取长补短，共同发展。9.2供应链企业开展大数据运营的路径（3）组织转型
过程分析技术（PAT）的应用就是一个很好的例子。利用数字化转型方案，在整个工业物联网（IIoT）架构中，引入新的测量技术提供的数据感知能力，数据通过数字化分析系统形成的优化模型用以提升装置的运营性能，从而让工厂在无需投资新设备的情况下，提高现有生产线的效率。
尽管多数工厂已经在收集大量的数据，但对于如何实现数据关联、整合与分析并没有达成一致。供应链大数据治理需要通过数据分析技术，实现供应链各个环节数据的收集、关联、整合及分析。
数据收集方面：对于大多数企业，甚至是那些已经开始大数据运营和数字化转型的企业来说，找到一种方法从车间系统和传感器获取关键数据，并将其应用到具有合适分析环境的edge和云分析系统中，是至关重要的一步。
数据关联方面：企业已经开始利用多种工具来克服将数据从现场传输的一些最常见障碍。从前期设计就将MES和DCS系统进行集成，以消除“自动化孤岛”，因为这种“孤岛”阻碍了技术转移流程，也限制了数据在生产装置和流程中的访问和使用。
数据分析方面：各种分析技术层出不穷，其中，数字双胞胎仿真技术的诞生在优化运营中的应用可谓举足轻重，可利用企业现有的大数据帮助工厂提升运营性能，通过大数据技术将工厂现有稳态设计模型集成到离线的实时动态仿真中，方便、准确、灵活地模拟真实场景中的事物，企业可以运用这项技术在正式生产前进行虚拟动态测试，根据所产生的真实操作流程的动态还原，做出改进生产的有利决策，从而在没有任何运营风险的情况下测试优化方案对流程改进造成的影响，提高工厂运营性能。企业还可以利用数字双胞胎技术进行安全可靠的操作人员培训，操作人员可以获得与现实工厂运行配置完全一致的真实体验，却不会因为任何操作而真正影响工厂运营，从而避免过程停机带来的损失。
大数据及大数据分析将在供应链大数据治理和提高企业绩效中发挥越来越重要的作用，从而加快企业实现卓越运营，不同企业之间的差距也将由此拉开，越早行动则越早获益。9.2供应链企业开展大数据运营的路径9.2.5实施大数据驱动供应链企业运营
大数据供应链的实施能够优化供应链，降低成本，提供大批量定制化的服务。其成功实施需要两项基本技能：对供应链业务的深入了解，和强大的数学能力。往深了说，业务来提要求，协助构建数学分析模型；专业人士构建模型，收集数据，统计分析，然后得出结论。具体实施来讲分五步：设定目标，收集数据，整理数据，分析数据，高级分析。
第一步：设定目标。供应链涵盖的范围很广，我们要解决整条供应链问题，还是其中一段的问题。可以是解决采购、供应商质量问题、制造问题、物流问题、销售问题。如果是解决物流问题，是要解决整个物流，还是运输，还是仓储？小伙伴们看起来很简单，可大家一定要想好，有多少资源能够更投入，能够实现哪些领域的改变？从传统供应链到大数据供应链的转型，可不要急于求成，应该由小到大，一个一个领域地来。设定好目标，接下来就适合大数据人员一起搭建好收集数据的平台，协助建立数学模型。9.2供应链企业开展大数据运营的路径
第二步：数据结构化。这是大数据最为基础的阶段，这一阶段要将收集来的数据数字化和结构化，便于后期整理，分析和运用。收集数据时，要注意保证数据质量，收集到的数据要保存在数据库中。
第三步：数据可用性。这一阶段，要尽可能地开放数据，让全员可用，全员参与进来使用这些数据本身就为企业提供了巨大发展的动力，同时也是整合数据，创立管理新商业视角第一步。使用者多了，反馈也就多，也就能更好的验证数据的可用性。收集数据，整理数据后，就到了下面具体分析的阶段了。
第四步：基础分析。在这一阶段可以使用相对简单的研究方法研究。比如，数据间的比较与关联；定量分析，定性分析等。需要把数学和统计学的知识结合起来发挥好。现今，不少企业分析到这里就认为结束了，这些结果就足够用了。拿着这些结果就开始改变企业。其实不然。
第五步：高级分析。这里才是大数据供应链的最核心。需要运用高级分析方法，比如，预测分析方法，自动化算法和实时数据分析等来建立全新的商业视角和商业模式。高级分析和基础分析的区别就在这，基础分析是分析和改善；而高级分析是分析、推理加创新或创造。而且，大数据的基础上进行的推理更能接近于实际。9.3供应链企业开展大数据运营的具体应用
大数据是供应链企业开展运营的基础，应用于企业供应链运营的各个环节，在供应链运营中处于十分重要的地位。随着大数据的发展与应用，供应链大数据运营水平、效率效益、服务质量得到极大提升，对于促进供应链产业快速发展起到了重要作用，同时也为制造、电商等其他行业提供了有力支撑。其中，阿里零售通智慧供应链平台、京东供应链大中台及准时达端到端的智慧供应链实时协同是较为成功的典型应用。9.3供应链企业开展大数据运营的具体应用9.3.1阿里零售通智慧供应链平台1.问题描述
阿里巴巴零售通业务是服务六百万小店的业务，所以我们提出自己的使命是“服务每家店、只为每个家”。
先从身边小店说起，20世纪六七十年代，整个物质匮乏，那时候凭粮票，20世纪八九十年代小店业务蓬勃发展，到了现在小店的业态百花齐放，有现代化的便利店也有区域性加盟的便利店，还有历史悠久的夫妻老婆店。
通过我们的调研了解到，有30%的小店面临经营下滑的风险，有10%甚至面临倒闭，还有40%做得好，开多家店，出现了有组织式的运营。从消费端看，现在消费端变化非常快，消费场景碎片化，消费需求多变，还有整个商品生命周期在缩短，这些对小店经营来说挑战非常大，总体来说小店是属于弱势群体。夫妻老婆店升级面临困难，我们认为这是一个很好的机会。图9-8供应链供应端的基础设施变迁9.3供应链企业开展大数据运营的具体应用
阿里零售通智慧供应链平台的目标是建立一个品牌商、供应商到直接消费者之间的智能分销网络。如图9-9所示，其核心包括三块，第一块是智慧门店端，通过门店端数字化的能力，让门店更好地运营周边的消费者，更了解周边的消费者。第二块是全链路数字营销，实现从品牌商到消费端整个全链路数字化运营，过去数字化直达消费者不现实，现在则有可能通过供应链大数据平台帮助品牌商运营他周边的门店和门店周边的消费者。第三块是基于前面两块建立端到端的供应链体系。图9-9阿里零售通智慧供应链平台核心模块9.3供应链企业开展大数据运营的具体应用
如图9-10所示是阿里零售通智慧供应链平台的系统概览。其中，最底层的数字化实现人群、小店以及品牌商、经销商的生意经营以及他们的仓配、组织全面数字化。基于该数字化体系上，是智慧供应链引擎，主要实现仓库规划、货品择仓、销售预测、库存优化、决策优化等功能。基于引擎之上是计划协同系统，从需求计划到库存计划再到供应链计划，这是一套计划协同系统。再上面是供应链的执行，商家管理、库存管理以及货进仓、货出仓这一块。再上面是为品牌商、经销商、生态合作伙伴提供的端到端的解决方案，PC端工作台以及我们的移动端APP。最左边是开放平台，希望接入企业的ERP和ISV系统。最右边的是成本监管系统，实现降本功能。图9-10阿里零售通智慧供应链平台的系统概览9.3供应链企业开展大数据运营的具体应用（1）门店数字化方面
我们希望通过摄像头和交互的屏，实现进店人群的数字化，年龄、性别、消费行为等。同时通过WIFI探针和手机支付实现线上线下数据360度数字化，这是对周边人群的数字化。第二个是我们对这个小店的数字化，一个是货架切割，还有是小店周边的环境，它有没有学校和CBD等环境，还有是小店本身的经营面积、经营人的文化层次差异等。我们现在针对这个场，我们有90多个标签。还有POS机，跟传统的POS机不一样，我们希望自己的智慧门店POS如意系统，一端连接阿里整个生态的线上线下，让大家具备线上线下同时数字化经营能力，第二个是连接整个供应端，让小店的场和后端整个供应体系打通。这是我们在门店数字化这一块的解决方案，如图9-11所示。9.3供应链企业开展大数据运营的具体应用
智慧供应链引擎如图9-13所示。一个仓库的规划，在现有的消费需求的情况下，仓库规划怎么更合理？仓库建立以后，仓库里面的商品该放什么？以及放进去以后，库存的ABC怎么分？因为仓库里面高频作业和低频作业管理和效率都不一样，所以会涉及仓库库存ABC的管理。还考虑到怎么入仓，我们是商家直送成本最低还是上门揽收成本最低，还是让商家直送区域仓调拨到城市仓成本最低？所以这也会涉及运筹优化。而底层的每个场景其实都要有比较强的模拟仿真系统来支撑。图9-13智慧供应链引擎9.3供应链企业开展大数据运营的具体应用（3）智慧协同方面
其实协同系统是最难的系统，也是整个供应链的指挥中心。阿里零售通计划协同系统和智慧供应链协同网络分别如图9-14和图9-15所示。供应链保障稳定可分为销售预测、库存计划和执行三道防线，但这三道防线本质的问题是协同问题。在协同问题上，一个创新业务也会面临很大的问题，比方说数据的稀疏性，你怎么把你的销售预测做准？这是一个非常大的挑战。第二，协同的节奏一致性，比方要做促销、营销，怎么和后端供应协同？有时候就会面临前一天促销了，但后面的人不知道，销量一下子打爆掉了，后面的供应就会缺货，所以协同的节奏也是非常大的难点。所以这套体系是从我们分不同的场景去面对这些问题，第一个是KA的商家，我们希望和商家做CPFA，就是和商家做联合销售预测和备货计划，来保障商品的稳定。对于成熟的商品，我们希望用EDLP的方式，EDLP更多是成熟的运转，就是我们的预测，相对来说预测准确度会高