一张图带你了解数据分析的完整流程

开通VIP,畅享免费电子书等14项超值服

首页

好书

留言交流

下载APP

联系客服

2024.03.07上海

(注:图保存下来,查看更清晰)

作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。

1.数据采集

比如:

Omniture中的Prop变量长度只有100个字符,在数据采集部署过程中就不能把含有大量中文描述的文字赋值给Prop变量(超过的字符会被截断)。

在数据采集阶段,数据分析师需要更多的了解数据生产和采集过程中的异常情况,如此才能更好的追本溯源。另外,这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。

2.数据存储

无论数据存储于云端还是本地,数据的存储不只是我们看到的数据库那么简单。

数据存储系统是MySql、Oracle、SQLServer还是其他系统。

数据仓库结构及各库表如何关联,星型、雪花型还是其他。

生产数据库接收数据时是否有一定规则,比如只接收特定类型字段。

生产数据库面对异常值如何处理,强制转换、留空还是返回错误。

生产数据库及数据仓库系统如何存储数据,名称、含义、类型、长度、精度、是否可为空、是否唯一、字符编码、约束条件规则是什么。

接触到的数据是原始数据还是ETL后的数据,ETL规则是什么。

数据仓库数据的更新更新机制是什么,全量更新还是增量更新。

不同数据库和库表之间的同步规则是什么,哪些因素会造成数据差异,如何处理差异的。

在数据存储阶段,数据分析师需要了解数据存储内部的工作机制和流程,最核心的因素是在原始数据基础上经过哪些加工处理,最后得到了怎样的数据。由于数据在存储阶段是不断动态变化和迭代更新的,其及时性、完整性、有效性、一致性、准确性很多时候由于软硬件、内外部环境问题无法保证,这些都会导致后期数据应用问题。

3.数据提取

数据提取是将数据取出的过程,数据提取的核心环节是从哪取、何时取、如何取。

如何取,提取规则——不同提取规则下的数据结果很难一致。

4.数据挖掘

数据挖掘是面对海量数据时进行数据价值提炼的关键,以下是算法选择的基本原则:

没有最好的算法,只有最适合的算法,算法选择的原则是兼具准确性、可操作性、可理解性、可应用性。

没有一种算法能解决所有问题,但精通一门算法可以解决很多问题。

挖掘算法最难的是算法调优,同一种算法在不同场景下的参数设定相同,实践是获得调优经验的重要途径。

5.数据分析

数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。

6.数据展现

数据展现即数据可视化的部分,数据分析师如何把数据观点展示给业务的过程。数据展现除遵循各公司统一规范原则外,具体形式还要根据实际需求和场景而定。

基本素质要求如下:

工具。FineBI是不错的展现工具。

形式。图文并茂的基本原则更易于理解,生动、有趣、互动、讲故事都是加分项。

原则。领导层喜欢读图、看趋势、要结论,执行层欢看数、读文字、看过程。

场景。大型会议PPT最合适,汇报说明Word最实用,数据较多时Excel更方便。

最重要一点,数据展现永远辅助于数据内容,有价值的数据报告才是关键。

7.数据应用

数据应用是数据具有落地价值的直接体现,这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。

数据沟通能力。深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受,打比方、举例子都是非常实用的技巧。

业务推动能力。在业务理解数据的基础上,推动业务落地实现数据建议。从业务最重要、最紧急、最能产生效果的环节开始是个好方法,同时要考虑到业务落地的客观环境,即好的数据结论需要具备客观落地条件。

项目工作能力。数据项目工作是循序渐进的过程,无论是一个数据分析项目还是数据产品项目,都需要数据分析师具备计划、领导、组织、控制的项目工作能力。

上文内容不用于商业目的,如涉及知识产权问题,请权利人联系小编,我们将立即处理

THE END
1.(完整版)管理信息系统数据流程图和业务流程图.doc(完整版)管理信息系统数据流程图和业务流程图.doc 20页内容提供方:137***3851 大小:941.02 KB 字数:约5.78千字 发布时间:2020-10-22发布于山东 浏览人气:234 下载次数:仅上传者可见 收藏次数:0 需要金币:*** 金币 (10金币=人民币1元)(...https://max.book118.com/html/2020/1021/5103124330003012.shtm
2.数据流程图的介绍与使用,一篇文章看懂!数据流程图是什么呢?其实它是一种用于描述系统数据流程关系的工具,它可以见复杂的数据独立抽象而出,并且用图像的暗示来阐述信息的来源和实际的流程图。也有人说这是一种图形化的系统模型,可以描述数据流程图。存储和处理的逻辑关系。在本篇文章,我们将详细来了解数据流程图的基础知识。 数据流程图的作用是什么? https://www.imooc.com/article/293722
3.数据流程图怎么画?4步教你轻松搞定数据流程图是流程图的众多分类之一,使用特定图形符号反应信息在系统中的流动、处理和存储情况,将各项逻辑信息流及功能数据化,使其变得直观形象,方便设计人员对业务的具体流程进行设计,从中分析数据流程的结构并加以改进.那么我们该怎么画数据流程图呢?https://www.liuchengtu.com/tutorial/shujumuban.html/
4.转:各种图(流程图,思维导图,UML,拓扑图,ER图)简介对象模型,采用对象,属性,操作,关联等概念展示系统的结构和基础,包括类别图。 动态模型,展现系统的内部行为。包括序列图,活动图,状态图。 3.软件:亿图,Visio,PowerDesigner 数据库模型图,实体关系图,数据流程模型图 1.定义:实体关系图,简记E-R图是指以实体、关系、属性三个基本概念概括数据的基本结构,从而描述静态...https://www.jianshu.com/p/e45ceca15000
5.员工数据管理业务流程图迅捷画图思维导图模板员工数据管理业务流程图--迅捷画图,思维导图模板,平面,其他平面,流程图模板,数据管理流程图,站酷网,中国设计师互动平台.该流程图主要从管理员,企业,供应商三个中心主题进行展开,对数据管理进行合理分析使用,简洁明了,颜色划分较为清楚,点击“使用模板”即可进行在线编https://www.zcool.com.cn/work/ZMzU3MTI0NzY=.html
6.《数道图说—统计数据处理流程图汇编》本书作者长期奋战在基层统计一线,他们从工作实践中总结经验,将重点指标、常用指标的出数流程,以行业或企业为例,做成一张张清晰流畅的工作流程图。书的前四部分按工业企业、服务业及贸易企业、建筑与房地产企业与固定资产投资、农业及其他分类,详细说明了这些重点专业的常用经济指标的出数流程;第五部分则对数据审核要...https://www.stats.gov.cn/zs/tjwh/tjkw/tjzl/202302/t20230215_1907876.html
1.轻松绘制数据流程图亿图图示在线什么是数据流程图?数据流程图中的标准符号有哪些?如何快速绘制数据流程图?以上问题,你都可以在这里找到答案。https://edrawmax.cn/article/data-flow-chart.html
2.如何绘制数据流程图从这些流程开始,可以逐渐辨别这些流程之间及流程与外部实体之间的信息流。 数据流程图—文件流分析 如果调查中的业务主要由文档或者计算机输入和输出形式的信息组成,文件流分析则是合适的方法。 当分析者对信息流特别感兴趣时,文件流分析尤其有用。第一步是列出主要的文件和它们的来源的接收者。然后确认其它重要信息比如...https://www.edrawsoft.com/cn/Design-Data-Flow.php
3.7个步骤快速学会数据流图怎么画首先确定要绘制数据流图的系统或程序的边界,即界定所关注的系统或程序的范围。 2. 确定主要流程 识别系统或程序的主要功能,确定主要的数据流和处理过程。数据流是指数据在系统中的流动,处理过程是对数据进行转换、处理或存储的功能。 3. 绘制外部实体 https://boardmix.cn/article/data-flow-diagram/
4.数据流程图新手指导关联关系多、数据复杂、流程繁琐、讲不清楚、说不明白...你是否还在被这些问题困扰?现在越来越多的人开始使用数据流程图、数据分析流程图等进行工作展示与对接,简单易懂,极大地提高了工作效率。 数据流程图(Data Flow Diagram,DFD), 是一种描述系统数据流程的主要工具,它用一组符号来描述整个系统中信息的全貌,综合...https://modao.cc/flowchart/data-flow-chart-beginners-guide.html
5.关于数据流程图和示例你应该知道的一切本文将讨论一种流程图,数据流程图或 DFD。 每天都有太多活动部件进入组织的系统和运营。 每一个对于企业或项目的成功都是至关重要的。 使用适当的技术,很难跟踪所有重要的细节。 DFD 用于以图形方式表示业务信息系统中的数据流。 这就是为什么我们用下面最好的例子来介绍 DFD。 https://zh-cn.aiseesoft.com/resource/data-flow-diagram-example.html
6.在线数据流程图制作一个在线数据流图工具,用于创建快速、清晰的数据流图。 绘制数据流程图(DFD) 在线绘制数据流图(DFD) 数据流图(DFD)一种用于表达商业信息系统内数据如何流动的图表。DFD 将进程、数据存储和系统外部实体之间的数据传输图像化。它在软件工程中被广泛使用。现在,您也可以使用 VP Online 的在线 DFD 工具绘制专业的数据...https://online.visual-paradigm.com/cn/diagrams/features/dfd-maker/
7.数据库业务流程图6个图例数据库业务流程图6个图例是指在设计数据库的时候,对于其业务流程的描述,使用6个不同的图例来进行展示。这些图例包括实体关系图、用例图、过程流程图、状态转换图、活动图和时序图。每一种图例都有其特定的用途和设计时需要注意的点,下面我们逐一进行解析。 https://www.volcengine.com/theme/885147-S-7-1
8.数据流程图(DFD)示例:食品订购系统腾讯云开发者社区数据流程图 (DFD) 示例:食品订购系统 原创 修改于 2018-07-13 17:26:16 4.9K0 文章被收录于专栏:UML 什么是数据流图? 数据流图也称为气泡图。它通常用作创建系统概述的初步步骤,而不需要详细介绍,以后可以将其作为自上而下的分解方式进行详细说明。DFD显示将从系统输入和输出的信息类型,数据如何流经系统以及...https://cloud.tencent.com/developer/article/1158587
9.管理信息系统数据流程图详解数据流程图图例:常见的数据流程图有两种: 一种是以方框、连线及其变形为基本图例符号来表示数据流动过程。 一种是以圆圈及连接弧线作为其基本符号来表示数据流动过程。 这两种方法实际表示一个数据流程的时候,大同小异,但是针对不同的数据处理流程却各有特点。故在此我们介绍其中一种方法,以便读者在实际工作中根据...https://doc.mbalib.com/m/view/aa78092399341abcc8c8e1fcddfb020e.html
10.在地图上可视化地理空间数据的12种方法开源地理空间基金会中文分...8. 地形图 地形图是地理空间数据地图的另一种相当标准的形式。通常,地形图用于表示分布在某个区域上的物理土地要素。其中包括地形高程(尤其是山脉、火山和其他高地标)和河流系统,还包括人为修建的例如公路、铁路或其他运输网络。 9. 流程图 流程图,也称为“路径”图,是线图的更专业版本。它们不是专注于地球的物理...https://www.osgeo.cn/post/12f76
11.大数据数据平台整体数据流图流程图模板数据流图 数据流图 音频数据流输出 大数据数据融合-数据治理平台 数据流图 mongodb 作者其他创作 大纲/内容 收藏 立即使用 大数据整体架构图 收藏 立即使用 大数据数据平台整体数据流图 收藏 立即使用 新能源架构图 PO_c52de4 职业:本科 去主页      评论 0 条评论...https://processon.com/view/5c1b59cce4b05e0d0638af68