做过BI或数仓项目的小伙伴肯定都知道,说到数据质量问题,这是一个业务和技术经常扯来扯去、互相推诿的问题。在很多情况下,企业都会把数据质量问题推给技术部门,让技术部门去查找和处理。但是企业的数据质量问题真的都是技术引起的吗,技术部门人一定会说:“这个锅我不背!”
接下来我们盘点下企业一般都会遇到哪些数据质量问题:
数据真实性:数据必须真实准确的反映客观的实体存在或真实的业务,真实可靠的原始统计数据是企业统计工作的灵魂,是一切管理工作的基础,是经营者进行正确经营决策必不可少的第一手资料。
数据准确性:准确性也叫可靠性,是用于分析和识别哪些是不准确的或无效的数据,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策。
数据唯一性:用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题。
数据完整性:数据完整性问题包括:模型设计不完整,例如:唯一性约束不完整、参照不完整;数据条目不完整,例如:数据记录丢失或不可用;数据属性不完整,例如:数据属性空值。不完整的数据所能借鉴的价值就会大大降低,也是数据质量问题最为基础和常见的一类问题。
数据一致性:多源数据的数据模型不一致,例如:命名不一致、数据结构不一致、约束规则不一致。数据实体不一致,例如:数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。
数据及时性:数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。
面对数据质量问题,有两个基本原则,那就是“早发现、早恢复”,也就是早点发现数据的异常点,同时尽快能够恢复正常。下面有一些方法可以参考一下的:
锦囊1:添加稽核校验任务
锦囊2:建立全链路的监控
锦囊3:智能预警功能
锦囊4:规范化管理制度
我们上面讲了这么多,其实都是建立在我们配置了完整的数据链路以及稽核规则之上的,万一一开始我们就没有配置这些东西呢?那么一切都是浮云了。
所以我们必须得设计一些规范化的管理制度,比如评审机制,从而确保依赖关系的完整配置,同时对稽核规则也要进行评审,确保规则的完备性。
1、构建数据质量规则库
2、发现数据质量问题
灵活定义多模型质检方案,多点监测、多模型质检方案,高效调度,并发和串行处理相结合,性能高效,只需2分30秒,便可完成20条规则百万级数据的质量检查。
3、出具全面的“体检报告”
内置常规质检分析报告,实时可视化呈现质检结果,质检结果模型灵活扩展,充分利用了BI工具的分析展现能力,提供图文并茂的质量检查结果报告。
4、数据质量全流程管理
提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能,不仅能发现问题、还能将问题分发给数据负责人、管理者,在线跟踪问题处理进展。
数据质量的全面评价,是数据质量治理的准绳。在整个数据治理环节,亿信华辰睿治数据治理平台从数据源头控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。