百科 | 企业如何指定数据质量管理的目标?

大数据时代数据的核心不是“大”,而在于“有价值”,而有价值的关键在于“质量”。做过数据产品的人都会知道,质量高的数据对于产品的意义。

我们常常说人要时刻保持清醒,这样才能不被假象所蒙蔽,数据其实更需要这点,我们需要透过数据挖掘本质,如果数据是不具备完整人格的,缺失完整性、规范性、一致性等维度,那么我们看到的本质也是偏差的

数据质量管理是为了满足信息利用的需要,对信息系统的各个信息采集点进行规范,包括建立模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。

 

数据质量管理不是一时的数据治理手段,而是循环的管理过程,不仅包含了对数据质量的改善,同时还包含了对组织的改善。

为什么有这么多人强调改善数据质量管理的重要性,是用一种很抽象的比喻描述,如果把整个数据应用比作人体的话,那好的数据就相当于新鲜和沸腾的血液,能让我们的身体充满活力,高效地工作思考。

质量差的血液携带废物和毒素,随着毒素越积越多,血液以及血管就会发生病变,血液流经的全身各处器官也会大受影响。

 

  • 据专家估计,由于用户拒绝不可靠的数据,导致多达70%的数据仓库项目遭到失败。
  • 据专家估计,糟糕的数据通过使收入受损而会耗费商业机构多达10%~20%的操作总预算。而且,IT部门预算的40%50%之多可能都花在了纠正由糟糕的数据所引起的错误上。
  • 专家认为,由于客户的死亡、离婚、结婚或调离,客户文件中的记录在一个月之内会有2%变得过时。

什么是数据质量管理?

 

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
 
数据质量管理是循环管理过程,其终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。
 

 

数据质量的现状

 

1. 45%:Collibra 一项调查发现,45%的数据使用者称其报告基于的数据半数以上质量不够理想。
2. 960万美元:Gartner 2016 年的一项研究发现,由于数据质量差,受访组织平均每年将损失 960 万美元。
 
那么,我们应该怎么去指定数据质量管理的目标呢?企业又如何去指定数据质量管理的目标呢?
 
数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础,而企业做数据质量管理的目标总结起来是要得到可信可用的数据。
 
影响数据质量的因素
1.技术因素:主要表现为由于具体数据处理的各技术环节异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
 
2.业务因素:主要表现为由于系统作业流程和人工操作流程设置不当而造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。
 
3.管理因素:主要表现为由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。
 

数据质量问题产生的常见原因

 

源系统业务人员录入不规范,且系统逻辑校核不严谨,导致大量低质量、空值数据。源系统设计缺陷致数据质量问题:跨表或跨系统有冗余字段但没有同步机制;逻辑设计问题导致特定情况下出现错误数据;关联性较强的流程设计缺乏有效衔接
数据上报不及时;历史数据迁移时操作不规范,导致数据不一致;系统升级改造,导致历史数据错乱;各源系统相同含义数据标准不一;数据增值过程中,每次加工转换产生了新的质量问题。

END

调研工厂丨https://survey.work
“阅读原文”进入官网免费使用~
上一篇
下一篇

相关推荐

Demo体验
联系我们
联系我们
信息填写完毕后,我们会在最短的时间内安排专员给您回电