`

数据质量的四种评估标准

 
阅读更多
    数据质量是保证数据应用的基础,它的评估标准主要包括四个方面,完整性、一致性、准确性、及时性。评估数据是否达到预期设定的质量要求,就可以通过这四个方面来进行判断。
                 
    数据质量的四种评估标准   数据质量是保证数据应用的基础,它的评估标准主要包括四个方面,完整性、一致性、准确性、及时性。评估数据是否达到预期设定的质量要求,就可以通过这四个方面来进行判断。   

完整性 

完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量最为基础的一项评估标准。 数据质量的完整性比较容易去评估,一般我们可以通过数据统计中的记录值和唯一值进行评估。例如,网站日志日访问量就是一个记录值,平时的日访问量在1000左右,突然某一天降到100了,需要检查一下数据是否存在缺失了。再例如,网站统计地域分布情况的每一个地区名就是一个唯一值,我国包括了32个省和直辖市,如果统计得到的唯一值小于32,则可以判断数据有可能存在缺失。 

一致性 
一致性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式。  数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑。规范指的是,一项数据存在它特定的格式,例如手机号码一定是13位的数字,IP地址一定是由4个0到255间的数字加上”.”组成的。逻辑指的是,多项数据间存在着固定的逻辑关系,例如PV一定是大于等于UV的,跳出率一定是在0到1之间的。 一般的数据都有着标准的编码规则,对于数据记录的一致性检验是较为简单的,只要符合标准编码规则即可,例如地区类的标准编码格式为“北京”而不是“北京市”,我们只需将相应的唯一值映射到标准的唯一值上就可以了。

准确性
准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅只是规则上的不一致。最为常见的数据准确性错误就如乱码。其次,异常的大或者小的数据也是不符合条件的数据。  数据质量的准确性可能存在于个别记录,也可能存在于整个数据集,例如数量级记录错误。这类错误则可以使用最大值和最小值的统计量去审核。  一般数据都符合正态分布的规律,如果一些占比少的数据存在问题,则可以通过比较其他数量少的数据比例,来做出判断。  当然如果统计的数据异常并不显著,但依然存在着错误,这类值的检查是最为困难的,需要通过复杂的统计分析对比找到蛛丝马迹,这里可以借助一些数据分析工具,那么具体的数据修正方法就不在这里介绍了。

及时性 
及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。及时性对于数据分析本身要求并不高,但如果数据分析周期加上数据建立的时间过长,就可能导致分析得出的结论失去了借鉴意义。
分享到:
评论

相关推荐

    数据质量六个评价标准.pptx

    本PPT着重介绍了数据质量的六个关键评价标准,这些标准有助于评估和提升数据的质量,从而优化业务流程和决策制定。 1. **完整性**:完整性是指数据集是否包含所有必要的信息,没有遗漏或缺失的数据。完整性检查通常...

    4.电子病历分级评价数据质量评估具体要求-2022年修订

    电子病历分级评价数据质量评估是对医疗机构电子病历系统功能应用水平的重要衡量标准,旨在确保电子病历数据的准确、完整、一致和及时性。2022年的修订版涉及了国家级电子病历规范和评级标准,这关系到电子病历的4级...

    《银行监管统计数据质量管理良好标准(试行)》实施方案..pdf

    《良好标准》的制定旨在解决体制和机制问题,从组织、制度、系统和流程四个方面着手,引导银行逐步提高数据质量,通过自我评估和监管评价相结合的方式,促进银行与监管机构之间的良性互动,提高监管效率。...

    火电厂工程调整试运质量检验及评定标准.pdf

    从提供的信息中可以看出,文档标题和描述都指向了同一主题:“火电厂工程调整试运质量检验及评定标准”。这份文档可能是一份针对火电厂在安装、调整及试运行阶段,按照一定的规范和标准进行质量检验和评定的说明文档...

    附件1:银行监管统计数据质量管理良好标准(试行).doc

    【银行监管统计数据质量管理良好标准】是针对银行业金融机构实施的一项重要管理规范,旨在确保监管统计数据的准确性和可靠性。这一标准依据《银行业监管统计管理暂行办法》制定,适用于所有开展监管统计工作的银行业...

    4.电子病历分级评价数据质量评估具体要求-2021年修订.pdf

    《电子病历分级评价数据质量评估具体要求-2021年修订》是对医疗机构电子病历数据质量进行规范和评估的重要文件。这份文档详细规定了评估电子病历数据质量的各项指标,旨在提升医疗服务效率和质量,确保医疗信息的...

    通用数据质量评估模型及本体实现.pdf

    综上所述,本文的贡献在于提出了一套通用的数据质量评估框架,该框架不依赖于特定行业或领域,而是提供了一种通用的数据质量评估方法。通过使用本体技术,该方法能够映射和实现各种质量规则的标准化定义,使得不同...

    【推荐】数据质量管理资料合集.zip

    通用数据质量评估模型及本体实现 通用元数据管理工具用户使用手册 银行监管统计数据质量管理良好标准 元数据管理(中国电信) 元数据及数据质量介绍 中信银行数据质量元数据管理平台用户操作手册 DAMA_DMBOK_数据...

    数据中心基础设施(机房)等级评定标准.zip

    机房的等级评定标准是对数据中心基础设施质量和服务能力的一种衡量,旨在确保数据的安全性、稳定性和高效性。本篇文章将详细探讨“数据中心基础设施(机房)等级评定标准”,并涵盖机房场地选择、基础设施配置、运行...

    数据质量评估框架.pdf

    本文档是一篇关于数据质量评估框架的论文,其内容涵盖了数据治理、资产盘点、数据质量监控标准以及相关工具的应用。以下是对文档中提及知识点的详细解读。 首先,文档开头提到了数据质量是大型组织和软件公司关注的...

    专题资料(2021-2022年)《公路养护工程质量检验评定标准》部分规范表式.doc

    《公路养护工程质量检验评定标准》是公路养护工作中的一项重要指导文件,主要针对公路养护工程的质量控制和评定提供了详细的标准和程序。以下将根据文件部分内容详细解释相关知识点: 1. **工程划分**: - 公路...

    数据质量管理与规则设计

    数据质量管理的架构包括业务需求、领导力、持续改进和能力保障四个方面。业务需求是指明确公司的业务需求,以确定数据质量的目标;领导力是指在公司层面对数据质量的重视和支持;持续改进是指数据质量管理是一个动态...

    数据治理之元数据及数据质量(架构+流程+手段).pptx

    通过设立数据质量标准和监控机制,企业可以定期评估和改进数据质量,减少因低质量数据导致的决策失误和运营风险。 主数据管理(MDM)关注那些在企业内部多系统间共享的关键业务实体数据,如客户、供应商、产品目录...

    数据质量管理(PPT57页).ppt

    数据质量监管体系包括数据质量监测、数据质量分析、数据质量评估和数据质量改进等步骤。 数据质量管理制度 数据质量管理制度是指对数据质量管理的制度和规范。数据质量管理制度包括数据质量管理策略、数据质量管理...

    数据中心基础设施(机房)等级评定标准

    数据中心基础设施(机房)等级评定标准是一套用于衡量和评价数据中心基础设施质量和管理水平的详细规则。这些标准的制定旨在推动数据中心建设与管理的科学化、标准化、规范化。在本标准中,数据中心机房的等级评定...

    数据质量评估框架

    每一部分包含基本要素和具体指标,旨在构建一个系统化、标准化的数据质量评估体系。此外,框架还针对政府财政统计的特定焦点问题提出了一系列评估建议,并提供了更为详细的指导说明,确保评估的全面性和深度。 ### ...

    数据质量标准及应用.pdf

    首先,它帮助企业建立统一的数据质量评估体系,提高数据的可信度和可用性,减少因数据质量问题导致的决策失误。其次,ISO 8000有助于提升数据治理能力,通过标准化流程确保数据的一致性和准确性,降低数据维护成本。...

    CH 1003-95测绘产品质量评定标准.zip

    《测绘产品质量评定标准》是衡量测绘工作成果质量的重要依据,其编号为CH 1003-95,是测绘行业内的一份关键性规范文件。这份标准详细规定了测绘产品从设计、生产到验收的全过程质量控制标准,旨在确保测绘成果的准确...

Global site tag (gtag.js) - Google Analytics