`
housheng33
  • 浏览: 237933 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据治理(Data Governance)

阅读更多

什么是数据治理

数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
 
数据治理的全过程
数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管,这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作。从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合
 
如果您将要添加一个多领域 MDM (主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据)系统并承认 CRM 和 ERP 系统并不是设计用于管理主数据,为何不进行下一步骤并取消它们的创建、更新或删除主数据的功能,而是允许这些系统只能读取和处理主数据呢?{规定某一系统进行数据的录入,其他系统只用该系统的数据。或者另外搞一套系统,专门用来维护公共数据}
 
 
何时开始主动数据治理?
一些情况要求立即开始主动数据治理,例如当您获得多个 CRM 系统和 ERP 系统,它们要求与多领域 MDM 系统集成,以便让它们继续充当录入系统,或当您的当前源系统非常脆弱或很难维护或修改。
在这些情况下,要忍受困难并从一开始便为主动数据治理作出计划。一些组织拥有成千上万个直接在 MDM 系统中授权主数据的最终用户,并且有一个数据管理员团队支持他们、发现异常、解决低质量匹配、在需要时手动合并重复记录等等。另一种应用情况是当您发现自己最终会选择主动数据治理方法 — 何必再为建立源系统到多领域 MDM 系统的双向集成而争论?您或许不妨直接授权最终用户来编写主数据。
 
随着越来越多的企业建立并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。有专家表示,只有建立了一定的数据治理体系,用户才会真正进入商业智能的时代。
 

概念:管理举措,持续改善

数据治理(Data Governance),是由企业高级管理层的数据治理委员会发起并推行的,是关于如何进行整个企业内部数据的商业应用和技术管理的一系列政策和程序。数据治理是一套持续改善管理机制,通常包括了组织架构、政策制度、技术工具、数据标准、作业流程、监督及考核等方方面面。

 

 

技术:主题众多,元数据管理先行

       数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。

根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

 

 

意义:发掘数据资产的商业价值[数据深度使用]

数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高组织数据质量,实现数据广泛共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产的商业价值。同时,数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规,如SOX法案,Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。

 

数据治理(Data Governance)是围绕将数据作为企业资产而展开的一系列的具体化工作。数据是企业最大的价值来源,同时也是最大的风险来源,数据管理不佳通常意味着业务决策效果不佳以及更可能面临违规和失窃。而利用规则的可信数据有助于组织的业务创新提供更好的服务,提升客户忠诚度,减少合规及报表要求所需工作,并提升创新能力。

 

数据治理不光是软件,还要有相应的流程、方法。

 

框架包括产出领域:数据风险管理、价值创造;驱动领域:组织机构/流程、管理制度、数据责任人;核心领域:数据质量管理、信息生命周期管理、安全/信息披露/合规;支撑领域:数据模型/数据架构、元数据/主数据/数据标准、质量审计与报告。

 

主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单等。

主数据管理旨在从企业的多个业务系统中整合最核心的需要共享的数据,集中进行数据清洗,并以服务的方式把统一、完整、准确的主数据分发给企业内的操作型应用和分析型应用,包括业务系统、业务流程和决策支持系统等。

 

数据的特点是3V,即大量化(Volume)、多种类(Variety)和高采集速度(Velocity)。大量化意味着传统的数据质量算法,除非有非常大的性能提升,是难以用在大数据环境下的,因为扫描一次的时间可能都是无法接受的;多种类更增加了这种难度,因为传统的数据质量算法基本上是基于关系数据的,对于象XML、文档、图数据等等类型,目前还没有太好的数据质量算法;高采集速度更是一个严峻的挑战,因为采集过程本来就是数据质量问题的主要来源,采集速度快,又不能及时进行数据质量处理,会导致数据质量问题的堆积,越来越严重。

       同时,数据质量是一个综合性的问题,一般认为其包括三个方面:元数据的质量、数据内容的质量和数据使用方式的质量,而大数据的特点恰恰是元数据的弱化和未来使用方式的不确定性。

 
0
6
分享到:
评论
3 楼 vinceall 2014-07-07  
看不懂啊。。。
2 楼 housheng33 2013-04-26  
敏捷,灵活利用~

多学,用时头脑清晰些~


正在边使用边学习中,共勉!

1 楼 dacoolbaby 2013-04-26  
楼主的文章概括的内容比较多,根现有数据仓库的大体环境相似。
很多内容都是只可意会不可言传的感觉。

例如,元数据管理的方法是什么,如何追踪等等,都没有提出很好的方向。

相关推荐

    book 数据治理 Data Governance.pdf

    近年来,组织中的数据有了巨大的增长。这些数据已经成为竞争、生产力、增长和创新的基础。通过互联网、社交媒体和多媒体...随着企业应对需要高质量数据的战略和运营挑战,数据治理正在成为企业信息管理的一个重要领域。

    DGI数据治理体系+如何使用DGI数据治理.zip

    DGI(Data Governance Initiative)数据治理体系是一种全面的框架,旨在帮助组织有效管理和控制其数据资产。数据治理是确保数据质量、安全、合规性和价值的关键实践,对于任何组织来说,尤其是在数字化转型的时代,...

    Material Master Data Governance for SAP Business Suite

    在现代制造业与物流组织中,**物料主数据治理**(Material Master Data Governance)是确保数据准确性和可用性的关键所在。面对复杂的物料主数据治理挑战,企业往往因为缺乏集成、集中的数据治理体系而难以有效管理...

    02.Sunil Soares - Data Governance Tools.pdf

    数据治理工具的选择对于数据治理的成功至关重要。Sunil Soares在其著作中提出了数据治理工具的评估标准,这些标准可能包括数据质量工具、数据建模工具、元数据管理工具、数据目录工具、数据安全和隐私工具等。组织在...

    CDGA(Certified Data Governance Associate)考试题

    CDGA(Certified Data Governance Associate)是由数据治理协会(DGI)推出的一个专业认证,旨在验证考生对数据治理的基本概念、原则、技术和最佳实践的理解。CDGA考试涵盖了数据治理的各个方面,包括数据治理框架、...

    Improved Master Data Governance Through Workflow

    在当今数字化转型的时代,主数据治理(Master Data Governance)对于企业来说至关重要。它涉及到对关键业务实体如客户、产品、供应商等信息的管理,确保这些数据的一致性、准确性和完整性。而工作流(Workflow)作为...

    Data Governance in Digital Transformation.zip

    "Data Governance in Digital Transformation"这一主题探讨了如何在变革过程中有效地管理和利用数据,确保其价值最大化。数据治理不仅是对数据资产的管理,更关乎企业的决策效率、合规性和业务创新。 1. 数据治理...

    CDGA数据治理工程师考证必备 | 自学复习资料 | 模拟试卷200题 + 答案

    CDGA(Certified Data Governance Associate)是数据治理领域的一个专业认证,旨在提升个人在数据管理、数据质量保证和数据治理策略制定等方面的专业能力。这个认证对于那些希望在大数据时代深入理解并实施有效数据...

    Data Governance Strategies

    为了确保这些数据的质量、安全性和可用性,数据治理(Data Governance)变得尤为重要。本文将深入探讨数据治理的概念、重要性、实施步骤以及面临的主要挑战。 #### 数据治理概述 数据治理是指在组织层面制定并执行...

    探索医院数据管理和数据治理之道v2.pdf

    数据治理(Data Governance,简称DG)则是数据管理的一部分,它更强调于明确相关角色、工作责任和工作流程,确保数据资产能够长期、有序、可持续地得到管理。数据治理需要制定正确的原则、政策、流程和操作规程,以...

    SAS data governance framework

    SAS数据治理框架是一套全面的数据治理蓝图,它帮助组织确保数据管理的各个方面都得到妥善的管理和控制。数据治理作为一个概念已经存在几十年了,早在1980年代,随着计算技术的兴起,为了支持数据库营销和数据仓库...

    DAMA 数据治理CDGA 真题、模拟题及每章节考试重点

    DAMA(数据管理协会)的CDGA(Certified Data Governance Associate)认证是全球认可的数据治理专业资格,旨在培养具备全面数据治理知识和技能的专业人士。本文将围绕CDGA考试的真题、模拟题以及每章节的重点内容...

    2021年中国数据治理行业:全链产业图谱梳理.pdf

    数据治理(Data Governance)是指随着企业信息系统的发展,数据的管理和管治变得更为复杂,不仅包含了企业内部网,还包含了企业外部环境数据的外部网;数据不仅要支撑企业的运行管理,更要开始为企业对环境的认识和...

    Data_Governance_in_Digital_Transformation.pdf

    •Rethinking Data Governance & Management •Data Management & Maturity Model (DMM) •2020 State of Cybersecurity: Threats and Skills Gaps •Tech Workforce 2020 Research•Staffing and Organization ...

    国外数据治理对比.docx

    其中,数据治理协会(The Data Governance Institute, DGI)和国际数据管理协会(The Data Management Association, DAMA)提出的模型因其全面性和逻辑清晰性而备受推崇。 - **DGI数据治理模型**:此模型包含规则与...

    DataGovernanceActpdf.pdf

    数据治理提案(Data Governance Act, DGA)旨在通过信任和监管机制,解决欧洲在数据治理方面的特定挑战,特别是公共部门数据的再利用、商业领域数据的共享以及个人数据在遵守GDPR前提下的共享。 欧盟对于数据治理的...

    How to Design, Deploy and Sustain an Effective Data Governance Program

    国外2B市场很早就成熟了,有一批专业人士一辈子都在研究数据管理及治理,有很多专业论文及书籍,本书是很不错的一本,从事数据治理工作的朋友建议一看。 John Ladley-Data Governance_ How to Design, Deploy and ...

    2023机器学习人工智能数据治理产品矩阵mad2023.pdf

    * 数据治理(Data Governance):数据治理是指对数据的管理和控制,确保数据的质量、安全和一致性。 * 数据管理(Data Management):数据管理是指对数据的存储、处理和保护,确保数据的可用性和安全性。 三、机器...

    数据中台及数据治理服务及案例分享 P51.pptx

    5. 数据治理框架(Data Governance Framework):企业的数据治理框架和政策。 数据中台是企业级的数据管理平台,旨在提供数据的一致性、可靠性和安全性。数据中台的实现需要考虑业务模式、技术架构、数据架构、元...

Global site tag (gtag.js) - Google Analytics