大数据平台数据管控解决方案.pptx
,大数据平台数据管控解决方案,目录,数据管控系统实施目标,数据管控系统实施是为解决企业所面临的数据标准问题、数据质量问题、元数据管理问题。,数据管控体系建设原则,数据管控系统实施步骤,目录,元数据定义,元数据分类,元数据范围,元数据关联性,元数据系统应用模型,元数据管理系统功能构成图,技术架构图,庞大的数据资产如何管理？,形态万千、散落在企业各处的数据资产如何管理？,数据资产之间的关系怎样？,如何让数据资产正确、有效的被使用并产生价值？,enterpriseASSET,元数据管理-现状分析,企业数据资产管理的困惑,对元数据的概念理解不清或者不一致,到底哪些数据可以纳入到元数据管理范畴之内,元数据管理能带来什么价值,元数据管理的工作内容都是什么,元数据管理-元数据的意义,元数据到底是什么,需要借助元数据管理来解决理想和现实之间的差异问题!,元数据能够辅助管理企业的各类数据资产；元数据可以如实向用户反映企业的数据资产信息；元数据管理的工作内容包括人员组织搭建、管理流程的梳理、基础技术平台的实施；元数据的解决方案回答了如何让元数据管理产生价值的问题。,解决之道,元数据系统-解决方案,定位：元数据管理是对数据平台数据信息的梳理、组织和再现，帮助用户更好的理解现有系统的建设现状，支撑用户对数据平台的管理工作作出更合理的决策，但不能过分夸大元数据管理的工作范围，它并不能替代现有数据平台开发和管理工具的角色，也不能彻底改变现有数据平台的管理模式。,元数据系统-元数据管理定位,元数据管理的应用价值元数据管理的应用价值主要体现在：,对数据再组织并形成全局性的视图；帮助用户更好的理解各环节的数据和系统的建设现状；是保障企业数据质量的基础；支持企业信息化的知识传承；提升数据平台建设和管理水平。,元数据系统-价值,元数据管理-整合,统一的全局视图,元数据管理-数据地图,元数据解决方案-元数据应用信息,元数据解决方案-信息检索,元数据解决方案-数据字典,元数据解决方案-版本管理,元数据解决方案-影响分析,元数据解决方案-数据管控,元数据实施-总体规划,元数据实施-组织机构,元数据实施-管理办法和流程,目录,数据标准管理,数据标准管理应用场景,数据标准工具逻辑架构图,数据标准是企业级的业务规范，用于指导各业务系统及数据仓库的建设，而元数据是系统级的描述手段，更多的反映系统建设情况；数据标准指导系统建设的成果可以通过元数据来反映；系统的建设反过来促进数据标准的完善；,数据标准与元数据关系,目录,数据质量问题产生原因,数据质量问题产生的原因,归纳分析后可以总结为4个领域：信息问题域、技术问题域、流程问题域、管理问题域,数据质量管理工具介绍,由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。元数据描述及理解错误中的相关元数据主要包括：业务元数据主要包括业务描述、业务规则、业务术语、业务指标口径等；技术元数据主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。,数据质量问题产生的原因分析信息域,数据质量管理工具介绍,由于具体数据处理的各技术环节异常所造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括：数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面：数据创建质量问题主要包括：创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等；数据传递质量问题主要包括：接口数据及时率低、接口数据漏传、网络传输过程不可靠，如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等；数据装载质量问题主要包括：数据清洗算法、数据转换算法和数据加载算法的错误；,数据质量问题产生的原因分析技术域,数据质量管理工具介绍,由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节：创建流程质量问题主要指操作员数据录入时缺乏审核流程；传递流程质量问题主要指通信流程沟通不畅；装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；使用流程质量问题主要指数据使用流程缺乏流程管理；维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控；,数据质量问题产生的原因分析流程域,数据质量管理工具介绍,由于人员素质及管理机制方面的 原因 造成的数据质量问题如：数据库设计原则不严谨，数据使用不规范导致的业务数据重复，数据不一致。人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责没有明确的数据质量目标；缺少管理数据质量的管理办法等。,数据质量问题产生的原因分析管理域,数据质量管理工具介绍,质量管理模型和功能匹配,数据质量管理工具介绍,数据质量管理工具介绍,数据质量管理工具介绍,数据质量管理工具流程图,数据质量管理工具介绍,数据质量管理开发功能清单,元数据侧重于展现表结构化的信息，数据质量侧重展现表中数据存在的问题；元数据可以展现表上与数据质量相关的信息；数据质量可以利用元数据的分布拓扑结构图信息（数据地图）展现数据质量点、线、面的与质量相关的分布情况；数据质量发现问题时可以查看相关表结构,数据质量与元数据的关系,汇报完毕 感谢聆听,
