企业数据质量管理方案.docx

企业数据质量管理方案XXX科技股份有限公司20XX年XX月XX日-数据质盘管理框架3二数据质量与各领域的关系4三数据质量管三jfi版S四««质管理流程7五数据质量管理制度115.1 数据质量管理制度115.2 数据质量考核方法12六数据质量检验方案136.1 明确数据质=检核粒国146.1.1 应用范圉146.1.2 关悚数据范围146.1.3 系统范围146.1.4 数据字段范围156.2 定义数据质*管理维度156.3 制定数据质量检测规则176.4 数据质量检测规则模板186.5 数据质量检验规则样例196.5.1 数据质量检验范围196.5.2 数据质量检验规则20七数据质量提升方案217.1 修正存量问题数据227.1.1 补充缺失的数据227.1.2 修正不准确的数据227.1.3 改造现有系统237.1.4 新增系统校验247.1.5 修正叙校殴247.1.6 改进设计247.2 完善数据标准257.3 规箱人员操作257.3.1 补充操作规范2S7.3.2 加强规范执行267.4 完善业务流程277.4.1 补砂务M三287.4.2 改皿务婕287.5 数据质公提升方案样例28A数据质餐管理平台方案318.1 数据质意度*规则管理子模块328.2 数据质量检核监控子模块328.3 数据质木问题处理子模块33数据质量管理框架Iit*数据质属管理制度及规范，与数据质量管理组织及角色和数据质量管理流程关系说明： 数据质员管理组织必须遵守数据质量管理制度及规范,同时清理提升、持续监控与优化、主动保证三个流程必须以之为基准开展工作,以保证数据质量:的实现。 在数据侦量管理的日常管理活动以及相关项目中,积累的各类经验将有助于制度与规范的完善，增强管理保障的力度，进而更好地保证数据的总体质显。数据质建管理组纲及角色与数据质量管理流程关系说明 落实数据质量管理组织职责，明确岗位责任，推进数据质量清理提升、数据质量持续监控与优化、数据质量主动保证流程执行. 数据质量清理提升、数据历量持续监控与优化、数据质量主动保证等流程改进优化，也会触发数据质量管理组织职员的合理调整。数据炭量管理流程之间关系说明 数据质量清理提升、持续监控与优化流程中都涉及到对数据的修改、清洗以解决质量问题，因此可以相互分享知识和经验。持续监控有助于发现清理提升的潜在需求. 在清理提升与持续监控流程中都会发现数据质量问题，对于影响重大或着发生频繁的数据质量问题，针对这些问题需要采取主动保证措施.以降低未来对数据质量的负面影响。数据质量管理流程与管理支撑工具关系说明 数据质量清理提升、数据历量持续监控与优化、数据质量主动保证等管理流程在执行过程中，将发现的数据质量问题、数据明量问题解决经验记录现在数据质量管理支界工具中，为后续的数据质证治理提供依据. 数据质量管理支挣工具，通过数据质量检查报告，分析数据质址问题热点区域，为数据质量管理流程执行提供重要依据。二数据质量与各领域的关系从下图中可以看出，数据质量是数据管理活动的组成之一，与数据战略、数据机制建设与数据应用相辅相成。数据标准工作的开展需要契合企业的数据战略，配食建立数据质量的相关管理机制，以数据质量为突破口进行全行的数据治理工作，提升全行的数据意识，为日后数据应用与服务提供支持，促进数据管理对业务和科技的贡献。1«M2E*e-R数据质玳管理与各领域关系说明如下: 与数据改略与规划关系I为全行数据痂量管理的建设提供全行层面统的数据管理战略,对数据价值、量化分析应用、决策支持、风险识别等方面进行实际的应用。 与数据管理组织与职责关系：数据管理组织与职费定义数据版量管理角色体系、组织架构及职贡划分,为数据痂量管理工作的开展提供组织基础。 与数据管理制度关系I数据管理制度在规范了数据质量管理领域的目标、遵循的行动准则、完成的明确任务、实际的工作方式、采取的一般步骤和具体措施。 与数据标准管理关系：数据标准管理为数据质量管理提供技术标准、业务标准，作为数据质量度量规则的制定依据，有助于数据质量的提升；同时，在数据质量提升的管理过程中由于业务流程优化或信息项变更而提出数据标准完善或变更需求。 与元数据管理关系：元数据管理确保企业内部使用统一定义的元数据进行沟通及解择业务问题，消除歧义，保证企业内信息的i致性，为数据质地的管理和全行数据质量的提升提供技术支撵，实现各个系统间的无缝集成，促进知识和经验的共享；数据质量度量规则的变更及新增由元数据管理统一维护和支持。 与数据架构与模型管理关系：数据架构与模型管理为数据质故管理提供全行一致的企业级数据模里信息，对全行数据数据分布及流向有整体的掌控，协助各系统数据质域的提升。 与数据应用与服务关系：数据应用与服务为数据质品管理输入发现的数据房量问烟，并对已发现的数据质地问返进行分析和提升。三数据质量管理组织从行业的普遍实践经验来看，仅有业务人员负责数据质量，会造成跨业务的数据质量无人负货，或是各专业质量管理方法出现不一致的问题：仅有数据管理部门负货数据质量,将无法保证质fit管理规范的.真正落地:而如果没有高U领导、委员会的支持，数据质量管理工作聘得不到全视，进而无法保证改进数据质量所需的各种资源支持。因此数据质量的提升决不能仅仅依能一个数据管理部门、或是专业生产部门就能完成，而必须依托丁企业级数据管理组织贡任体系.基于以上的考虑，本部分将遵从整体的数据治理组织框架设计，形成裔层领导关注与协调、总行管理部门牵头、业务与技术线的数据加任人共同参与的数据质室管理组织货任机制。如下图所示：决策层«3UUMMRMWR岗位职责数据管理委员会 是全行数据质证工作的最高决策机构，负费数据啦Ilt管理更大事项的协调与决策： 审批数据放量管理办法、流程和规范； 定期听取对数据质量管理工作的汇报 协调理大争议事项岗位职责数据质量:管理专职部门 是数据质量工作的总体协调与管理部门，负员组织、推动数据质量的相关工作，具体工作由数据管理团队承担： 收集数据质量问题 针对发现的问即，牵头域导分析数据质6问四发生原因及影响 制定全行数据质量监控核检方案 收集与汇总各部门制定的数据质量检连规划 确定数据政城何超的货任人 编写数据质量评估报告 定期向决策层汇报重大事项管理班91层岗位职责总行各业务部门 协助配合数据质量管理人员，将数据质量管理规范推广、落实到本业务线范寓 负货对数据质St相关的业务问题进行澄清和汇总 他据本业务部门业务现状，提交数据质同检杳规则总行科技部门执行或监控H常稽核工作，并将稽核结果提交给相关部门将数据质后检杳规则转化为技术实现执行层分行配合总行业务部门与科技部门的数据质G相关工作四数据质量管理流程数据质量管理流程的设计原则为:,强化日常的数据质量监控与问题评估工作.A实现事后处理、事中监控、事前颈防的全面数据质量管理。关注数据管理案例与经验的收集与管理.基于上述原则，设计数据侦员管理流程，主要包括数据质量清理提升、数据质量持续健康与优化、数据质量主动保证等三个主流程。考虑到三个主流程具有相同的流程子环节，为避免对相同流程子环节进行重笈描述，数据J贞曼管理一级、二级流程以数据质量管理标准框架的形式对进行组织。MMMaascx基于上述流程结构，数据质量清理提升流程、数据质量持续监控与优化流程、数据质星:主动保证流程的流程如下：A数据质量清理提升流程rw1QDO1.2Mim三DG1.3MIIIftiMVDGI4MIIMdtOOI3MMiMfe*-'*OTWHMM1.00»91nC*MHM<H*.OOIDWjy*里»»<IXM11ttCMVWfVi<Uttnotu<z<V1Qft*Hrtt)OG1Un»K*«MftmeiHir。，4»12RNklNM怆">*rc，&Ot220"times力WMtrDli1.as“x4n*IDOS"emU4WAI0_COI43f”DCO«A4AeBMA*OKfiBKMtifUe00,44*MIORKg4.7©»«*I.>W*'<X，数据质，持续监控与优化流程DGJMMt-OG1.3MMMU1DGt3MUMHHtDGi4MUtMdftOO1SfltSMWfeOA2IDOl4»<Cwl«ICkMMltwnl<>KttDIXI物纷9*I_吟还_<X>>1，1X5*9I。似X竹鹤.CKm/一<(XM4?c，”QMeZIZDG1»>C*Vft&4KK”0健Dl2«赛2怆年*tKf一DC4.>。取"JVAIsIDOi22g«Ae«&*hOQAAAI«>，：«»%*mI1DOItJCf*tC*逐t>a9exaI.“二；：3*It4«I。，*>!u力*r*itCX414.FMJISJEftfiHEIUi数据质量管理潦程三级潦程采用泳道图的形式，对数据治理委员会、数据管理部门、数据主货部门、数据录入部门、数据使用部门以及系统开发维护部门蓼与的数据质量管理三级潦程节点进行说明。以下以全点的数据质量检隹规则制定为例说明三级具体的流程描述形式：其潦程描述如下：活动描述参与者相关信息责源发起收集负出领域数据物收检杳规则通知谷业务部门（包括数据录入部门、数据使用部门）根据业务处埋规则及业务数据要求，收集某数据续域的数据质量检有规则.例如客户敛据主责部门通知客户数据领域的相关部门收集客户怕息的数据质旗检伤规则数据主责部门工作通知单/通知函提出数据领域数据质量检查规则各业务部门根据业务规则及数据录入与使数据主货部门数据录入部门*数据临收检杳规则Oi活动描述与者相关信息费激用的经验,提出数据质录检杳规则数据使用部门汇总与验证负费领域数据质at检查规则 汇总各部门提交的数据质量检查规则 5金证各部门提交数据质鬓检查规则.确保各部门质业规则在业务层面的统一数据主货部门数据质录检杳规则汇总和统一数据质量检查规则汇总和统一各数据领域的数据质量检测规则,确保跨领域的数据脑城检查规则统一数据治理办公室数据旗联检杳规则转化数据桢吊检管规则将数据质量检测规则转换为技术实现系统开发维护部11数据质量检查规则关联数据质It检告规则与元数据将数据质疑检查规则与元数据进行关联数据治理办公室数据质量检杏规则五数据质量管理制度5.1 数据质量管理制度数据质量管理制度的定位与数据标准管理制度类似,是数据痂星工作范闱、人员、活动、流程等要素的保证，其制定需要明确数据质址管理的工作目的、使用范:圉、工作原则与规能、组织架构与职责以及数据质量管理的各项活动和管理流程等。在具体建设过程中，可以将数据质量的管理要求流程形成份制度类文件，结合相关的技术规范与模板一起，以单独的制度文件统一对外发布.数据质量管理制度的建立应遵循如下原则：指明数据质员管理工作方向与工作思路.明确数据质员管理工作参与部门以及各部门在数据班量管理工作中承担的角色与职表，提出数据痂量问题识别、评估与处理的框架性要求.数据质量管理制度的建立与发布将会加强全行各级单位和部门对数据质量管理相关工作的了解，明确其在数据质量管理工作中的职费，使得全行上下对于数据质量管理相关工作的亚视程度得到极大的提升，能够更加枳极的配合数据管理部门开展数据质量管理相关工作。数据质量管理办法在规范银行数据质量工作同时，也将从数据的角度为IT系统的建设提供基珈并明确管理要求，从而为IT系统的建设提供保障。5.2 数据质量考核方法为了有效衡量数据质量水平，需要建立数据质量考核工作流程、考核方法以及具体的考核细项。数据侦星水平的考核对象粒度可以涉及具体的数据字段、数据表、系统或业务领域，对各种数据质量管理对缭设定的一系列关键指标，用于量化衡量数据管理对象的数据质量状态，是评估数据质量状况、数据质量改善状况、数据质量管理工作成效的应要原始信息，是量化、分析数据质量问题的重要依据。最典型的数据质量水平工作的考核是外部监管机构对行内数据质量水平的评价。应监管部门要求进行的调查统计与报送工作，主要包括向中国人民银行、中国银行业监督委员会、国家外汇管理局、国家统计局、财政部等部门报送的1104非现场监管报表、人行大集中报表、客户风险统计和对公征信、风险资产统计等。对外报送的数据质量水平的评价，相对客观、科学的从全国的同业大环境中挑选了需重点关注的数据字段、数据表、系统或业务领域进行横向的比较，同时也反映了行内全点的数据质量水平情况，在数据质量考核项目的设计上可以将其作为重点的输入。在考核的组织和实施上，以数据管理部门为总体组织协调层，牵头组织总行各部门与各分行的数据质量考核工作。具体的考核指标与维度示例如F：HJI始徵方案示例相关部门考核指标考核标准说明平衡计分卡分值1104非现场监管报表、人行大集中报表及其它制度的执行情况立健全本机构或本部门统计管理制度、应严格落实并执行监管统计制度、合埋设置监管统计谒位,配备充足人员等25分基础业务数抠报送情况报送数据的及时性、准确性、完整性和真实性等20分系统运行维护情况监管统计系统、及基础数据源系统的运行于维护情况IQ分基础业务数据、报表的档案首拜整资料档案存储管理应保证监管统计数据信息的安全性、连续性等。5分风险资产统计统计自动化率各部门管拈的数据达到自动系统计求RWR的占比，以及系统更新变更后通知RWA项目组的及时性，20分整改完成率数据质证差错的整改完成情况。对分行的组织笆理考核有效性对分行数据颇M管理:作的管理、考核工作是否明确弁有效落实执行，结合核帐差错率等指标进行考核.客户风险统计俗改完成率数据质量差俏的整改完成情况.20分对分行的组织管理考核有效性对分行数据质量管理工作的管理、考核工作是否明确并有效落实执行,结合各类数据惜误指标进行考核.六数据质量检验方案数据明量管理是一项长期、持续性的工作，*将充分继承和吸收前期各其它项目组的实施经脸与成果，参考其他数据质量管理整体规划总体实施策略，从业务需求最迫切的客户主题入手，按计划、分阶段、分步骤实现全行牛产数据管理建设目标。6.1 明确数据质量检核范围目前银行的业务相对复杂经过多年的建设拥有众多的IT系统，如核心系统、票据系统、信贷系统、国结系统、资金交易系统等主要业务系统，客户数据分散在不同的业务系统中，各系统中由于业务形态的差异客户数据的内容差异较大，而且IT系统已经变得日益庞大和更杂，因此客户数据痂量管理是一个相当宏杂的系统工程。根据数据质量需求，确定据客户数据质量的管理范围，管理范围分为业务范闹，系统范用两类：A业务范围根据数据质量需求中的数据范困选择所做盅的业务应用范围，以及每个业务下的关键数据项作为数据质量管控的内容。A技术范圉根据数据质量管控业务范围和系统环境定义，选择需耍管理数据质量的应用系统，业务关键数据项与应用系统数据结构有匹配映射的数据字段作为数据质量管理的技术范用。6.1.1 应用范围根据数据质量管理需求确定需要进行质量管控的数据项所涉及的业务范围.作为后续选择数据质量管理系统范围的依据。6.1.2 关键数据范围挑选数据版量管理需求中的关键数据范围进行版量管控，挑选关键数据项的原则是选择对实现业务潦程，或者计算过程的影响性程度大的数据项.6.1.3 系统范围数据质量管理的应用范围和数据范围确定后，根据系统应用架构和数据流架构的定义，选择管理关键数据项的应用系统作为数据侦殳管理的控制点。银行常见的情况是同一个业务数据项在多个系统中出现，此时需要选择合适的数据质量控制点，选择合适控制点主要从以卜.几方面考虑： 数据采集能力：采集数据范围的完整程度、采集的难易程度0 数据可信度：数据真实可信的程度。 数据及时性：数据更新的时效性是否及时。 集成能力：数据质量控制功能与控制点现有功能实现集成的可行性。6.1.4数据字段范围关键数据范用内的数据与每个数据源系统进行数据映射分析，挑选出与关键数据顼对应的字段，作为数据质量管理的数据字段范围.6.2 定义数据质量管理维度以数据标准的业务定义为基础，为每个关键数据字段选择与该字段的数据质量管理需求相匹配的数据质量管理维度（DQD以及测量指标的计算方法，即关键数据项和数据质址管理维度的对应关系，并作为测珏阶段制定数据质fi检查规则的分类。数据随量管理模型中典型维度（DQl）通常为七个管控维度：其具体内容如下:敷搏质量曾七大IM的具体内容维度名斡雉度说明评估指标.储谀敷耶估指标-得出数据百分比评估指标一百万次数据完爵性业务前求所需的关键数据项数据不完整数据不完整记所有数据转换环节的(Complete)在系统中是否有定义，或者关犍数据项是否都采集了数据。例如台同有效日期是否有未填写的数据记录.的记录数录数/总记录致不完备数据百分比相乘,换算为分母为百方的统计值数据有效性数据是否符合数据标准中的数据无效的数据无效记录所有数据转换环节的(Valid)业务定义.例如在数据项“押物名称”存储了押物所有权人名称.记录数数/总记录数无效数据百分比相乘，换算为分母为百万的统计值数据唯一性是否湎足一个业务唯一关潴同一数据农关键数据项31所有数据转换环节的(Unique)数据项值组合仅时应一条记中关键数据复记录数/总关键数据项重更数据录，例如一个组织机构代码仅有一条客户信息记录项垂复的记录数记录数百分比相乘，换算为分母为百万的统计值数据一致性相同数据项在不同系统或问数据与其它数据不一致记所有数据转换环节的(Consisten一系统内不同表格记录多次我格数据不录数/总记录不一致数据百分比相D时，多个数窕值是否相同一致的记录效数乘,换算为分母为百万的统计值数据时效性是否能修在数据需求定义要数据时效不数据时效不符所有数据转换环节的(Timely)求的期限内获得最新的数符合计算要合要求的记录时效符合要求的数据据，或按要求的更新频率制新数据值求的记录数数/总记录数百分比相乘，换算为分母为百万的统计值数据其实性(accuracy)数据但是否反映了真实的业务情况.例如：企业的年销包总额实际为100万，但系统中记录的是500万数据不真实的记录数数据不真实记录数,总记录数所有数据转换环节的数据不JX实数据百分比相乘，按W为分母为百万的统计假数据精确性(Precise)数据的精确程度是否满足RIA的计算要求.例如:对欧元的汇率转换需要保留六位小散点，而实际数据仅保留了小数点后两位.数据精确性不符合计算要求的记录数数据精确性不符的记录数/总记录数所有数据转换环节的精确性不舒的数据百分比相乘,换算为分母为百万的统计值6.3 制定数据质量检测规则数据质量评估方法主要包括下图中的四个过程。为保证最终的分析结果我实可养，我们根据第一次数据质量的情况反馈进行了多次迭代：敷属H量方法数据质量评估工作以定义阶段的产出物一目标数据映射为基础，根据获取的样本数据进行了初步的分析，从中选择了有数据映射的数据定义了数据质量测量规则,6.4 数据质量检测规则模板在数据侦量检查中，还需使用统一的数据侦殳检查规则模板，从而保证数据质量检隹过程中标准的一致性。统一的数据质量检查规则模板包含以下一些信息项和说明：值息项说，三ftttthfiNttftWHf.编号采用MXTYYY形式IXXX为银行系i.YYYY为该系统内数据原M松森址则的顺序域号,建议以，1位编号收Ift难收大类从数据桢IftrUM推度划分数据质M问卷，类别内容主要色括I效据缺失/不完整.1JK标准不统一、i据生成不及时.1据准确性不颊数据记录St纪等方面收Ift难收小类在数据颂股大类的战础上,对数据境IftrJISjS行SB分.数幅侦Irt“题小类的内存终述i据而M问题特征数指侦M检代规则说明具体数据检it块则描逑，W!.针对合同表中客户编号、客户W件类型.证件号码，JftJK战Mfft度为业务关健帆性俎合不唯-.其检ft,现则为客户班号,证件类51过件号码去第后，客户编号与证件类5!让件号码是一一对应.不存在一对多或多多对一关Jii数据标准编号数据帧Ift桂奄坟则所引用的数据标准编号提出业务部门该黑期提出/变更的业务部门提出业务人员该斓期提出/变更的业务人及员工占号提出FI期该败城提出/变更的日期海乘统名（中攵）持进行数据帧Ht分析i据源系统的中文名称源泉统名（英文）恃进行数爆质讨分析皎期源系统的英文幺称说明故据收次（中文持进行效累质M分析粒施源物理我的中文名称牧械应发英文）恃进行教榭朋"分析皎IK源物理衣的英文名称相关字段名（中文）恃进行数累随fit分析*据字段的中文名称相关字段名（英文）恃进行致案质仪分析皎纲字段的英文名称取箱SUH恃分析字段的取侑范Bl.适用干枚举类型和业务定义中存在有上卜1»的字段名,例如代码、单笔笊款户线跟上限为50元.如果是代码类的数据可以使用请&见“代日”脚本逻就与业务规则对应的检杳花就.主要以SQ1.形式描述6.5 数据质量检验规则样例6.5.1 数据质量检验范围根据系统应用架构和数据流架构的定义，选择管理关键数据项的应用系统作为数据质量管理的控制点。银行常见的情况是同一个业务数据项在多个系统中出现，例如客户基本信息在核心账务系统、信贷系统、国结系统、信用卡系统中都有。关键数据范围内的数据与每个数据源系统进行数据映射分析，挑选出与关键数据项对应的字段，作为数据质量管理的数据字段范围。如下图所示:«4”IlMr字段选择出的关键数据字段按照系统和表格分组后填入数据质员管理表中,作为测狂阶段待分析的数据范围，如下图所示:MB.*Ht'>tK.4.!.AMItinHy»rextC，外'.'I-*f,IiV1ElUH111»*r伸分新-HKHl示R6.5.2 数据质量检验规则根据客户关键数据项的筛选结果，对其进行数据质量分析同时根据数据质fit分析结果制定相应的数据质量检测规则。目标数IK质量管理衣模板七数据质量提升方案存量数据侦星提升包括两部分：修正现有存量数据中的问题数据,预防已知数据质量问题类型出现新的问职数据。修正现有存量问题数据主要的方式是从数据和数据控制逻辑上着于解决，预防出现新的问题数据应从数据治理体系的建设者手，保证数据质量能够持续地稳定在一个可以被接受的水平。在建设初期可以采用被动响应的模式，也就是专注于已经被识别出来的问题并对其进行调整和修改：其后，可以通过分析数据质量问题建设数据质量管理体系，采用主动管理的模式，对数据质量进行主动的监控和问题的跟踪.我们将这些必须修正的数据分为两类：缺失的数据和不准确的数据。同时,为杜绝该类问题再次发生，一方面将及时修正已经发现的数据侦星问题，另一方面将时现有系统、数据标准、业务流程等方面进行改造与完善.依照数据质量改进办法,将数据质量的整体改进计划分为3个条线分阶段实施，总计十个改进方面,本章节将对存量问题数据修正、改造现有系统、完善数据标准、规范人民操作、完善业务流程等方面进行阐述。7.1 修正存量问题数据7.1.1 补充缺失的数据缺失的数据是指数据项记录存在空值的情况。涵盖的他囹包括前文分析中数据质后问题小类为“数据值为空”、“碇失未填”、“数据引用关系破裂“数据值为空”和“缺失未填”都属r该数据项的值没有记录。造成没有记录该值的原因主要有三种，一是历史数据的遗留问题，即在数据导入系统前，该数据项没有要求录入；二是现有系统中对非空字段缺少数据校验机制：三是在业务操作流程中没有采集该数据项。对由于历史数据转换导致的数据项缺失，需业务人员根据要求收集补录相关信息。对于目前系统中缺少校验机制的数据项，需技术人员对系统校验机制进行完善，根据实际业务操作对数据字段的要求，设置合适的校险规则。对于业务操作中未收集的数据项，相关业务部门应适当的调整业务操作流程,要求业务人员收集并在系统记录该信息。“数据引用关系破裂”是指张数据库表中的引用数据字段在原始表中找不到对应记录.该类数据问题出现的原因主要历史数据的遗留问题“例如PMIS中缺失的客户编码是系统转化之前的就存在的客户信息。这类数据问题的占比都非常小,总行信息技术管理部可安排各分行在近期内清理完成该部分的问题数据。7.1.2 修正不准确的数据不准确的数据是指数据记录存在但是数值本身不准确，数据问题包括“不符合业务定义”、“无意义”、“业务关键屈性组合不唯一”、“代码取值越界”、"数据不致”等。“不符合业务定义”-股指数据字段之间的逻辑不符合实际的业务含义。时丁这类数据，需要业务部门人m和系统技术人员一起根据数据实际业务含义，在系统中设置适当的逻辑校验，防止该类问题的出现。“无意义”指数据项的取值没有实际业务含义.该类数据问理同样需要系统技术人员在系统中设置合适地数据校验逻辑，防止该类问题的再次出现。“业务关健属性组合不唯一”一般是指作为业务唯一标忐的数据项出现了重复记录。该类数据问题需要系统技术人员在系统中设置合适地数据校验逻辑，保持数据的唯一性和一致性。“代码取值越界”是指数据字段的取值超过了标准代码的取值范围。这类数据问题中，一部分是数据本身缺失未填，该类问题应该在补充缺失的数据中解决。修正该类的数据问题一方面是需要完善代码更新机制和流程，及时地更新数据标准代码，保证标准代码和实际系统中代码的一致性0对丁历史数据的遗留问题，仍需要技术人员对相关数据进行清理.“数据不一致”问题是指数据值的形式不一致，有的以小数表示，有的以百分比表示。需要系统技术人员调整数据字段的设计，并对现有数据进行消理。7.1.3 改造现有系统分析建行各系统风险数据质量检查结果，数据质量的各成因中，技术原因占了相当的比例。技术原因不是导致数据质知问题的根本成因，但是用来防范数据质量问题，提升数据质量的重要方法。在技术方面弥补不足，提升数据质量的主要方法是对现有系统进行改造。针对数据质量成因技术方面八个主要成因：系统缺乏校验、校验逻辑不正确、数据设计不完善、数据架构不合理、缺省值不合理、历史遗留问题数据、缺少数据清理手段，对应我们设计的改造现有系统任务分为四类：A新增系统校殴对应数据质量问题成因：系统缺乏校3短修正错误校验7.2 完善数据标准建立企业级数据标准需要确定需标准化的风险数据范围，并建立与之配套的标准化、跨部门协作的管理流程，确保企业风险相关数据标准的完整性与正确性，以实现如卜管理目标：7.3 规范人员操作数据质址问题的起因有很多出现在数据的采集过程中，而数据采集的准确有效很大程度上取决于人员操作的规范。因此在数据采集环节中规范人员操作非常有必要。规范人民操作的有效手段就是制定并有效执行操作规范.操作规范可以明确人员的在操作过程中的操作内容（即应该做什么不应该做什么）和操作的先后顺序（即先做什么后做什么）。合理适当的操作规范可以将银行制定的数据标准落实到具体的管理措施中，从操作层面上落实数据标准化的问题,提高全行的数据侦量。在对操作规范问题进行分析时，通常会考虑以卜问题：是否有操作规范？操作规范是否合理？操作规范是否被严格执行？第一、二个问题涉及的是操作规范的制定，第三个问题是关于操作规范的执行。因此，我们将分两部分讨论如何规范人员的操作。7.3.1 补充操作规范操作规范的缺失是导致数据版量不高的原因之。数据采集是数据进入系统的起始操作，如果对各种数据的采集没有明确的操作规范，相当于没有把好数据质量:管理的第关。即使已有操作规范，但规范不合理、不科学，仍然会导致各种数据质量的出现“因此对手银行需要及时补充制定的操作规范，以及不断完善不合理的操作规范。操作规范制定是一项长期性的工作。一个操作规范的产生需要经过起草、审核、通过、颁布等步骤，每个步骤都包含大量严谨细致的工作。建议三个方面开展该项工作：A建立银行掾作规范起草小组随着时间的推移、技术进步和业务需求的扩展，原有操作规范的局限性逐渐显现，必须进行相应的修订才能符合实际。因此，建立一个人员结构合理、相对稳定、高素侦的操作规范起草小组是极其重要的.起草小组的任务包括对数据操作规葩进行调研、收集各业务系统的相关资料文档、形成数据操作规范:体系、组织各项操作规范的起草、征求各业务部门和系统的反馈建议并修订、申请颁布各项规范、对己族布的规范进行修订等.，了解各部门现有的操作规范，确立数据掾作规范体系;目前各部门般都已制定相应的操作规定，为保证银行制定的数据操作规范能减盖银行各部门的的实际情况，规范的起草应以各部门现有的操作规定为基础进行整理、概括和提炼，形成通用的数据操作规范。建议尽可能多地收集现有的操作规定，从中提取一些共性的内容进行分类，吸收归纳反馈意见后形成银行数据操作规范体系框架。A严格遵循数据标准制定数据掾作规范数据标准是企业级的数据准则，用来指导和规范每个具体系统的实施，在制定数据操作规则时，要严格遵循数据标准，将数据标准落实到具体的系统操作中。7.3.2 加强规范执行各种操作规范只有被有效地执行了，才能实现最终规范操作的目的，否则规葩就只是一些文档。加强规他的执行可以从三个方面考虑：加强人员培训、加强数据操作稽核、建立合理的奖惩机制。加强人员培训“对于员工来说，特别是新历工，对某些环节是否违规操作了可能自己也不清楚，所以操作规范的执行与否还取决于员工对规范的熟练程度，加强对规范的培训是每一位新员工的必修课。在规范修改调整之后，也耍及时地安排相应的培训，使员工能严格按照新的操作规范处理业务。加强数据操作稽核.规范执行之后需要有相应的数据操作稽核小组，负贡检查操作规范是否被正确地、合理地、有效地执行了。检查的方法可以通过不定期地对规范颁布后的操作数据进行抽样调查.对检查中发现违规操作的情况要及时通报相关部门、督促相关人员严格按规范进行操作。对检查中发现操作规范制定存在不合理也需及时报告规范起草小组，不断完善操作规范0建立合理的奖惩机制。建立合理的奖惩机制，能有效地调动员工遵循操作规范:的枳极性，因此对在数据悚作检杳中没有出现问题的部门和员工，应及时给予正面的肯定。对违约操作或不严格遵循操作规范的情况，应有相关的记录，并将其结果与员工的绩效考评联系到一起。7.4 完善业务流程从数据故初采集、录入、检核到存放进数据库中，数据质量问题发生的根本原因之一是业务流程的问题。业务流程的不正确或者不完善，导致数据在采集过程中发生了偏差，重要的数据未采集或者采集的信息不完整。我们在发现存量数据问题时，将根据数据质量分析结果，细化分析相应的业务流程，找出问题所在：如果是业务流程缺失，则补充相应的业务流程：如果是业务潦程不完善，则改造相应的业务流程。在分析业务流程的问题时，我们通常从以下几方面考虑：数据质量问题发生原因是否与业务流程相关相关的业务流程是否存在相关的业务流程是否正确相关的业务流程是否完善根据分析得出的结果，我们采用以下两种方式对业务流程进行完善.7.4.1 补充业务流程由于相关业务流程存在，或者相关业务流程不完善导致出现数据质量问题时，我们采用补充业务潦程的方式进行完善，对相关的业务潦程进行建立、增补。加强业务流程环节的数据质量控制，制定相关的业务操作规范，对各个业务流程环节的数据录入、修改、更新、清理工作进行全面规范。7.4.2 改造业务流程由于相关业务流程不正确导致出现数据质量问题时，我们采用改造业务流程的方式，对相关的业务流程进行完善。改进现有业务潦程不完善的环节，制定新的业务操作规范，理顺各个业务流程环节的数据采集、数据应用、数据修改、数据安全、数据检查要求。无论是补充业务流程，还是改造业务流程，我们通常按照以卜流程进行：成立专门的业务流程小组，指派专人负贡相关的业务流程制定和改造了解数据需求，了解现有的相关业务流程针对发现的业务流程漏洞，制定新的业务流程规范对现有业务流程进行补充和改造由相关负贵人员确认新的业务流程的合理性和规范性在全行公布并推广新的业务流程7.5 数据质量提升方案样例以公司客户所在行业为例，现行多套行业代码的分布场景如下:av*IMIkrKI统Ifl4HT：£*r陞r-EB*6*户行上代CMlat分有多个系统录入和维护多套代码、行业分类广泛应用:俭入CB货系钝核心有统2itIS-0战系统数据:AK股行行业代码、国民级济行费代码、国标国民经济代码同一名称代码不足相同应用