基于主数据管理的数据治理探索及实践.docx

2018年以来，银保监会即陆续发布了一系列文件，要求银行业金融机构提升监管数据质量，并特别强调了“加强数据源头管理”的重要性。同时，在监管数据标准化报送等工作中，也明确提出了关于公共信息、客户信息等九类基础数据的一致性、准确性、完整性等要求，促使各银行机构不仅需要关注监管指标数据的报送质量，更需要从源头提高基础信息的数据质量。此外，数字战略也是银行整体战略规划的重要组成部分，银行急需通过实施数据治理来提高数据质量，促进数据共享流通，不断强化数字化应用的带动作用，提升数字化经营能力，为企业的高质量发展保驾护航。然而，在数据驱动业务发展的过程中，随着大量数据需要被汇集、加工和迁移，不可避免造成了数据的“准确性、一致性”下降，从而对银行业数据治理带来了极大的挑战。对此，虽然各银行机构不断加大在数据治理方面的资源投入，但仍然面临着数据治理专业人员不足、人员投入与数据规模的增长比例偏低等问题，从而也更加凸显了集中资源优先对核心业务数据开展数据治理工作的重要性和紧迫性。一、主数据质量管理关键要点DAMA数据管理知识体系指南（第2版）中提到，并非所有数据都同等重要，“数据质量管理工作应首先关注组织中重要的数据，如果数据质量更高，将为组织及其客户提供更多的价值。”因此，企业数据治理工作应首先将关键业务数据定义为主数据，再以主数据为核心抓手，有序开展数据治理工作。核心业务数据对于企业来说，类似于导航APP中的地址信息，即可通过核心业务数据关联出完整的数据体系。如果地址坐标信息不准确,其他应用功能及分析往往也只是“花架子”。此外，如果核心业务数据存在严重缺失、数据不一致等问题，还将引发错误数据在数据应用过程中不断被复制、加工和使用，从而严重降低数据共享的效率和数据分析的准确性，甚至成为影响整体数字化转型成败的关键因素。“主数据应该代表与关键业务实体有关的权威的、最准确的数据。在管理良好的情况下，主数据是可信的,可以放心使用。”DAMA数据管理知识体系指南（第2版）针对上述难点，浦发银行自2019年起在总行数据治理工作领导小组的领导下,组织全行各部门及分行开展了围绕客户信息、账户信息、机构信息、员工信息等多个数据领域的专项数据治理工作，并通过建立职责分明的数据治理体系、梳理主数据的治理范围和规则、制定配套的数据质量闭环管理机制，以及促进信息科技与业务部门紧密协作，实现了核心业务信息质量的显著提升。1 .建立职责明确的数据治理体系“健全数据治理体系，明确数据责任部门”，即通过构建以数据治理高层领导小组为首的组织架构，浦发银行从数据管理和应用的角度出发，明确划分了各类主数据的责任部门及主数据系统。实践中，从业务数据产生源头认定对应的数据归口管理部门，并明确相应的责任主体，不仅有利于在相关业务领域的管理办法中制定相应的业务数据规范及数据质量要求，也符合监管部门提出的“业务部门应当负责本业务领域的数据治理，管理业务条线数据源，确保准确记录和及时维护，落实数据质量控制机制，执行监管数据相关工作要求”。同时，浦发银行要求运营及信息科技等中后台部门依据相关数据规范，细化操作流程、加强信息系统建设规范化,从而在数据源头控制数据质量问题的产生。业务领域数据与对口责任部门的对应关系举例见表Io表1业务领域数据与对口责任部门的对应关系举例数据大类数楙细类数榭贡任部门主数榭系统员1：信息员工基本信息人力相关管理部门人力资源管理系统机构信息内部机构信息财务信息会计科目信息财务相关管理部门总张会计核算系统客户信息个人客户基本信息F同业客户基本信息按客户管理部门认定企业级客户信息管理系统账户信息个人客户定活存款账户公司客户定活存款账户按业务产品管理部门认定核心产品化系统信贷信息抵制押乩信息合同信息借据信息担保信息风险管理部门企业信贷系统产品信息贸易融资类产品基础信息金融市场类产品基础信息按业务产品管理部门认定各产品系统2 .梳理主数据的管理范围和规则(1)识别主数据范围浦发银行依据监管要求以及内控管理、经营绩效等全行战略目标，结合各业务领域发展的实际需要，识别本业务领域的关键业务数据作为主数据治理范围，明确定义了各数据项的数据标准、业务定义及数据质量管理要求。同时，针对监管要求变化和发展战略调整，还会定期评估差异，不断完善主数据的管理范畴。根据数据管理能力成熟度评估模型（国家标准GB/T36073-2018）中的定义，“主数据是组织中需要跨系统、跨部门进行共享的核心业务实体数据”，而结合数据产生和使用的具体场景，还可以将其划分为核心业务数据项、重要业务数据项、参考数据项以及指标项（如图1所示）。图1主数据范围划分示意重要业务数据及业务指标其他数据（加工指标数据/参考数据/外部数据）金融市场 运行信息： 外汇行情基金行情期货行情等咨询信息： 防蝴 腼l 宏观经济 行业资讯等主数据（关雄要素）产品疆本信息 合同基本信息 客户即1信息客户"mm 产品编号徐户娟弓 合同编号.i公共参数：行业、币种、汇率、科目等数据规模业务畴用质规 则主数据（业务主键）客户本信息姓名国籍证件号码等机构员工僖息名称地址负费人等有明确的数据质标准其中，核心业务数据项作为主数据的范围主要可分为以下几类：第一类是重要的业务主键信息，用于企业内数据共享使用，包括了相互关联的关键要素或通用主键，例如客户编号、机构编号、账户编号、会计科目等。第二类是关键的业务要素信息，通常包括业务办理流程及监管要求中明确规定的必要要素、必要标志、分类信息或跨部门共享信息，例如客户证件号码、客户名称、客户状态、客户类型等。第三类主要包括被广泛引用的公共信息，例如行业、币种、汇率等。以客户信息为例，主要可根据信息项的重要程度和共享程度来识别客户信息的主数据范围，同时随着数据项重要程度的增加，数据质量的影响也会相互依赖、层层递进。首先，应准确识别客户和划分客户类型的基础要素,并赋予唯一的客户编号，确保客户关键要素信息的完整性；其次，应正确采集该客户的关联人信息(如控股股东信息、法人信息、受益人信息等)，并进一步结合客户信息、关联人信息以及外部渠道获取的客户舆情信息，才能最终将其应用于风险控制、经营分析等业务领域。(2)明确数据质量标准及规则实际应用中，主数据不仅会影响关键业务流程、监管数据报送，同时也是其他信息采集的基础，因此需制定相对严格的数据质量标准，并重点围绕完整性、规范性、唯一性、一致性和准确性等维度，提出相应的数据质量标准及规则。相比之下，非主数据由于受数据采集渠道的限制，重要性相对较低,所以可适当按需制定数据质量要求。常见数据质量标准举例见表2。表2常见数据质量标准举例数据政量维度数据质量标准完整性客户、产品、合约等关健要素信息不能为空唯一性客户编号、产品编号、机构编号、账户编号等按识别规则赋予唯一编号规范性客户编号、产品编号、机构编号、账户编号等应有统一规范的编码规则：关犍要素信息原则上不存在“空”、“无”、异常字符乱码等内容：证件号码、地址信息、电话号码等符合编码规范一致性不同系统间,编码相同的客户，其姓名等其他数据项信息必须一致：各信息系统内客户编号、产品编号、机构编号、账户编号等必须在主数据编号范围内准确性每日业务明细账与总账的发生额、余额必须分别保持一致3 .强化闭环的数据质量管理机制随着数据应用的需求变化，大量内部与外部数据被融合或共享使用，从而使数据产生了流动性，而由于互联网技术的飞速发展，银行数据的来源和渠道也变得更为复杂，除了通过柜员或客户经理采集录入数据外，还有大量信息来源于手机银行、网银、第三方渠道以及外部数据。在此背景下，为真正有效地确保数据质量，除了利用数字化手段整改提升使用过程，更需要从数据产生的源头严格控制数据质量，避免一边治理、一边“污染”的现象发生。事前预防，把好数据“进口关”在事前预防阶段，主要指从源头开始严格执行主数据管理规范，并在制定数据标准和数据质量标准、业务信息采集相关的操作规范、业务制度以及信息系统需求时，都遵循主数据管理的基本要求，持续做好主数据的归集和整合。具体来说，即通过明确主数据归集的基本原则，合理整合、共享、使用各种来源的数据。同时，健全信息系统架构设计和控制功能，避免和减少数据的多头采集，并尽量采用联机调用主数据系统的采集方式。此外，还应加强信息录入的控制和校验，包括在录入界面加强信息项校验或信息填写提示，基于业务需求和第三方数据接口协议等确保数据信息全面，以及在数据采集时同步验证数据的准确性等。(2)事中控制，质量监控“不放松”在事中控制阶段，考虑业务产品的不断创新及数据来源的不断变化，随时可能产生新的数据质量问题。因此，在数据采集、加工过程中，需做好持续的数据质量监控，即通过在主数据源头系统部署数据质量监控规则及提高监控频率，确保及时发现、及时预警、及时整改。截至目前，浦发银行已实现对总分明细核对、交易对手完整性、客户基础信息完整性等数据的每日监控，一旦发现问题，即可及时反馈至责任部门进行排查和整改。(3)事后处理，追根溯源“改源头”在事后处理阶段，工作重点在发现数据质量异常，以及借助数据分布MSL图和数据质量原因分析的鱼骨图等工具，定位问题产生的源头及原因，进而集合“查原因、清问题、建长效”等三个步骤，确保数据质量问题得到彻底解决。具体来说，一方面是持续对信息系统功能进行优化，及时清理或修复错误数据、优化数据同步机制、加强信息系统录入界面校验；另一方面则是不断完善业务数据维护管理流程。二、主数据治理实践应用案例浦发银行2019-2021三年行动计划明确提出实施客户体验和数字科技双轮驱动，即通过将数字科技与客户旅程等业务领域紧密结合，打造闭环、穿透的数字化服务体系，而高质量的客户信息数据无疑是打造双轮驱动的坚实保障，同时对整个企业的经营管理和外部监管报送也都至关重要。对此，浦发银行以客户、产品、协议、资产、财务、渠道和公共信息的主数据为抓手，开展了数据一致性及标准化专项数据治理工作。笔者以客户信息主数据治理工作为例，拟重点分享基于客户信息主数据的治理研究经验。1.客户主数据治理目标基于各类监管要求及业务经营发展需要，浦发银行首先梳理了客户信息主数据的数据治理范围：一是数据项治理范围，其中个人客户字段包含了客户名称、婚姻状态、国籍、证件类型、证件号码等30多个字段；对公客户以及同业客户包含了客户名称、经济类型、注册国家、证件号码、证件名称及关联人信息等40多个字段。二是梳理信息系统范围，主要包含了企业级客户信息管理系统，以及核心产品化系统、信用卡发卡核心、企业信贷服务、零售信贷服务等近20个周边系统。在此基础上，浦发银行还围绕客户信息的完整性、规范性、一致性等数据质量要求，通过全面排查各信息系统中的存量数据，发现了周边信息系统存在的相同客户信息不一致、客户联系信息填写不规范，以及客户信息未统一执行数据标准等具体问题。对此，浦发银行通过开展客户主数据专项治理工作，进一步加强了对客户信息主数据的管理，并开始分批次解决现有问题。此外，基于建立配套长效机制、落实数据标准、加强信息系统控制等措施，严格控制新数据问题的产生，浦发银行将被动管理转化为主动管理，有效保证了客户主数据的完整性、规范性和一致性。2 .客户主数据治理机制在体制机制方面，浦发银行集合监管要求和银行自身对数据质量的要求，按照“查原因、清问题、建长效”的方式有序开展了数据质量整改工作，并结合配套的组织、机制建设，建立了更为全面的保障体系。尤其是针对跨系统、跨部门沟通协调成本较高，推进难度大，整改效率低；以及整改问题涉及系统多，存量客户信息量巨大，业务整改和技术难度较高等痛点问题，浦发银行从四个关键要点入手，制定了个性化实施方案，以提高问题解决的效率和质量。(1)成立专项工作小组为统一各方思想、确保工作有序推进，信息科技部与业务部门共同成立数据一致性专项工作小组，明确了工作推进形式、职责分工与相关工作流程，并形成评估小组和若干个专题实施小组，将所有工作责任落实到人。(2)构建全方位保障机制一是建立业务协同机制，包括明确问题整改业务责任部门和时间计划，并按月开展任务督办;加强工作沟通汇报，专项治理工作牵头部门建立双周例会沟通机制，及时协调问题。二是持续跟踪量化评价，即通过发布问题推进状态等方式，对整改问题开展关键节点监控、延期风险通报提醒，在监控数据质量变化的同时，发布定量的校验通过率，确保各项问题整改到位。三是开展数据质量考核，即将业务部门协同配合及问题整改成效纳入总行数据质量考核范围，其中主数据的完整性、有效性直接与业务部门的经营绩效考核挂钩，且一致性问题还将同时考核主数据管理部门及数据使用部门，以确保数据一致。(3)建立长效机制保障成果一是“数据规范，有章可循”，即通过进一步优化数据管理规范，发布个人、公司和金融机构客户基础信息标准规范相关制度，以及在各业务板块部门发布配套工作指导和通知，不断引导和强化数据管理能力；二是“数据标准，严格执行”，即通过系统改造等方式，统筹推动总行信息系统及分行特色系统中共计80余项客户信息数据标准化工作；三是“数出同源，减小副本”，即通过优化信息数据架构，遵循副本数据最小化等原则，采用联机交易方式大量精简副本数据，从源头控制数据质量。(4)使用新技术提升效能浦发银行引入影像识别、机器学习等新技术，持续提升数据治理效能。例如，通过采用影像识别技术对全行TERA级别的海量影像资源进行系统滚动识别分析，完成了“民族”“证件有效期”等身份信息的识别回填;采用机器学习算法技术，对三级行政区划分中缺失的联系地址进行解析，从碎片化地址信息中找到了对应的省、市、区信息，并通过不断优化算法性能，使识别正确率达95%以上，大幅提升了历史数据补录效率。3 .客户主数据治理效果(1)提高监管数据报送质量基于专项治理工作，浦发银行的客户信息数据质量实现了显著提升。以数据一致性专项改造为例，针对企业级客户信息管理系统与客户主题相关的周边系统，整改后较整改前客户字段的一致性通过率平均提升20%,客户信息基本要素的完整性基本己达到100%。同时，还完成了对公客户和个人客户主数据信息的数据标准化工作，进一步提高了监管报送数据的完整性、规范性和准确性。(2)打造客户领域的数据产品基于高质量的客户主数据信息，浦发银行将其与外部引入的工商数据相结合，打造了穿透式信息查询工具“企明星”。该产品面向全行公司条线人员以及客户经理，提供了快速查询企业工商信息、关联关系、舆情、行业动态等服务，大大提高了公司业务部门的工作效率。(3)优化客户标签，加强风险管控在高质量客户信息的帮助下，工作人员可通过大数据分析挖掘获取更为精准、全面的客户画像，进而根据画像及时为客户提供个性化推荐及服务，以满足不同客户的不同需求，提升客户体验。此外，客户信息质量提升也进一步加强了分析对公业务领域风险客户的准确性，即针对从各类内外部名单以及各类已有模型分析出的疑似风险客户，结合其法人、财务负责人、大额联系人等相关的证件与电话信息，即可利用知识图谱模型深入挖掘潜在的风险客户，最终为对公客户经营管理提供指导性建议，有效提升银行的风险防范能力。三、后续展望未来，伴随银行机构主营业务的创新发展，主数据的范围和质量要求也将不断地变化和提升。对此，建立数据资产运营体系将有助于更好地区分和识别有价值的数据，并可作为主数据管理的重要依据和输入；与此同时，应不断培育优秀的数据质量企业文化，帮助员工树立正确使用主数据的工作意识。此外，还应重点从业务、人员、流程、系统等根源开展数据治理工作，以确保企业核心数据资产的高质量发展，从而在满足各类监管报送要求的同时，使银行可以更好地发挥大数据技术优势，最终实现数据驱动业务可持续、创新性发展的目标愿景。