大数据平台数据分级治理及安全防护系统采购需求.docx
大数据平台数据分级治理及安全防护系统采购需求、项目概况及内容1.1 与本项目相关信息系统介绍1.1.1 XX市交通运输局大数据平台本文件所指的XX市交通运输局大数据平台,是指基于XX市交通运输局交通行业数据共享和分析服务平台和XX市交通运输局交通数据资源与分析模蟹服务系统的推体建设成果,共同构成的XX市交通运输局统一的大数据平台,该平台现有数据超过6000亿条,本项目将对XX市交通运输局大数据平台的100O多张数据表约3万个字段数据进行分类分级管理,对敏感数据发现、确认与标记,输出数据分类分级结果,并根据数据安全分级防护规范与要求,对数据配概差异化的安全监测与防护策略以及管理措施.1. 1.1.1XX市交通运输局交通行业数据共享和分析服务平台介绍该项目r2016年建设,项目周期为18个月,提供系统运行维护期限为1年,项目完成了数据资源目录梳理,数据标准规范的制定,数据资源库设计及建设,数据采集、标准化和数据管理功能,基于ESB的数据共享功能,交通行业数据统计及应用服务功能,平台二次开发环境搭建,接入平台的外部系统数据共享接口改造,交通行业数据主题分析与展示功能,平台监控功能,平台管理等建设内容。XX市交通运输局交通行业数据共享和分析服务平台构建XX市交通行业数据标准规范、数据资源目录、数据资源共享和基础应用服务等核心体系,实现XX市交通行业结构化数据的管理及共享.统筹管理全市交通行业数据资源和信息化系统的数据共享;实现交通行业数据与XX市政府信息共享平台的共享:有效提升交通行业管理水平,加强交通信息资源管理,实现跨部门、跨系统和瞪单位的信息共享和业务协同.平台主要功能如卜表:序号功能模块功能说明1数据资源目录梳理对XX市交通运输局系统进行调研,根据要求建设XX市交通运输局资源目录2数据标准规范的制定为平台建立数据项标准、数据共享交换标准等内容3数据资源库设计及建设为平台建立基础库、标准库、关联库,并对建设的资源库做数据的整合与优化4数据采集、标准化和数据管理功能对XX市交通运输的单位数据行采信、对原有的新增数据项进行管理包括申报、审核、变更等内容5基FESB的数据共享功能为平台建立一套共享服务,为XX市政府信息共享平台提供数据交换,为XX市交通运输局提供数据共享。6交通行业数据统计及应用服务功能提供XX市交通运输局数据的统计功能和报表展示功能可通了解平台的实际情况,并提供些基础应用服务7平台二次开发环境搭建搭建一个面开发人员的二次环境,开发一些基础的应用服务8接入平台的外部系统数据共享接口改造完成对需要将数据接入共享平台的系统进行数据共享接口改造9交通行业数据主题分析与展示功能建设对应的业务分析模型10平台监控功能建设平台监控功能,运维人员可通过平台实时查看数据的流向与实际工作情况.11平台管理为平台建设用户管理,权限管理、信息管理功能.1.1.1.2XX市交通运输局交通数据资源与分析模型服务系统介绍该项目于2019年建设,项目周期为18个月,提供系统运行维护期限为1iV;项目完成了交通数据资源FI录管理应用、交通堪础信息资源管理应用建设、交通联合分析管理应用、交通分析知识管理应用、系统接口等建设内容。XX市交通运输局交通数据资源与分析模型服务系统进一步完善和夯实数据质量、数据目录布接、交通要素信息等基础数据资源整合,搭建数据分析支撑环境,为交通数据创新分析、模型制定和知识沉淀等方面进步奠定基础,促进“创新管理、创新决策、创新服务”的关键性支撑作用.系统主要功能如卜.表:序号功能模块功能说明1交通数据资源目录管理应用包含目录编目管理、目录注册服务、目录服务、目录同步和应用域管理2交通基础信息资源管理应用建设包含交通基础信息内容管理、全局归集中心、信息资源服务3交通联合分析管理应用包含分析任务调度管理、分析过程管理、分析结果管理4交通分析知识管理应用包含分析模型构建管理、分析模型管理、分析算法管理、模型和算法评价管理5系统接口包含XX市政府大数据综合应用管理平台接口(本方)对接、与相关内部系统对接I.1.2XX市交通运输局信息安全管控平台XX市交通运输局信息安全管控平台将XX市交通运输局的di要信息系统做统安全纳管,对归集的海量安全数据进行关段分析和智能学习,形成威胁感知和安全告警能力,纳管XX市交通运输局云上云下主要系统,对下屈单位实现安全监管,并对平台监测预警、安全分析、联动防护、日常管理等功能进行优化和补充,平台分两期建设.1.1.2.1XX市交通运输局信息安全管控平台一期XX市交通运输局信息安全管控平台一期项目F2018年建设。XX市交通运输局信息安全管控平台一期包含安全信息采集管理、安全事件管理、安全风险监测、安全预警管理、安全响应管理、安全信息展示、系统基础管理、系统接口等建设内容。1.1.2.2XX市交通运输局信息安全管控平台二期XX市交通运输局信息安全管控平台二期于2021年建设。主要包含平台授权和性能扩容、流量采集探针、日志采集探针、网站监测模块、终端安全检测与响应模块、远程接入管理模块、安全检查评估模块、平台功能定制开发及优化等建设内容。XX市交通运输同信息安全管控平台二期流量监测段盖了局系统所有直属单位,与全市统一安全运营服务平台实现联动互补,对市交通运输局信息系统进行安全管理、实时监测、封堵恶意IP、发出告警工单等,有效防范和处置信息安全风险,保障全要信息系统安全稳定运行,形成XX市交通运输局统一、智能、高效的信息安全运营能力。信息安全管控平台主要功能如下表:序号功能模块功能说明1平台授权和性能扩容对安全管控平台进行扩容,将XX市交通运输局主要信息化系统及卜一属单位核心系统都接入平台,平台功能模块进行扩展。通过对安全数据、情报的扩充采集,进一步提升对XX市交通运输局整体网络安全能力,并能掌握更深、更细致的网络安全态势,充分、真实反映XX市交通运输局网络安全状况”2流员采集探针增加流量采集探针,实现对本地、云端、下属单位流民进行安全监测3日志采桀探针增加日志采桀探针,对监管资产的日志进行采集和标准化处理,规则匹配,智能关联分析3网站监测模块实现XX市交通运输局及卜属单位比联网网站的持续安全监测序号功能模块功能说明4终端安全检测与响应模块提升本地及XX市政务云端主机安全防护能力5远程接入管理模块采用SDP技术,实现远程电脑或移动终端安全的访问业务及办公系统6安全检杳评估模块支持主机漏洞扫描、WEB漏洞扫描、基线核查,实现对纳管的业务系统及资产进行安全评估,可按照等保及关键基础设施等安全防护要求定期对信息资产进行安全评估并形成检查报告7平台功能定制开发及优化资产安全检查评估、安全报表查询输出、安全态势感知大屏、网站安全监测管理、应急预案管理、联动防护等功能定制开发及优化,进一步提升XX市交通运输局网络安全处置效率。1.2 项目建设目标贯彻落实中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见、C推进综合交通运输大数据发展行动纲要(202020XX年)机XX省人民政府关于进一步深化数字政府改革建设的实施意见(X府(2023)47号)、中华人民共和国数据安全法h中华人民共和国个人信息保护法、4公路水路交通运输数据分类分级指南、XX省公共数据管理办法hHX市网络数据安全工作指引(试行等关于数据分类分级管理、数据高效合规流通以及数据安全保障方面的要求,在XX市交通运输局大数据治理以及网络安全建设基础上,充分发挥“技防”和“人防”作用,建设XX市交通运输局大数据平台数据分级治理及安全防护系统,建立健全数据分级治理以及数据安全管理体系,对大数据平台资源进行数据分类分级治理,实现对不同类别不同级别的数据采取差异性防护措施,提升XX市交通运输局数据的安全性及数据安全管理水平。具体目标如下:(一)对数据进行分类分级,形成交通数据分类分级清单,搭建数据分类分级与风险评估子系统,在数据分类分级规范基础上实现XX市交通运输局大数据平台海量数据分类分级。(二)实现数据分级防护,对不同级别的数据采取差异化保护措法。在对XX市交通运输局大数据平台海量数据分类分级基础上,融合数据安全监控、数据脱敏、数据防护等技术,构建“数据安全监测”、“数据安全防护”以及“数据安全管理”三位一体的数据安全保障能力,实现对敏感数据IR点防护、IR要业务数据严格保护,把该管的管住、该放的放开,积极有效防范和解决敏感数据泄露、数据违规操作、数据异常流转等数据处理活动中的数据安全问题.(三)加强数据共享保障,实现数据高效合规共享与安全应用。搭建数据质量监测子系统,从多个维度实现对XX市交通运输局大数据平台数据质量进行监测和评价,进一步提升数据质量,同时针对数据资产化、资产服务化、数据分析探索等数据共享和数据应用场景提供数据安全防护能力,促进数据高效合规共享与应用创新.1.3 项目建设内容XX市交通运输局20XX年大数据平台数据分级治理及安全防护系统建设项目建设内容如卜所示:表1.1.建设内容一览表序号系统名称功能模块功能说明备注1大数据平台数据分级治理及安全防护系统(新建)定制软件开发服务数据分类分级与风险评估子系统数据源管理数据源配置按国产化适配技术要求实施2数据源导入管理3数据源管理展示4资产发现配置任务5任芬管理6资产扫描7任务变更8资产报表分析9分类行业模板管理序号系统名称功能模块功能说明备注10分级配置规则因子管理11规则配置12策略配置13分类分级模型管理模型管理14模型版本管理15分类分级管理数据分类分级任务管理16分类分级规则执行17分类分级模型执行18分类分级结果输出19分类分级任务检索20手动终止任务21任务执行结果管理22分类分级报表分析23数据分类分级目录数据源视角展示24分类分级结果目录25行业模板目录26敏感数据R录27数据风险评估任务列表管理28风险扫描29任务查询30任务编辑31图表分析32数据质量数据0W监控规则管理33内置规则模板管理序号系统名称功能模块功能说明备注34监测子系统监控监控任务管理35新建监控对象36监控任务调度37监控执行管理38质量监控总览39质量告警管理告警配阻40告警通知组管理41告警记录管理42告警外发43表质价表质址分析44表质量报告输出45问题和修第表问题管理46表问题修史47数据安全风险应用层防护数据服务防护服务应用管理48加密算法管理19服务加密传输50敏感数据加密51接口服务限流52接口调用解密53股务期限管控54数据权限管控55服务开发防护56接口访问监控57数据资源用户分级58数据资源分级管控序号系统名称功能模块功能说明备注59防护敏感标签关联60数据资源脱敏61数据资源访问管控62数据资源共享管控63数据资源申请管控64数据搜索防护主数据应用管理65云搜管控66主数据字段管控67全息图谱数据管控68故感数据脱敏显示69数据分析防护分析组件配置70用户组管理71组件权限配置72数据读取管控73数据输出管控74模型分享安全管控75数据安全风险处置子系统资产档案网络资产管理76数据资源管理77应用管理78人员账号管理79部门管理80信息采集数据安全信息接收81数据安全信息解析82数据安全信息标准化83数据安全信息过浦处理序号系统名称功能模块功能说明备注84数据安全信息聚合处理85数据安全信息缓存86状态检测处理87通信服务组件配Ja88关联引擎管理89日志代理管理90场景监管业务建模91业务场景分析92规则模量规则管理93预设模型管理94风险管理告警管理95隐患管理96研判分析97事件管理98风险处置安全工作台99工单管理100预警管理101安全报告管理102合规中心安全知识库建设103安全合规检查104数据安全融合分析数据安全总览105敏感数据安全分析106共享数据安全分析107系统对接XX市交通运输局大数据平台对接序号系统名称功能模块功能说明备注108XX市交通运输同信息安全管控平台对接109商品化应用软件服务数据安全风险监测数据库安全监测系统支持多种数据库协议监测满足国产化适配要求110风险监测111三层关联112直询分析113特殊业务场景支掾114报表分析115AP1.安全监测系统传输文件还原116账号身份关联117敏盛操作还原118API数据资产梳理119API资产分类分级120AP1.数据资产全景121风险策略定制122账号行为监测123安全风险分析124数据安全风险底层防护数据静态脱敏系统敏感数据自动发现125脱故兑法管理126数据抽取配置127保证数据完整性128保证业务逻辑关联性129保证数据原始特征130水印与溯源131保证数据保密性序号系统名称功能模块功能说明备注132断点续传133脱敏报表分析134数据动态脱敏系统数据识别135数据访问控制136动态脱敏137运维审批138虚拟补丁防护139审计和告警I1.O丰富的内置报表141多设备联动与功能开放142数据安全分类分级实施数据资产梳理143元数据采集144数据分类分级1.11定制软件开发服务1.3.1.1数据分类分级与风险评估了系统数据分类是数据保护工作中的一个关键部分,是建立统一、准确、完善的数据架构的基础,是实现集中化、专业化、标准化数据管理的基础。通过对交通行业数据按照统一的数据分类方法,依据自身业务特点对产生、采集、加工、使用或管理的数据进行分类,可以全面清晰地回清数据资产,对数据资产实现规范化管理,并有利于数据的维护和扩充。数据分类为数据分级管理契定基础,数据分级是以数据分类为基础,采用规范、明确的方法区分数据的全要性和敏感度差异,并确定数据级别。根据XX市交通运输局数据安全管理办法及数据实际应用情况,可以将数据的安全级别从而到低分为核心数据、重要数据、极感数据、一般数据4个级别。(1)核心数据:一旦遭到泄露、四改、毁损、非法使用或共享,可能直接危害政治安全或对国家安全和其他领域安全造成严重危害的数据。(2)重要数据:一旦遭到泄露、篡改、毁损、非法使用或共享,可能直接危吉国家安全、经济运行、社会桓定、公共健康和安全的数据。(3)敏感数据:除重要数据、核心数据以外,涉及100万人以上个人信息或10万人以上个人故感信息的数据。(4)一般数据:除重要数据、核心数据、敏感数据以外的其他数据。实际使用过程中应根据数据的重要性、敏感性、风险性和对业务的影响程度,以及个人信息保护要求,对现有的数据(含个人信息实施分级管理,管理要求应参照XX市交通运输局数据安全管理办法及其他数据安全相关政策法规。通过智能化手段,基于分类分级规则配置,实现对XX市交通运输局大数据平台的海信数据资产进行自动数据发现、敏感数据识别,结合人工对自动识别的结果进行确认,从而快速了解数据的分类、等级、故感性等整体情况,使用数据分类分级标准规范为依据,评估区分数据的重要性和敏感度差异,并确定数据级别。建设数据分类分级与风险评估子系统对系统数据进行自动数据发现、敏感数据识别I1.可以使用系统支持或用户导入的法规标准进行分类分级操作,生成数据资产目录。系统支持多种识别规则模型,如:基于深度学习,条件随机场的命名实体识别模型,可以更准确、高效的识别中英文姓名、地址、机构名称等。基丁N1.P技术的文本识别模型、判断敏感文本数据,如:身份证等。此外还支持传统的正则表达式、字典等识别规则。用户可以从不同维度感知到敏感数据情况,如:某个数据库包含多少敏感表、敏感字段、敏感等级。也可以知道单一一敏感项的分布、使用情况。如:身份证信息分布在系统的哪些位置、使用热度情况。1.3.1.1.1数据源管理可针对不同的数据源,对数据源连接信息进行维护,可添加附加信息,包括业务系统名称、所属部门、所属责任人。1.3.1.1.1.1数据源配置输入数据源的相关信息后保存进行新增数据源。新增数据源后,“分类分级管理-任务列表”模块自动生成同名的分类分级任务,”数据安全评估”模块自动争成同名的风险检测任务。1.3.1.1.1.2数据源导入管理支持雎条及批量数据源导入管理,可以按照模板方式填写数据源进行批燧或单条导入。1.3.1.1.1.3数据源管理展示展示添加完成的数据源,列表展示内容需包含:数据源名称、数据源类型并通过字体与颜色区分、主机及端口、创建用户、创建时间、最近同步时间、最近分类分级时间、发现结果、同步状态、同步标识、分类分级状态、同步进度、操作。提供同步数据源、编辑数据源、删除数据源、终止数据源同步等。1.3.1.1.2资产发现资产发现可以针对指定主机进行扫描,从而发现数据库资产。若待扫描的主机范用较大,需要输入指定端口,以有效节省扫描所需时间。1.3.1.1.2.1配四任务新增任务,配网任务的相关信息,必填字段具有带*的标识;其中主机可以用IP区间的格式填写,也可填写多个IP以逗号隔开。端口也可以使用区间方式填写,或填写多个端口以逗号隔开.扫描周期时间可选择。输入内容时,主机及端口作唯一校验。新增任务内主机具有啡一性校验功能。1.3.1.1.2.2任务管理新增的任务展示在任务列表内,列表展示内容:任务名称、IP段、周期、服务数、状态、创建时间、最新发现时间、怫作。1.3.1.1.2.3资产扫描支持雎个或多个任务进行扫描功能。扫描完成后,杳看扫描结果,可将结果添加到数据源中,其中扫描出的结果若已经被添加至数据源中,则其状态为“已添加”且添加按键置灰.1.3.1.1.2.4任务变更任务编辑.可以对任务进行编辑,修改任务信息。操作方式与新增任务致。任务的删除,删除任务后,该扫描任务被删除,不影响添加的数据源,1.3.1.1.2.5资产报表分析扫描任务的结果以报表的方式进行展示。在报表页面中,引导用户进行任务的过滤选择。过滤条件需要有“确定”按钮,点击确定后才刷新数据。过滤条件中,展示所有“完成”状态的任务列表,可以根据任务名称模糊搜索、多选:为清晰展示哪些任务已选,需分组展示己选与未选。内容包含(资产发现概述、数据库类型分布、性能占用、数据库资产网段分布、端口分布、单网段数据库、资产分布、单网段数据库资产分布、协议类型分布)1.3.1.1.3分类分级配置1.3.1.1.3.1行业模板管理支持丰南的分类分级模板,可根据行业特性以及业务场景选择合适的分类分级模板开展数据分类分级工作,且支持对规则进行过淀和编辑。行业模板主要分为三个板块功能:1.行业模板,内置了多个行业模板,可以点击“查看”,查看具体模板详情,也可.以卜.我到本地进行查看。2.识别字段列表,识别字段列表包含:识别字段、分级、分类、创建时间、操作。识别字段用于数据的分类分级,每个识别字段绑定了一个级别与分类,命中该识别字段的数据,其分类分级则为该识别字段的分类分级。内置的识别字段,不可进行编辑或删除.3.模板导入与下载,页面中展示了内.置标志的为内置模板,顺序在自定义模板前面。自定义模板中允许对识别字段进行编辑与删除。自定义模板命名不得与内置模板冲突。1.3.1.1.3.2规则因子管理包含规则因了新建、规则因子导入、规则因了批量转化为规则配置、规则因子导出等功能模块.1.3.1.1.3.3规则配置支持对F不同类型的数据进行识别的算法规则进行启用/禁用、修改和删除,支持对敏博数据定义策略进行设定,如大于才级时定义为敏感数据。在该模块创建规则,用于分类分级.新增规则,点击“新增”按键进行新增。新增规则用于系统的分类分级。规则的逻辑配刊支持。规则中支持对因子进行and/or的运.算:规则列表:展示字段包含:规则ID、规则名称、状态、规则描述、更新时间、操作.规则列表按照更新时间降序排字段。1.3.1.1.3.4策略配置策略配置主要用于系统内敏感数据及表分类分级的制定。配巴修改及时会进行保存。但相关的分类分级任务需要等卜一次执行时才应用生效。1.3.1.1.4分类分级模型管理1.3.1.1.4.1模型管理支持有监督学习模型训练功能,可将一部分打标的数据源导入至指定模型中进行训练,通过AI深度学习,可得到能预测类似数据源分类分级情况的模型,将该模型使用到现有数据源中进行模型执行,便可预测出该数据源的分类分级结果;有了AI加持下的模型管理模块,分类分级梳理不再依赖对行业模板和规则因子的频繁修改,显著提升了字段梳理效率。即使后期分类分级标准规范发生.变更,也可通过模型训练快速学习新样本得到新的分类分级模板.模型管理包含创建、删除、修改、查阅自定义模型以及相应的模型参数等版本管理功能。1.3.1.1.4.2模型版本管理模型首次新增建立一个版本,新版本的模型信息中具有版本名称、类型,以及其他高级参数配置等约定.同一个模型可以训练多个版本,尝试不同的模型类型以及参数设置来调整预测效果,但同一时间只能选择生效其中一个版本,1.3.1.1.5分类分级管理系统支持丰富的分类分级模板,具备N引擎根据模板更快、更准确的自动发现敏感数据并完成分类分级,对于多次任务扫描的结果提供变化标注,更快速便捷的感知敏感信息的变化情况.在传统进行人工检查核对分类分级结果时,服务人员往往面临着大量重的字段标注,如本人姓名、当事人、从业人员等相同含义但内容不同的字段,容易导致服务人员的标注精力被全更消耗:为此,数据安全分类分级系统推出了基于聚类分析的梳理向导辅助功能,投入较少的人力即可完成大量的数据梳理工作:用户仅需修改单个类别的分类分级信息,即可覆盖其他相似字段/表的分类分级结果,可以在短时间便达到较高的整体梳理率。1.31.1.51数据分类分级任务管理展示分类分级任务的各种状态及信息,展示内容包含:任务名称、数据源名称、数据源类型、主机、发现结果、状态、次数、周期、创建时间、最新发现时间、操作。1.3.1.1.5.2分类分级规则执行需要在数据源管理内数据源同步之后,方可进行分类分级任务的执行,否则无法获取数据源相关数据,分类分级任务管理页中招不展示对应任务。对单个任务点击“执行”按钮进行任务执行,或勾选多个任务后点击“立即执行”进行批量的任务执行,1. 3.1.1.5.3分类分级模型执行除了传统的执行规则方式来进行分类分级以外,可以使用有监督学习模型来完成分类分级自动打标。分为两种情况:1)使用内置的有监督学习模型,直接进行预测。2)自定义训练一个模里,然后进行预测。1.3. 1.1.5.4分类分级结果输出任务分类分级结果具有批量导出功能。一个数据源一个Exce1.文档。批量导出时如有多个文件则压缩成zip:单个EXeC1.文档的命名规范遵循“任务名导出操作的时间”1.4. 1.1.5.5分类分级任务检索分类分级任务查询,可以使用任务名称、数据源名称、任务状态进行查询1.5. 1.1.5.6手动终止任务执行中的分类分级任务,可以手动终止,包括单个任务,批量任务。1.3.1.1.5.7任务执行结果管理查看分类分级分析详情:可对不同状态任务进行查看,展示不同结果:分类分级图表展示:默认为关闭状态。仅当手动打开“图表展开”时才进行展示。具有“图表统计模式”、“手动梳理模式”这两种模式展示功能。1.3.1.1.5.8分类分级报表分析在报表页面具有分条件过滤展示、任务名称模糊搜索、分组展示已选与未选等功能。过波条件中,展示所有“完成”状态的任务列表,可以根据任务名称模糊搜索、多选;为清晰展示哪些任务已选,需分组展示已选与未选。报表页中有不同的数据模块包含:数据资产、性能占用、敏感数据资产表、分类分级结果、数据分级分布、数据库类型分布、个人信息、重要数据、行业通用数据:各个部分在一个页面中按顺序展示.1.3.1.1.6数据分类分级目录支持数据源,敏感数据和所选定的分级标准等多维度进行展示。支持分级概览,表列分布,级别分布等情况图标展示及详情展示,方便使用酉了解数据资产的分布情况,同时提供对敏屐列识别规则及分类分级信息修改功能。数据分类分级目录可与数据应用层防护系统进行AP1.对接,如数据的细粒度访问控制,数据脱敏等,从而达到对数据进一步分级保护的目的.1.3. 1.1.6.1数据源视角展示数据源区域:数据源视角展示主要分为四个板块:1.数据源区域2.数据源概览3.数据源铿询4.数据源信息列表。数据源概览:数据源概览展示字段为数据库、敏感表、所有字段、敏感字段、已梳理字段占比、表级别分布、字段级别分布.默认显示所有数据源的数据,选择特定数据源后,展示当前数据源的数据情况。1.3.1. 1.6.2分类分级结果目录分类分级结果信息列表展示字段包含:数据源名、库别名、Schema,表名、表别名、行业模板、数据源名称、主机、字段数、敏感字段数、分级、是否梳理、己梳理占比、分类、操作,可以对字段的字段别名、识别字段、分级、分类结果进行人工确认与修正调整。1. 3.1.1.6.3行业模板目录行业模板目录功能模块页面分为左右两个区域进行划分,左侧区域为多探树,展示所有已添加数据源同步后所对应的模板。右IW增加一个开关“隐藏或展示空值”,默认瞪藏空值,即对树形结构中没有数据的项做随藏。1.3. 1.1.6.4敏感数据目录敏感数据目录模块具有“隐藏或展示空值”开关功能,默认隐就空值,即对树形结构中没有数据的项做院版敏感数据的数据源区域会显示分类分级模块内的所有规则。1.3.1.1.7数据风险评估基于数据分类分级结果,提供对基线检测、敏感数据、漏洞扪描方面进行数据风险扫描与评估,掌握数据源存在的敏感字段分布占比以及评估存在的风险点。1.3.1.1.7.1任务列表管理任务列表展示字段包含:任务名称、数据源名称、数据源主机、风险评分、风险数、状态、更新时间、操作.1.3.1.1.7.2风险扫描具仃单个或多个任务扫描功能.默认扫描范闹为基线检测、敏感数据、漏洞扫描范用可选择。1.3.1.1.7.3任务查询任务查询可以使用任务名称、数据源名称、状态进行查询,任务名称及数据源名称支持模糊查询。1.3.1.1.7.4任务编辑对任务名称及检测能困等进行编辑操作。1.3.1.1.7.5图表分析图表分析具有展示漏洞、基线、弱密码三种风险及其数据源的排名情况等功能,列表内所有扫描已完成的数据会计.算在该排名内,扫描失败的任务不计算在内“1.3.1.2数据质量监测子系统数据安全最基础的要素是数据本身,XX市交通运输局交通数据资源与分析模型服务系统汇聚了海量的交通行业大数据,在对数据进行安全监测与防护过程中,实现对数据明量的监测与告警也是数据潦转过程管理中不可或缺的一部分。建立数据质量监控能力,对XX市交通运输局纳入安全监管与防护的数据,配置监控规则以及定时任务,可查看表质量监控执行结果,结果异常自动发送告警通知,根据表监控结果对表质量进行不同等级的评价。建立数据质量监测子系统,对数据完整性、准确性、及时性、唯一性各维度建立基于业务需求以及数据自身特点的灵活的监控规则,及时发现监测对彖存在的数据问题并针对性分发告警信息给关注此数据的人员,让数据保障更高效,不断提升数据质量,为支掾上层业务应用提供稳定、富质量的数据赋能。数据质员系统需要保障XX市交通运输局大数据平台的数据侦量,以此支撑X智管一体化平台、智越交通、交通越眼等XX市交通运输局重点信息化平台数据服务,并且在重大节假日、重大活动、重要演示等场景要提供24小时质地数据重点保障。1.3.1.2.1数据质量监控可对监控规则进行管理,可新增监控对象,选择监控规则进行配理定时执行监控任务,可杳若监控结果。1.3.1.2.1.1监控规则管理可对数据质量监控规则模板进行新增、编辑管理,可从数据的完整性、准确性、唯一性以及及时性等维度,从表级、行级、字段级等监控粒度分类管理,可查看监控规则被监控任务引用的情况。1.3.1.2.1.2内巴规则模板管理内置开发多种从数据的完整性、准确性、唯性以及及时性等维度,从表级、行级、字段级等监控粒度的规则模板,更加方便数据监控管理人员对表的监控管理配置。1. 3.I,2.I.3监控任务管理可对数据旗量监控任芬明细进行查看,可对数据痂量监控任务进行编辑和批量删除管理,可控制监控任务的上下线。1.3. 1.2.1.4新建监控对象可选择数据库表作为监控对象,关联监控规则,可灵活编写执行代码,配置执行结果的期望范围,执行结果期望支持对于具体阀值范围或者命中比例两种方式配置。1.4. 1.2.1.5监控任务调度可通过配置定时任务的频次,开启与关闭数据质员监控任务。根据数据更新的频率等业务信息,配置合适的监控调度频率,实现对数据质量的定时监控。1.5. 1.2.1.6监控执行管理可查看监控任务执行的结果,不符合期望范围的执行结果被标记异常状态,可杳看详细的执行日志信息。同一个监控对缴表支持配置多个监控规则,在监控数据体量比校大的情况下,同个监控执行时间节点可能会对多张数据表进行同时监控判断,采用多节点分布执行,同时一个监控对象若配巴了多个规则,只要其中一个规则执行异常则停止判断其他规则将该对象的监控结果判断为异常,避免监测链路阻塞,保障数据质量监控效率.1.6. 1.2.1.7质量监控总览分析数据表质限规则引用情况,分析数据质量任务总数量:、调度执行成功率、调度总数母、监控任务状态异常任务占比。1.3.1.2.2数据质量告警管理可配巴告警通知频率、通知方式以及通知人员范阳,可查看告警列表信息”1.3.1.2.2.1告警配置可配置开启或关闭监控告警功能,支持告警阀值与告警沉默通道的规则设置,从而控制告警的须次:可发送告警到通知组或旭个用户,告警方式支持系统消息、短信、邮件等方式。通过配鼠告警沉默通道,可避免对于同一告警的反第告警提醒,让数据质量告警更有针对性,通过及时的告警通知,可让数据实施人员第一时间了解数据作业存在的问题,并根据告警通知的日志信息,辅助快速定位解决问题。1.3.1.2.2.2告警通知组管理可配置告警通知组,将关注相同数据告警需求的多个用户配置到同个告警通知组,实现按分组批量发送告警通知,提而J'对告警通知对象配置的效率.1.3.1.2.2.3告警记录管理可查看通过各种方式发送的告警通知历史记录以及处理结果,支持对告警通知进行系统自动处理以及人工处理反馈,支持按照监控名称、监控对象、监控状态以及处理时间段进行告警信息查讪J。1.3.1.2.2.4告警外发通过系统消息、短信、邮件等方式向数据质量管理人F发数据质量告警,通过告警可以直观/解数据质氏情况,异常类型和原因。1.3.1.2.3表质量评价1.3.1.2.3.1 表质史分析通过对表质量进行监控分析可监控结果分布情况,根据表历史监控结果,对比监测结果为异常的频次,以每个表的每月监测异常次数占比指标作为对数据表的质量评价基础,分不同的梯度时表质量进行评价,整体掌握数据资源质量状况,辅助对于质量较差的表进行溯源了解以及数据作业维护优化针对性工作。1.3.1.2.3.2 表质58:报告辘出通过对数据分析结果进行可视化报告输出,方便管理员掌握数据然体质量情况。1.3.1.2.4问题和修复1.3.1.2.4.1表问题管理可通过对数据监控状态异常的任务,形成表问题列表,管理员分析后标记农质量问题类型。1. 3.I,2.4.2表问题修发表的相关负责人修纪表的异常问题后,进行问题修匆登记,记录表异常解决方案。1.3. 1.3数据安全风险应用层防护除了底层技术数据安全监测与防护能力的建立,还需要与现有XX市交通运输局大数据平台进行实施对接,建立在XX市交通运输局大数据平台数据应用层面的安全防护能力,以便充分保阵XX市交通运输局大数据平台数据应用乂面上的安全,包括不限于对用户在数据的服务调用、数据资源杳看、数据搜索、数据分析等场兔下的数据安全进行更细粒度的管控与防护,实现用户的分级与数据分级的数据安全使用相匹配,保障数据应用层面的安全。1.4. 13.1数据服务防护新增数据服务防护功能,可以与XX市交通运输局大数据平台中数据共享服务系统进行深度对接整合,使其满足数据共享应用层安全防护要求。1.5. 1.3.1.1.服务应用管理可对服务应用进行管理,可配置各服务应用卜.的用户组成员以及数据源,数据源支持表级粒度的授权管控,可查看各应用已授权的接口服务清单。服务应用管理提供了对于数据开发应用以及数据服务共享的应用进行统一管理,应用系统将纳入整个数据共享体系的各组织、各用户紧密的联系在了一起,通过应用所属的单位,应用授权的用户,应用所授权的接口服务等关联信息,能快速了解数据的归属、数据的分发、数据的服务等数据流转链路。统一的服务应用管理与授权,避免同机构或拧用户建立多个类似重匆的业务应用,从而降低数据服务潦转链路梳理的曳杂度.1.6. 1.3.1.2加密算法管理可对加密算法进行管理,支持国密算法,可对加密第法进行导入和导出,建立加密莫法库,对算法密钥进行杳看,若服务应用系统启用了加密防护并绑定了加密算法,则可在该模块查看引用了该加密算法的服务应用系统。I.3.I,3.1.3服务加密传输可通过开关控制是否启用对各应用的接口服芬加密功能,开启后可选择加密算法并生成密钥。加密开通的配置