银行数据仓库项目方案[57页].docx
《银行数据仓库项目方案[57页].docx》由会员分享,可在线阅读,更多相关《银行数据仓库项目方案[57页].docx(55页珍藏版)》请在课桌文档上搜索。
1、XX银行EDW/数据仓库项目方案目录第一章系统总体架构41.1 总体架构设计概述41.1.1 总体架构的设计框架41.1.2 总体架构的设计原则51.1.3 总体架构的设计特点51.2EDW执行架构61.1.1 执行架构概述61.1.2 执行架构设计原则61.1.3 执行架构框架71.3 EDW逻辑架构141.3.1 逻辑架构框架141.3.2 数据处理流程2O1.4 EDW运维架构211.4.1 运维架构概述211.4.2 运维架构的逻辑框架221.5EDW数据架构271.5.1 数据架构设计原则271.5.2 数据架构分层设计291.6EDW应用架构311.6.1 应用架构设计原则311.
2、6.2 数据服务321.6.3 应用服务33第二章ET1.体系建设342.1 ET1.架构概述342.2 ET1.设计方案362.3 EII关键设计环节362.3.1 接口层设计策略362.3.2 StagingArea设计策略362.3.3 数据加载策略372.3.4 增量ET1.设计策略372.3.5 异常处理392.3.6 作业调度和监控4O2.3.7 元数据管理4O2.3.8 IrT1.模块设计4O2.3.9 ET1.流程设计432.3.10 动态资源分配452.3.11 数据接口设计46第一章系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行EDW项目的总体架
3、构分为基础技术架构、应用架构和数据架构三个核心部分.这三个部分共同组成rXX银行EDU1系统。在基础技术架构中,包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。 执行架构描述系统大的框架和模块区域,以及之间的逻辑关系;是确定生产环境的建设要求及指导原则。 逻辑架构描述EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况,用丁规范本项目最终生产环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的基础,也是建立执行架构、应用架构以及运维架构的原型系统。 功能组件架构描述确定系统各个大的组件组件区域的功能模块框架,以及提供的某种服务类型。 运维架构是描述E
4、皿项目的运维架构标准,包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。而数据架构和应用架构的主要描述: 应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计,其中业务需求是应用架构设计的基础,最终的应用架构将以应用系统的形式体现在执行架构中,主要包括:应用服务和数据服务。 数据架构描述于E1.W系统相关的数据流动策略,即数据在EDW系统的执行架构卜的抽取、转换、储存策略以及应采用的流程,包括数据层次和总分行之间的数据分部情况等。数据架构是建立执行架构标准的需
5、求定义。下图是EDW项目总体架构的框架:丛础技术架构112总体架构的设计原则 总体架构在若近考虑实施要求的同时,需要为后续阶段进行规划,以保证项目最终能够达到目标架构的设计; 总体架构的设计要基石包括XX银行数据现状分析、实施阶段数据源情况分析、第一阶段实施RDW设计建议做为参考: 总体架构设计架构时充分考虑与现有系统兼容,充分利用已有成果,避免盘豆开发和建设。 总体架构设计过程中应遵守XX银行的IT管理规程,保证最终的系统可以顺利的部署并移交给XX银行的运行维护部门。1.1.3总体架构的设计特点 权衡功能、性能、可扩展性、易用性、可管理性和性价比。 根据XX银行的数据情况和分析需求,采用多层
6、次的企业EDW系统架构来保证在存在笈杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和性能等方面的要求。 多级/自动的增量IH1.加载机制,有效提高ET1.并发度、加载效率,降低错误处理的品杂性. 通过用户入口支持用户枭用WCb浏览器使用查询和分析工具.统的信息服务界面,提高系统易用性,减少技术支持工作量。 利用企业信息集成和WOb数据服务,提高系统的数据支持能力和接口的-致性。统一的数据增强平台也减少数据增强的纪杂度。1.2EDW执行架构执行架构的主要内容是描述EDN项目执行架构的建设要求及指导原则,用于规范本项目最终生产环境的建设。EDW项目的生产环境的建立需要参考并遵循执行
7、架构部分提出的要求。121执行架构概述执行架构是EI)W的概念环境,主要包含:源数据、数据落地区、ET1.,数据准备区、数据存储区EDW、业务应用、用户环境、数据管控、系统安全性以及EDW基础设施平台(包括:服务器、存储、网络等功能组件“从技术层面上来说,EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。122执行架构设计原则在EDW项目实施的过程中,系统执行架构的建设应遵循以下技术原则:开放性原则:EDW项目的牛产环境的建设应基于业界开放标准,对系统中使用的网络协议、硬件接口、数据接口等应进行统一规划,EDW系统应支持主潦的应用软件包及其部署的各种硬件平台。“灵活性与可扩展性:ED
8、w系统的基础设施平台应能然根据未来系统的发展需要以及应用需求,方便的扩展设备容垃和提升设符性能:具备支持多种组件模块、多种物理接口的能力:具备技术升级、设符更新的灵活性:具备支持业务功能的扩展与重构的灵活性.:系统容量可以随着ET1.系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进行平滑的扩展。高性能原则:系统应达到数据处理时间窗口的要求,用户定义的告询效率、响应时间的要求,满足业务系统的要求:对现有业务系统影响小。,自动化原则:EDW项目建设的核心任务之一是数据抽取、转换、清洗和加教(ET1.),在这个过程中应采用自动化的设计原则,避免手工操作。同时对于元数据管理过程应采用元数据管
9、理平台来实现对元数据集中、自动化的管理。安全性原则:EDM项目建设中的数据迁移过程都必须保证数据的安全性,例如:在系统建设过程中应对数据中敏感字段进行安全处理、同时整个系统还应采用网络隔离、用户身份认证及访问控制、数据库安全、操作系统安全以及完善的安全审计机制.123执行架构框架上图是EDW系统执行架构,其中包含EDW系统中涵盖的功能框架以及框架之间的逻辑关系。在以下的内容中将对执行架构中的功能框架以及框架之间的关系进行详细描述,具体内容包括:数据源:包括XX银行的多个业务系统,主要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等。“数据落地区:此部分内容说明数据落地的用
10、途,同时对数据落地区应具备的功能进行了标准定义以及数据落地区与其他功能组件之间的关联关系:ET1.:此部分内容描述ET1.系统中数据抽取、转换、加载等功能的需求,同时定义了ET1.系统建设的标准以及ET1.与系统中其他功能组件之间的关系:,数据准备区:此部分描述数据准备区应具备的功能.以及数据准备区在建设过程中的标准需求。操作型存储区:此部分内容描述EM系统在建设的过程中操作型存储区应遵循的标准以及系统建设过程中应满足的需求:,数据仓库存储区:此部分内容描述EDw系统的数据仓库存储区应遵循的标准以及系统建设过程中应满足的需求:业务应用:此部分内容描述B1.应用系统建设的系统需求,包含对应用环境
11、、分析环境、静态报表环境:用户环境:此部分的内容描述用户在EDW系统中应具备运用的能力,包括:利用通用展现平台进行信息屣现、驾驶他应用、报表应用等;时间窗口和性能的定义:此部分描述整个EDW项目中关于时间窗口的定义以及相关系统的性能指标要求:“元数据管理:此部分描述在系统执行架构中元数据管理的内容以及元数据管理系统的建设的标准定义;,系统安全性:此部分内容主要描述EDW系统中的安全性管理内容,包括应用安全、网络安全、数据安全、系统安全等,同时描述系统安全在建立过程中遵循的原则;基础设施平台(服务器、网络、存储):此部分内容主要描述生产系统中的硬件资源,包括:服务器,网络以及存:储的资源需求,容
12、量规划应满足的系统指标等内容:1231数据源源数据系统是报表、关钺指标、灵活查询、主题分析等应用系统的基础数据来源,在系统建设初期,源数据系统应提供能满足初始业务需要的数据以及业务系统需耍提供完整数据的时间窗口,在EiW系统扩展的过程中,各个源数据系统中的数据将逐渐的加载到E战系统当中.源数据无法满足应用需求时,系统应提供手工方式通过手工数据补入平台将需要的数据补入到EDW系统中。目前数据源包括XX银行的多个业务系统,主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。1232数据落地区数据落地区是为了保证多系统对源系统数据抽取的需求,在数据从源数据系统抽取后在统一
13、的数据集成环境中整合。数据落地区应建立与各相关源数据系统的接口,将这些系统定期和载的数据以固定的格式接收、存放到落地区,考虑数据传输和加载的速度,源数据系统应以文本文件格式聘数据定期传输给数据落地区进行处理。数据落地区的数据存储格式原则上是与数据源的存储格式保持一致1233数据E1.1.架构ET1.是数据的抽取、转换、加载的全部过程,它是数据从数据落地区到ET1.服务器以及从ET1.服务器到EDW的数据迁移过程以及数据从EDW向数据集市的数据迁移过程中必须使用的过程和方法,ET1.系统应包括以卜.三个主要功能: 数据抽取:从数据落地区系统抽取EDW中需要的数据: 数据转换:将从源数据系统获取的
14、数据沛换成EDW要求的形式,同时按照业务需求对数据进行转换: 数据加载:将助转换后的数据装载到EDW的物理模型中:123.4 数据准备区数据准备区是数据存储的临时存储区域,数据在其中只作暂时性保存,数据经转换后导入到EDW的物理模型中。数据准备区的功能包括:格式转换、排序去重/筛选、通用基础清洗、连接/合并/分割、业务转换等1235操作型存储区操作型存储区是数据仓库系统一个全要的环节。该区有着承上启下的作用,从数据形态来看,该区的数据定义贴近业务源系统;从数据标准来看,该区的数据标准是遵循数据仓库系统的标准。所以该区一股分为两个层次,第一个层次称之为良好质量的、统一格式的数据贴源层,第二个层次
15、为统一的、规范的、遵循数据仓库系统标准的数据标准层。数据贴源层可以继续为行内现有的一些报表系统或者分析系统提供数据,而数据标准层为数据仓库中的企业数据模型的落地扫清了道路,所以该存储区在整个EDW系统起到了一个承上启卜的关键作用。123.6 EDW存储区EDW存储区是面向主题的、集成的、面向企业的、最明细的数据存储,其内容是依据最终用户应用和分析需求来进行组织。数据存储区中的数据模型对标准层数据、基础整合数据、汇总数据和面向应用的集市数据按数据层次进行管理,每个数据层有自己的数据管理IR点。对于每个数据层次,再按主题进行分类组织。这样就可以有效的将银行企业的操作型数据、汇总型数据和分析型数据以
16、清晰的架构组织、管理起来,并相辅相成,数据层的内容相比促进发展,组成侬行完善的数据集合,为各种主题管理应用的构建提供良好的数据架构基础。123.7 业务应用业务应用是EDH1系统向业务用户提供应用功能支持,根据应用服务提供的形式和所采用的应用系统的不同,业务应用主要定义在以卜几个技术环境。数据集市:在业务应用乂中包含/应用系统中需要的应用集市、O1.-AP,静态报表等数据臾市。数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合.这些数据需要针对用户的快速访问和数据输出进行优化,优化的方式可以通过对数据结构进行汇总和索引。通过数据臾市可以保障EDW的而可用性、可扩展性和高性能。应用环
17、境:应用环境是为满足业务需要在数据EDW环境中配置的应用软件包。分析环境:数据分析环境为EDW的高端用户提供即时的数据分析功能等。报表环境:报表环境是丁来产生和发布静态报表的环境,包括:产生的冷态报表、O1.AP产生的报表、KP1.指标展现以及其他系统产生的报表。128用户环境用户环境是EDW系统最终向用户提供的某种应用服务的集合,主要有三种应用服务的表现形式:通用展现平台:通过此平台将报表、KP1.展现、灵活杳询、分析等多个应用集成到一个平台中,进行统一的展现和信息的管理,包括如:报表生命周期的管理等。数据分发环境:在数据分发的过程中应提供大容量数据批量分发的能力。给其他需要某个系统的数据提
18、供数据交换功能。报表分发环境:报表的分发应可以满足系统定义的安全性,如按照不同的用户类型、不同的组织进行分发,不同的用户和组织只能看到屈于自己的报表的数据,数据的分发将通过数据传输平台进行。123.9元数据触元数据管理是对数据信息的收集和发布的集成管理,数据信息包括:数据的业务含义和技术特性。数据仓库系统架构中的各个部分中都含仃元数据信息,应对其进行主动式管理,以保证它正确的定义、收集和使用。元数据是“美于数据的数据”。应包括文件结构定义,数据库字段名称,数据模型中的长度和标准,以及在域-域或域-报表对应关系中的计算和公式等内容。元数据管理的架构如下图所示,系统的最终架构应实现对元数据的集中的
19、管理方式:MaA38M*XetcMrca.cmvaxA.2aAA)I.3rR1.2.3.10系统安全性EDW系统中的数据和报表信息均为敏盛信息.因此必须采用适当的安全策略以保证其系统和数据的安全性。数据仓库系统的安全性应涵盖如下四个方面: 验证:系统应对用户进行访问控制,保证只有合法的用户才能进入到系统中: 授权:系统应根据用户角色对其进行授权,包括对数据的访问权限,对功能的使用权限等。 机密性:所有的敏感数据必须被严格控制,禁止未授权访问,并保陈其安全性。 一致性:数据和程序只能在授权模式下进行修改。针对上述6个方面,数据仓库分系统应按照以卜的6个方面的标准进行建设:应用层EDW应用系统是建
20、立在O1.AP软件平台的基础上,应用层应实现用户访问控制的功能,针对不同的用户访问不同的系统资源来保证整个应用系统的安全性控制,对于未来的数据仓库系统来说,应与统一门户平台整合,实现整体安全性管理的策略;数据库层只有被授权用户才能访问和修改数据库中的信息并且数据在传输过程中应对敏感信息进行加密处理来保证数据的安全。数据库管理员应按照角色对数据库用户进行划分,并且通过赋予角色权限的方式实现对用户安全性访问控制的管理,如:针对用户组或耽搁用户分配特定数据表访问权限。系统层系统应防止未授权访问和系统调用,及时进行系统安全补丁的更新。对于系统主机应采用服务涔加固的方法,来保证盛个系统的安全性。网络层网
21、络层安全是保证网络节点之间数据传递的安全性,以及网络环境不受恶意攻击。XX银行数据仓库环境建立在企业内部网络中,不同功能的服务器应部署在不同网段中,网段之间相互隔离,对网段之间的访问应通过防火墙并定义严格的访问控制策略,整个系统的网络环境应得到实时监控,对入侵进行检测和处理,并在发生入侵时通知系统管理员。物理层物理层安全保障物理设备(主机、路由器等)不受非法用户攻击。目前物理设备的安全性由运行中心负责。管理管理部分与上述的所有安全问题相关,对安全问即的管理必须由多个部门共同协作完成。管理层面包括:.安全资源:实现各种安全使用的资源,如:防火塔,入侵检测和处理设备,反病毒软件等:,安全策略和规划
22、:各种安全规则,组织和责任人; 突发事件处理:在发生安全威胁时的应急处理流程,包括:事件记录、时间报告制度等流程:.安全审计:对安全策略的审核和检查:.灾难恢夏计划:发生问题后的系统和数据恢复:1.3EDW逻辑架构.3.1逻辑架构框架1.1.1.1.e*1.*,BBHmu如上图所示的XX银行EDW的逻辑体系架构,这一架构是在联科可扩展的EIW系统框架的战础上,结合XX银行信息系统建设的实际情况而设计出来的多层、可扩展框架结构。架构的核心上包括源数据层、ET1.流程调度、数据平台层、数据集市层、应用服务层、访问控制层、用户层和数据消镀传输通道七个大部分,另外,元数据管理和安全管理也是系统必不可少
23、的部分,这2部分会涉及到所有核心层次。在明确定义各层之间的接口后,多层框架结构具有高度的扩展能力和方便的系统开发和维护性能,符合目前流行的多层应用结构,适合Ei)W系统多阶段、多乂次的应用特点.13.11源数据层【功能与作用】总行的各个业务系统为整个EDW系统提供原始数据支持,首先作为ET1.层的数据抽取源。【组成部分】目前总行的数据源包括XX银行的多个业务系统,主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类柒道系统等。I.3.I.2ET1.流程调度层【功能与作用】该乂为EIW数据流向的主要环节,E1.)W系统数据流动的流程调度核心乂,流程调度主要针对下面几个方面: ED
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 57页 银行 数据仓库 项目 方案 57
链接地址:https://www.desk33.com/p-1540127.html