数据仓库建设项目实施方案建议书V12.docx

数据仓库建设项目实施方案建议书V12株洲南车时代电气股份有限公司数据仓库建设规划项目方案建议书XX软件系统股份有限公司2015年03月第1章南车电气数据仓库建设项目介绍31.1. 南车电气数据仓库建设项目的背景31.2. 南车电气环境现状及需求分析41-2.1.项目目标.4第2章南车电气数据仓库建设解决方案详述62.1. 南车电气数据仓库建设整体方案说明62.1.1. 方案概述.62.1.2. 系统逻辑架构72.1.3. 系统硬件架构建议方案.82.1.4. 未来建设目标.92.2. 南车时代电气数据仓库平台建设122.2.1. 数据仓库建设原则.122.2.2. 数据仓库规范体系设计.142.2.3. BW数据仓库结构定义.172.2.4. 数据仓库管理标准及命名规范.202.3. 南车时代电气BW数据仓库优化方案302.4. 展现层迁移方案312.5. 主数据共享平台方案32第3章南车电气数据仓库建设项目实施方案343.1. 南车电气数据仓库系统实施计划343.11. 工作时间表(Itit)343.2. 以川计划381. 2.1.培训类型.39322. 培训课程.393.3. 容灾备份方案403.3.1. 备份策略的定义.413.3.2. 备份窗口的选择.423.3.3. 灾难恢复的策略.42第4章项目实施与管理提升方法444.1. 项目实施与管理提升方法444.2. XX在南车电气项目中提供的管理提升与服务内容444.3. XX管理提升与BI实施相结合的指导原则454.4. XX管理提升与BI实施相结合的方法与步骤464.4.1. 现状调研与企业问噩诊断.464.4.2. 未来业务流程与管理提升初步讨论464.4.3. 建立Bl原型系统474.4.4. 结合Bl迸行未来业务流程与管理提升全面讨论与蓝图确认474.4.5. 管理提升交付成果实例.47第5章项目管理与质量保证错误!未定义书签。5.1. 工作计划管理错误!未定义书签。5.2. 沟通管理错误!未定义书签。5.3. 争议协调升级程序错误!未定义书签。5.4. 项目质量操纵错误!未定义书签。5.5. 文档管理错误!未定义书签。5.6. 建议南车电气提供的保障措施错误!未定义书签。5.7. 验收标准及方案错误!未定义书签。1.1.1. 符合性.错误!未定义书签。1.1.2. 系统质量.错误!未定义书签。1.1.3. 交付文档.错误!未定义书签。第1章南车电气数据仓库建设项目介绍1.1. 南车电气数据仓库建设项目的背景南车时代电气始终坚持核心技术向有关产业延伸的进展战略，不断巩固在轨道交通领域的行业地位，着力提升在电气传动与操纵系统领域的专业地位，正树立起公司在电气传动与操纵系统领域国际化专业供应商的新形象。为挖掘信息化系统价值，提升内部管理手段,公司于20102011年启动并初步建立了南车时代电气综合分析系统。该系统使用了SAPBW与EP的技术平台,实现了部分经营指标及报表需求,且于2014年从V7.0升级到V7.4版本。为优化各类应用系统间的借口，提高系统的安全性与可保护性，公司于2014年启动了ESB技术平台的预研工作，确立了以普元公司的PrimetonESB为技术平台建设公司的数据总线，部分系统间接口已经实现与ESB的集成。1.2. 南车电气环境现状及需求分析公司为实现基于企业绩效管理的信息化系列重大需求，准备通过本项目做好数据仓库技术平台的规划及优化提升工作，确保数据仓库平台满足全面启动建设企业绩效管理系统的要求。本项目的工作任务包含数据仓库的建设规划、数据仓库的技术规范及性能优化、数据仓库与BOsEP的集成应用、数据仓库与ESB集成实现重要主数据的信息共享等四个方面。公司为实现企业绩效管理信息化的重大需求，籍由本项目做好数据仓库平台建设的规划，搭建起商务智能体系的整体技术架构并实现部分实例应用，满足全面启动企业绩效管理信息化的技术要求。同时,提出规范与优化提升既有的SAPBW数据仓库系统，使之成为企业商务智能平台中运行良好的关键一环。为熟悉决本公司现有重要数据分布管理、交叉共享，无法保障数据及时性与准确性的弊端，公司拟将SAPBW建设成为未来的数据集成与共享中心，能够满足建设公司ESB平台的数据服务要求，实现重要主数据的归集与共享，提升数据交互性能与系统安全性。实现BW系统的规划与优化，搭建并应用BW÷EP÷B0的技术平台，建立重要主数据的集中存储机制，与ESB集成实现与试点目标系统主数据的同步。前瞻性，既表达在BW软硬件平台规划与建设思路上要考虑未来五年的进展需求，也表达在BW的ETL部署、处理连、聚集、模型等数据仓库要素的设计规范上。1.2.L项目目标本期项目定位为规划奠基阶段，需要全面系统的构建南车电气未来企业核心数据仓库的基础架构，该基础架构要具有完整性，能满足本期项目的需求，同时也要具有灵活性与可拓展性，能够满足未来企业进展而不断变化的需求。综上所述我们关于本次项目目标概括如下：1 .以BW作为数据仓库建设进行未来的整体规划，使之覆盖5年内（含2015）企业级中心数据仓库的技术框架、业务对象设计等需求,且至少满足未来2-3年内南车电气核心数据仓库的具体使用情况，满足其建设标准及管理标准，提高可读性、可扩展性、可保护性。规划内容包含数据整合（ETL）层、数据服务层、数据展现（应用）层的软硬件技术平台与服务内容，制定数据仓库的设计规范。2 .优化SAPBW的软硬件环境，规范BW数据仓库的技术架构、对象设计与管理方式,重新梳理及构建原BW系统中设计不合理的部分（比如CUBE、Query等），提升BW的操作性能、优化Query等待时间,使之具备满足当前作为企业级中心数据仓库服务的条件。涉及的有关CUBE要紧有总帐行项目、应收、应付、成本、采购、库存、销售、考核指标等。3 .部署SAPBO集成EP作为新的数据展现（应用）层，将当前BW中的部分报表展现重构，以BO在原BWCUBE的基础上重新开发，形成SAPBW÷B0÷EP的商务智能技术平台结构，完成重要历史报表的迁移工作。4 .构建主数据共享平台，扩展数据仓库实现重要主数据归集与储存的业务应用，目前有物料、客户、供应商、人员、岗位、组织机构、制造BOMx订单BOM七类核心业务系统中的主数据需要汇合到BW数据仓库，通过ETL手段完成SAP与非SAP系统的主数据抽取同时在BW中建模，最终实现将数据仓库作为ESB中核心业务系统重要主数据的存储与共享中心，提供有关主数据的接口以供ESB系统调用，以此实现重要主数据的跨平台同步。第2章南车电气数据仓库建设解决方案详述2.1. 南车电气数据仓库建设整体方案说明2.1.1. 方案概述本期项目的专业定位是集团企业级核心数据仓库的建设，数据仓库架构的优化及规范体系的建立。XX软件系统有限公司以ROK投资回报）为目标，以科技为手段，为南车电气未来的公司绩效管控与决策支持服务构建强壮的基础。XX公司通过结合中国本地的人力资源与地利之先，综合国内外的先进管理思想与应用实践，愿为南车电气的事业锦上添花。针对上一章节中我们所懂得归纳的南车电气本期项目的需求，本期项目是南车电气信息系统建设的核心部分，整合后的数据仓库将作为将来南车电气整个IT环境中的数据基础平台，建设完成后将为未来的南车电气企业绩效管理信息化系统做准备。数据仓库系统的建设有其顺序性，且需要大量时间。数据仓库系统建设过程中，将发现原有的营运系统在作业流程、数据质量、数据标准化的问题，基于此发现，将有助于对营运系统的缺陷进行修复。BI系统的建设是循序渐进不断完善的，是跟业务一起进展的。基于上述办法，数据仓库项目的实施，当一期建设完成后，二期、三期将建设更为全面的企业各系统数据模型，增加新的源数据系统，扩展与完善数据主题域，新建更多主题数据集市，涵盖整个南车电气的业务范围。以SAPBW数据仓库平台为基础，构建未来企业级中心数据仓库，通过SAPBO平台重新进行报表前端展现层的开发，最后通过EP平台公布，形成SAPBW+B0+EP的商务智能技术平台结构。2.1.2. 系统逻辑架构SAP数据源ECC企业的原始业务层预算系统非SAP 数据源PLMCRM其他：:二一I企业系统数据整理层移动应用可视化报衰 和仪表盘 Dashboard即席查询 OLAP分析 Web Voyaqer格式化报衰 Crystal ReportSAP BOF台企业展现（应用）层系统逻辑架构示意图源系统说明本次项目的要紧数据来源为SAP系统与非SAP系统数据处理层数据抽取层的目的是实现将数据源的数据通过抽取，转换后加载到数据管理层中，同时在这个过程中，需要进行任务的调度操纵，任务出错处理与数据质量的检查。南车电气的项目数据要紧通过BW中的ETL技术手段来实现抽取与汇总：1 ）SAP数据源通过BW标准的数据抽取方式；2 ）非SAP系统建立数据库连接数据源（Orade）,同时考虑增量抽取机制。数据管理层数据管理层以业务需求为驱动，根据业务不一致的主题，建立多个主题模型。建模以维度建模方法论为指导，结合实际需求，考虑模型的灵活性，扩展性与性能，为前端展现提供一致、高效的数据。报表平台层报表平台使用业界最为优秀的SAPBO产品，可实现固定格式报表,动态报表,移动展现等多种报表。报表展现层前端展现SAPEP门户集成BO报表来实现。2.1.3. 系统硬件架构建议方案本次项目至少需要有两套环境：开发环境与生产环境，从逻辑上，两套环境务必分开，权限上务必进行区分。每套环境配置相同数量的服务器，安装相同的操作系统与应用软件，保证环境的一致性。开发的资源配置可低于生产环境。由于未来BW将作为南车核心数据仓库使用,众多核心的业务系统中的数据都需要抽取到BW数据库中，我们调研了一部分业务系统的数据总量及增量如下表所示系统名称当前数据量月增量数据SAPERP2.1T40-50GSAPCRM115.77G34GPLM710G25-30G供应商门户（电气加国变）52.3G约0.8G供应商门户（风电）19.5G约0.1G供应商门户（电动）39.6G约40M费用管理系统35GIG1.5G投资管理系统46G预算系统5.88G0.1G上述系统只是部分核心业务系统，其当前的数据总量为3个多T,未来5年的数据增量保守估计为610个T。而BW系统的数据基本上为源系统数据量的1.52倍，也就是说在数据仓库服务器的存储设备上至少要准备20T以上才能满足未来5年内的业务需求。目前南车BW生产环境的数据库服务器存储空间较小，才不到2个T,而且已经使用了80%左右，因此我们建议在服务器存储空间上需要有较大的配置增加。服务器种类VCPU（虚拟CPU）内存硬盘空间性能问题简述BW开发服务器（应用+数据库）420GC:50G;D:1500G操作响应慢EP开发服务器420GC:80G;D:300G操作响应慢BW生产服务器1230GC:100G,D:300G数据查询等待时间长BW生产数据库服务器1230GC:100G,D:1800G,D:400G数据查询等待时间长EP生产服务器1230GU100G,D:180OGD:40OG数据查询等待时间长由上表中我们能够看到几乎每一台服务器都有不一致程度的性能问题，但光看配置感受在CPU与内存上并没有太大问题,因此我们的做法是在项目启动之后,将会派遣资深的SAPBASIS顾问关于有关系统的内存使用率、CPU使用情况、服务器资源分配是否合理等等情况进行评估，找准产生性能问题的原因之后，我们再进行有关的BW软硬件配置调整。2.1.4. 未来建设目标第一阶段目标：1 .数据获取：将所有源系统数据通过ETL工具与BW数据抽取汇总到数据仓库；搭建智慧采集平台以录入的方式对业务系统中无法抽取的指标数据进行统一上报，使其汇总到数据仓库的接口表中存放（重大任务、重点工作的进度、数据调整也将通过智慧采集平台来调整并储存到数据仓库之中）。2 .指标管理：进行指标管理系统的初步建设，该系统要紧功能为设置指标阀值、指标权重、指标字典、梳理指标归口关系，是一个管理保护整个指标体系的强大系统；由于涉及的功能较为复杂，我们会逐步完善充实该系统，本期的目标是该系统的初步建设，要紧开发指标阀值、指标权重保护功能。3 .指标展现：我们在XX智慧决策平台上实现多个事业部与产业板块的绩效数据汇总与BSC指标展现，同时还包含财务、运营、人事等方面的主题分析，要紧内容为各类日常使用报表、管理驾驶舱与绩效考核重大任务。阶段性成果：这一阶段的工作重点是XX智慧采集平台、XX智慧决策平台的建立与这两个平台同南车时代电气原有的企业级数据仓库、报表平台相整合，同时做好数据仓库的数据梳理工作。当第一阶段顺利完成之后，将会形成一套完整的绩效管理系统与面向事业部及集团的BI系统，届时所有有关绩效考核的数据都能够顺利的进入数据仓库中，并进行正确的合并汇总。同时，对集团与事业部BI用户实现严格的权限划分，使不一致管辖权限的用户看到不一致的数据，为今后系统建设及扩展打下坚实基础。第二阶段目标：4 .深化主题：对一期已经开发的主题分析、绩效指标进行更深入分析与展现，指标的监控及考核从一期的二级对象深入到三级对象中，各个BCS战略层面的进一步深化。5 .提升指标管理：完善指标管理系统的功能，在第二阶段中指标字典、指标归口关系设定等功能将陆续开发，最终使得整个指标管理平台能够完全满足整个系统指标管理保护的需要，使得未来的开发保护成本大大降低。6 .完善BI平台建设：将一期已经得到的成果结合平衡计分卡的理念，将企业四个维度（财务成果、内部管理、市场与客户、学习与进展）的关键指标进行多角度探索分析；同时从一期的指标展现提升为数据分析，多维分析、预测分析等商务智能的王牌分析全面展开，为高层决策层与知识型管理者提供科学的决策根据。阶段性成果：在这一阶段中，要紧是对一期已经建设完成的较为全面的绩效管理系统的全面深化，包含预测分析、多维分析、各个主题分析的深入与系统功能的完善。在第一阶段，我们看到的是绩效指标的展现、监控，现在我们将能够根据更全面的数据定义各个单位个性化的指标，领导能够从指标的分析、预测，深入熟悉到每一个环节的问题，熟悉问题的原因，从好更好的帮助管理层熟悉如何让企业运作的更好。考虑到未来可能有的系统扩展与SAPERP故障，XX智慧采集平台依旧在整个架构中扮演重要的角色，但是手工上报数据与自动上报数据将通过数据标签严格区分，以便事业部与集团清晰数据来源。第三阶段：随着数据仓库中越来越丰富的数据，南车电气已经完全具备了大数据分析的能力，如今能够引入先进的数据分析软件（如SAS）等为集团BI系统进行更多的挖掘与分析，届时将实现一些高级别数据分析的需求与结果。比如，我们能够从风机运行时各部件传感器传回的大量秒级数据之中分析得到为什么这个型号的风机故障率会高？故障要紧集中在哪几个点？当出现怎么样的数据参数波动时，风机的哪个部件有可能将会出问题？从而做到设备的故障预测，减少设备的非计划性停机保护，增加客户的经济效益，提升客户的满意度。同时，随着技术的进展与实时数据及性能的需求，能够把原先的数据仓库替换成HANA产品，HANA强大的数据处理能力与系统实时性数据的展现能够通过关键指标体系，展示企业实时的运营状态，将采集到的数据形象化、直观化、具体化、时效化。让管理层随时能够观察到企业的运转状态，即使得到分析预测结果来辅助自己的决策，为战略层与管理层提供“一站式”的决策支持。在这个阶段中，我们要更强化BI系统数据仓库架构，通过从业务系统抽取更多的明细数据以使集团BI系统能够分析到凭证级粒度,在这个基础之上我们能够为各个产业板块开发定制化的DataMarte这一阶段工作重点将会是如何做好HANA平台的替换与如何运用数据分析软件做到BI系统的全面预测、深入的数据分析及多元化的报表展现。最终成果：南车时代电气BI系统通过整合各个事业部、分子公司、产业板块业务数据，将集团各层级管理人员关心的业务指标以驾驶舱、分析报表等形式通过XX智慧决策平台的个性化展现，BI战略管理层通过这个平台能够一目了然地看清企业全貌与业务全貌，让企业管理者从各个方面多个个维度来熟悉自己的企业，为集团层面、事业部层面与分子公司管理层提供高效数据分析与决策支持。与此同时，通过大数据、数据分析等应用，逐步形成针对各产业板块的个性化的数据挖掘、数据预测，以提高对市场的洞察力、提升客户满意度、促进技术创新，最终达成提升企业市场竞争力，为企业制造更多的经济效益与社会效益。系统商业智能分析平台PLM畿ERP系统CRM"预算系统战略环 境分析战略分析经营预测决策分析运营分析KPim 效分析研发分析采购分析市场分析销售分析财务分析人力资源生产分析物流分析客户分析质量分忻於叱/7户管理数据支撑万维网.数据仓库.主数据.手工据 会采集 建设 平台 上艮平台本期项目范围LqvqI 3 正发生什么？Level 5 格来会发生什么？可以 :巡曲三三等名多唯分析可以用：> gcttJg各种度表/仪表台记分卡等Level 4将姓营活动控制君正确路径上来可以用:皿木婕目渡频信等工Level 1发生了什么？Level 2 为什么发生？KPl分析指导经营 活动可以用：趋势芨测分析俪般豌政感性分折: as*过程监拄过程统计控停婚.I III Il Il Ia.经营监控智能化程度2.2. 南车时代电气数据仓库平台建设2.2.1. 数据仓库建设原则数据仓库系统的建设不是一蹴而就的，是一个渐进与长期的过程，因此，XX公司在南车电气数据仓库建设项目方案规划过程中，始终贯穿了下列原则： 先进性：使用业界领先的管理思想与技术手段构建数据仓库，保证信息化体系结构与数据仓库解决方案在业界处于领先地位； 开放性：数据仓库系统模型使用国际统一标准进行建模，集成SAPECC各模块数据，这些数据可供管理人员共同使用，支持多种数据源与第三方的分析与报告工具，支持数据的抽取与数据的分析，如能够提供对各类数据业务含义进行解释与方便的查询，为开发人员提供高效的外部接口。 灵活性：数据仓库系统的模型需要能够依业务变化而调整，南车电气数据仓库系统从不一致的角度对整个南车电气的生产情况与销售情况进行多维度、多角度、多指标的不一致层次的分析，这样就确保了随着业务的进展，能够很方便的在此基础上扩充更多的应用、主题，用户能够灵活地根据实际需要定制不一致层次的分析。 持续性：数据仓库系统提供了一个完善的数据平台，储存了大量的历史数据，具备极佳的扩展性，能够为今后可能出现的管理、决策支持系统提供数据支持。 容灾性：数据仓库系统的3个重要元件，包含ODS、EDWxDM的系统平台架设于不一致的数据库实例，此种设计确保系统因单个系统发生灾害时，减少系统恢复的时间，降低相应的缺失。数聚商业智能概念性体系架构信息用户分析主题域分析技术数据仓底数据资源2.2.2. 数据仓库规范体系设计2.2.2.1 数据仓库目标分析数据的存储与管理是企业级数据仓库的核心内容之一，企业级数据仓库存储全面数据及必要的汇总数据,支持整个企业的业务分析与决策。现有业务系统的数据被抽取、清理，并有效地集成到数据仓库中，并按照主题进行重新组织。数据仓库设计时应全面考虑，实施时能够先按照需求的轻重缓急选择部分业务主题，然后逐步扩展到涵盖全部业务。数据仓库管理的数据包含了集成之后的多年历史数据，数据量是巨大的。数据应被合理的规划、组织、存储，分片与索引，保证数据的管理与使用的高效性。按照企业建立数据"唯一事实的要求，数据仓库应为各级业务人员提供一致的信息视图。因而，整个企业应共享统一的数据存储模型。与这样的要求相匹配，企业数据仓库使用满足第三范式的规范化建模。规范化建模是一个剔除冗余并应用业务规则的过程，它的目的是为了更好的懂得与表达存在于数据元素之间的依靠性与参与性。规范化的关系型数据通常能够给出精确与无歧异的回答。规范化建模的目的是建立企业级数据仓库的逻辑数据模型。逻辑数据模型是把业务需求，特别是对数据的需求，用规范化的ER模型与文字进行描述。它反映的是业务逻辑，因此它是数据库中立、技术无关的；同时，它应能涵盖业务需求的各方面，回答有关业务的所有合理问题。逻辑数据模型标识出业务管理领域中涉及的主题、实体、属性，及它们之间的关系。主题集中反映某方面业务内容，通常是同类或者关联关系较为紧密的实体的集合。实体是任何能够区分的人、地点、情况、事件或者概念，信息围绕它来储存。属性是实体的特性或者数据字段。对数据仓库需求进行分解，按业务主题进行组织，将业务主题有关的数据组织成主题域，并对各指标进行分析。数据仓库目标分析后形成数据仓库目标说明书，其中全面说明包含的业务主题、业务主题域等内容。数据模型是数据仓库系统的关键部分，开发数据模型除了要描述企业现有的业务数据架构，还要满足企业未来业务扩展的需要，通过整体数据架构的搭建能够实现下列三个目标：数据整合，建立业务数据构架，找出业务项目的相互关系，描绘企业的各个业务项目在现实中是如何被组合在一起的，创建出企业业务的整体性视图，基于业务数据架构创建企业数据模型，能够较好地保证数据模型的稳固性与有效性。懂得业务，不一致部门用户对数据有着不一致的懂得，作为企业级的决策支持系统务必通过一定的手段把这些不一致的懂得定义出来，支持性元数据的使用就是解决这一问题的要紧手段。数据分析，业务上经常遇到同一指标在不一致报表里得到的值不一致，有些不一致是为人所知的，有些不一致却没有人清晰，通过对数据的分析与熟悉，使不一致变得明显而可操作，是数据模型建立的要紧目标之一。通过元数据的使用，记录数据的加工规则及使用环境，能够让使用者清晰地明白差异的原因，从而正确使用这些数据。操纵好建模范围与周期将直接关系到项目的进展，最好的方法是利用已有的各类业务需求、报表需求及查询需求，借助建模人员本身的业务经验及与各部门业务人员的沟通，将获得的需求片断有机地组织成一个完整的目标区域，在区域范围内开展建模工作。2.2.2.2 数据仓库逻辑模型数据仓库逻辑模型设计要进行的工作要紧有：分析主题域，确定当前要装载的主题；确定粒度层次划分；确定数据分割策略；关系模式定义；记录系统定义。逻辑模型设计的成果是，对每个当前要装载的主题的逻辑实现进行定义，并将有关内容记录在数据仓库的元数据中，包含：(1)适当的粒度划分；(2)合理的数据分割策略；(3)适当的表划分；(4)定义合适的数据来源等。2.2.23数据仓库物理模型数据仓库物理模型所做的工作是确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配。确定数据仓库实现的物理模型，要求设计人员务必做到下列几方面：要全面熟悉所选用的数据库管理系统，特别是存储结构与存取方法。熟悉数据环境、数据的使用频度、使用方式、数据规模与响应时间要求等，这些是对时间与空间效率进行平衡与优化的重要根据。熟悉外部存储设备的特性，如分块原则，块大小的规定，设备的I/O特性等。2.2.3. BW数据仓库结构定义2.2.3.1 数据抽取层数据抽取层是面向业务主题划分的一组数据模型，用于从每个源系统中抽取必需的数据。该层数据对接BW底层与其他业务系统数据，同时仅对该层数据进行基本的清理，以保留业务系统原始数据。BW系统使用信息包完成对业务源系统的抽取工作，要紧抽取SAPECC.PLM、报价系统、预算系统等核心系统与外部文本的数据，根据的具体情况，能够将各业务系统数据源信息包分为下列几类： 系统历史交易数据初始化信息包； 系统增量交易数据抽取信息包； 系统全量交易数据抽取信息包。为了将数据从各源系统顺利抽取至BW系统，需要进行下列工作： 配置BW与各源系统的接口连接； 复制各业务源系统的数据源； 创建各数据源的初始化、全量、增量信息包； SAPECC系统LO数据源的初始化,删除，填充设置表； 执行信息包，装载数据至PSA; 创建信息包到数据抽取层DSO转换及DTP; 将数据从PSA加载至数据抽取层DSOe2.23.2数据逻辑层数据合并层是面向客户业务操作将抽取层数据进行初步的清洗与整理，将数据抽取层中数据按照业务规则集成、整合的过程，在此模型上执行粒度较细的查询分析。该层模型的集成、整合工作要紧分为下列两大类： 不一致业务系统间模型合并数据抽取层中来自不一致业务系统的模型数据，按照业务规则创建模型转换，进行数据合并。该过程要注意来自异构业务系统的数据格式、关联关系。根据实际需要新增数据映射关系表，以保证数据合并。 同一业务系统内模型合并数据抽取层中来自同一业务系统的模型数据，按照业务内容及逻辑规则创建模型转换，进行数据合并。以上合并过程，最终都通过数据传输流程（DTP）进行数据加载，将数据抽取层转换、力口载至数据逻辑层，DTP默认加载方式为增量加载。223.3 数据分析层数据分析层是面向高层战略分析将数据合并层的业务数据统一汇总到数据分析层，提供综合决策数据支撑。该层模型的设计原则是以最终分析为准，根据分析规则创建转换，将数据指标按照多维度组织，同时衍生出计算后分析指标，通过数据传输流程（DTP）将数据加载至数据分析层。223.4 ETL过程BW系统集成了对各类源系统进行数据抽取、数据转换及加载到数据仓库的各类功能，并提供简单的图形化操作界面，能够通过简单的拖动实现数据源的建立、数据的抽取，能够定义数据转换的规则及加载方式、时间等。上图即为BW数据仓库ETL的流程,使用信息包(InfOPaCkage)将数据从源系统抽取至BW底层PSA,通过一系列的转换(Transformation)与数据传输流程(DTP)将PSA中数据逐层加载至数据抽取层、数据合并层及分析层相应的模型中。223.5 .5数据存储BW数据仓库中，数据存储使用的分层设计方法，即上文所划分的数据抽取层、数据合并层、数据分析层。在这样的设计中，数据是真正物理存储于各层模型中。数据在流经各层时，从性能与准确性方面考虑，使用全量或者增量。223.6 .6分析层数据分析层提供给商务用户一个专业的数据视图，提供多样展示数据必需的功能。选择分析工具集来满足数据展示的需求信息。这个工具的具体信息在软件与硬件层里全面的描述。属性描述属性描述要紧功能此层给出了支持商务用户信息需求的功能内在关系数据存储层数据处理安全与保密系统管理软件与硬件元数据连接223.7 .7主数据按照需求应用的需要，主数据首先进入到抽取层DSO中。抽取层、合并层使用DSO存放数据，分析层通常使用DSO存放数据，但亦有使用特性存放主数据，如与时间有关的主数据。223.8 交易数据交易数据的DSO中，务必记录每笔业务数据的业务产生的时间戳或者者日期，且需要明细到凭证级。Cube中仅存放汇总后的业务数据且此类数据是已经通过逻辑处理的。2.2.4. 数据仓库管理标准及命名规范1 .2.4.1命名规则设计原则层次常用名作用4OutboundDataLayer(ODL)数据集市接口层通过OPenHub、BAPLRFC等方式向系统外的应用程序提供数据的接口层。3ReportingDataLayer(RDL)报表层报表层,要紧由立方体、多信息提供者、虚拟信息提供者构成。以业务需求与性能为首要考虑因素进行最终输出模型维度设计。2ConsolidationDataLayer(CDL)逻辑合并层逻辑处理层,实现报表逻辑，储存逻辑处理完的数据。1InboundDataLayer(IDL)原始数据层全量储存来自数据源的数据，是以后若干年所有报表需求的数据基础，保证一期上线以后,后面若干年对数据的需求不可能导致ERP停机抽取。此层蜥未通过转换与数据粒度处理，全部使用覆盖模式的ODS构成,部分业务模块能够使用写优化ODS。OPersistentStagingArea(PSA)缓存层数据缓存层，与数据源对应，占用BW数据库磁盘空间最大比例，每三到六个月定期清理一次。2 .2.4.2BW系统开发对象通用编码2.1.1.1.1 <SystemID><SystemID>,代表源系统，按下列规范编码。全称适用于信息区域的命名，缩写适用于其他开发对象的命名。SAP系统按O9数字顺序编码：全称缩写含义SDl1SDl(SAPERP)SD22SD2(SAPCRM)下列Il质序编码下列顺序编码非SAP系统按AZ字母顺序编码：2.1.1.1.2 <BusinessArea><BusinessArea>,根据南车管理现状，代表经营中心,按下列规范编码：全称之经营中心全称或者者惯用称呼的每个字的拼音首字母。缩写为下列字母编码。全称适用于信息区域的命名，缩写适用于其他开发对象的命名。全称缩写含义NCJT_（注：下划线）南车集团（适用于集团层面或者多经营中心，无法具体到某个经营中心的命名）FYGLXTA费用管理系统YSXTB预算系统CDE下列顺序编码2.1.1.1.3 <LAYERID><LAYERID>,代表模型层次，按下列规范编码。全称适用于信息区域的命名，缩写适用于其他开发对象的命名。全称缩写含义IDLI原始辘层CDLC逻辑合并层RDLR报表层ODL0数据集市接口层IBJB特征信息区域2.1.1.1.4 <FunctionArea><FunctionArea>,代表数据主题，按下列规范编码。无缩写及全称的区分。除了下列常用缩写，其他的内容能够根据缩写决定，并及时更新到该规范中。命名（主类）命名（子类）主题含义FI财务（含财务通用，或者无法归集到子类的）AP应付AR应收CO三三i+GL总账PA盈利分析SD销售及分销（含销售通用，或者无法归集到子类的）SO订单PO采购单DN发货单SP装运单BL发票MM库存PP生产3 .2.4.3南车BW系统开发对象命名规范3.1.1.1.1 InfoArea4 .最多30个字符。5 .以Z_SINOCHEM_开头。6 .第一层。注：此层已建立，无需重建。Z_SINOCHEM_LAYERED_DESIGNLSA模型设计7 .第二层：根据模型架构层次创建。注：此层已建立，无需重建。Z_SINOCHEM_LAYERDL原始数据层Z_SIN0CHEM_LAYER_CDL逻辑合并层Z_SIN0CHEM_LAYER_RDL报表层Z_SIN0CHEM_LAYER_0DL数据集市接口层Z_SIN0CHEM_LAYERJBJ椅正信息区域8 .第三层及往下层，分IDL,CDL及RDL,这两种情况，适用不一致的命名规范。注：从此层开始，按照编码规范与项目需求,进行创建。-如为IDL层i. 第三层首先按模型层次及源系统创建，命名规范是：Z_SINOCHEM_LAYER_<LAYERID>,<SystemID><LAYERID>参见3.2.423。<SystemID>参见3.2.4.2.1o三0:Z,SINOCHEM_LAYERJDL_SD1集团SDl原始数据层Z_SINOCHEM_LAYERJDL_FILE各类文本ii. 除文本之外的第四层，根据需要按照数据主题域区分，BP<FunctionArea>oZ_SINOCHEM_LAYER_<LAYERID>_<SystemID>_<FunctionArea><FunctionArea>见3.2.4.2.4oZ_SINOCHEM_LAYERJDL_SD1_SDzSinochemlayeridlktdbppiii. 文本向下第四及第五层，根据需要，首先按照经营中心，然后按照主题域区分。第四层，编码规范如下：Z_SINOCHEM_LAYER_<LAYERID>_<SystemID>.<BusinessArea>< BusinessArea>见3.2.4.2.2o示例：Z_SINOCHEM_LAYERJDL_FILE_SYZXz_sinochem_layerjdl_file_zhjt第五层，编码规范如下：Z_SINOCHEM_LAYER_<LAYERID>_<SystemID>.<BusinessArea>_<FunctionArea>< FunctionArea>JB3.2.4.2.40< BusinessArea>见3.2.4.2.2示例：Z_SINOCHEM_LAYERJDL_FILE_SYZX_YZZ_SINOCHEM_LAYERJDL_FILE_ZHJT_YS< CDL与RDL层i. 首先按经营中心创建，命名规范是：Z_SINOCHEM_LAYER_<LAYERID>,<BusinessArea><LAYERID>参见3.2.4.2.3o<BusinessArea>见3.2.4.2.20魂：Z,SINOCHEM_LAYER_CDL_ZHJTZ.SINOCHEM_LAYER_CDL_SYZXZ_SINOCHEM_LAYER_CDL_ZHGJii. CDL与RDL层，继续下分时，按主题域创建，命名规范是：< Z_SINOCHEM_LAYER_<LAYERID>-<BusinessArea>_<FunctionArea>< 1.AYERID>参见3.2.4.2.3o< BusinessArea>见324.2.2。< FunctionArea>见3.2.4.2.4o示例：Z,SINOCHEM_LAYER_CDL_XTGS_FIZ_SINOCHEM_LAYER_CDL_HFZX_SD2.2.