产品数据分析系统用户手册.docx

产品数据分析系统用户手册V1.O1系统介绍综合资源数据分析系统基于先进的E1.技术，采用B/S架构，包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法，使用人员还可以根据需要，自定义指标、维度、历史数据范围等,以多种直观、灵活的方式展现。实现短信、彩信、手机上网等重点业务端到端的质量分析；实现网络隐患的积极发现与溯源；实现多专业的平常分析和跨专业的网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产和优化方案制定。综合资源数据分析系统面向维护、面向质量、面向经营，通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内的各层面系统的信息资源，通过对信息深加工和智能化分析挖掘，提供“可视、可分析、可溯源”的能力。打通与BoSS系统接口，结合BSS数据进行跨域分析，解决网络资源的精确投放问题；综合资源数据分析系统提供灵活自定义功能实现多专业的平常分析和跨专业的专题分析，提高运营维护效率，同时也大大减轻了一线人员的压力。2系统设计2.1 系统逻辑架构Pig(DataFlow)Hive(SQ1.)MapReducefJobSChedUling/ExecutionSystem)Hbase(ColumnDb)HDFS(HadpDistributedFileSystem)><8(SefiaEtiom云计算基于高效的虚拟计算资源，应用程序，以灵活安全的方式达成快速扩展和缩减的效果，从而交付高品质服务。业务以及客户服务以相对简化的方式交付，这将大大推动立异和高效决议计划。因此综合资源数据分析系统也采用基于云计算的技术架构，采用了服务器池、存储池、网络及安全池架构虚拟化结构。2.2 系统逻辑数据模型综合资源数据分析系统逻辑数据模型划分为五个主题域： 客户主题域：描述各类参与人（个人、集团、团队等）在中国移动业务活动所处角色的各类信息，重要涉及客户、客户性能； 服务主题域：描述中国移动向客户提供的重要服务，重要涉及服务、服务性能； 资源主题域：资源是移动公司拥有的为客户提供服务的所有载体，重要涉及资源、资源性能; 公共主题域：重要涉及基本类型、时间、位置、性能等等; 公司效能主题域：公司效能主题域重要刻画公司内部资源的生产效率，涉及网络的效率和运维人员工作的效率等等;各主题域之间的关系如下错误!未找到引用源。所示:2.3 系统模型结构综合资源数据分析系统服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据的市场相关人员，实现匹配网络资源与业务发展，发现网络短板，优化客户感知,提高运营维护效率的目的，为公司运营决策和维护优化提供完整、及时、准确、科学的信息支撑，从而保障网络收益最大化，保持竞争优势。网络综合资源数据分析系统涵盖4大专业，3大网络和8大规模业务，聚焦网络问题，对问题进行层进实溯源分析，实现网络隐患的积极发现与溯源；重点实现语音、短信、彩信、WAPoCMNET和手机报的端到端分析；实现网络概览、网络运营分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。3实现的功能3.1 元数据管理3.1.1 元数据基本功能本章节对元数据管理模块基本功能做出规定和描述，重要涉及元数据基本维护、元数据变更管理、元数据查询、元数据记录、元数据质量管理和元数据权限管理。元数据的基本维护元数据维护提供对元数据的增长、删除和修改等基本操作。对于元数据的增量维护，规定能保存历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向综合资源数据分析系统的其它模块提供元数据维护接口。311.2元数据变更管理元数据变更管理涉及变更告知和版本管理两个部分。变更告知是当元数据发生改变时，系统自动发送信息（邮件、短信）给订阅用户。用户可以积极订阅自己关心的元数据，帮助了解与自身工作相关的业务系统变更情况，提高工作的积极性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。规定的基本功能是可以显示同一实体的元数据的修改历史。此外还提供版本差异分析和版本变更分析等。并且可以进行单个元数据版本的恢复。3.1 1.3元数据查询对元数据库中的元数据基本信息进行查询的功能,通过该功能可以查询数据库表、维表、指标、过程及参与的输入输出实体信息，以及其它纳入管理的实体基本信息，查询的信息按解决的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能规定支持对历史版本信息的查询，以了解具体实体的历史变更情况。3.11.4元数据记录元数据记录是指用户可以按不同类别进行元数据个数的记录。方便用户全面了解元数据管理模块中的元数据分布，该记录功能可以按元数据类型、元数据创建者和元数据的版本号来进行记录。3.11.5元数据质量管理元数据管理模块应具有对元数据自身质量进行检查的功能。元数据质量检查包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称反复性、元数据关键属性的填充率和元数据关键属性值的唯一性。对于以上检查结果，元数据管理模块可生成具体的检查报告，并可以支持相关人员对检查报告的检索和查找，可以把指定的检查报告导出成Excel、PPT等更易于阅读的文档。元数据一致性检查一致性检查重要是指从运营分析系统中抽取元数据，并与元数据库的相应信息进行比较，及时发现运营分析系统的应用变更，保证元数据的及时更新。一致性检查涉及两种方法：自动检查和人工检查。元数据关系健全性检查在运营分析系统元数据库中，除个别类型元数据之外，各类元数据之间都有着千丝万缕的联系，并且互相间的关联关系需要保持一致，不应出现空链或者错链的情况（即存在外键或链接，但所链接的内容不存在或错误）；运营分析系统各个子系统内部的元数据之间的关联也要保持一致；同时，子系统之间的元数据关联也要保持一致（不能出现某一个系统引用另一个系统中出现的元数据对象，却在另一个系统中找不到这个对象的情况）。元数据管理模块通过元数据的这些关系描述了运营分析系统的数据流向、过程依赖和业务承载等各种内在的规律。元数据关系是否健全直接影响到维护人员的问题判断和解决结果，直接影响着开发者对数据流向的分析和判断，因此，元数据管理模块必须在元数据的关联关系健全性方面作好保障检查工作。对于元数据关系健全性检查工作，可以从以下几个方面进行：数据解决关系检查数据解决关系是数据实体和数据解决过程之间的关系。数据解决关系检查是从元数据库中找出缺少应有数据解决关系的数据实体和数据解决过程。例如，找出没有与任何数据解决过程建立数据解决关系的数据实体和找出没有与数据实体建立数据输入输出关系的数据解决过程。上下级关系检查用户甘当不妹角色甘龙½s日用户坦全部用户列我德丛百遗律夕管理员SF«Fr-al¾I'C''.ifi|导入AD用户|-r用户代号姓名EMM电话号码,I200277口算耒300086.2ioHi除$600036三SS生,S00082票着演&200458孳召8t400050»Sft2005659¢18Ii300339禁汉文S803009祭港8600045禁丽晔300709期酒生,.300892鬃秋水$400001平少的S392003禁献奂田400011蔡特复(3OO72国300431蔡卫雷330261禁文胜率200448禁小球国200039荔秀有700050禁湾殄S690168期古红软箔_»史壁I»-720010彝0上下级关系是在元数据库中对运营分析系统实体进行分级管理所形成的元数据关系，例如将指标按业务主题和业务子主题进行分级管理。上下级关系检查是在元数据库中找出存在不合理上下级关系的实体，例如找出没有与任何业务主体建立关系的指标。×1组合关系检查与选择用户组成员-网页对话框选择示例成员用户列表用尸蛆成员200277白振荣3300(386包穗雄二3200110卜远珍600036蔡昌琼500082蔡春洪200458蔡春梅400050蔡福良200565蔡高臊300339蔡汉文803009蔡洁600045蔡丽婵300709蔡梅生300892蔡秋水二组合关系是运营分析系统实体之间的整体和部分关系,例如数据库表和字段之间的关系。组合关系检查时在元数据库中找出存在不合理组合关系的元数据，例如找出没有与任何数据库表建立关系的字段。元数据属性检查元数据属性检查是对元数据库中实体属性具体信息方面的检查,涉及元数据属性填充率检查、元数据名称反复性检查和元数据关键属性值的唯一性检查等。对于元数据属性填充率检查,省公司可以根据自己的建设情况,抽样检查部分重要属性,原则上必须涵盖实体的关键属性。3.11.6元数据权限管理元数据模块的权限管理负责元数据管理功能的权限分派、审批以及访问日记记录，实现对元数据管理模块的数据访问和功能的使用进行有效监控。元数据管理模块的权限管理工作应纳入综合资源数据分析系统中统一管理。3.1.2元数据分析功能本节具体描述了综合资源数据分析系统元数据管理模块功能层的各个分析功能。本章节对元数据管理模块分析功能做出规定和描述，重要涉及元数据血统分析、元数据影响分析、数据映射分析、差异分析和实体关联分析。3.121 血统分析血缘分析（也称血统分析）是指从某一实体出发，往回追溯其解决过程，直到综合资源数据分析系统的数据源接口采集层。对于不同类型的实体，其涉及的转换过程也许有不同类型，如：对于底层仓库实体，涉及的是ET1.解决过程；而对于仓库汇总表，也许既涉及ET1.解决过程，又涉及仓库汇总解决过程；而对于指标，则除了上面的解决过程，还涉及指标生成的解决过程。数据源接口实体由源系统提供，作为综合资源数据分析系统的数据输入，其它的数据实体都通过了一个或多个不同类型的解决过程。血缘分析正是提供了这样一种功能，可以让使用者根据需要了解不同的解决过程，每个解决过程具体做什么，需要什么样的输入，又产生什么样的输出。为实现血缘分析，对于任何指定的实体，一方面获得该实体的所有前驱实体，然后对这些前驱实体递归地获得各自的前驱实体，结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。血缘分析应可以以图形的方式展现所有实体和解决过程。3.122 影响分析影响分析是指从某一实体出发，寻找依赖该实体的解决过程实体或其他实体。假如需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。影响分析应可以以图形的方式展现所有实体和关联关系。3.123 数据映射分析用户可以查看数据解决程序内部的映射关系，了解数据加工过程的细节。以图形展现数据的解决过程。3.124 差异分析实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，涉及名字、属性及数据血缘和对系统其他部分影响的差异等。3.125 实体关联分析实体关联分析是从某一实体关联的其它实体和其参与的解决过程两个角度来查看具体数据的使用情况，形成一张实体和所参与解决过程的网络，从而进一步了解该实体的重要限度。本功能可以用来支撑需求变更影响评估的应用。对于关系数据表,可以分析与某个表有关的实体或解决过程,查看具体数据的使用情况,从而判断该表的重要限度。该功能有助于寻找数据库中关键表和冗余表，为系统调优提供支持。3.2数据质量管理3.2.1 数据质量监控3.2.2 数据质量问题解决数据质量问题解决涉及问题生成（来源）、问题分析、问题解决和问题总结四个环节,下面分别表述。3.2.2.1问题生成按问题生成途径可以把数据质量问题分为以下几种: 数据质量监控生成的问题数据质量监控根据预先配置的告警转问题规则，可由系统自动将一定级别的告警转为数据质量问题；也可以在告警解决过程中手工方式将告警转为问题。数据质量监控生成的问题重要由告警信息组成，问题发现时间为告警产生的时间。 数据质量评估发现的问题通过对数据质量一段时期的评估，也许从中发现一些数据质量问题，通过数据质量问题提交接口（界面）提交数据质量评估问题。 业务人员或维护人员手工提交的问题综合资源数据分析系统的业务人员或维护人员在平常工作过程中也会发现数据质量有关的问题，使用人员可以通过问题提交功能记录数据质量问题。可以通过EOMS进行问题工单的流转也可以通过数据质量模块的问题录入界面进行问题的录入。在以上三种数据质量问题中，数据质量监控生成的问题为系统自动产生的问题，其余两种为手工提交的问题。在问题生成过程中，无论是自动生成还是手工提交的问题，都可以先检查数据质量知识库中是否有相同或类似的问题，生成建议的解决方案。32.2.2问题分析数据质量问题生成后，一方面需要进行问题的分析与定位工作，当发生重要或严重级别的问题时，可根据需要先采用数据解决流程挂起和问题隔离措施：通过手工或自动的方式将数据解决流程挂起，并将存在问题的数据进行隔离。通过流程挂起和问题数据隔离，可将问题的影响范围控制在较小的区间内，防止问题扩大，便于问题的解决。无论是否采用问题隔离措施，在问题分析与定位过程中，根据问题信息和问题关联的对象，对问题的因素进行分析。在分析过程中借用以下两种工具辅助分析与定位问题： 元数据分析工具使用元数据分析工具一方面需要知道问题关联的对象,或者在问题信息中先辨认问题关联的对象，然后通过无数据管理模块的分析工具进行问题分析与定位才有效。如使用血缘分析工具定位问题产生的根源，使用影响分析工具分析问题对综合分析全局的影响限度等。 数据质量知识库通过问题信息中的关键字、问题关联的对象或对象类型，可以在数据质量知识库中寻找相同或相似的问题，通过度析历史问题的发生规律，有助于对当前问题的分析与定位。3.223问题解决对于综合资源数据解决环节导致的数据质量问题，启动相应的数据质量维护流程，解决相应的数据质量问题。可以考虑通过EOMS系统来解决数据质量的相关问题。32.2.4问题总结1）问题总结类型当问题解决环节结束后，需要对问题解决的全过程进行记录和总结。问题总结可以划分为不同的类型：a）单一数据质量问题的总结单一问题的总结是对单个数据质量问题解决的过程和结果进行评估；以及在采集、检查、报告和解决等过程信息进行整理，形成问题解决案例，存入数据质量知识库中，以便质量管理工作的改善。b）数据质量的阶段性总结阶段性总结是对综合资源数据分析系统个时间阶段内的数据质量状况进行总结。阶段性总结数据质量监控信息库、数据质量问题信息库和数据质量知识库为基础，通过对各种信息进行分类记录，得到不同角度的总结报告，如月度数据质量问题分析报告和数据源接口质量评估分析报告等。通过问题总结，形成数据质量知识库，其中问题解决过程、问题解决方案等均可以作为数据质量知识的一部分进行存储。2）问题总结对系统功能的规定a）问题查询功能查询作为总结分析功能的基础，系统能对数据质量存储库中的各类信息进行灵活查询，这些信息涉及：采集数据、检查结果信息、监控报告（涉及告警信息）、数据质量问题及问题解决过程和数据质量知识库等，同时，查询所得的数据是关联性的，如某一数据质量问题可以追溯到检查结果信息、采集信息和被检核对象及属性等。b）问题记录分析功能系统能快速的记录某一维度或组合维度的数据质量情况，如可以记录某周期内数据质量问题总数、接口到达及时率、关键指标波动区间等等。通过记录功能分析数据质量阶段问题，优化检查规则、并可形成知识。c）问题总结转化为知识功能通过对问题的总结，可以将典型的问题及其解决方案转为数据质量知识；或者将共性的、普遍的问题及其解决方案经归纳后转为数据质量知识。系统应当提供将问题总结转化为知识的辅助功能。3.2.3 数据质量知识库数据质量知识是在综合资源数据分析系统使用及运维过程中，由数据质量管理子系统收集的有关数据及过程问题的解决经验总结。这些知识可作为此后数据质量问题解决方法的参考，并可以按关键字的形式进行索引和分类管理。3.2.3.1 数据质量知识的产生数据质量知识重要来源于对数据质量问题的总结，同时，对数据质量问题的不同解决方案以及对知识自身的评价也是对数据质量知识的补充与完善。通过调用综合资源数据分析系统知识库的知识生成接口提交数据质量知识。数据质量知识库中涉及了以下经验的集合:接口问题解决经验、数据抽取问题解决经验、数据转换问题解决经验、数据加载问题解决经验、数据仓库问题解决经验、应用汇总问题解决经验和指标问题解决经验等。3.2.4 数据质量评估数据质量管理系统在对数据的质量进行监控的同时，也对数据提供者有了考核的依据。考核评估涉及以下功能： 数据质量核查评估规则管理 数据质量核查评估报表 数据质量核查评估报告1.1 .4.1数据质量评估规则管理数据质量评估规则是指根据核查结果，对数据核查特性的一个量化评估规则。例如数据的完整性，可以根据数据的完整率相应的评估；数据的及时性根据数据不及时的次数进行评估：数据的有效性根据数据的有效率进行评估；数据的一致性根据波动率超过阀值的次数进行评估。 提供数据质量不同特性的数据考核规则增长、修改、删除； 保存考核规则的历史修订记录； 查看历史记录；支持区分核查的数据内容，设立数据完整性、及时性，有效性，一致性的评分规则；1.2 数据质量评估报表根据核查结果以及核查评分规则的设立，自动提供核查评估报表。考评表细分具体描述完整性考核日报表数据源性能完整性报表呈现各数据源各性能数据集的数据完整率以及相应的评分数据源配置完整性报表呈现各数据源各配置数据集的数据完整率以及相应的评分核查点配置完整性报表呈现各核查数据集配置完整率以及相应的评分核查点性能完整性报表呈现各核查数据集性能完整率以及相应的评分告警完整性分OMC呈现天天的告警完整率及时性考核日报表数据源性能数据及时性呈现各OMC各性能数据集的数据及时率以及相应的评分数据源告警数据及时性呈现各OMC告警及时率以及相应的评分报表数据采集层性能数据及时性分OMC呈现各性能数据集采集的数据及时率以及相应的评分数据采集层告警数据及时性分OMC呈现告警及时率以及相应的评分有效性考核日报表数据源数据有效性报表分OMC呈现各核查数据集的数据有效率以及相应的评分核查点数据有效性报表分核查数据集呈现数据有效率以及相应的评分一致性日报表每日各数据采集点波动率超阀值次数数据质量综合评估日报表数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估日报表。数据质量综合评估月报表数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估月报表。1.3 数据源接口质评估数据源接口质量评估是数据质量管理子系统在元数据管理模块的支撑下，对数据源接口质量的定期评估，是综合资源数据分析系统对数据源接口数据质量的定期考核。在一定期间范围内，数据质量管理子系统通过对数据源接口质量问题的记录分析，结合数据源接口质量评估规则，生成数据源接口质量评估报告。数据源接口质量评估规定在以下数据质量问题指标的基础上，建立数据源接口质量指标考核体系，重要涉及以下两大类9个指标：数据质量问题类指标> 不准确问题数量> 不一致问题数量> 不及时问题数量> 不有效问题数量> 不完整问题数量数据质量解决情况指标> 数据源接口问题总数量：指在一定期间范围内，数据源接口出现数据质量问题的总数量（涉及反复出现次数）；> 问题解决完毕比率：指在一定期间范围内，解决完毕的数据源接口质量问题数量与数据源数据质量问题总数量的比值；> 问题平均解决时长：指在一定期间范围内，数据源接口质量问题解决总时长与数据源数据质量问题总数量的比值；> 重大问题出现次数：指在一定期间范围内，出现重大数据质量问题的次数，如：影响增值业务话单接口数据质量问题等。数据源接口质量评估功能规定在元数据管理模块中配置数据源接口质量评估规则，并进行数据源接口质量评估规则的管理。数据源接口质量评估规则是指：根据数据源接口质量问题各指标对综合资源数据分析系统数据质量影响限度的不同，在元数据管理模块中定义与各指标相相应的评分规则。数据源接口质量评估规定数据质量管理子系统将每月的数据源接口质量评估结果及时发送给数据源系统相关管理人员。数据源接口质量评估报告应具体反映当月数据源接口质量问题情况，重要应涉及以下内容：1）评估月份2）数据源接口质量问题各指标值3）数据源接口质量评分接口侧质量问题、发生时间、问题类型、严重级别、问题描述和解决结果。3.2.5数据质量对外服务数据质量管理子系统是综合资源数据分析系统的有机组成部分,通过与综合分析其它模块的信息交互可以提富数据质量管理子系统的运用价值。同时，数据质量管理子系统自身也可以运用这些服务功能。数据质量对外服务功能一般以界面集成（页面嵌入）或服务接口调用方式供综合分析门户使用。3.2.5.1 数据质信息查询功能数据质量信息查询可以分为以下两种信息的查询：D数据质量问题查询：可以查询单个或多个对象在某个时间段内的数据质量问题，对于存在数据质量问题的信息给予特别显示（如红色字体、闪烁等），以引起运维人员的注意，运维人员可以从该指标对象出发进行问题的分析与解决。2）数据质量记录查询：可以查询某一维度或几个组合维度的数据质量记录信息，如在综合资源数据分析系统中使用该查询功能以显示上周数据质量问题总量、接口到达率等。3.3数据采集管理3.3.1 数据采集3.3.1.1 积极检测积极检测为积极采集的发起方。检测数据源端数据完整性，检测到数据完整后积极发送触发采集的消息。积极检测需要具有较高效率,最大限度减少由于检测导致的数据源侧负荷。检测功能重要涉及检测任务生成和检测任务执行。检测任务生成需提供配置功能，可对检测对象、检测周期、理论数据条数、经验时间点等参数进行配置。各个数据源应当优先提供数据库接口，对于数据库接口可以根据设定的某测量当前时间的理论数据条数、该测量最近一段时间的平均数据条数和指标检查规则来检查数据源侧数据的完整性。对于其他接口方式可以根据具体的接口特性进行检测规则的设立。考虑到当前数据源侧的数据质量的不稳定因素,积极检测模块应当可以对数据源侧的数据入库时间戳进行辨认，对于变化的数据应当具有重新采集的能力。也可以通过对数据源侧的数据库日记进行跟踪，感知数据变化从而触发采集。3.31.2对数据源侧触发消息的接受综合资源数据分析系统应当提供消息接受能力，即可以接受各专业网管发送的专业网管数据准备好告知消息，及时进行数据的采集，当专业网管进行数据补采后，也能及时触发综合分析进行数据补采，最大限度保持数据完整性。规定综合资源数据分析系统具有较强的并发能力，不丢消息,在1分钟内完毕消息入库,保证后续能及时进行采集。331.3数据采集解析数据采集适配器负责按照接口类型、特性从不同的数据源通过文献接口、指令接口、数据库接口等方式从网元、OMC侧或其他网管侧获取基础数据，然后对获取到的原始数据进行格式标准化，写入数据缓冲区。采集适配器应当为支持二次开发的程序或组件，对于同一种接口类型、接口特性的多个数据源应当作为同一个程序的多个实例存在，而只针对不同的接口类型设定不同的适配器。采集适配器应当具有可视化的配置管理能力，即可以通过图形化界面对不同的数据源选择不同的采集适配器进行数据采集，并对不同的数据源根据实际需要，可视化的配置需要采集的数据范围和相应的约束条件。对于数据源侧的数据配置信息应当从元数据库中获取被采集侧元数据，并在采集模块的配置界面中通过可视化界面进行采集范围的选取。对于数据的格式标准化，应当遵照ODM-A相应模型的约定，尽量保持原有数据源侧的模型结构。3.3.1.4数据装载把格式化的数据写入到ODM-DB数据库中，数据入库策略支持增量入库、全量入库方式。增量入库：只把采集到的新数据入库;全量入库：采用把数据库中数据先删除后入库方式。331.5数据智能补采根据数据的完整性情况，和数据补采策略，可以自动重新发起采集任务，把数据重新进行采集，保证数据的完整性，最大限度和数据源侧保持一致。3.3.2数据转换3.3.2.1 数据抽取从ODM-DB中获取数据，加载到数据缓冲区。数据缓冲区可以采用文献方式或者数据库方式；假如采用数据库方式则需要对临时数据和正式数据分开存储。332.2数据清洗数据清洗负责对“脏数据”进行剔除，消除数据的不一致。“脏数据”涉及不规则数据、不符合事实数据，如：取值范围、完整性规则、拼写检查等。对于数据清洗过程规定具有完善的日记功能，日记内容需要记录数据清洗的因素，被清洗的数据存放到哪里和被清洗的记录数。在元数据管理中已经对数据的基础值域范围进行了描述，数据清洗模块可以从元数据管理系统中获取相关信息进行数据解决。三关键字管理3.323数据转换建分芟修改分矣热蹄分关S-Qj蒙第分其Q日立庭机一日数Ig胃a0月勖据»机他月数得±Tfl»»90公共数据全广彝参数*机18款定参数数据转换重要涉及如下三个方面: 统一网元数据编码，将不同数据源的同一网元的数据集中转换成统一格式编码; 转换数据类型，对与目的数据类型不一致的数据进行转换； 转换数据格式，对与目的数据格式不一致的数据进行转换。在该模块的程序日记中，需要记录数据转换的因素和记录数。数据转换算法应当可被元数据管理系统辨认并采集。3.3 2.4数据装载直接加载数据缓冲区中无需此外解决的“干净”数据；加载通过清洗和转换后的符合目的数据模型的数据；加载成功后，删除缓冲区中相应数据，并写进日记文献；加载日记涉及加载记录数和加载时间戳。3.3.3 数据汇总数据汇总算法重要涉及：汇总时间粒度、汇总网元粒度、汇总映射算法等，采用元数据方式描述。需要将细粒度数据根据维度层次汇总成高粒度数据，包含时间、空间粒度、业务等汇总。汇总任务触发条件：完毕维度数据和事实数据加载后触发。汇总日记重要涉及：汇总粒度、汇总时间戳、汇总原始数据记录数、汇总结果记录数。3.3.4 任务调度由于数据采集模块需要发起大量的数据采集、转换、加载等任务，所以规定该模块具有完备的任务调度管理能力，可以对各类任务进行配置、启动、跟踪。并具有任务联动能力，即可以将多个任务通过流程组装成一个联合任务，各任务之间存在互相制约关系，任务调度管理可以根据各任务的执行状态、结果来自动的启动后续任务，任务间允许并发及串行两种模式。规定各任务的配置应当为可视化的配置。对于任务启动至少涉及定期启动和条件启动两种模式。同时允许管理员进行任务的手动执行。3.3.5 任务监控系统应当具有对当前系统已经执行和正在执行的各项采集、转换、装载等任务的监控能力，即可以通过可视化的界面对各任务的启动时间、执行状态、执行结果、结束时间等进行实时监控。应当可以对任务队列深度进行监控，当出现异常时，系统应当可以给出相应告警信息。3.4 综合分析3.4.3 网络概览网络概览提供一个呈现最新的网络信息的公共窗口，分为综合视图和专业视图。采用了:山:达图、柱状图、趋势图、分布分析等分析方法，提供各专业重要指标的展现和分析，如核心网用户数、全省GSM话务量分布、网络运用率、网络能力、集团考核KPI、省内考核KPk网络故隙等。供管理人员全面、直观了解各专业网络业务发展趋势、总体运营情况和网络能力匹配情况;掌握网络质量和客户感知的变化趋势,及时发现网络和业务发展的异常,辅以管理流程督促解决。网络概览呈现的内容可认为公司决策层领导、管理层领导及生产人员提供一个集中、全而了解全网运营质量情况、业务发展情况、关键网络问题、全网资源情况等的渠道，有助于领导迅速了解整体网络情况和关键问题，从而为迅速决策提供依据。对异常指标集中提醒，达成异常信息共享的目的，引导生产人员及时发现网络异常情况，提高问题的解决效率。3.4.4 网络运营分析网络运营分析通过对网络的分析，预测，发现网络性能问题和瓶颈，定位问题因素，发现网络恶化趋势并进行防止，及时排查网络隐患；为管理层、规划等部门提供网络运营的质量现状、网络负荷情况和分布规律、网络资源运用效率和均衡性等方面提供评估依据。网络运营分析包含网络容量、网络质量、网络收图三部分主题分析。其史网络容量包含了网络规模、网络负荷和网络运用情况的分析，网络质量分析包含无线网、核心网、数据网、增值网、传输网的网络质量分析，网络故障分析包含了一般故障分析和告警分析。3.4.5 业务能力分析业务能力分析实现而向业务的分析实现业务的端到端管理，支持业务整体质量及业务价值提高，提高网络质储与网络效益。业务能力分析包含用户量分析、业务量分析、业务质量分析、业务运营分析、集客业务分析五部分内容。通过业务能力分析，掌握W渔业务发展和趋势变化情况，了解网络容量和业务发展是否匹配，判断是否由于业务量的变动导致网络负荷的波动的问题。，通过度析各类业务流量和发展情况，掌握网络业务发展和趋势变化情况，最终达成合理规划资源，提高网络运用率的目的。3.4.6 客户全向分析客户全向分析对客户进行全方位多纬度的分析，通过用户数量分析展示用户发展趋势，客户行为分析了解用户的使用习惯，为业务发展提供依据，从用户感知的角度，基于客户感知指标和客户投诉数据，多维度进行问题挖掘分析，定位引起客户感知恶化的网络问题，同时通过度析客服转派的投诉工单，从三个角度进行记录分析，发现网络薄弱环节、隐患，为网络优化提供方向。同时对各投诉工单解决单位、各类投诉的解决时长进行分类记录，掌握各类投诉解决的一般情况，从而为提高客户感知，减少用户投诉等提供有力的保障。客户全向分析包含客户行为、客户感知质量、客户投诉、客户终端、异常事住五方面内容。其中客户感知包含客户感知评估体系框架、语音业务分析、短信业务分析、彩信业务分析、手机报业务分析、彩铃业务分析、客户满意度分析等主题分析。通过度析客户的感知反馈，及时对出现的异常现象进行根源分析和解决，减少客户投诉率。3.4.7 网络运营分析网络运营分析面向运维工作管理，发现改善运维工作的重点方向，支撑运维支撑效率提高与成本缩减。通过度析重要运维流程的进解决质量和效率，为管理层快速了解运维人巫作效率，各个部门的沟通效率、配合效率等提供直观和定量化的手段，从而近一步提高运维支撑效率。3.5 安全管理系统安全管理模块负责综合资源数据分析系统的敏感数据的访问控制和各环节审计日记记录的管理，对综合资源数据分析系统的数据访问和功能使用进行有效监控和控制。同时配合4A管理平台实现安全管理功能。当4A管理平台发生异常时，应急配置管理可以提供应急解决方案。3.5.3 用户信息管理用户管理模块管理用户基本信息及相关验证信息，重要涉及：姓名、账号、密码、部门、手机号、邮箱、所在地区、备注等。3.5.4 用户组信息管理用户组管理包含以下内容： 用户组维护可以对用户组进行增长、修改、删除等操作，用户组信息重要涉及：名称、描述、是否有效、所属上层用户组等。 树形结构用户组采用树形的管理结构，参照公司的组织架构，使对用户的管理更加清楚，权限分派也更加容易。3.5.5 角色管理角色管理应包含两部分内容：管理各功能模块与角色的相应关系，支持角色对综合资源数据分析系统功能模块权限的增、册k改等操作角色自身和管理：角色进行增删改操作时，属于本角色的用户对相应的综合资源数据分析系统功能模块的权限也作相应的变动。3.5.6 权限管理权限管理是对综合资源数据分析系统维护及使用权限的管理，重要涉及对操作该系统的人员进行授权管理和对系统功能角色的管理。权限划分涉及用户功能权限、用户数据权限、用户资源权限三个部分。资源权限管理支持按照参与者主题域、资源主题域、事件主题域、性能主题域、财务主题域的具体实体内容进行资源权限指定和定义个功能，如指定某个用户只能按照某一主题域实体进行数据访问操作。3.5.7 用户认证管理与角色组管理冏页对话框3X角色组管理保存I关闭I综合资源数据分析系统与4A平台配合，实现单点认证SSO(SingleSignOn)功能：用户在登录4平台后，在访问综合资源数据分析系统时无需反复登录。综合资源数据分析系统接受用户的认证请求，将用户请求信息发送到4A平台，由4A平台为合法用户生成用户身份凭证，并将凭证反馈至综合资源数据分析系统，从而完毕用户登录认证过程，3.5.8 日记管理综合资源数据分析系统从各环节层次抽取的审计日记信息，按照4管理平台的规定对其进行重新过滤和格式化整理，并最终进行日记信息入库。整个过程需实现解决的流程化及自动调度机制，以保证4A管理平台可以及时地获取日记数据。综合资源数据分析系统对各层次所产生的日记记录进行获取并整理。其中涉及访问层日记记录、应用层日记记录、数据存储层日记记录、数据获取层日记记录以及元数据管理和数据质量监控的日记记录。3.5.8.1 日记审计管理操作日记审计综合资源数据分析系统的所有日记信息可被安全管控平台获取，由安全管控平台完毕各类日记审计工作,综合资源数据分析系统不提供日记审计能力。日记删除综合资源数据分析系统必须支持删除指定期间段内的日记记录功能。删除操作只能由通过授权的管理员进行解决，其它任何使用人员没有权限删除日记。3.6 系统管理361系统自身管理实时运营状态监控为保证综合资源数据分析系统的正常运营，需要对系统运营状态进行实时监控，以便及时掌握系统的运营状况，对故障做出快速反映。监控范围：应用软件自身。不涉及硬件、数据库、网络等，这些由IT网管负责监控。监控内容：应用进程运营情况，例如任务队列深度、进程运营状态、进程告警信息、任务执行结果、解决数据量、解决时长、关键数据库表数据量等。监控方式:通过图形界面呈现监控内容,并且可以将关键告警信息传送给综合监控系统。361.2 数据有效期管理综合资源数据分析系统中各种类型数据的有效期信息由元数据管理模块进行描述,有效期管理模块根据Meta-DB中数据的有效期信息，自动完毕对过期历史数据的可读性备份（对于系统、数据库的整体备份策略不在本规范管辖范围内，这里的备份指有针对性的数据独立备