产品数据分析系统用户手册.docx

《产品数据分析系统用户手册.docx》由会员分享，可在线阅读，更多相关《产品数据分析系统用户手册.docx（36页珍藏版）》请在课桌文档上搜索。

1、产品数据分析系统用户手册V1.O1系统介绍综合资源数据分析系统基于先进的E1.技术，采用B/S架构，包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法，使用人员还可以根据需要，自定义指标、维度、历史数据范围等,以多种直观、灵活的方式展现。实现短信、彩信、手机上网等重点业务端到端的质量分析；实现网络隐患的积极发现与溯源；实现多专业的平常分析和跨专业的网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产和优化方案制定。综合资源数据分析系统面向维护、面向质量、面向经营，通过提取、整合专业网管、综合网管、业务管理、运

2、维管理、市场支撑在内的各层面系统的信息资源，通过对信息深加工和智能化分析挖掘，提供“可视、可分析、可溯源”的能力。打通与BoSS系统接口，结合BSS数据进行跨域分析，解决网络资源的精确投放问题；综合资源数据分析系统提供灵活自定义功能实现多专业的平常分析和跨专业的专题分析，提高运营维护效率，同时也大大减轻了一线人员的压力。2系统设计2.1 系统逻辑架构Pig(DataFlow)Hive(SQ1.)MapReducefJobSChedUling/ExecutionSystem)Hbase(ColumnDb)HDFS(HadpDistributedFileSystem) 不准确问题数量 不一致问题数

3、量 不及时问题数量 不有效问题数量 不完整问题数量数据质量解决情况指标 数据源接口问题总数量：指在一定期间范围内，数据源接口出现数据质量问题的总数量（涉及反复出现次数）； 问题解决完毕比率：指在一定期间范围内，解决完毕的数据源接口质量问题数量与数据源数据质量问题总数量的比值； 问题平均解决时长：指在一定期间范围内，数据源接口质量问题解决总时长与数据源数据质量问题总数量的比值； 重大问题出现次数：指在一定期间范围内，出现重大数据质量问题的次数，如：影响增值业务话单接口数据质量问题等。数据源接口质量评估功能规定在元数据管理模块中配置数据源接口质量评估规则，并进行数据源接口质量评估规则的管理。数据源

4、接口质量评估规则是指：根据数据源接口质量问题各指标对综合资源数据分析系统数据质量影响限度的不同，在元数据管理模块中定义与各指标相相应的评分规则。数据源接口质量评估规定数据质量管理子系统将每月的数据源接口质量评估结果及时发送给数据源系统相关管理人员。数据源接口质量评估报告应具体反映当月数据源接口质量问题情况，重要应涉及以下内容：1）评估月份2）数据源接口质量问题各指标值3）数据源接口质量评分接口侧质量问题、发生时间、问题类型、严重级别、问题描述和解决结果。3.2.5数据质量对外服务数据质量管理子系统是综合资源数据分析系统的有机组成部分,通过与综合分析其它模块的信息交互可以提富数据质量管理子系统的

5、运用价值。同时，数据质量管理子系统自身也可以运用这些服务功能。数据质量对外服务功能一般以界面集成（页面嵌入）或服务接口调用方式供综合分析门户使用。3.2.5.1 数据质信息查询功能数据质量信息查询可以分为以下两种信息的查询：D数据质量问题查询：可以查询单个或多个对象在某个时间段内的数据质量问题，对于存在数据质量问题的信息给予特别显示（如红色字体、闪烁等），以引起运维人员的注意，运维人员可以从该指标对象出发进行问题的分析与解决。2）数据质量记录查询：可以查询某一维度或几个组合维度的数据质量记录信息，如在综合资源数据分析系统中使用该查询功能以显示上周数据质量问题总量、接口到达率等。3.3数据采集管

6、理3.3.1 数据采集3.3.1.1 积极检测积极检测为积极采集的发起方。检测数据源端数据完整性，检测到数据完整后积极发送触发采集的消息。积极检测需要具有较高效率,最大限度减少由于检测导致的数据源侧负荷。检测功能重要涉及检测任务生成和检测任务执行。检测任务生成需提供配置功能，可对检测对象、检测周期、理论数据条数、经验时间点等参数进行配置。各个数据源应当优先提供数据库接口，对于数据库接口可以根据设定的某测量当前时间的理论数据条数、该测量最近一段时间的平均数据条数和指标检查规则来检查数据源侧数据的完整性。对于其他接口方式可以根据具体的接口特性进行检测规则的设立。考虑到当前数据源侧的数据质量的不稳定

7、因素,积极检测模块应当可以对数据源侧的数据入库时间戳进行辨认，对于变化的数据应当具有重新采集的能力。也可以通过对数据源侧的数据库日记进行跟踪，感知数据变化从而触发采集。3.31.2对数据源侧触发消息的接受综合资源数据分析系统应当提供消息接受能力，即可以接受各专业网管发送的专业网管数据准备好告知消息，及时进行数据的采集，当专业网管进行数据补采后，也能及时触发综合分析进行数据补采，最大限度保持数据完整性。规定综合资源数据分析系统具有较强的并发能力，不丢消息,在1分钟内完毕消息入库,保证后续能及时进行采集。331.3数据采集解析数据采集适配器负责按照接口类型、特性从不同的数据源通过文献接口、指令接口

8、、数据库接口等方式从网元、OMC侧或其他网管侧获取基础数据，然后对获取到的原始数据进行格式标准化，写入数据缓冲区。采集适配器应当为支持二次开发的程序或组件，对于同一种接口类型、接口特性的多个数据源应当作为同一个程序的多个实例存在，而只针对不同的接口类型设定不同的适配器。采集适配器应当具有可视化的配置管理能力，即可以通过图形化界面对不同的数据源选择不同的采集适配器进行数据采集，并对不同的数据源根据实际需要，可视化的配置需要采集的数据范围和相应的约束条件。对于数据源侧的数据配置信息应当从元数据库中获取被采集侧元数据，并在采集模块的配置界面中通过可视化界面进行采集范围的选取。对于数据的格式标准化，应

9、当遵照ODM-A相应模型的约定，尽量保持原有数据源侧的模型结构。3.3.1.4数据装载把格式化的数据写入到ODM-DB数据库中，数据入库策略支持增量入库、全量入库方式。增量入库：只把采集到的新数据入库;全量入库：采用把数据库中数据先删除后入库方式。331.5数据智能补采根据数据的完整性情况，和数据补采策略，可以自动重新发起采集任务，把数据重新进行采集，保证数据的完整性，最大限度和数据源侧保持一致。3.3.2数据转换3.3.2.1 数据抽取从ODM-DB中获取数据，加载到数据缓冲区。数据缓冲区可以采用文献方式或者数据库方式；假如采用数据库方式则需要对临时数据和正式数据分开存储。332.2数据清洗

10、数据清洗负责对“脏数据”进行剔除，消除数据的不一致。“脏数据”涉及不规则数据、不符合事实数据，如：取值范围、完整性规则、拼写检查等。对于数据清洗过程规定具有完善的日记功能，日记内容需要记录数据清洗的因素，被清洗的数据存放到哪里和被清洗的记录数。在元数据管理中已经对数据的基础值域范围进行了描述，数据清洗模块可以从元数据管理系统中获取相关信息进行数据解决。三关键字管理3.323数据转换建分芟修改分矣热蹄分关S-Qj蒙第分其Q日立庭机一日数Ig胃a0月勖据机他月数得Tfl90公共数据全广彝参数*机18款定参数数据转换重要涉及如下三个方面: 统一网元数据编码，将不同数据源的同一网元的数据集中转换成统一

11、格式编码; 转换数据类型，对与目的数据类型不一致的数据进行转换； 转换数据格式，对与目的数据格式不一致的数据进行转换。在该模块的程序日记中，需要记录数据转换的因素和记录数。数据转换算法应当可被元数据管理系统辨认并采集。3.3 2.4数据装载直接加载数据缓冲区中无需此外解决的“干净”数据；加载通过清洗和转换后的符合目的数据模型的数据；加载成功后，删除缓冲区中相应数据，并写进日记文献；加载日记涉及加载记录数和加载时间戳。3.3.3 数据汇总数据汇总算法重要涉及：汇总时间粒度、汇总网元粒度、汇总映射算法等，采用元数据方式描述。需要将细粒度数据根据维度层次汇总成高粒度数据，包含时间、空间粒度、业务等汇

12、总。汇总任务触发条件：完毕维度数据和事实数据加载后触发。汇总日记重要涉及：汇总粒度、汇总时间戳、汇总原始数据记录数、汇总结果记录数。3.3.4 任务调度由于数据采集模块需要发起大量的数据采集、转换、加载等任务，所以规定该模块具有完备的任务调度管理能力，可以对各类任务进行配置、启动、跟踪。并具有任务联动能力，即可以将多个任务通过流程组装成一个联合任务，各任务之间存在互相制约关系，任务调度管理可以根据各任务的执行状态、结果来自动的启动后续任务，任务间允许并发及串行两种模式。规定各任务的配置应当为可视化的配置。对于任务启动至少涉及定期启动和条件启动两种模式。同时允许管理员进行任务的手动执行。3.3.

13、5 任务监控系统应当具有对当前系统已经执行和正在执行的各项采集、转换、装载等任务的监控能力，即可以通过可视化的界面对各任务的启动时间、执行状态、执行结果、结束时间等进行实时监控。应当可以对任务队列深度进行监控，当出现异常时，系统应当可以给出相应告警信息。3.4 综合分析3.4.3 网络概览网络概览提供一个呈现最新的网络信息的公共窗口，分为综合视图和专业视图。采用了:山:达图、柱状图、趋势图、分布分析等分析方法，提供各专业重要指标的展现和分析，如核心网用户数、全省GSM话务量分布、网络运用率、网络能力、集团考核KPI、省内考核KPk网络故隙等。供管理人员全面、直观了解各专业网络业务发展趋势、总体

14、运营情况和网络能力匹配情况;掌握网络质量和客户感知的变化趋势,及时发现网络和业务发展的异常,辅以管理流程督促解决。网络概览呈现的内容可认为公司决策层领导、管理层领导及生产人员提供一个集中、全而了解全网运营质量情况、业务发展情况、关键网络问题、全网资源情况等的渠道，有助于领导迅速了解整体网络情况和关键问题，从而为迅速决策提供依据。对异常指标集中提醒，达成异常信息共享的目的，引导生产人员及时发现网络异常情况，提高问题的解决效率。3.4.4 网络运营分析网络运营分析通过对网络的分析，预测，发现网络性能问题和瓶颈，定位问题因素，发现网络恶化趋势并进行防止，及时排查网络隐患；为管理层、规划等部门提供网络

15、运营的质量现状、网络负荷情况和分布规律、网络资源运用效率和均衡性等方面提供评估依据。网络运营分析包含网络容量、网络质量、网络收图三部分主题分析。其史网络容量包含了网络规模、网络负荷和网络运用情况的分析，网络质量分析包含无线网、核心网、数据网、增值网、传输网的网络质量分析，网络故障分析包含了一般故障分析和告警分析。3.4.5 业务能力分析业务能力分析实现而向业务的分析实现业务的端到端管理，支持业务整体质量及业务价值提高，提高网络质储与网络效益。业务能力分析包含用户量分析、业务量分析、业务质量分析、业务运营分析、集客业务分析五部分内容。通过业务能力分析，掌握W渔业务发展和趋势变化情况，了解网络容量

16、和业务发展是否匹配，判断是否由于业务量的变动导致网络负荷的波动的问题。，通过度析各类业务流量和发展情况，掌握网络业务发展和趋势变化情况，最终达成合理规划资源，提高网络运用率的目的。3.4.6 客户全向分析客户全向分析对客户进行全方位多纬度的分析，通过用户数量分析展示用户发展趋势，客户行为分析了解用户的使用习惯，为业务发展提供依据，从用户感知的角度，基于客户感知指标和客户投诉数据，多维度进行问题挖掘分析，定位引起客户感知恶化的网络问题，同时通过度析客服转派的投诉工单，从三个角度进行记录分析，发现网络薄弱环节、隐患，为网络优化提供方向。同时对各投诉工单解决单位、各类投诉的解决时长进行分类记录，掌握

17、各类投诉解决的一般情况，从而为提高客户感知，减少用户投诉等提供有力的保障。客户全向分析包含客户行为、客户感知质量、客户投诉、客户终端、异常事住五方面内容。其中客户感知包含客户感知评估体系框架、语音业务分析、短信业务分析、彩信业务分析、手机报业务分析、彩铃业务分析、客户满意度分析等主题分析。通过度析客户的感知反馈，及时对出现的异常现象进行根源分析和解决，减少客户投诉率。3.4.7 网络运营分析网络运营分析面向运维工作管理，发现改善运维工作的重点方向，支撑运维支撑效率提高与成本缩减。通过度析重要运维流程的进解决质量和效率，为管理层快速了解运维人巫作效率，各个部门的沟通效率、配合效率等提供直观和定量

18、化的手段，从而近一步提高运维支撑效率。3.5 安全管理系统安全管理模块负责综合资源数据分析系统的敏感数据的访问控制和各环节审计日记记录的管理，对综合资源数据分析系统的数据访问和功能使用进行有效监控和控制。同时配合4A管理平台实现安全管理功能。当4A管理平台发生异常时，应急配置管理可以提供应急解决方案。3.5.3 用户信息管理用户管理模块管理用户基本信息及相关验证信息，重要涉及：姓名、账号、密码、部门、手机号、邮箱、所在地区、备注等。3.5.4 用户组信息管理用户组管理包含以下内容： 用户组维护可以对用户组进行增长、修改、删除等操作，用户组信息重要涉及：名称、描述、是否有效、所属上层用户组等。

19、树形结构用户组采用树形的管理结构，参照公司的组织架构，使对用户的管理更加清楚，权限分派也更加容易。3.5.5 角色管理角色管理应包含两部分内容：管理各功能模块与角色的相应关系，支持角色对综合资源数据分析系统功能模块权限的增、册k改等操作角色自身和管理：角色进行增删改操作时，属于本角色的用户对相应的综合资源数据分析系统功能模块的权限也作相应的变动。3.5.6 权限管理权限管理是对综合资源数据分析系统维护及使用权限的管理，重要涉及对操作该系统的人员进行授权管理和对系统功能角色的管理。权限划分涉及用户功能权限、用户数据权限、用户资源权限三个部分。资源权限管理支持按照参与者主题域、资源主题域、事件主题

20、域、性能主题域、财务主题域的具体实体内容进行资源权限指定和定义个功能，如指定某个用户只能按照某一主题域实体进行数据访问操作。3.5.7 用户认证管理与角色组管理冏页对话框3X角色组管理保存I关闭I综合资源数据分析系统与4A平台配合，实现单点认证SSO(SingleSignOn)功能：用户在登录4平台后，在访问综合资源数据分析系统时无需反复登录。综合资源数据分析系统接受用户的认证请求，将用户请求信息发送到4A平台，由4A平台为合法用户生成用户身份凭证，并将凭证反馈至综合资源数据分析系统，从而完毕用户登录认证过程，3.5.8 日记管理综合资源数据分析系统从各环节层次抽取的审计日记信息，按照4管理平

21、台的规定对其进行重新过滤和格式化整理，并最终进行日记信息入库。整个过程需实现解决的流程化及自动调度机制，以保证4A管理平台可以及时地获取日记数据。综合资源数据分析系统对各层次所产生的日记记录进行获取并整理。其中涉及访问层日记记录、应用层日记记录、数据存储层日记记录、数据获取层日记记录以及元数据管理和数据质量监控的日记记录。3.5.8.1 日记审计管理操作日记审计综合资源数据分析系统的所有日记信息可被安全管控平台获取，由安全管控平台完毕各类日记审计工作,综合资源数据分析系统不提供日记审计能力。日记删除综合资源数据分析系统必须支持删除指定期间段内的日记记录功能。删除操作只能由通过授权的管理员进行解

22、决，其它任何使用人员没有权限删除日记。3.6 系统管理361系统自身管理实时运营状态监控为保证综合资源数据分析系统的正常运营，需要对系统运营状态进行实时监控，以便及时掌握系统的运营状况，对故障做出快速反映。监控范围：应用软件自身。不涉及硬件、数据库、网络等，这些由IT网管负责监控。监控内容：应用进程运营情况，例如任务队列深度、进程运营状态、进程告警信息、任务执行结果、解决数据量、解决时长、关键数据库表数据量等。监控方式:通过图形界面呈现监控内容,并且可以将关键告警信息传送给综合监控系统。361.2 数据有效期管理综合资源数据分析系统中各种类型数据的有效期信息由元数据管理模块进行描述,有效期管理模块根据Meta-DB中数据的有效期信息，自动完毕对过期历史数据的可读性备份（对于系统、数据库的整体备份策略不在本规范管辖范围内，这里的备份指有针对性的数据独立备