大数据架构规划.pptx

《大数据架构规划.pptx》由会员分享，可在线阅读，更多相关《大数据架构规划.pptx（20页珍藏版）》请在课桌文档上搜索。

1、大数据应用架构和演进路线,目录,一、产品需求理解和整体规划,二、演进路线,三、开发及运营能力,四、产品运行能力,可视化能力视图分析,数据查询引擎,数据服务平台,指标服务管理系统,指标计算服务API,服务开发与封装,服务管理,服务运维与监控,可视化产品开发管理平台,开发者前台可视化产品组装,管理者后台控件、组件、产品管理,公共中台服务,生态运营管理,PC产品门户,可视化APP,Hbase RK,Hive SQL,Kylin,Spark SQL,路由管理,数据模型开发,指标服务开发与封装,组件控件开发,SOR层模型,DPA层模型,统一视图,应用指标库,会员,流量,销售,服务,物流,金融,财务,产品

2、页面开发,平台能力构建,数据开发、可视化产品开发,诸葛,决策支持,鹰眼,组件实例化页面组装,权限管理,组件开发,控件开发,指标管理服务,指标库模型,指标审核,元数据管理平台,整体应用架构图,数据模型层,数据封装平台,元数据管理平台,自助分析开发管理平台,诸葛前端门户,产品专区,主页配置,产品展示前端,产品展示前端,高速数据查询引擎,社区交流,指标管理服务,开发者前台,开发管理服务中台,组件管理服务,组件市场服务,产品管理服务,权限管理服务,管理者后台,运营后台系统,分类标签管理,指标服务浏览,组件市场管理,产品市场管理,Spark SQL,Kylin,监控分析,权限管理,分业务模型（轻度汇总）

3、,统一视图（高度汇总）,应用指标库（DM层）,明细数据表（SOR层）,产品运行能力,开发及运营能力,数据服务能力,公共服务,数据封装服务,开发管理,指标服务浏览,指标服务开发,标准指标服务,组合指标服务,服务运维管理,指标计算服务,日志&监控,指标库模型,数据模型元数据定义,指标审核,监控分析,用户分析,社区管理,服务测试验证,指标管理,指标服务管理,组件管理,产品组装,产品管理,监控分析,组件、产品性能监控服务,产品页面,产品页面,建设优先级,数据模型层,数据封装平台,元数据管理平台,自助分析开发管理平台,诸葛前端门户,产品专区,主页配置,产品展示前端,产品展示前端,高速数据查询引擎,社区交

4、流,指标管理服务,开发者前台,开发管理服务中台,组件管理服务,组件市场服务,产品管理服务,权限管理服务,管理者后台,运营后台系统,分类标签管理,指标服务浏览,组件市场管理,产品市场管理,Spark SQL,Kylin,监控分析,权限管理,分业务模型（轻度汇总）,统一视图（高度汇总）,应用指标库（DM层）,明细数据表（SOR层）,低优先级,高优先级,公共服务,数据封装服务,开发管理,指标服务浏览,指标服务开发,标准指标服务,组合指标服务,服务运维管理,指标计算服务,日志&监控,指标库模型,数据模型元数据定义,指标审核,监控分析,用户分析,社区管理,服务测试验证,指标管理,指标服务管理,组件管理,

5、产品组装,产品管理,监控分析,组件、产品性能监控服务,产品页面,产品页面,高优先级,高优先级,高优先级,高优先级,高优先级,高优先级,当前数据分析产品开发模式,数据开发,页面产品开发,产品部署和发布,缺点：数据开发缺少元数据平台支撑，指标的口径管理比较孤立不同数据分析产品定制数据指标，数据指标没有服务化，无法共享；导致数据在不同产品间的一致性差异页面展示没有组件化，页面模块无法重复利用产品优化通道没有建立，缺少持续改善和提升的输入意见优点开发模式比较简单，容易掌握小规模数据分析产品开发有优势,标准数据服务的开发流程,数据分析产品开发流程,数据分析产品开发新生态,汇总模型的建设,构建标准指标数据

6、服务,控件：数据表达的最小元素,数据组件库：基于控件开发和封装,页面组装：组件的数据实例化,组装产品及发布,标准数据服务发布,引用标准数据服务,非标数据服务,后端管理与运营,监控与数据采集,用户交流反馈,需求与数据分析,产品优化与改进,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,标准指标设计,标准指标ID,指标名称/业务口径描述,分析维度组合1,分析维度组合2,分析维度组合n,指标的技术口径A,1,1,指标的技术口径B,数据仓库,轻度汇总表,数据明细表,指标库高度聚合表,指标ID,标准指标服务,指标名称,业务口径,分析维度组合,指标计算参数,技术口

7、径,输入,输出,数据描述/指标值列表,指标计算服务,一、按ID、分析维度读取元数据服务,二、按指标参数组合查询SQL,三、调用数据计算引擎,标准指标定义,系统及平台定位,数据模型层：（持续建设中）经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以落在Hive、或者DBMS中数据封装平台：（系统新建）1.开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务2.提供数据封装服务，响应组件调用3.公共服务，指标计算服务4.运维管理服务，性能监控，日志管理等元数据管理平台：（功能扩充）1.指标库模型定义及数据存储2.指标库管理服务，如新

8、增、删除、修改；指标库查询服务3.指标库管理前端功能，指标库新增审核高速数据查询引擎：（系统新建）对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,开发者前台功能明细,指标管理,标准指标维护申请,指标库浏览,指标明细查询,非标指标维护,指标服务管理,数据源管理,数据源引入,数据浏览,非标指标服务维护,指标服务查询,标准指标服务维护,性能监控,衍生指标服务维护,组合指标服务维护,指标服务性能监控,组件管理,组件浏览,组件新增,组件维护,组件发布上架,组件版本管理,产品页面装配,页面模板

9、引入,组件装配,验证测试,组件市场浏览,产品管理,页面产品浏览,页面产品发布,页面产品下线,组件性能监控,页面产品性能监控,开发者前台,后端系统,元数据管理平台,数据封装平台,开发管理中台,管理者后台功能明细,管理者后台,后端系统,元数据管理平台,数据封装平台,开发管理中台,分析&管理,权限管理,组件市场管理,产品市场管理,标签分类,指标服务浏览,运营后台系统,系统及平台定位,自助分析开发管理平台：（系统新建）开发者前台：为授权开发者提供指标服务开发、组件开发、产品组装和发布的集成开发环境管理者后台：对产品开发使用的资源，指标服务、组件、页面产品进行管理，如授权、上下架、分类等服务中台：对开发

10、者和管理者前端使用到的共同的中台服务功能集合运营后台系统：（系统新建）指标服务、组件、页面产品的使用情况分析；组件、产品的用户体验，口碑分析后端社区管理功能组件、页面产品的性能监控服务，数据统计和分析服务,目录,一、产品需求理解和整体规划,二、数据服务能力,三、开发及运营能力,四、产品运行能力,系统及平台定位,诸葛前端门户：（系统新建）主页配置：菜单、导航配置产品专区：社区交流：经验分享和交流产品展示前端：（产品开发完毕后发布）链接至各从产品专区，实现页面访问流量的落地，随着数据分析类产品的新建而增加系统,产品开发流程,控件素材准备,产品页面开发（组件实例化）,测试和验证,产品发布申请,指标服

11、务管理,组件市场管理,产品市场管理,产品开发流程概要,查询,审核,指标开发,指标服务开发流程,标准指标,标准指标服务（多分析维度组合）,非标指标,非指标服务（固定分析维度、多指标）,衍生指标服务（固定分析维度、多指标）,组合指标服务（固定分析维度、多指标）,Public,Private,Private,Private,组件数据源,标准指标服务（单一指标）,非标指标服务（多指标）,来自标准指标库,来自自定义SQL、外来数据服务,衍生指标服务A（多指标）,组合指标服务（多指标）,如环比、同比、占比,相同维度拼接,组件数据源,组件视图,名词解释,标准指标：标准指标服务：组合指标服务：分析维度组合：多分析维度组合，固定分析维度指标计算参数：指标计算服务：控件：数据表现层的最小素材，在实现上提供了展示外形，一系列编程接口，控件无法直接使用组件：对控件进行的封装和实现，基于数据可视化分析思路的抽象，对页面展现的样式、交互、联动、布局进行了实现，组件需要接入分析数据源产品页面：将多个组件按页面布局模板进行组装，组件的产品实例化页面装配：,