智慧科技园区大数据云平台建设和运营整体解决方案 智慧科技园区信息化管理平台建设方案.docx

智慧科技园区大数据云平台建设和运营整体解决方案议程智慧科技园区大数据云平台综述I智慧科技园区大蓼振云平台总鲜构I智慧科技园区大数据云平台演进路线I智慧科技园区大数据云平台实施计划d智慧科技园区大数据治理规划数据交易?等一等四通一平为开发商、企业进驻提供条件产业园区招商引资开放商余入，住宅、综合体等等建设产业园区，孵化企业大数据营商环境建设信用大数据建设大数据行政效能监督体系建设政府综合治税大数据系统建设提供大数据开发工具集数据治理数据标准、数据清晰、数据质量、数据目录建设，为数据挖掘打好基础。，拆迁传统城市建设无疑不是从征地、拆迁开始营商环境建设管委会建设政府办事大厅，工商,税务、审批一条龙服务学校、商场数据集中构建城市数据引擎，做数据集中。与传统城市建设相比，我们“不拆,但是要迁”，要把符合共享开放要求的委办局数据都集中（迁移）到城市数据引擎，聚集新经济核心资源。双创平台筑巢引凤，招商引智ISV围绕大数据资源开发各种应用大数据创业、创新平台，用“数据”孵化高技术企业思路一：1、先数据资源整合（共享+治理+平台）“搭台子”2、大数据的应用和创新思路二：1、以业务逻辑清晰的大数据应用作为“抓手”，做好数据资源整合（共享+治理+平台）智慧科技园区管理分析类应用建设现状基本分析存在的问题关注的内容数据平台整体架构； 数据平台各层建设的标准; 较成熟的金融业数据模型; 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境基本的现状科技园区已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；智慧科技园区已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；科技园区数据仓库累积数据没有充分利用 缺乏面向整个智慧科技园区的统一、完整的数据视图； 缺乏支撑智慧科技园区日常业务运转的风险评估体系； 缺乏智慧科技园区客户360度视图，客户行为分析和预测无法实现； 缺乏面向金融业务运营管理的关键绩效指标体系；数据数据应用数据管基础数据平台和Bl应用建设是未来一段时间的重点!通过数据平台和BI应用建设，智慧科技园区将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能统二制定目标和分百一定义报表工具：多种格式报表BI分析工具析模型行+列的简单定义方式-1.I5国面1#eSowv右数据推送平台已实现了，二厂主要零售及金融业务系统竟篇信1吃:数据清洗、整合，为未来J智慧科技园区数据平台提VTRWWSy?供了丰富的数据源。T=规划分析.一划分分析主型一y/-一部看技术麻£一fPoP系统采购管理系统其他业务系统JZHHiaa/7关注集团主01.F)?产指标,居学集团决策层查看职能部门的一业务经营情况.出%.集团职能管控层hl各级业务操作层网络数据、用户数据、应用数据的汇聚构成了我们的“大数据”。这些结构化、非结构化的数据的处理和建模形成对用户、服务、资源、终端等对象的洞察.这些洞察与市场营销、网络运维等业务流程的衔接将会给公司带来新的价值。采集、建模和应用运营改进建模分析数据采集改善市场I提升网络改善客户I创新商业运营效率I运维效率I满意度I模式洞察：用户/服务/资源/终端/网络数据话单XDR性能监测故障监测网络资源用户数据HSS信息BSS数据QSS数据终端应用数据内容DPl,WebSocialmedieAPPS价值流处理，实时的内容智能！知，链略执行,连续更新批处理，事先定义的查询和模型非结构化的数据,，包括互联网日志、Web文本信息，非实时或准实时大数据2大数据1传统商业智能*11j11EgG官GIrsI图4SocialmcdaVideoAWoEmalTestsCDR×DRN<wrkDocmotsIngmBImagesTran»actionadata1.实现数据共享通过数据平台实现数据集中，确保智慧科技园区各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集2 .加强业务协作中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础Qm出皿攵加打智慧科技园区业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为工促迸业务领新金融业务创新（客户服务创新、产品创新等）创造了有利条件通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基4 .提升建设效率础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率cg至我田注息从中长期看，数据仓库对智慧科技园区分散在各个业务系统中的数据整合、清洗，5 .改善数据质量有助于企业整体数据质量的改善，提高的数据的实用性B域。域M域DPI数据域业务平台B域数据以客户关系、用户行为、产品信息等为主，支撑客户经营和产品营销I等O域数据以设备数据、告警信息和性能信息等为主，支撑网络监控、网络优化、用户投诉处理等：M域数据以财务、人力资源、供应链和办公信息等为主，支撑企业管理、企业办公信息化等DPl数据域以上网日志、内容构成、用户轨迹、网络信令等为主，可支撑流量经营、网络运维和增值服务等九大业务基地：基地数据以用户信息、用户行为信息等为主，可支撑个性化推荐、优化产品和服务等。WAP/短彩信：存储网络日志，可支撑定位网络及终端问题，业务平台IT系统网管系统CRM/BOSSerp管道彩铃平台游戏平台骨干网间出口Internet)-其它运营商J议程1智慧科技园区大螂云平台综东智慧科技园区大数据云平台总体架构I智慧科技园区大数据云平台演进路线OI智慧科技园区大数据云平台实施计划5J智慧科技园区大数据治理规划I统一数据采集漏处理.流采集流计算III统一数据中心批量采集（云化ET1.）II!：存储与计算分布式存储计算集群IIIIIIII清单级数据处理IIIIMPPII网络爬虫IiII深度分析II数据挖掘IIIIIIII数据仓库IIIIII即席查询IIIIKPIII多租户管理及统一调度开放框架数据开放数据服务管理服务开发者管I¾一资源开放计算资源开放存储资源开放工具开放数据挖掘工具数据展示工具数据加工工具应用中心行业类数据产品平台类数据产品其他类数据产品使用者决策人员经营分析师产品策划经理渠道经理片区经理集团客户经理大客户经理营业员数据治理数据标准管理元数据管理数据质量管理数据资产管理数据安全管理I平台运维运维数据采集监控告警分析系统运维安全管理设计者开发者运维者外部用户数据管控层元数据数据安全*数据质量企业内外部半结构化、非结构化数据暧寻隆寻!寻科技园区零售供应链金融入人贷系统基金系统.今年数据产生层源数据内容内部业务系统产生的结构化数据科技园区日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水智慧科技园区日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息源数据增量在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据科技园区和智慧科技园区业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能数据交换层设计目标保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失数据区数据交数据库数据交大数据交换组换组件换组件件NAS存储HadooP数据平台导入数据平台导出ET1.程元数据临时区临时区序区一丁【I-保证数据交换过程安全可靠科技园区系统智慧科技园区系统I据智慧科技园区大数据云平台总体架构一数据交换层NAS存储HadOOP集群元数据区O存储数据平台各个HadOOP集群的元数据信息，如：HDFS文件系统元数据数据平台临时数据区e集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区e金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区数据平台ET1.数据处理程序区Je数据平台ET1.加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统1.ink建立映射数据交换层大数据SFTP/J2EEHDFS命令行+Mapredurce应批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发JaVa或C应用，调用大据源API,或以网络平台爬虫方式抓取源系统非结构化、半结构化数据定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序,扫描用户微博，抓取用户微博内容,社交圈信息，存入大数据区智慧科技园区大数据云平台总体架构交换绢件企业内部非结构化、半结构化数据，如：音频、视频、邮件、OfifiCe文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NASt旨定目录存储数据到数据平台大数据区指定HDFS日录6点成对岸MiCrCgCftSQ1.ServerMy5Q1.omongoDBPerl十Hive1.oad企业内部业务系统产生的结构化数据，包括两大来源：科技园区零售业务数据,数据存储在OraCle、SQ1.serVer、MySQ1.UMOn®DB四类数据库智慧科技园区互联网金融业务数据，数据存储在MySQ1.数据库组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（1.Zo压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区PerW数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，PW执行文件级数据质量检查数据加载，调用HiVe1.Oad数据命令，加载到数据平台临时数据区的HiVeTable云数据推送平台连接供应链金融系统数据库，分析供应链金融MySQ1.数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件到数据平台临时区HiVe表SqoopSqoop十HDFS命令行数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区Sqoop实现集市数据区与数据平台其他HadOoP数据区的数据交换Hadoop命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交数据集市的数据按照据生命周期规划,统一将过期数据归档到历史数据归档区各个数据区数据归档智慧科技园区大数据云平台总体架构一一流程调度层批量处理流程批量敷据处理工作流抽取fJR鬃年交换电件）ODS数据处Plh期）:主IB数则处理1一翘）sf5文件ntt核临时数区记聚松质量桧注【贴散检区基础数据汇总蛔®预强预计接历数据追SEm主露饵区维襄处理瞅Ass理代KSSJW事表生成(73KS3UMA)XORe工DFSa取r内客并数据质量检查数据质量检查伴构化处理（MapReduce）大数据区整理出批量数据处理由流程调度层部署的自定义开发WOrkFlOW组件调度运行整个流程主要完成如下工作：1 .获取业务系统结构化数据，存入临时数据区2 .获取企业内外部非结构化数据,并进行结构化处理，存入主题或集市数据区3 .按照贴源数据模型整合数据（标准化、数据更新/追加）4 .按照主题数据模型整合数据并流程调度朋务核心服务组件,元数据服务用服配置/命名管理数据交换流程流程调度&质量检核任关调度任务执行代S侦测器通知提醒曲监理一*2TZP"TTETEEEEEP-瞰据归挡'三1.-U1.F日志&审核演图例E三系统ET1.处理流程执行质量检查的ET1.任务理的ET1.任务Hakx数据收数据库数据区生成汇总5.数据加工计算后，结果交付到数据集市，支持分析类应用据处理流程实实W数区工作标化签公:数贴整新记录级究处理M数据联合数帙1迫i<加合质实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkF1OW组件调度运行整个流程主要完成如下工作：1.通过数据库数据交换组件获取增量数据，加载到实时数据区统整毂平（数整轮抽据件整联取取整检件）女加裁楼程接络re业比页采虫采并集集结构化处Stor文本检索文本分诃关键词提取链接提取链接合并理S)算结化整2.通过大数据交换组件获取非结构化流程调度服务数»交换鎏固U:J权限IC理元数据服务管理二（元数据导/导出）,用服流程优力,I；一图例数据，并利用StOrnl处理数据，加载到实时数据区3.针对实时数据区数据执行标准化处理和贴源整合执行质量检查的ET1.任务执行数据处理的ET1.任务三源系统ET1.处理流程Hadp数据区j三三数据库数据区流程调度层归档数数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区HadOoP集群,归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WOrkFIoW组件调度运行整个流程主要完成如下工作：1 .数据文件通过HDFS命令行COPyfiromIoCal进行归档2 .贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档3 .集市数据区通过SqOOP或数据库提供的HadOoP集成技术（如：外部表）执行归档智慧科技园区大数据云平台总体架构一元数据服务用服元数据出导A/导图例源系统ET1.处理流程Hadoo殴据区数据库数据区执行质量检查的ETi.任务执行数据处理的ET1.任务数据内容主要用途数据模型保留周期用户访问模式应用集市数据区客户管理财务管理风险管理沙颜练数据区赢矗实时数据区历史归档数据区大数据区处理后大数据待处理大数据客户汇总账户汇总机构汇总主题数据区一数据计算层客户主题协议主题产品主题零售数据供应链数据I一.I系统前日增量数据缓存数据，支持后续E1.T数据处理贝龌麒模型保存最近7天数据贴源数据区和主题数据区批量作业访问无最终用户访问业务系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据贴源数据模型不保存历史主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问工作负载I/O敏感，日终批量ET1.0以E1.T形式通过HiVeSQ1.执行I/O敏感，连续小批量的数据抽取和加载少量量数据使用HiVe的1.oad命令，大量数据使用MR程序平台要求与主题区/贴源区/集市区构成一个HadOOP集群(Hive)无单点故障，7X24小时+非工作日有限停机与主题区/贴源区/集市区构成一个HadOOP集群(Hive)无单点故障，7X24小时+非工作日有限停机应用集市数据区客户管理财务管理风险管理沙盘演练数据区、瀛实时数据区历史归档数据区待处理大数据大数据区社交媒体用户评价移动互联问志处理后大数据零售数据供应链数据主题数据区数据计算层贴源数据区数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求大数据区 企业内外部非结构化、半结构化数据 采集并存储数据，进行结构化处理，最终得到结构化数据数据按照HDFS文件存储 建议保留1年 集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行大数据分析 MapRecluce分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等） 与主题区/贴源区构成一个HadOOP集群（HDFS）无单点故障，7X24小时+非工作日有限停机历史归档数据区其他各数据区历史数据按数据生命周期规划归档平台过期数据，支撑历史数据查询 数据按照HDFS文件存储数据文件按照数据区划分目录，建议保留7年 集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询MapReduce分布式计算，HDFS命令实现HadOOP集群内归档，SqOOP实现数据库归档，通过HiVe提供历史查询独立的Hadp集群（HDFS+Hive）无单点故障，7X24小时+非工作日有限停机应用集市数据区卖时数据区历史归档数据区客户管理财务管理风险管理沙盘演领据区增值产品数据区主题数据区大数据区社交媒体用户评价移动互联待处理大数据贴源数据区数据计算层主题数据区一明细主题数据区汇总数据内容主要用途业务系三5史明细M打破业务条线整合数据对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总，为集市提供数据数据模型保留周期第三范式模型保留长期历史，需要根据主题细化逆范式宽表依赖于集市数据需求主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活杳询、挖掘预测集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测工作负载可用性要求I/O敏感，日终批量ET1.（合并、拉链、关联、汇总等等）以E1.T形式通过HiVeSQ1.执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个HadOoP集群（HiVe）无单点故障，7X24小时+非工作日有限停机I/O敏感，日终批量ET1.（连接、聚合、汇总等等）以E1.T形式通过HiVeSQ1.执行，复杂处理使用MR定制UDF与大数据区/贴源区构成一个HadoOP集群（HiVC）无单点故障，7X24小时+非工作日有限停机座用集市数据客户管理财务管理风险管理沙盘演练数据区增值产品数据区实时数据区历史归档数据区待处理大数据社交媒体用户评价移动互联访问日志大数据区主题数据区客户汇总账户汇总机构汇总客户主题协议主题产品主题零售数据供应链数据贴源数据区数据计算层应用集市数据区沙盘演练数据区数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求按沙盘演练需求，准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务模型依赖于沙盘演练需求在整个沙盘演练周期内保留集市区/沙盘区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测I/O敏感，终批量ET1.（合并、拉链、关联、汇总等等）以E1.T形式通过HiVeSQ1.执行，复杂处理使用MR定制1.DF独立的HadoOP集群（HDFS）无单点故障，7X24小时+非工作日有限停机面向企业内部管理分析类应用需求的汇总数据为客户、运营等管理分析主题和数据增值产品提供数据服务维度数据模型依赖业务需求沙盘区/归档区批量作业访问决策人员、管理人员、业务人员访问I/O敏感型，Bl工具提交的报表、查询、分析SQ1.命令和日终批量ET1.（汇总、聚集等操作，以E1.T形式通过SQ1.执行）基于开放平台的完全无共享MPP数据库集群+内存数据库无单点故障，7X24小时+非工作日有限停机客户管理应用集市数据区财务管理风险管理沙盘演练数据区增值产实时数据区历史归档数据区社交媒体用户评价移动互联问志大数据区零售数据供应链数据贴源数据区主题数据区数据计算层数据内容主要用途帆CiJ'：小数据“安时数据区根据外部用户的数据使用需求数据平台加工计算的结果数据面向应用的业务系统快照数据和一段时间的交易流水为部署在数据平台上的企业内外部增值产品提供数据支持为实时获准实时分析应用提供数据服务数据模型保留周期应用模型，依赖于用户业务需求依赖于用户业务需求贴源数据模型依赖用户业务需求I访问模式企业外部人员，如：客户通过自己部署在PaaS平台上的应用访问企业业务人员高时效、高并发、高可靠性的联机交易类查询工作负载I/O敏感型，Bl工具提交的报表、查询、分析SQ1.命令和日终批量ET1.（汇总、聚集等操作，以E1.T形式通过SQ1.执行）CPU敏感，Bl工具或业务系统高并发、高时效查询，以及准实时连续El1.处理+SQ1.批量处理可用性要求独立的PaaS平台，部署HadOOP集群无单点故障，7X24小时+非工作日有限停机独立的内存数据库集群无单点故障，365X24小时不停机归档数据区源系统数据文件贴源数据主题数据集市数据高时效数据大数据数据集成层临时数据区高时效类分析应用客户经理等最终业务人员针对当实时分析类应用通常使用CEP前业务的发生(如：用户交易、ESB等技术实现4、历史查询类应用针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用历史查询类应用通常使用BI工具或自主开发实现3、沙盘演练类应用业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果沙盘演练类应用通常使用R语言在用户访问日志)，进行实时查询1管理分析类应用管理分析类应用主要实现了集团客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能管理分析类应用通常采用套装软件和Bl工具(MicroStrategy等)实现Hadoop分布式体系下实现2数据增值类产品智慧科技园区数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品数据增值产品通常采用R语言和Bl工具实现，面向企业内外部用户智慧科技园区大数据云平台总体架构平台发展不同阶段对应应数据量增长用户数增长查询复杂度增长ET1.处理复杂度增长分析为主阶段为什么会发生.动态数据仓库阶段让正确的事情发生!大数据平台发展阶段划分批量随机查询H数据分析持续更新加载/短查询基于事件的动态触发监管披露客户管理风险管理运营管理财务管理目前监管机构没仃明确要客户单一视图区公司客户信息管理区个人客户信息管理区同业客户信息管理 目标客户搜索区重点客户区关怀客户区风险客户区异动客户 客户细分区个人客户细分区公司客户细分 客户行为分析区客户轮廓分析区产品交叉销售分析区百分比分析区渠道偏好分析 营销活动管理区营销活动规划区营销活动定义施营销活动执行区营销活动苹果口营销活动白动化区渠道接口与集成区流程自动化口风险监控报表/信息披露区流动性报表区利率敏感性报表区资本充足率报表魅口市场风险区市场风险暴露值流动性管理、利率管理 信用风险区信用风险暴露值计算区信用风险控制(贷前控制、贷中监控、贷后分析)U操作风险区异常交易预警区后督差错检查四 防欺诈/反洗钱区定义欺诈交易模型区可能性欺诈交易预警区欺诈交易分布分析口全面风险管理口领导管理驾驶舱口机构绩效考核口客户经理考核区客户经理工作量评估区客户经理服务客户收益评估 产品绩效考核口业务量考核区供应链金融业务区人人贷业务区保理业务区基金业务区其它中间业务区口渠道成本与收益R 总账分析区资产负债表分析区损益表分析区现金流量表分析区财务指标分析口盈利分析区机构贡献度区产品贡献度区客户细分贡献度区渠道绩效 资产负债分析区主要指标报告，如：净利息收入、净收入净现屋市场价值等区头寸报告区现金流报告区风险价值(VaR)计算口财务预算与计划区财务预算区财务计划执行监控执行过程分析年末财务计划执行分析口预测与场景分析区业务规模预测区收益预测多种展现形式满足各层级用户及应用系统使用需求即席查询静态报表多维分析仪表盘MOOO问题发现OffiCe集成oficeWeb服务挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持决策层 静态报表：按照预先定义格式，批处理报表，在线查询报表等管理层 Office集成：将分析应用嵌入到OffiCe界面中，利用OffiCe的方便、易用特性，降低用目'户使用难度 即席查询：通过即席查询工具或手工书写SQ1.语句，完成业务信息的即席查看 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等业务人员 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警数据科学家业务系统 挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值 Web服务：将分析应用的功能发布为Web服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果流程组织建立/维护流程标准建立/维护流程智慧科技园区大数据云平台总体架构数据管控层金融数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台四个域。组织数据与信息标准化委员会数据管理人"S席有人数据生产人窥据使用人IT支持团队考核指标；建立/维护流程评价与考核流程平台数据标准管理I数据质量管理元数据管理it数据安全管理.I工雇流管理智慧科技园区大数据云平台总体架构数据管控体系内部运转机制组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。工具数据接入流程数据授权流程口数据退役流程标准/政策制定流程管控组织a数据管控委员会a数据所有人a数据认责人aIT支持标准（数据标准、质量要求口遵守标准所需要的政策口政策与标准遵从考评定义>规范了数据管控过程中,各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。数据质量管理>采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。口稽核规则管理口数据稽核口质量报告元数据管理口业务元数据管理口技术元数据管理管理元数据分析管控综合管理口标准/规范管理口S管理孩仪表盘a数据使用者>明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。>通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。智慧科技园区大数据云平台总体架构数据管控组织数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：信息管理委员会数据管控主导方数据管控经理数据管控参与方;产生部门数据主管时用有部门据准理员数标管方据量理员数质管D元据理数管员据全理员数安管9数据主管数据分析员协调人数据主管运维组织业务协调人数据分析口贝业务协调人数据分析员实施项目组岗位角色消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求;数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求.J数据及时性要求I数据质量标准数据质量验证规则数据质量考核指标A不定期数据质量检查数据质量考评数据质量监控数据质量提升数据质量I分析报告J数据补录手工修正自动修正智慧