数据仓库与数据挖掘.docx
《数据仓库与数据挖掘.docx》由会员分享,可在线阅读,更多相关《数据仓库与数据挖掘.docx(38页珍藏版)》请在课桌文档上搜索。
1、数据仓库与数据挖掘然而目前OLAP存在的最大问题是:业务灵活多变,必定导致业务模型随之经常发生变化,而业务维度与度量一旦发生变化,技术人员需要把整个Cube重新定义并重新生存,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统称之死板的日常报表系统.在思达商业智能平台StyleIntelligenCe上进行海量数据的多维数据分析,从业务需求的角度出发,维度与度量才是直接针对业务人员的分析语言。在自主知识产权数据块儿技术支持下,直接把维度与度量的生成交给业务人员,由业务人员自己定义好维度与度量之后,将业务的维度与度量直接运行,并最终生成报表。
2、此种以终为始的设计思路,首先能解决传统OLAP分析中维度难以改变的问题,利用思达商业智能平台StyleIntelligenCe中数据非结构化的特征,业务人员能够灵活地改变问题分析的角度,对业务人员非常友善。其次思达商业智能平台StyleIntelligence在海量数据处理中利用分布式数据处理架构强大的分布式数据处理能力,不管OLAP分析中的维度增加多少,系统开销并不显著增长。XXX公司BI系统方案建议书IBM公司软件部二。九年九月IBM公司蚊据仓底府业智能解决方案目录第一章IBt122.1 葡业智修基本结构22.1.1 据仓库架构32.1.2 数据仓库:用于抽取、解分,分布、存储。用的信息4
3、2.1.3 多维分桅全方位了解现状42.1.4 前台分析工具52.1.5 数据挖版52.2 商业能方案实施原则52.2.1 分阶段、储序渐进的原则.52.2.2 实用除财6223珈耐W6XXX司Blmm73.1 XXX公司Bl系统的需求分析73.2 IBM的解决方案722/分阶段,慵序渐进的原则52.2.2 实用原则.62.2.3 知识原则.6第三章XXX公司Bl系统方案73.1 XXX公司BI系统的需求分析73.2 IBM的解决方窠73.3 建议架构9第四章所选IBM产品倚介114.1 DB2UDBIl4.1.1 概述:DB2家加Family)与DB2通用数据库(UDB)V7.2114.1.
4、2 DB2通用数据库(UDB)V7.2的特色124.1.3 DB2通用数据库(UDB)的其他先进功能224.2 DB2WarehouseMANAGER(数据仓库管理器)261.1.1 /DB2WalVhoUSeManagCr的.主饕部件.261.1.2 数据抽取、转换和加载(ETL)功能271.1.3 元数据(MetaDala)管理311.1.4 DB2WarehouseManager的其它技术特点314.3IBMOLAPServer(多维数据庠服务/)334.3.1 DB2OLAPSeNer引擎.334.3.2 DB2OLAPSener各个附件.34第一章概述随着小场竞争的U益激烈,各家公司
5、纷纷把提高决策的科学性、合理性提高到一个新的认识高度。在此背地下,利用佶息技术的最新手段,利用业务数据进行面向决策的分析这一方法纷纷被国内外许多公诃所采用,通过有目的、有选择地采集业务数据,并将其转换为对决策有用的信息,用十智能化的分析、预测和模拟等H的,这样的应用被称为商业智能应用,从国内外各行各业的发展经验看,实施商业智能是提高企业进行高效的业务分析和科学决策的有效手段。作为一个具有八十名年历史,以开发信息技术和商业应用而闻名的“蓝色巨人”,IBM在这一领域进行了多年的研究,发展出完备的商业智能技术,为商业数据自动转化为商业知识提供了现实的方案。商业智能的木质,是提取收集到的数据,进行智能
6、化的分析,揭示企业运作和市场情况,帮助管理U做出正确明智的经营决定。一般现代化的业务操作,通常都会产生大量的数据,如话单、账单以及客户资料等,其中一部分是决策关键数据,似并不是所有的数据都对决策Tf决定意义。商业智能包括收集、清理、管理和分析这g数据,将数据转化为有用的信息,然后及时分发到企业各处,用于改善业务决策。企业可以利用它的信息和结论进行更加灵活的阶段性的决策:如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等,也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等,这一切都是为了降第二章商业智能综述2.1 商业智能基本结构当今,许多企业认识到只有靠充分利用,发掘其现
7、有数据,才能实现更大的商业效益。日常的商务应用生成了大量的数据,这些数据若用于决策支持则会带来显著的附加值。若再加匕市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时,上述处理过程产生的效益可进一步增强。而数据仓库正是汇总这些商用信息后,进而支持数据发掘、多维数据分析等“i今尖端技术和传统的查询及表报功能,这些对于在当今激烈的商业竞争中保持领先是至关重要的。那么怎样把这样大恸的数据转换成可靠的、商用的信息以便于决策支持呢?建立数据仓库正被广泛地公认为最好的转换手段。建立数据仓库的过程业务数据转换工具外部数据奇业主题管商业视图图1数据仓库建立过程HI川川川M成员映射禽业视团业务信息
8、根据【DC的调查,使用数据仓库的投资问报率平均超过400%,尤其是从小型数据仓库开始实施的平均超过500%O2.1.1 IBM数据仓库架构IBM早在90年代初期,就投入大量优秀技术人员和资金开始了数据仓库的研究,并启动了Star-Burst大型科研项目。该项目主要就是为了攻克数据仓库领域的一些技术难题,例如优化星型连接(Star-join),实现多维分析。因此,IBM现在发布的数据仓库产品都是经过反复推敲和久经考验的,真正做到让用户买起来放心,用起来舒心。基于对基于仓库结构的深刻理解和多年积累的经验,IBM设计了自己的数据仓库结构,见下图:数据仓库的组成。作为一个开发式结构,它方便了用户的产品
9、选择、实施和今后的犷展。OLTP业务系统数据仓库数据集市DSS图2旧M数据仓库架构上图为IBM三层次数据仓库结构:从第一层OLTP业务系统到第二层数据仓库为建仓过程,从第:层到第三层数据集小为按主题分类建立应用的过程。第一步包括数据抽取、数据转换、数据分布等步骤,按照统一的数据格式标准进行统的数据转换,建立可被企业各部门充分共享的数捌仓库。其中,数据抽取阶段完成对各种数据源的访问,数据转换阶段完成对数据的清洗、汇总和合等,数据分布阶段完成对结果数据存储的分配。这三个阶段通常紧密结合在一起,由一个产品或几个产品配合实现。例如,DB2WarehouseManager既可独立完成,又可结合DaIaJ
10、oiner、DataPropagator实现对异构数据和数据复制的处理。DB2WarehouseManager可进行数据映射的定义,以定期地抽取、转换和分布数据;DalaJOiner可访问的各种关系型数据库包括DB2数据库家族、ORAcLE、SYBASE、INFORMIX和MSSQLSerVer等;DaIaPn)PagaIor主要用于数据复制,采用数据复制的方式可对业务数据仓库进行增量数据更新,避免对作业系统事物处理性能的影响和大量重复抽取数据。数据的存储由DB2家族产品来完成,以保证数据仓库始终高性能地运转,提供完整、准确的数据,便于将来的升级和扩展。第二步,在按主题分类建立应用时,若既想拥
11、有多维数据库的独特功能,又要把数据存放在关系型数据库中以便管理,则DBZOLAPServer是用户的最佳选择。DB2WarehouseManager中提供的InformationCatak)g通过描述件数据帮助用户查找和理解数据仓库中的数据,InteHigentMiner用于数据挖掘以便帚助决策者预测或发现隐藏的关系。最后,我们以报表或图形的方式将结果数据呈现给用户,这通常由第三方产品来实现,它们包括:HyperionAnalyzer,Cognos,Brio,BusinessObjects等。商业智能的实现方式多种多样,其规模和特点由用户的需用来决定。但万变不离其宗,其基木体系结构往往包括三个
12、部分。2.1.2 数据仓库:用于抽取、整合、分布、存储有用的信息一个企业的信息往往分桶在不同的部门和分支机构,管理者要综观全局、运筹帷展,必须能迅速地找到能反映真实情况的数据,这幽数据也许是当前的现实数据,也可能是过去的历史数据。因此,有必要把各个区域的数据集合起来,去其糟粕、取其精华,将真实的、对决策TT用的数据保留下来,随时准备管理人员使用。因此,数据仓库不仅仅是个数据的储存仓库,更重要的是它提供了干富的工具来清洗、转换和从各地提取数据,使得放在仓库里的数据有条Tf理,易于使用。2.1.3 多维分析:全方婀了解现状管理人员往往希望从不同的角度来审视业务数值,比如从时间、地域、产品来看同一类
13、业务的总额。每一个分析的角度可以叫作一个维,因此,我们把多角度分析方式称为多维分析。以前,每一个分析的角度需要制作一张报表。由此产生了在线多维分析工具,它的主要功能,是根据用户常用的多种分析角度,事先计算好一些辅助结构,以便在查询时能尽快抽取到所要的记录,并快速地从一维转变到另一维,将不同角度的信息以数字、宜方图、饼图、曲线等等方式展现在您面前。2.1.4 前台分析工具提供简单易用的图形化界面给管理人员,由他们口由选择要分析的数据、定义分析角度、显示分析结果。往往与多维分析工具配合,作为多维分析服务器的前台界面。以上三部分是商业智能的基础。它完成的是对用户数据的整理和观察,可以说,它的工作是总
14、结过去。在此基础结构之上,商业智能可以发挥更进一步的作用,利用数据挖掘技术,发现问题、找出规律,达到真正的智能效果:预测将来,2.1.5 数据挖掘o正如在矿井中可以挖掘出珍贵的矿石,在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。它比多维分析更进一步。例如,如果管理人员要求比较各个区域某类业务在过去一年的情况,可以从多维分析中找答案。但是,如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好,或者问该业务在另一地区将会怎么样,这时数据挖掘工具可以作出回答。简单的说,数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式,从大量的数据中,找寻数据与数据之间的
15、关系。这种关系,-般显示数据组之间相似或相反的行为或变化。一个细心的分析者,往往能从这些发掘出来的关系得到后示。而这种后示又很可能使得到它的业者,获得其他竞争者所没有的先机。数据挖掘要求有数据仓库作基础,并要求数据仓库里已经存有丰富的数据。因此,在实施商业智能方案时,一般分两步走:第一步实现数据仓库和多维分析,构造商业智能的is础,实现分析应用:第.步实现数据挖掘,发挥商业智能的特色,2.2 商业智能方案实施原则实施商业智能方案项目工程,与实施传统的应用宏统有很大的不同。其中最重要的是,商业智能的实施是不断的交流过程,只有双方紧密的合作才能取得实施的成功。我们建议,I.程实施上采取以卜原则:2
16、.2.1 分阶段、循序渐进的原则任何一个项H的实施都是一个发现问题,解决问题,枳累经验,又遇到新问题,再解决,再积累的循序渐进的过程。我们建议XXX公司应根据现有的资源以及今后发展的方向,分阶段、循序渐进的实施商业智能方案。2.2.2 实用原则在第一步实现数据仓库时,尽量针对当前电信最关心的主题,并将该主题进行细致分析,尽可能用简单、统一、易于使用的方式来实现,避免追求片面的复杂和完美。2.2.3 知识原则普遍说来,由于商业智能技术相对而言比较新,企业的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着不足或偏差C实际应用经验也很欠缺。因此,我们建议在实施过程中结合专家培训和
17、服务,在商业智能系统的设计、开发、实施当中,逐步培养出企业口已的系统管理、维护和开发人员。当系统投入使用时,这些人员可以对系统进行维护和管理,并负责对最终用户进行培训。IBM公司数据仓库/商业料能翎决方案第三章XXX公司BI系统方案3.1 XXX公司Bl系统的需求分析在XXX公司的Bl系统中,可以实现如下系列经营过程中的分析和决策支持:除了以上列出的一系列分析和预测外,利用BI系统,还应该能够根据XXX公司的需求很方便地扩展其功能,3.2 IBM的解决方案基于XXX公司BI系统的需求,以及IBM公司在数据仓库领城的经验,我们提出以下解决方案:采用一个企业级的数据仓库,实现各分行业务数据的口动采
18、集、清洗、汇总,并TL通过多维分析工具,让用户能够有效的将数据转化为灵活的报表和决策支持信息,最终满足用户的信息需求。该方案的实现方式如卜:苜先,在数据主要来源于两个方面:综合业务系统和新录入的数据,综合业务系统中的数据通过数据仓库.具进行自动采集、清洗、整理,而需要新录入的数据则通过浏览渊方式录入。在构造数据仓库的过程中,我们采取以S)带面的做法,采用小步长、逐步地建立数据仓库的策略。以XXX公司报表系统为开端,分阶段地实现商业智能应用。小的项Fl可以立即显示数据仓库的价值,同时也提供了更快的投资【可报。而FL先在只有少埴的数据和用户的小系统上进行学习和实践,对技术人员来说会学得更快。我们希
19、望首先在需求较为迫切的领域,选择一些比较有意义的主题;基于这些上题,我们将建立一个数据朱巾,待用户能够对数据仓库的概念和一些技术有了比较深刻的认识之后,再综观全局,构建起企业级的数据仓库。数据录入可以采用数据文件快速装入的方式,也可以采用专门应用的方式。如果采用后者,我们可以考虑使用IBM的WebSphere和ViSUalAgeIbrJava进行开发,它们产品是IBM也子商务应用的重要部件。利用这两个工具,我们可以方便地建立Web页面,生成Java程序,包括Applet.ServletApplication等等。并I.系统的维护L作也比较方便,当需要修改应用时,只需要修改服务器上的程XXX公司
20、/IBM中国力限公司机密第7页序就可.以了,不需要在客户端做工作,另外,这种结构对客户机的配置要求也不太高。在建造数据仓库的过程中,我们推荐使用IBM的WarehouseManager,该产品是IBM用来建立数据仓库的工具,利用该工具,我们可以方便、快捷地构造起数据仓库来,因为我们应该认识到数据仓库必须建立在一个开放的、可更改的结构上,以便能够处理数据和需求的不断膨胀。WarCh(HISCManagCr正是这样的一个工具。提供一个开放的,从数据源到数据仓库的一致的解决方案。在XXX公司的Bl系统中,通过WarehOUSCManagCr省理器可以方便地建立数据加工的流程(ProCCSS)和步骤(
21、SlCP),这些步骤反映了XXX公司具体业务数据的流程、规则。在各步骤中可以定义代理(agcm)来自动运行数据传递、清洗和汇总功能,这此步骤可以按时间、事件运行,或由其它步骤触发。代理可以运行在WarChoUSeManager服务费上,也可以运行在远程的通主机上,并且可以有多个代理运行以提高效率.,可以以非常宜观的图形化方式管理数据仓即,当报表系统的业务需求发生变化时,可以非常方便地修改步骤,满足变化多端的商业竞争环境。WarehouseManager是专门为商业应用设计的,它可以自动在网络上进行数据的传送,不需要人为干预,并Tl利用它的日志功能可以对系统运行很好地监控。在DB2Warehou
22、seManager(DWM)中含TfWarehouseAgent部件,它可以用米在位于数据仓库的H标数据库DB2UDB中执行宜接执行数据仓库的数据加工。另外,在数据仓库服务器于业务系统之间的文件数据FTP传输以及从表中抽取少量数据也可以通过Agent直接执行。建立数据仓库之后,选择一些TT意义的.主题,抽取相关的数据到DB2OLAPSCrVCr中,利用DB2OLAPServer的强大分析功能,给最终用户提供在线多维分析的功能,能够让最终用户充分挖掘出数据中包含的信息。DWM在执行完数据的提取任务后,白动触发预先定义好的OLAP操作,将数据经过汇总计算后加载至DB2OLAPServer中,最终用
23、户I.只我们选用DB2OLAPAnalyzer,这个产品是一个数据仓库的前端分析工具,利用这个工具用户可以很容易地访问OLAPServer中经过处理的数据,制作各种形式、风格的报表,报表内容可以包括数字、图廨、曲线等,使得管理层可以宜接、宜.观地查看企业的经营怙况。3.3 建议架构OlP Survcr力IWMinl务K R2 GIAP Analrsis Senrer ff, ScrvrrI)B2 Warehouse MHrmgerDB2 Intvl1igcni Miner for DInlDB2 Intel Iigcni Miner ScoringVindovs 2000“u rtatWn,B
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 数据 挖掘

链接地址:https://www.desk33.com/p-1027500.html