数据仓库简介.docx

数据仓库简介数据仓库的类型根据数据仓库所管理的数据类型和它们所解决的企业问题范围，一般可将数据仓库分为下列3种类型：企业数据仓库(EDW)、操作型数据库(ODS)和数据市集(DataMart)o数据仓库主要工作的对象为多维数据，因此又称为多维数据库。1 .数据仓库的概念数据仓库领域的权威W.H.Inmon给出了数据仓库的一个简短而全面的定义:数据仓库是一个面向主题、集成、时变、非易失的数据集合，是支持管理部门的决策过程。根据该定义，数据仓库具备以下四个关键特征：1.1 面向主题(SUbjeCtOriented)的数据集合数据仓库通常围绕一些主题，如产品“、嘲售商“、嘴费者等KS行组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处理。因此，数据仓库提供了特定主题的简明视图，排除了对于决策无用的数据。1.2 集成(Imegrated)的数据集合数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等。1.3 时变(TimeVariam)的数据集合数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据。1.4 非易失(NOnVoIatile)的数据集合数据仓库总是与操作环境下的实时应用数据物理地分离存放，因此不需要事务处理、恢复和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访问，因此其数据相对稳定，极少或根本不更新。综上所述，数据仓库是一种语义上一致的数据存储，它充当决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库也常常被视为一种体系结构，通过将异种数据源中的数据集成在一起而构成，支持结构化和专门的查询、分析报告和决策制定。2数据仓库的类型数据仓库的类型根据数据仓库所管理的数据类型和它们所解决的企业问题范围，一般可将数据仓库分为下列3种类型：企业数据仓库(EDW),操作型数据库(ODS)和数据市集(DataMart)。企业数据仓库为通用数据仓库，它既含有大量详细的数据，也含有大量累赘的或聚集的数据，这些数据具有不易改变性和面向历史性。此种数据仓库被用来进行涵盖多种企业领域上的战略或战术上的决策。操作型数据库既可以被用来针对工作数据做决策支持，又可用做将数据加载到数据仓库时的过渡区域。与EDW相比较，ODS有下列特点：ODS是面向主题和面向综合的；ODS是易变的；ODS仅仅含有目前的、详细的数据，不含有累计的、历史性的数据。数据市集是数据仓库的一种具体化，它可以包含轻度累计、历史的部门数据，适合特定企业中某个部门的需要。几组数据市集可以组成一个EDW(在以后部分将会重点提到).随着数据仓库发展的需求，软件工具升级相当快，新产品也层出不穷。为了便于追踪其技术发展和更好地选择相关的工具，数据仓库的构造者应该广泛地收集这方面的文件和数据，以便做出最佳的选择。3数据仓库与传统数据库的比较传统的关系型数据库RDB遵循一致的关系型模型，其中的数据(记录)以表格的方式存储，并且能用统一的结构化查询语言(StructualQueryLanguage,SQL)进行数据查询，因此它的应用常被称为联机交易处理(OLTP),其重点在于完成业务处理，及时给予客户响应。关系型数据库能够处理大型数据库，但不能将其简单地堆砌就直接作为数据仓库来使用。数据仓库主要工作的对象为多维数据，因此又称为多维数据库。多维数据库的数据以数组方式存储，既没有统一的规律可循，也没有统一的多维模型可循，它只能按其所属类别进行归类。以应用而言，多维数据库应该具备极强的查询能力，多维数据库中存储的信息既多又广，但由于其完成的是一种联机事物分析(OLAP),因此并不追求瞬时的响应时间，在有限的时间中给予响应即被认可。实际上，OLAP包含交互式的数据查询，伴随着多种分析方法，例如下钻或成功地钻入到最底层的细节信息上。因此数据仓库中的信息,尽管是多维的，仍然可以用具体的表格表示。尽管数据仓库与传统数据库之间存在着如此大的差异，但设计数据仓库并不是完全另起炉灶，而可利用现有的传统处理数据，从中进行信息的综合，从而构造出满足不同需求的数据仓库。即数据从动态的、目前事件驱动的传统工作数据流向静态的、历史性质的数据仓库。从理论上说，从工作数据中战略性地引入到期的数据可以完成这种转变，但是由于受到实际存储容量和技术的限制，这实际上是不可能的。因此必须从工作数据中分离和筛选数据进入到数据仓库中。鉴于以上各种因素，为保证OLAP的性能，必须将数据仓库和传统工作的数据相分离。为什么要建立数据仓库数据库和数据仓库当然都是装数据的地方，关键的区别是装的什么样的数据,数据库装的原始数据，没经过任何加工；而数据仓库是为了满足分析需要，对源数据进行了TranSfOrm过程。这是ITPUb上一篇帖子引发出的问题，以前还真没去仔细思考这个问题：为什么要建立数据仓库，数据仓库和数据库的区别？因为理论上的优点说法都很多，但要真正很好地理解，能简洁地向客户阐述明白，让客户觉得建立数据仓库是一件值得做的事情，还是值得讨论一下这个问题。有如下一些朋友们说法（自己在批注处谈点个人的意见）：A数据库是一个装数据（信息的原材料）的地方。数据仓库是一种系统，这种系统也是用数据库装东西。（这有点没说清楚：个人理解数据库和数据仓库当然都是装数据的地方，关键的区别是装的什么样的数据，数据库装的原始数据，没经过任何加工；而数据仓库是为了满足分析需要，对源数据进行了TranSfOrm过程，具体是怎样一个处理过程，可以从BiHInmon的仓库定义四个特性进行理解。）数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是：基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。B早期一直不理解数据仓库是什么困惑得很。宏观一点讲，数据仓库就是堆放公司所有数据的地方，之所以把数据都堆在一起，是为了从中间找到有价值的东西。数据仓库更多的是一个概念，不要把数据仓库想成那些号称是数据仓库的软件产品们。（数据仓库的建立和数据挖掘都是一个过程，可以从数据仓库生命周期和OLTP系统生命周期的区别进行理解，数据挖掘过程CRISP-DM）数据仓库的物理上就是数据库。相对业务系统数据库叫OLTP数据库（用于业务处理），这种数据库叫OLAP数据库（用于业务分析，不知道有没有这种说法，个人觉得C）LAP和数据库还是不能简单地称为OLAP数据库的；OLAP是针对特定问题的联机数据访问和数据分析而产生的一种技术，它满足DDS从多种角度对数据进行快速、一致、交互地分析，克服传统DDS交互能力差的弊病，使决策者能够对数据进行深入观察。OLAP服务器使用为用户预定义的多维数据视图对数据仓库的信息进行统计分析处理，为具有明确分析范围和分析要求的用户提供高性能的决策支持在线分析处理，只是基于DW上的一种多维分析方式，当然我也可以不用OLAP,直接做基于DW的DM）。数据仓库的概念是针对以下基本需求产生的：公司的业务系统很多，业务系统的历史数据不方便查询。不同的业务系统往往管理部门不同，地域不同。能不能将所有这些数据集中起来，再淘淘有没有有意义的业务规律。数据仓库数据库往往很大，因为公司所有的数据集中得越多，越能淘到有价值的发现。例如随便就IOoG以上。数据仓库的组成十分繁杂，既有业务系统的历史数据，又有人事、财务数据，还要自己建一些基础性的数据，例如，公共假期数据、地理信息、国家信息等等。数据仓库概念包含从业务生产系统采集数据的程序，这个程序还不能影响业务系统的运行。（属于所谓“ETL”过程）数据仓库包括业务系统长期的历史数据，例如5年，用来分析。（所谓“0DS”数据）数据仓库包括针对某相业务值（例如销售量）重新打上标签的业务流水数据。（所谓事实表'、'维度表'）。数据仓库概念兴许还包含报表生成工具（所谓“BF工具）o这些工具能够达到几年前所谓DSS（决策分析）的效果。数据仓库的客户历史资量的分析，也许又与CRM系统粘点边。总之，一点，一个公司想针对已有的历史业务数据，充分的利用它们，那么就上数据仓库项目。至于哪些吓唬人的大写字母的组合，只是达到这个目标的科学技术罢了。牢记住数据仓库的基本需求，不要被供应商吓着。C数据仓库可以说是决策支持系统（个人不同意这个观点，决策支持系统（DDS）是在管理信息系统的基础上发展起来的，在数据仓库、OLAP技术和数据挖掘工具出现以前，就已经有DSS了，但其在实际应用开发过程中暴露出许多问题，DW为克服传统DDS存在的问题提供了技术上的支持，基于DW上的DSS效果自然有很大提升），能帮助老板了解企业的整体全貌，看到数据仓库提供的经过整理统计归纳的数据后老板凭自己的管理经验可以发现企业的问题或困难或成功因素在哪一方面，然后可以不断的追溯数据，直到确定到最具体的细节上，这样能够不断提升老板或管理层的管理水平，不断改善企业的管理。我们知道的最好的一个例子就是美国某大型超市啤酒和尿布的故事。沃尔玛公司在美国的一位店面经理曾发现，每周，啤酒和尿布的销量都会有一次同比攀升，一时却搞不清是什么原因。后来，沃尔玛运用商业智能（BusinessIntelligence,简称BI）技术发现，购买这两种产品的顾客几乎都是25岁到35岁、家中有婴儿的男性，每次购买的时间均在周末。沃尔玛在对相关数据分析后得知，这些人习惯晚上边看球赛、边喝啤酒，边照顾孩子，为了图省事而使用一次性的尿布。得到这个结果后，沃尔玛决定把这两种商品摆放在一起，结果，这两种商品的销量都有了显著增加。数据库是数据仓库的基础。数据仓库实际上也是由数据库的很多表组成的（这句话明显不成立，数据仓库里表分为事实表和维表，这和数据库里的表还是有本质区别的，组织方式完全不一样，一个是面向主题，一个是面向业务的）。需要把存放大量操作性业务数据的数据库经过筛选、抽取、归纳、统计、转换到一个新的数据库中。然后再进行数据展现。老板关注的是数据展现的结果。数据库和数据仓库的区别数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库数据仓库的出现，并不是要取代数据库。目前%大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。“面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别一市场里面，白菜、萝卜、香菜会在一个摊位上,如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说,市场里的菜（数据）是按照小贩（应用程序）归堆（存储）的，超市里面则是按照菜的类型（同主题）归堆的。“与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。“不可修改数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据（有的数据库例如电信计费数据库甚至处理实时信息）。因此，数据仓库中的数据是极少或根本不修改的;当然，向数据仓库添加数据是允许的。数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。补充一下，数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库必须有如下几点优点，否则是失败的数据仓库方案。1 .效率足够高。客户要求的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。2 .数据质量。客户要看各种信息，肯定要准确的数据，但由于数据仓库流程至少分为3步，2次ETL,复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。3 .扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，客户不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。