云存储技术毕业设计.docx

学位论文原创性声明本人慎重声明：所呈交的论文是本人在导师的指导卜独立进行探讨所取得的探讨成果。除了文中特殊加以标注引用的内容外，本论文不包括任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人担当。作者签名：年月日学位论文版权运用授权书本学位论文作者完全了解学校有关保障、运用学位论文的规定，同意学校保留并向有关学位论文管理部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权省级优秀学上论文评比机构将本学位论文的全部或部分内容编入有关数据进行检索，可以采纳影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密口，在年解密后适用本授权书2、不保密口。（请在以上相应方框内打“J”）作者签名：年月日导师签名：年月日本科生毕业设计（论文）任务书学生姓名；专业班级:通信0906班指导老师：许建一工作单位:信息工程学院设计（论文）题目：云环境下存储技术的探讨设计（论文）主要内容：云计算主要是利用现有的各种资源，运用虚拟化等多种技术，构建由大量计算机组成的称之为“云”的资源池，它具有强大的资源限制和监督管理实力，能够依据用户的不同需求来动态切割和安排计算资源，用户不须要去了解云的详细构成，只须要定制需求就可以获得云计算交付的服务。云存储伴随云计算而产生，及传统的专用存储相比，云存储增加r资源利用率，其独特的按运用付费和抑性扩展的方式供应计算资源具有显著的优势，它将成为将来最值得期盼推广和应用的技术之一。论文的主要内容包括了解云存储的发展背景、特征、定义：对云存储的关键技术进行分析和探讨；对比多家云存储厂商的架构技术和标准接口，r解其架构的特点，最终用C1.OUdSim软件对云计算系统进行仿真。要求完成的主要任务：1.查阅不少于15篇相关资料，其中英文文献不少于2篇。2.完成开题报告。3 .了解云存储的发展背景、特征、定义；对云存储的关键技术进行分析和探讨：4 .对比多家云存储厂商的架构技术和标准接口，了解其架构的特点。5 .用C1.。UdSin1.软件对云计算系统进行仿真。6 .完成不少于20000字的论文的撰写并完成答辩的相关工作。7 .在设计中完成不少于3张广2#图纸的描绘。8,完成毕业设计周志。9 .完成不低于5000汉字（20000英文印刷符）的老师指定的相关文献的英译汉翻译。必读参考资料:1晏强，张晓锋，惹.云存储技术探讨J上计算机及信息技术.2019.第5期:22-24.2成静静.基于HadOoP的分布式云计算/云存储方案的探讨及设计J.数据通信，2019,第5期：1478.3 PENGYong,ZH0Wei,Securec1.oudstoragebasedoncryptographictechniquesJ.ScienceDirect89(2009)174-180October2019,19(Supp1.2):182-189.4 JosefSpi1.1.ner,JohannesMU1.1.ertA1.exanderSchi1.1.Creatingoptima1.c1.oudstoragesystems.FutureGenerationComputerSystems29(2019)1062-1072.指导老师签名系主任签名院长签名(章)武汉理工高校本科生毕业设计(论文)开题报告1、目的及意义(含国内外的探讨现状分析)云存储是一个以数据存储和管理为核心的云冲算系统，可以认为是以数据处理、数据运算为中心的系统，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外供应数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就须要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统。云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。云存储不是存储，而是服务。就犹如云状的广域网和互联网一样，云存储对运用者来讲，不是指某一个详细的设备，而是指个由许很多多个存储设备和服务器所构成的集合体。运用者运用云存储，并不是运用某一个存储设备，而是运用整个云存储系统带来的种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件及存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。相比于传统的存储，云存储更简洁扩容(包括带宽)，云存储实行的架构是并行扩容，容量不够了，只要选购新的存储服务器即可，容量马上增加，几乎是没有限制的.更易于管理，因为将大部分数据迁移到云存储上去后，全部的升级维护任务都是由云存储服务供应商来完成，云存储服务则可以很便利的在原有基础上扩展服务空间，满意需求。成本更低廉，就目前来说，企业在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴增而不断增加。IDe探讨表明，从2019年到2019年，全球信息总量将增长6倍以上，从161EB增加到988EB(IEB=I024PB)O些新推出的磁盘阵列中已经普遍采纳了750GB或ITB的SATA(Seria1.AdvancedTechno1.ogyAttachment,串行高级技术附件，一种基于行业标准的串行硬件驱动器接口）硬盘。目前已知存储密度最高的磁盘阵列可以在4U空间（IU=4.45Cm）内供应高达42TB的存储容量，这在以前是根本无法想象的。最新代1.TQ4磁带的单盒磁带存储容量也达到1.6TB（压缩比为2：1）。技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压缩等技术的引入，可以进一步提升存储空间的利用率。从性能方面看，FC磁盘阵列已经逐步过渡到4GB时代，而8GBFC又在向数据中心用户招手：万兆IP存储不再是纸上谈兵：在InfiniBand领域，已经有厂商推出了40GBInfiniBand适配器产品。2、基本内容和技术方案及传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的困难系统。各部分以存储设备为核心，通过应用软件来对外供应数据存储和业务访问服务。I个人空间.1嚏制®在缓文格网络祝“网络广域网或可我网）M,用户认比,R管W）公用健【幅拄用软件.wb等网络立（鲁俗软件I"移:件z11wttnH络常成机总控制件IE"八性J云存储系统的结构模型由4层组成，如图1所示：访日层分布式文传拿”内容分发P2P通生匕*绿H宛如密皎期冬恰Q据容夫“2*B化.存tin中"a.«；«£».r,*存«t&*(K«.FC,itsiw>应用按口层解砒钞理层<1）存储层存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCS1.或SAS等DAS存储设备。云存储中的存储设备往往数量浩大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。（2）基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外供应同一种服务，并供应更大更强更好的数据访问性能。CDN内容分发系统、P2P数据传输技术和数据压缩技术等可以保证云存储中的数据nJ以更有效地存储，运用和占用更少的空间，占用更低的传输带宽，从而对外供应更高效的服务数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的平安和稳定。（3）应用接口层应用接口层是云存储最敏捷多变的部分。不同的云存储运营单位可以依据实际业务类型，开发不同的应用服务接口，供应不同的应用服务。比如数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。（4）访问层任何个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储供应的访问类型和访问手段也不同。云存储运用者采纳的应用软件客户端不同，享受到的服务类型也不同。3进度支配第13周：查阅相关文献资料，明确探讨内容，了解探讨相关方向第4周：开题报告的编写第5-8周：完成各种试验方案资料的整理第9T1周：完成原理和各种方案，并进行比较分析第12周：探讨云存储在数据存储的一些应用并进行仿真第13-14周：毕业论文书写第1577周：完善毕业毕业设计论文，并答辩4指导老师看法指导老师签名:书目摘要AbstractI1绪论O1. 1云存储的兴起O1.2云存储的发展12云存储的概念32. 1云存储的定义32. 2云存储与传统存储32. 3云存储与云计算52. 4云存储架构模型63云存储的关键技术83. 1存储虚拟化技术84. 2分布式存储技术IO5. 3数据备份技术125.3. 1传统的备份策略123.3.2副本数据布局123.3.3连续数据爱护133.4数据缩减技术133.4.1自动精简配置143.4.2自动存储分层143.4.3重复数据删除153.4.4数据压缩153. 5存储平安技术163. 6容错技术194云存储的架构技术204. IGES系统架构204. 2GPFS架构224. 3HDFS架构254. 4Dynamo架构265云计算仿真CIoUdSim295. 1C1.OUdSim环境配置305. 2程序流程图315. 3程序编写步骤315. 4仿真结果426总结及展望436. 1本文工作总结436.2探讨工作展望43参考文献45致谢48摘要云计算是当前探讨及应用的热点问题。至今为止,GOog云、MiCrOSOft、IBNk亚马逊等IT商业巨头都推出了自1.A的云计算平台，并把云计算作为其将来发展的最主要战略之一.云存储作为云计算的底层服务，对上层服务供应重要的支持：同时，云存储可以有效的存储和管理海量数据，所以更是成为专家学者们关注的焦点。因此，云存储的探讨不但紧跟发展的趋势，同时还具有较高的应用价值。云存储是一种架构困难的分布式文件系统，一是其建立在云计算系统的基础设施之上，这样的基础实施是基于廉价的或虚拟化了的不行信物理硬件;二是其必需支持超大节点规模和海量数据的高效存储，这对于系统架构和模块设计的关键技术提出了巨大的挑战。本文探讨了云存储的发展背景，给出了云存储的定义，描述了云存储的特点，提出了云存储的架构模型，系统地阐述了云存储的关键技术，对比了GFS、GPES、HDES.DynamO架构的特点，并用C1.。UdSim时云计算系统进行/仿真。关键词：云存储，关键技术，架构模型，HDFS,C1.oudSimAbstractC1.oudcomputingisahottopicinrecentresearchandapp1.ications.Up1.onow,Goog1.e、MicrosoftIBM、Amazonandsomeotherfamouscooperationshaveproposedtheirc1.oudcomputingapp1.ication,andtakec1.oudcomputingasoneofthemostimportantstrategyinthefuture.C1.oudstorageisthe1.ower1.ayerofc1.oudcomputingsystemwhichsupportstheserviceoftheother1.ayersaboveit.Meanwhi1.e,itisaneffectivewaytostoreandmanageheavydata.Soitfocusedevenmoreattentionsfromsomeresearchers.Therefore,theresearchofc1.oudstoragewi1.1.noton1.ykeepupontrends,buta1.sohasahighapp1.icationva1.ue.C1.oudstorageisadistributedfiIesystemwithcomp1.icatedarchitecture.First1.y,itisimp1.ementedontopofthec1.oudcomputinginfrastructurewhichisbasedoncheap,virtua1.izedandunre1.iab1.ephysica1.hardware.Second1.y,itshou1.dsupportshugeserversca1.e,efficientheavydatastorage.A1.1.ofthesecha1.1.engethekeytechno1.ogiesofthesystemarchitectureandmodu1.esdesign.Thisartic1.ediscussesthebackgroundofthedeve1.opmentofc1.oudstorage,givesthedefinitionofc1.oudstorage,describesthecharacteristicsofc1.oudstorage,proposesthemodeofc1.oudstoragearchitecture,exposedthekeytechno1.ogiesofc1.oudstoragesystematica1.1.y,comparedthefeaturesofGES,GBFS,HDES,Dynamoarchitecture,andsimu1.atedthec1.oudcomputingsystemwithC1.oudSim.KeyWords:c1oudstorage,thekeytechno1.ogies,themodeofc1.oudstoragearchitecture,HDFS,C1.oudSim1绪论近年来，随着云计算g，和软件即时服务八，的兴起，云存储成为信息存储领域的一个探讨热点。及传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。这是一种具有很大诱惑性的存储技术，云存储可以实现存储完全虚拟化，大大简化应用环节，节约客户建设成本，同时供应更强的存储和共享功能。云状存储中全部设备对运用者完全透亮，任何地方任何被授权用户都可以通过一根接入线及云存储连接，进行空间及数据访问。用户无需关切存储设备型号、数量、网络结构、存储协议、应用接口等，应用简洁透亮。因此，云存储的探讨不但紧跟发展的趋势，同时还具有较高的应用价值。1.1云存储的兴起迄今为止，人类对于计算机发展的需求所关切的共同问题都集中在如何进行高效的存储和存储如何促进计算的协作上。存储及之相关计算的发展历经了以下四个的阶段（Z（1）集中式的应用和存储一一客户机/服务器计算在计算的初期，全部的应用软件、全部的数据和限制器都位于大型的电脑主机之上。用户必需连接到主机，获得适当的权限后才能访问数据。（2）存储资源共享一一对等计算无须经由服务器，将一台计算机连接到另一台计算机，导致了P2P时等计算的发展。在P2P网络中没有主机，全部的通信不再经由主服务器，计算机同等运行，全部的数据分散存储到对等的节点上，提高了通信效率，易于进行数据的共享。<3)存储及计算的分布式化个人电脑能的计算和存储的资源很大一部分没有得到较好的利用，分布式计算能很好的利用这些资源。当一台计算用于某个分布式项目时，须要在机器上安装软件，它会利用空闲的时间进行数据的存储及运算并定期传送到分布式计算网络中及该项目中的其它计算合并结果。只要有足够的计算机参及，这种做法足以比拟更大的主机和超级计算机的处理实力，用户可以共享文件并同时在相同的文件上工作。(4)云计算一一瘦客户端下的计算及存储随着手持设备的发展，云计算的产生使得在瘦客户端一一没有多少计算力和存储空间的接入设备上，也能够进行海量数据的处理叫更深化的来看存储技术的发展。由于单机存储方案无法满意数据拓展和协作性，而产生了分布式存储系统”叫分布式存储系统是基于硬件的存储技术，由于其较大的成本和较差的敏捷性而渐渐被大型企业放弃。云存储是一种新的分布式存储模式，具有廉价、高牢靠性和平安性的优点也成为将来最值得期盼推广和应用的技术之一。1.2云存储的发展云存储这个概念一经提出，就得到了众多厂商的支持和关注皿。Amazon公司推出弹性块存储技术支持数据长久性存储；GoOg1.e推出在线存储服务GDriVe:内容分发网络服务供应商CDNetWOrkS和云存储平台服务商MirVaniX结成战略伙伴关系，供应云存储和内容传送服务集成平台；EMC公司收购Berke1.eyDataSystems,取得该公司的MOZy布线服务软件，并开展SaaS业务：MieroSOft公司推出WindoWSAzure,并在美国各地建立浩大的数据中心；IBM也将云计算标准作为全球备份中心扩展方案的一部分。目前有近百种云存储系统。一些系统有明确的关注点，如存储网络电广邮件信息或者数字图片。其它一些用来存储全部形式的数字文件。一些云存储系统是小规模操作的，其它一些是超大集群的以至于物理设备能填满整个仓库。尽管对于云存储来说有很多优势值得我们选择和探讨，然而云存储仍面临着很多技术的难题，特殊是平安性。图1.1.是因特网数据中心关于云存储所做的调研可以看出平安、限制和性能等问题是关注的焦点。有效的限制和性能反映出用户对于云存储可用性的期盼。目前云存储探讨的热点仍集中在平安性、可用性、牢靠性三个方面。云存储平安特殊是用户数据的隐私问题，即服务商也不能得到用户的数据，至今没有较好的解决方案。图1.1云存储的关注调查2云存储的概念2.1云存储的定义云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外供应数据存储和业务访问功能的一个系统。云存储系统以传统的分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，另一方面对外供应友好的接口，发布便捷的网络数据存储服务。及传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统”云存储不是存储，而是服务。运用者运用云存储，并不是运用某一个存储设备，而是运用整个云存储系统带来的一种数据访问服务。云存储的核心是应用软件及存储设备相结合，通过应用软件来实现存储设备向存储服务的转变皿。2.2云存储及传统存储相比于传统的集中存储方式，云存储系统具有以卜几点优势：（1）更简洁扩容（包括带宽）云存储的扩容过程将变得简洁：新设备仅需安装操作系统及云存储软件后，打开电源接上网络，云存储系统便能自动识别，自动把容量加入存储池中完成扩展。相比传统的存储扩容，云存储架构采纳的是并行扩容方式，即当容量不够时，选购新的存储服务器即nJ,扩容环节无任何限制。（2）更易于管理布传统存储系统管理中，管理人员须要面对不同的存储设备不同的管理界面，要了解每个存储的运用状况，工作困难而繁重，当传硬盘或是存储服务器损坏时，读写效率会降低，数据很可能丢失：而云存储没有这个困扰，硬盘坏掉，数据会自动迁移到别的硬盘，不须要马上更换硬盘，大大减轻了管理人员的工作负担。对云存储来说，管理人员只要在整体硬盘容量快用完时，按需选购服务器即可，通过一个统一管理界面监控每台存储服务器的运用状况，使得维护变得简洁和易操作。（3）成本更低廉传统的存储系统对硬盘的要求近乎苛刻，必需同厂家、同容量、同型号，否则系统很简洁出问题。面对升级换代较快的IT产业，硬盘在运用23年后很难找到同型号产品更换。而云存储没有这个问题，云存储系统中不同的硬盘可以一起工作，既可以实现原有硬件的利旧爱护投入，又可以实现新技术、新设备的快速更新，合理搭配、可持续发展.且云存储系统中所采纳的存储及服务器设备均是性价比较高的设备。可实现许久合作关系下，设备商选购的稳定渠道，便于实现对成本及服务质量的限制。（4）数据更平安，服务不中断传统存储系统会因为硬件损坏而导致服务停止，虽然可以设计全冗余的环境，但成本相对太高且工作困难。云存储系统则不同，它可通过将文件和数据保存在不同的存储节点，避开了单一硬件损坏带来的数据不行用。云存储系统知道文件存放的位置，在硬件发生损坏时，云存储系统会自动将读写指令导向存放在另一台存储服务器上的文件，保持服务的接着。另外，传统存储系统在升级时，往往须要把山的存储设备文件备份出来后，停机换上新的存储设备，这通常会导致服务的短暂停止。云存储并不单独依率一台存储服务器，因此存储服务器硬件的更新、升级并不会影响存储服务的供应，系统会将旧存储服务器上的文件迁移到别的存储服务器，等新的存储服务器上线后，文件会再迁移回来.2.3云存储及云计算从整体来看，云计算系统可以认为是以数据处理、数据运算为中心的系统。云计算的设计方向是将在不同地域的各种计算资源，通过虚拟化方式统一到浩大的计算资源“云”系统中央。云系统统一调配、协调、处理来自不同客户的运算需求，通过云系统计算后对外输出运算结果。云计算的一个核心理念就是通过不断提高“云”的处理实力，进而削减用户终端的处理负担,最终运用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理实力。通过云计算技术，网络服务供应者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务功能。云计算系统不但能对数据进行处理和运算，系统中还有大量的存储阵列设备，以实现对计算数据的保存和管理。在云计算系统中配置相应的存储设备，该计算系统即拥有了云存储系统功能。由此可以理解，云存储是云计算系统的延长，是配置了大容量存储空间的云计算系统，可以说云存储是云计算服务的一种，即SaaS"'（storageasaservice.存储即服务），甚至可以说，利用云计算系统来建立存储系统，此时的云存储概念相当于一个云计算服务，它往往称之为“存储云二如亚马逊的S3服务，我们可以利用它来建立另外一个存储系统，S3服务本身就是云服务，所以这样的系统可以称为云存储。2.4云存储架构模型云存储系统的结构模型由4层组成，如图2.1所示。（1）存储层存储层是云存储最基础的部分。数量浩大的云存储设备分布在不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接。各存储设备上都安装有统一的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、集中管理、多链路冗余管理以及硬件设备的状态监控和维护升级等。（2）基础管理层基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。应用接口层通过集群系统、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外供应同一种服务，并供应更大、更强、更好的数据访问性能。云存储系统通过集群文件操作系统实现后端存储设备的集群工作，并通过系统的限制单元和管理单元实现整个系统的管理，数据的分发、处理，处理结果的反馈。可利用CDN内容分发系统、P2P数据传输技术和数据压缩技术等保证云存储中的数据可以更有效地存储，运用和占用更少的空间以及更低的传输带宽，从而对外供应更高效的服务。数据加密技术实现了数据存储和传输过程中的平安性。数据备份和容灾技术可保证云存储中的数据多份保存不会丢失，保证云存储数据自身的平安和稳定。（3）应用接口层应用接口层是云存储最敏捷多变的部分.不同的云存储运营单位nJ以依据实际业务类型，开发不同的应用服务接口，供应不同的应用服务。任何-个授权用户通过网络接入、用户认证和权限管理接口的方式来登入云存储系统，都可以享受云存储服务。<4）访问层云存储运营单位不同，供应的访问类型和访问手段也不同。云存储运用者采纳的应用软件客户端不同，享受到的服务类型也不同，比如个人空间租赁服务、运营商空间租赁服务、数据远程容灾和远程备份、视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。图2.1云存储架构模型3云存储的关键技术3.1存储虚拟化技术通过存储虚拟化方法，把不同厂商、不同型号、不同通信技术、不同类型的存储设备互联起来，将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一安排管理，又可以屏蔽存储实体间的物理位置以及异构特性，实现了资源对用户的透亮性，降低了构建、管理和维护资源的成本，从而提升云存储系统的资源利用率。总体来说，存储虚拟化技术可概括为基于主机虚拟化、基于存储设备虚拟化和基于存储网络虚拟化三种技术。用表格的方式对三种存储虚拟化技术的技术优点及缺点、适应场景等进行了分析对比，结果如下：表3.1存储虚拟化技术对比实现主机网络设备层面架构合理，不占支持异构的存储系统；不占用主机资源；用主机资源；数优点不须要额外的硬件支技术成熟度高，简据管理功能丰持，便于部署。洁实施。富,技术成熟度0缺点占用主机资源，降低应用性能；存在越权访问的数据平安隐患；主机数量越多，管理成本越1.O消耗存储限制器资源：存储设备兼容性须要严格验证；原有的磁盘阵列的高级存储功能将不能运用。受制于存储限制器接口资源，虚拟化实力较弱：异构厂家存储设备的高级存储功能将不能运用。使服务器的存储空间主要用途可以跨越多个异构磁盘阵列，常用于在不同磁盘阵列之间做镜像异构存储系统整合和统一数据管理（灾备）异构存储系统整合和统一数据管理（灾备）爱护。适用场景主机采纳SE卷管理.，须要新接多台存储设备；存储系统中包含异构阵列设备；业务持续实力及数据吞吐要求较高。系统包括不同品牌和型号的主机和存储设备；对数据无缝迁移及数据格式转换有较高时间性保证。系统中包括自带虚拟化功能的高端存储设备及若干须要利旧的中低端存储。不适用场景主机数量大，采纳SF会涉及昂扬的费用；待迁入系统数据量过大，假如只能采纳存储级迁移方式，数据格式转对业务持续性实力和稳定性要求苛刻。须要新购机头时,费用较高；存在更高端的存储设备。换将耗费大量时间和人力。（1）基于主机的虚拟化其核心技术是通过增加一个运行在操作系统下的逻辑卷管理软件将磁盘上的物理块号映射成逻辑卷号，并以此实现把多个物理磁盘阵列映射成一个统一的虚拟的逻辑存储空间（逻辑块）实现存储虚拟化的限制和管理。（2）基于存储设备虚拟化该技术依靠于供应相关功能的存储设备的阵列限制器模块，常见于高端存储设备，其主要应用针对异构的SAN存储构架。（3）基于存储网络虚拟化该的技术的核心是在存储区域网中增加虚拟化引挈实现存储资源的集中管理，其详细实施一般是通过具有虚拟化支持实力的路由器或交换机实现。存储网络虚拟化又可以分为带内虚拟化及带外虚拟化两类，二者主要的区分在于：带内虚拟化运用同一数据通道传送存储数据和限制信号，而带外虚拟化运用不同的通道传送数据和吩咐信息.3. 2分布式存储技术分布式存储是通过网络运用服务商供应的各个存储设备上的存储空间，并将这些分散的存储资源构成个虚拟的存储设备，数据分散的存储在各个存储设备上。先进的分布式存储系统必需具备以卜.特性：高性能、高牢靠性、高可扩展性、透亮性以及自治性。目前比较流行的分布式存储技术为：分布式块存储、分布式文件系统存储、分布式对象存储和分布式表存储。（1）分布式块存储块存储就是服务器干脆通过读写存储空间中的i个或一段地址来存取数据。由于采纳干脆读写磁盘空间来访问数据，相对于其他数据读取方式，块存储的读取效率最高，一些大型数据库应用只能运行在块存储设备上。分布式块存储系统目前以标准的Inte1./1.inux硬件组件作为基本存储单元，组件之间通过千兆以太网采纳随意点对点拓扑技术相互连接，共同工作，构成大型网格存储，网格内采纳分布式算法管理存储资源。<2）分布式文件系统存储文件存储系统可供应通用的文件访问接口，如POSIX等，实现文件及书目操作、文件访问、文件访问限制等功能。目前的分布式文件系统存储的实现有软硬件一体和软硬件分别两种方式。（3）分布式刻象存储对象存储引入对象元数据来描述对象特征，对象元数据具有丰富的语义,支持数据的并发读写，一般不支持数据的随机写操作。对象存储技术相对成熟，对底层硬件要求不高，存储系统牢靠性和容错通过软件实现，同时其访间接口简洁，适合处理海量、小数据的非结构化数据，如：邮箱、网盘、相册、音频视频存储等。<4）分布式表存储表结构存储是一种结构化数据存储，及传统数据库相比，它供应的表空间访问功能受限，但更强调系统的可扩展性。供应表存储的云存储系统的特征就是同时供应高并发的数据访问性能和可伸缩的存储和计算架构。供应表存储的云存储系统有两类接口访问方式：一类是标准的SQ1.数据库接口，一类是MaP-reduce的数据库应用处理接口。前者目前以开源技术为主，尚未有成熟的商业软件，后者已有商业软件和胜利的商业应用案例。3.3 数据备份技术3. 3.1传统的备份策略典型的用户备份流程是这样的：每天都要在凌晨进行一次增量备份，然后每周末凌晨进行全备份。采纳这种方法，一旦出现了数据灾难，用户可以复原到某天（留意是以天为单位的）的数据，因此在最坏的状况下，可能丢失整整天的数据。该备份策略在备份的数据量很大的状况下，备份时间窗口很大，须要繁忙的业务系统停机很长时间才能做到。因此，为r确保数据的更高平安性，用户必需对在线系统实行布线实时复制，尽可能多地采纳快照等磁盘管理技术维持数据的高可用性，这样势必须要增加很大一部分投资。4. 3.2副本数据布局该方法通过集中式的存储节目来定位数据对象的存储位置。这种方法可以利用存储书目中存放的存储节点信息，将数据对象的多个副本放置在不同机架上，这样可大大提高系统的数据牢匏性。然而，它存在以下两个缺陷：（1）随着存储书目的增长，查找数据对象所需的开销也会越来越大；（2）为提高数据对象的定位速度，一般状况下都会将存储书目存放在服务器内存中，对于PB级的云存储系统来说，文件的数量可能达到上亿级，这导致存储书目将会占用上百GB的内存。因此，当数据对象数量达到上亿级别时，基于集中式存储书目的数据放置方法在存储开销和数据定位的时间开销上都是难以接受的，此外，还会大大限制系统的扩展性。连续数据爱护是一种连续捕获和保存数据变更，并将变更后的数据独立于初始数据进行保存的方法，可以实现过去随意一个时间点的数据复原。连续数据爱护系统可能基于块、文件或应用，并且为数量无限的可变复原点供应精细的可复原对象。连续数据爱护可以供应更快的数据检索、更强的数据爱护和更高的业务连续性实力，而及传统的备份解决方案相比，连续数据爱护的总体成本和困难性都要低。连续数据爱护解决方案应当具备以卜.几个基本特性：数据的变更受到连续的捕获和跟踪：全部的数据变更都存储在一个及主存储地点不同的独立地点中：复原点目标是随意的，而且不须要在实际复原之前事先定义。尽管些厂商推出r连续数据爱护产品，然而从它们的功能上分析，还做不到真正连续的数据爱护，比如有的产品备份时间间隔为一小时，那么在这一小时内仍旧存在数据丢失的风险，因此，严格地讲，它们还不是完全意义上的连续数据爱护产品，目前我们只能称之为类似连续数据爱护产品。3.4 数据缩减技术数据量的急剧增长为存储技术提出了新的问题和要一一怎样低成本高效快速地解决无限增长的信息的存储和计算。通过云存储技术不仅解决r存储中的高平安性、牢靠性、可扩展、易管理等存储的基本要求，同时也利用云存储中的数据缩减技术，满意海量信息爆炸式增长趋势，肯定程度上节约企业存储成本，提高效率。该技术是利用虚拟化方法削减物理存储空间的安排，通过“欺瞒”操作系统，造成的似乎存储空间有足够大，而实际物理存储空间并没有那么大，会削减已安排但未运用的存储容量的奢侈，在安排存储空间时，按需安排，最大限度提升存储空间利用率，利用率超90%。利用自动精简配置技术，用户不须要了解存储空间安排的细微环节，能帮助用户在不降低性能的状况卜.，大幅度提高存储空间利用效率；需求变更时，无需更改存储容量设置，通过虚拟化技术集成存储，削减超量配置，降低总功耗。这项技术已经成为选择存储系统的关键标准之一。随着自动精简配置的存储越来越多，物理存储的耗尽成为自动精简配置环境中常常出现的风险，因此，告警、通知和存储分析成为必要的功能。3.4.2 自动存储分层在过去，数据移动主要依鸵手工操作，由管理员来推断数据访问压力，迁移的时候只能一个整卷一起迁移。自动存储分层技术的特点则是其分层的自动化和智能化。一个磁盘阵列能够把活动数据保留在快速、品贵的存储上,把不活跃的数据迁移到廉价的低速层上，以限制存储的花费总量。数据从一层迁移到另一层的粒度越精细，运用的品贵存储的效率就越高。F1.动存储分层的重要性随着固态存储在当前磁盘阵列中的采纳而提升，并随着云存储的来临而补充内部部署的存储。自动存储分层运用户数据保留在合适的存储层级，而不须要用户定义的策略，因此削减了存储需求的总量并实质上削减了成本，提升了性能。该技术通过删除集中重复的数据，只保留其中一份，从而消退冗余数据,可以将数据缩减到原来的益、5乐依据消重的粒度重复数据删除技术可以分为文件级和数据块级。该技术计算数据指纹，具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅须要保留一份。这样，一个物理文件在存储系统中就只对应一个逻辑表示.由于大幅度削减了物理存储空间的信息量，进而削减传输过程中的网络带宽、节约设备成本、降低能耗。3.4.4 数据压缩数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着目前CPU处理实力的大幅提高，应用实时压缩技术来节约数据占用空间成为现实，这项新技术就是最新研发出的在线压缩，它及传统压缩技术不同，当数据在首次写入时即被压缩，以帮助系统限制大量数据在主存中杂乱无章地存储的情形，特殊是多任务工作时更加明显。该技术还可以在数据写入到存储系统前压缩数据，进一步提高了存储系统中的磁盘和缓存的性能和效率。压缩算法分为无损压缩和有损压缩。相对于有损压缩来说，无损压缩的占用空间大，压缩比不高，但是它有效地保存了原始信息，没有任何信号丢失。但是随着限制无损格式的种种因素渐渐被消退，使得无损压缩格式具有广袤的应用前景。数据压缩中运用的1.Z77算法，主要由2部分构成，滑窗(SIidingWindoW)和自适应编码(AdaPtiVeCoding),压缩处理时，在滑窗中杳找及待处理数据相同的块，井用该块在滑窗中的偏移值及块长度替代待处理数据，从而实现压缩编码。假如滑窗