GAD双活存储集群方案.docx
技术方案建议书第1章需求分析3第2章总体技术解决方案52.1 方案拓扑示意图及简要说明52.2 方案优势简要说明62.3 VSPGlOOO的高性能、高牢拳性、高犷展实力7综合说明7高牢咏性9高性能10高扩展性Il2.4 双活存储集群的技术优势122.4.IVSPGlOOO的GAD双活存储集群122.4.2GD双活存储集群的基础一YSM132.4.3GAD与其他厂商双活集群技术的对比142.5 现有核心SAN存储与新购存储的无缝集成162.6 关键线路连接示意图162.7 存储虚拟化整合规划172.8 远程容灾规划18选用HUR异步纪制技术182.8.2HUR异步嵬制软件的工作原理192.8.3HUR异步纪制软件与友商的技术对比说明21第3章数据迁移解决方案223.1 数据迁移概述22迁移目标22数据迂移相关因素223.2 数据迁移方法论23迁移评估设计阶段23迁移实施阶段253.3 数据迂移技术的选择26可选的数据迁移技术26举荐数据迁移方案28第1章需求分析依据现状分析,本次项目的核心建设要点有以下4点:D高性能,高扩展性,且可保证数据以及应用平安的存储设备鉴于XXXX的存储运用状况和将来的业务发展,须要高性能,高扩展性(如存储产品的容员与端口等),高牢靠性的企业级高端存储设备作为南方中心整体存储方案的支控,2)须要单一存储设备故障不影响业务生产,即双活存储集群技术XXXX对存储的要求不仅仅是能保证单套存储设备的牢靠性,而Il要保证在极端状况下,单存储设备故障时,不会影响关键业务的生产,此外,即使在单套存储设备故障时.,另节点的双活存储的性能也需能够高效支掾业务,因此双活存储需采纳相同的配置,以保证在单套存储出现灾难时,另套存储可以以同样的性能支挣南方中心的业务。双活存储集群在写数据时是须要两套存结均确认写入胜利才会执行下写操作的,因此必需考虐双活存储集群技术对业务性能的影响。I®着两套存储之间距离的增大,数据写入延时越长,因此,建议双活存储集群应在同一个数据中心中以保证业务性能,3)必需满足长期规划,以实现双活基础上的远程容灾爱护即使已经实现了双活存储集群,但由于两个存储在一个机房楼里,仍旧无法避开整个数据中心灾难所带来的影响。因此,还必需在双活的基础上实现远程数据容灾爱护的功能,以保证在灾难发生时仍有可用数据快速更原业务生产。4)数据迁移由于南方中心的核心业务系统是从北京中心拆分出来的,须要将北京中心的部分现有数据迁移到南方中心。因此,木项目必需供应一套可行的、完善的、风险系数最低的数据迂移方案,为南方中心业务系统的部署和上线运行打好基础。依据分析,本项目须要实施数据迂移的IT环境中具有如下特点: 操作系统多样性:整体环境中主机包括AIX.Windows,1.inux、ESX等各种操作系统,服务器涉及多个品牌: 数据格式的多样性:数据的存放主要以OrUCIe数据降为主,有RAC和主备等多种形式的集群,另外还有主机文件系统,YAS文件系统等; 数据量大:数十TB规模的数据须要迁移到南方中心新购存储: 环境限制:距离远、网络带宽有限:这些特点都表明白数据迁移的困难性,也对数据迁移的方法提出了挑战。因此数据迂移方案的选择和设汁IR点考虑以下要点:迁移方案应重点考虑数据初始化,即如何胜利、快速的将数据从北京中心迁移到南方中心:迁移方案重点考虑与应用、操作系统、数据库的无关性,尽量通过更底层的技术,如备份复原、数据库发制、存储发制等,这样可有效降低数据迁移的困琲性:总之,数据迁移应考虑采纳一个有效的方法来面对不同数据库、操作系统、服务港的各种应用的迁移,且迁移过程尽量缩短数据初始化的时间,完成南方中心的快速部署和上线运行。第2章总体技术解决方案2.1方案拓扑示意图及简要说明在明确项目建设目标,经过调研和分析,建议方案设计如卜.图所示:南方中©上图中紫色字体的部分是本次项目投标供应的SAN网络及存储设备.方案说明: SAN网络必在SAN网络层面,方案采纳两套Brocade6520交换机作为SAN交换网络,形成双冗余连接,避开因单台交换机故障导致的存储业务中断,由于南方中心与北京中心之间的远程连接为IP网络,因此建议用户考虑增加FC/IP路由设备,用以实现南方中心与北京中心之间的远程FCSAN路由连接,为基于存储的远程容灾或制供应链路支持。(注:该设备未包含在本方案存储设备供货清单中) 存储层方案果纳两套HDS最高端的存储设得VSPGlOOO为南方中心的业务系统供应高性能、高牢苑的支掾服务Il采纳平安级别最高的“双活存储集群”来实现两套Vspg100o的设备级冗余故障切换,单套vspG100o停机不会影响业务的运行,无须任何人为干预,业务系统能够连续不停机的对外服务。此外,方案中还采纳一套HDS中端存储设备HUSI30,既可以为网管、监控等业务系统供应支撑服务,也可当作VSPGlOOo双活存储集群的仲裁节点运用。 主机层考虑到系统军养性,服务器应安装两块独立的HBA卡,分别连接到两台Brocadc6520交换机,形成冗余链路。HDSVSPGlOOO自带HD1.M动态多路径管理软件,可以安装在服务潺操作系统中,用于管理路径负载均衡和故障路径自幼切换。2.2 方案优势简要说明D高牢靠性、高性能、高扩展性: VSpGlOOO高端企业级存储,采纳多限制器架构冗余设计,具有极高的牢常性。 与此同时,VSPGlOOO的性能也特别精彩,其上一代产品VSP公开发布的SPC-I测试结果为60万IOPS,而VSPGlOOO预估IoPS可以达到200万以上。 扩展性方面:VSPGlOOO最大支持2304块磁盘,192个前端口,2TB缓存,能够充分满足将来的业务发展需求。2)双活存储集群方案 由两套YSPGlOoO存储共同供应业分支掾服务,在陨意套存储出现严峻故障(如断电等)无法工作时,业务系统能够接着运行,无须任何人工干预操作。在一套存储出现严咳灾难时.,单套存储仍可保证的业务的高效运行,实现RTo=0,RPOQo的高军苑业务连续性方案和数据平安方案。 两套存储的配置完全相同,在套存储故障时,剩余的单套存储仍可以供应相同的业务处理速度,不会降低服务水平。3)可实现双活基础上的远程容灾爱护 VSPGlOOO能膨与北京中心实现远程容灾更制,从而实现北京中心与南方中心之间的数据.备容灾。虽然本项目选择的是利用数据库复制软件实现两中心间的容灾,但依据以往的项目阅历,我们仍旧建议运用存储级容灾发制功能,对OraCIe数据库的ArChiYe1.Og再做一份副本数据,作为数据库豆制软件的补充F段和备用手段,为两中心间的容灾方案供应更全面的技术支撑。4)可行的、完善的数据迁移方案数据迁移是一个极其困难的系统问题。如何选择一种可行的、完善的数据迁移方案,应重点从以卜几个方面考虑: 容灾更制技术优先,本项目的建设目的就是为了实现南方中心与北京中心之间的远程容灾,因此建议首选容灾复制技术进行数据迁移。只有这样,数据迁移到南方中心并启动业务生产之后,才能够接着保持与北京中心之间的数据容灾更制关系。,其他数据(文件系统、NAS)等,可以考虑采纳NFS.FTP等方式迁移到南方中心。在具备条件的状况下(可实现两中心间的FC/IP路由通讯),也可以考虑运用存储系统的亚制功能完成两中心间的数据迁移。 电了传输比介质传送更牢靠/无论哪种豆制技术,都具有特别完善的数据传输机制与校验机制,并且迁移到南方中心的数据可以与北京中心干脆建立容灾复制关系。假如带宽条件有限,懂估传输时间较长,建议考虑临时增容带宽,以提高初始化史制的处理速度。/介质传输,无论是传送磁盘、破带、甚至存储设备,都存在极高的数据损坏风险,并且时效性很差,须要再次通过数据复制进行数据更新,过程特别困难。2.3 VSPGlOOO的高性能、高牢靠性、高扩展实力2.3.1 综合说明权威机构Gartner2014年11月对业界主流高端存储进行了全方位的综合评测,评测项目众多,评分标准细致Il科学。最终排名结果显示:VSPGI(N)O排名第-(并列第的hpxi>7是Vspg100o的oem型号).GarIner官方网站链接如下::/以下图片均为Gartner官方网站的截图:MOeVSrMPPWOOEMCVMAx*3PAR89SV10000HMA<2V200IeMoSM70.mHmEW<MDMTOO82MDSHUtSVM»«jMtOc*«4KrltMMXlVOONWA12KProductRatingChartRASSCaUMr*S*3foEMrcyPH11nncI1.coaywIamMwQMbMy3npholandKPaKa»onMuMMMncyFSeowyOrdPAarAnom上图是2014年3月综合排名状况(VSP为VSPGloOo的上代产品),VSP(P9000为VSP的OEM产品)综合排名第。评测内容包括:管理性、牢苑性、性能、快照发制、扩展性、环保特性、多租户与平安、存储效率。ProductwServiceScoresforOverallHdsvspg100oHPXP7HP3PARSloreServ10000EMCVMAXNctAppFAS8000FujitsutefusDX8700S2BMDsS870HDSHUSVMHuaweiOceaSto<18000IBMXlVOfXleFSlNDMaDirectNetwodsSFA12K4.184.x4Q3383.873加3.683,防1234AsdNowmbtf2014上图是2014年11月的综合排名状况,VSPG10()()(XP7为VSPG10的OEM产品)再次综合排名第一。ProductorSeniceScoresfoeO1.TPHdsvspg100oHPXP7FujitsuEternusDX8700S2EMCVMAXHP3PARSloceServ100OOIBMQS8870NetAppFAS8000HwwciOceanStor18000HDSHUSVMIBMXIVDataDrectNetworksSFA12KOfKteFS125AsofNovember20142014年U月O1.TP典型数据库应用评测,VSPGK)OO排名第一.Hqsvspg100oHPXP7HP3PARStoreServ10000EMCVMAXNetAppFASdOOOF甲WEUrmnDX8N0S2IBMDS8870HDSHUSVMHuaweiOceanStor18000IBMXJVOracleFS12DaUDirectNetworksSFA12KProductorServiceScoresforAnalytics4184.18484。?aq:,3.903分3763663381234AsofNovember20142011年U月O1.AP典型数据库应用评测,VSPGK)OO排名第一.2.3.2 高牢靠性整体的存储系统平台分为三个层次,主机层、网络层和存储层。主机层:在数据中心的生产区和交换区的业务系统中,主机主要进行信息处理和数据库运行,在主机端安装HBA卡用手建立数据访问通道。由主业务系统是典型的O1.TP应用,所以应用对数据访问性能的要求特别密,为r满足这一要求,主机端须要多块HBA卡,供应多条数据通道,通过安装HD1.M数据通道管理软件,可以供应多通道之间的流量负载均衡,确保而性能的数据访问-另一方面,对生产系统这样关键的系统,链路的平安性须要得到保证,HD1.M同样可以供应数据通道之间的失败切换功能,网络层:SN网络中网络层是特别关键的一个部分,它负责将主机和存储系统连接在一起,并且供应一个高敏捷性、裔扩展性的环境,以适应业务系统不断发展带来的主机和存储系统的扩展.在SAN网络设计中,我们采纳冗余的网络设计,依据本项目的要求,我们全新配置2台Bn)CUde6520交换机构成冗余EBRIC,为主机和存储系统供应冗余的、可持续发展的连接路径。存储层:存储层或者说整个SAN网络存储系统的核心设备是磁盘阵列,在数据中心存储系统中,我们建议配置两台高端存储设备做同步实现“0”数据丢失的爱护:建议采纳高性能、高可扩展性、功能强大的磁盘阵列系统一一VSPG100o通用存储平台。VSPG100O存储平台的出现,完全变更了存储业界的工业标准,致使各个竞争友商的产品乂次处于落后状态。VSPGlOOO磁盘存储系统是业界唯可以保证100%数据可用性的系统,整个系统采纳全冗余的交换式结构设计,没有任何单点故障,双独立供电接口与内部N+1电源模块,冗余散热风扇,RAID技术爱护方式,全局动态热备份盘包,多独立CaChC板设计,支持镜像写缓存技术,全部缓存都是NVS爱护的,保证系统高牢拳性和实现7X24X365天不停机运行要求。VSPGlOOO存储系统也是最易修理的系统。系统的全部部件均支持热插拔和不停机进行更换、扩容和不停机地微码升级。当微码出现问题时可以自动不停机地返回I口版本并可不停机地加入微码的Patcho这种维护特性是经过广阔用户证明有效的技术,也是用户选择VSPGlOoO的经由之一。2.3.3 高性能VSPGlOOO虚拟存储系统是业界性能更高的多限制器企业级存储系统,其内部结构采纳高性能、无瓶颈的全交换结构,如上图。前端限制器(CHA)、后端限制器DK),数据缓存CaChe限制器多部分组成通过系统内部交换系统(核心为川)S专利技术交换芯片)连接组成无堵寒的裔速数据交换网络,供应I/O数据交换的多路由和高速的数据交换;前端(CHA),后端(DKA)、限制缓存组成了点到点的网络结构,用于传输I/O和CaChe的限制信息,上述结构是目前业界最先进的存:储结构设计;同时YSPG100O虚拟存储系统采纳全局的数据检索技术和处理机制,保证了数据CACHE中的数据高速检索和CACHE命中效率,获得全世界各权威询问与评估机构的高度评价,并被公认为是目前业界最高性能和最好的扩展性的存储系统.下图为权威评测机构SPC(StoragePerformanceCouncil)仃方网站截图,分别显示了VSPGlOOO的上一代产品VSP,与Huawei公司18800的SPC-I测试结果。虽然VSP最高60万OPS,略低于Huawei18800最高100万IOPS.但在平均响应时间方面,VSP(0.25-0.7亮秒)却较HUaWei18800(1.55忘秒)的表现耍精彩5倍以上。换言之,在相同的I/O压力状况下,Huawei18800的读写处理时长会是VSP的5倍,也就意味着业务操作的等待时间是VSP的5倍。RampPh*R*ponTimefThroughputCurv亳秒。SPC官方网站徙接hdsA(K)136_Hitachi-VSP-HashZa(X)136_Hitachi_VSP-HAF_SPC>l_cxccu(ivc-summary_rcvision-l.pdfHUaWeil8800:KX)万IOPS,平均响应时间1.5-5定杪。SPC官方网站链接:数据来源:2.3.4 高扩展性VSPGlOOO磁盘存储系统采纳/全光纤的交换体系结构的设计,保证J'系统的极大的扩充实力,系统内部最大可以扩充到2304块磁盘,内部最大扩充裸容值可以达到8PB,通过虚拟化云的扩展可以达到256PB。系统的数据CACHE最大可以扩充到2000GB。VSPGlOOO系统的前端通道最大为192个8Gb光纤通道接口。与此同时,YSPG100O在域备扩展的敏捷性方面作出了巨大的努力,允许扩展机柜与限制机柜分开撰放,以解决机房空间惊慌的问题,其他最大连接距离可达100米。此外,VSPG100o还可以通过内置的存储虚拟化功能,将其他符合FCSAN标准的磁盘阵列虚拟化整合进来,形成一个统的存储资源池,其最大规模可以扩展到256PBo2.4 双活存储集群的技术优势2.4.1 VSPGlOOO的GAD双活存储集群VSPGlOOO具有的GAD双活存储集群功能,存储真正成为一个虚拟设备,不再依靠于具体的物理设符,类似于服务器的虚拟化一样,成为了一个存储资源池:在存储物理设备更新换代的过程中,虚拟的存储设备恒久在线,业务恒久在级,不会因为一台设符故障造成业务中断.GAD双活存储集群功能,可以将来自两台YSPGlOOo的破盘逻辑卷整合为一个虚拟卷交给服务器,眼务器的写操作会被自动镜像写入到两台YSPGlOOO'形成数据镜像受护,同时服务器的读操作会被自动分发到两台Vspg100o中的一台执行,从而提高数据的读取速度。通过这种“双写双读”的数据处理方式,VSPGlOOO能够轻松的依靠内置功能实现“双活存储集群”,如下图所示:VSPGlOOOVSPGlOOO两台VSPG100o上的逻辑卷可以被整合成为统的虚拟卷标示符,从生机看来犹如来自不同路径的同个逻辑卷,底层的数据双写和双读操作则由GAD软件限制完成。这种技术使得主机的存储资源可以在两节点的VSPGKK)O上同时运行,在的台VSPG100OHI现故障时,主机逻辑卷不须要人工干预进行切换,另外一台VSPG100O上的逻辑卷可以持续供应服务,极大的降低了业务运行的风险,避开了出现故障时须要大量时间人工宓原业务的风险。本方案中举荐两套VSPGlOOO采纳完全相同的配置,目的是在套存储出现灾难时,另套存储可以以同样的性能高效的支掾整个业务中心的运行,使得整体存储性能始终保持在一个相同的水平。2.4.2 GAD双活存储集群的基础一VSMVSPGlOOO的GAD双活存储集群功能,其基研;功能是VSPGlOOO创新的存储虚拟机VirtUalStorageMachine(VSM)oVSPGlOoO创建性地将虚机的概念引入存储,在台物理存储内允许用户依据业务和应用的要求定义多个VirtUalStorageMachine(VSM),VSM与一台存储类似,具备自己的存储ID,设备序列号和竭口由M通过VSM的定义,能够有效提高存储资源利用率,并实现城大的架构、业务的敏槌性。VSPGlOoO通过VSM实现了GAD功能,GAD(Global-ActiveDevice)是利用VSP的虚拟限制器功能来实现VSPG100o的水平扩展和设备双活(业务全部在线)。VSPGlOoO将来可以实现8台VSPG100o的横向扩展实力。如上图所示,主机识别1.UN是通过限制器ID来识别,VDKC是VSPGlOOO上虚拟出来的一个虚拟限制器,它可以将多台存储底层的物理限制器虚拟成同一个限制器,这样主机通过虚拟限制器访问后端磁就资源时始终和一个限制器ID交互,无论后台存储如何变更,主机都不会有感知,从而实现了业务恒久在线,双活等特性。rrtrwr1RrotfMrwU(ACM)App8"8IACtNM如上图所示,GAD能实现双活数据中心,应用数据在两端同时写入2台存储,另外还须要一个quorum设备做仲裁推断,仲裁盘可以是VSPGlOOO内部磁盘,也可以是通过VSPGlOOO虚拟化的外部磁盘。部署后应用层面由Cluster进行高牢罪连续性爱护,数据层面有GAD进行高牢靠连续性爱护。.F活薮据中心在数据读取时可以分开读取,即本地主机读取本地存储数降低延时,提升应用响应速度。2.4.3 GAD与其他厂商双活集群技术的对比GAD是目前业界唯一的,通过存储内置功能实现的双活存储集群解决方案。其他厂商则通过增加虚拟化及双活网关的方式实现类似功能。这两种技术方案的主要区分如下(UVSPG100O-KJAD对比EMC主要区YMAX为例:指标与特性VSPGIO<M+GADEMCVP1.EX+VMAXHuaweiVIS6000÷18000IBMSVC+DS««(M)前端端口最大I92个FC接口,冗余设备不影响存储最大32个FC接口,任何一个端11坏抨都会引起VP1.EX限制器重:启最大双活卷64000个16000个体系架构分布式交换架构裔端存储,GAD为内置软件,双活方案不增加任何软硬件VMAX40K是8个中端存储的堆谿VP1.EX是多增加的一层PC架构的虚拟化层层1/0写操作潦程与存储同步更制技术流程相同增加VP1.EX缓存写入环节,I/O处理速度大幅下降I/O读操作流程与存储同步复制技术流程相同增加VP1.EX缓存读取环UO处理速度大幅下降管理限制器存储内部集成单独增加对PC管理服务胧及交换机组成管理网络双存储间的网络连接SAN网络互通即可SAN互通以外,额外多出一对管理IP网络,网络管理困难统管理存储软件实现VP1.EX.VMAX分开管理,VMAX的设置变更须要VP1.EX垂启三中心容灾不需引入其他的产品或架构须要加入Recoverpoint,变更现有架构下图为EMCVP1.EX的部署架构示意图:每个VP1.EX群集都有对专用本地IP了网,它们将限制器连接到管理服务器。其中一个子网上的链路丢失将导致某些成员不能与此子网上的其他成员通信。如下面图:虽然有网络冗余配置,但从上图可以看出VP1.EX集群引入了一对PC服务器。集群间的网络连接困难,可能引起整个系统的故障。包含两个或更多引隼的VP1.EX群集还须要多搭配一对光纤通道交换机,供应光纤通道连接来支持群集内的限制器间通信。由此可以看出VP1.EX的集群连接特别困难,而且低级的故障点许多。而利用VSPG100o的先进的GAD技术,在实现双活存储的同时,可以最大化的简化系统架构,系统没行因为要实现双活存储增加任何额外的层和故障点。2.5 现有核心SAN存储与新购存储的无缝集成VSPGl(XM)与XXXX现有的USP-V、VSP技术完全兼容,能够实现VSPGI(XX)USP-V.VSP之间的远程容灾史制,从而实现南方中心与北京中心之间的数据容灾爱护。虽然本项目选定J'数据库组制软件进行远程容灾,但我们仍旧为南方中心的VSPGI(MX)配置/少量的容灾狂制软件许可,通过VSPGl(XM)与USP-V、VSP之间的容灾发制技术,对数据库的ArChiVelQg进行异地容灾更制,作为数据库更制软件的后番手段,供应更全面的容灾爱护.除J'数据库以外,南方中心还会有部分其他数据须要安制,如文件系统等,这些数据无法通过数据库安制软件传输,因此也可以利用存储之间的复制功能进行远程容灾爱护.在将来的下一步规划中,我们建议将南方中心的VSPGI(XX)与北京中心的USP-V、VSP之间的宓制功能全部打开,通过底层存储对两中心的全部数据进行容灾史制爱护.以保证数据库与文件系统的样性,进步提高容灾数据的可用性.2.6 关键线路连接示意图下图为GAD双活存储集群的关键线路连接示意图。其中,两台VSPGlOoO之间的GADPair采纳光纤直连,两台VSPGIO(K)到HUSI30仲裁存储之间也同样采纳光纤直连。为了保证系统冗余度,各直连线路均为2条以上。锻如光纤交换机端口足够,也可以考虑运用交换机来连接GADPair以及仲我存储。为了保证系统冗余度,全部链路均应为2条以上,并分别通过不同交换机连接。此外,VSPGlo00、HUSl30、HNAs4060各自对主机供应服务的FC接口和IoGbIP接口,均需依据传统模式连接到FC交换机及IOGb以太网交换机.同样的,为了保证系统冗余度,全部链路均应为2路以上,并通过不同交换机连接.连接架构如下图所示:IP男网IPWMM2.7 存储虚拟化整合规划VSPGlO(X)存储特有的存储虚拟化功能可以将基于FC的IBM.EMC、HDS,HP等主流存储公司的光纤存储整合为个整体,为数据中心向“云”转化供应统的、可敏捷调配的存储资源池。VSPGIO(X)磁盘存储系统通过存储虚拟化的技术,可以实现将不同厂商的存储系统集合到同个存储池中。VSPGlOoO存储平台内部的资源为内部存储资源,与之相连的其它存储设备上的资源是外部资源。通过该功能,可以运用统的管理平台实现对内部和外部存储资源的统管理,统安排,可以依据应用系统的性能要求安排相应的存储资源,从主机的角度看,内部存储资源和外部存储资源功能完全相同,而内部和外部存储资源之间的数据交换可以通过存储系统本身的数据发制和数据迁移软件来完成。VSPGlOOO外部连接的存储系统进行虚拟化的独特功能,可为异构存储创建单一的异构存储池。这可以简化存储管理、提高利用率和效率,改善服务水平、简化数据迁移,并可柄助企业满足监管达标要求。异构存储虚拟化架构示意图VSPG100O通过异构存储虚拟化的技术,可以运用统一的管理平台实现对VSPGloOO内部和外部存储资源的统一管理,统一安排,可以依据应用系统的性能要求安排相应的存储资源。从主机的角度看,VSPGlooo内部存储资源和外部存储资源功能完全相同,而内部和外部存储资源之间的数据交换可以通过存储系统VSPGlO(X)本身的数据复制和数据迁移软件来完成。同样的,这些被虚拟化盛合进来的外部存储均能够运用VSPGlOOo的独有功能,例如快照、克隆、GAD双活存储第群,3DC闭环容灾更制等等.也就是说,将来假如用户的其他项目选购了其他品牌的存储设备,同样可以利用VSPG100O的先进技术,实现更高级别的数据爱护和更商效的数据管理功能。通过VSPGI(XX)":储分区技术可以对VSPGloOO进行逻辑划分,可以多个逻辑虚拟存储系统(VSM),每个虚拟存储系统都拥有独立的主机通道端口、CACHE,磁盘等资源。在VSPGloOo和与之相连的外部存:储设备中,通过逻辑分区功能可以使得应用系统的需求和安措给该应用的资源得到合理的调度和匹配,从而保证应用股务质量。2.8 远程容灾规划2.8.1 选用HUR异步复制技术远程容灾技术中主要有两种选择。/同步数据夏制技术数据实时同步没有数据丢失,但是应用系统能容忍的同步距离有限制(容灾存储越远性能越差),不能抵挡区域性的灾难,如大面积的自然灾难,区域性停电等,与本次项目中容灾的规划不符,因此不采纳。/异步数据兔制技术数据实时异步夏制,异步更制距离没有限制,能抵挡区域性的灾难,对生产存储性能影响小,但也正是由于采纳异步数据知制,灾备中心数据有数据丢失(链路足够宽时,RPO可无限接近于0,但不能肯定等于零)。由于条件有限,本项目的远程容灾必需采纳异步数据复制技术.VSPGMMM)的异步数据复制功能采纳的是业界最先进的,基于日志卷的远程容灾复制技术(H1.IR).2.8.2 HUR异步复制软件的工作原理HUR复制软件采纳基于磁盘日志文件的技术,可以保证远程数据的样性和完整性,同时,极大的降低了存储系统CACHE和通信链路带宽的需求。HUR的原理如下图所示:图:HUR远程数据更制软件磁盘日志卷HUR远程数据复制软件利用“能盘日志卷”进行待传数据的实时转发,节约生产系统存储CaChC资源当服务器端发出一个写操作时,写I/O依据写发生的依次保存在主存储系统的日志卷<JN1.>,远端的存储系统通过发出读日志吩咐从主存储系统的日志卷(JN1.)中读取记录并将其写到本地的日志卷(JN1.),然后将该记录更新到本地的数据卷中。上述过程是实时进行的,相比起其他厂家的以30秒钟为周期的异步复制技术,具有更志向的“RPO”指标。同时,无论线路带宽如何变更,HUR远程数据豆制软件能够自动的调整传输策略,充分运用线路的带宽资源。HUR远程数据复制软件也节约了通信链路的带宽需求,在传统的数据远程且制环境下,通信链路的带宽需求不绯,则数据会累积在存储系统的CACHE中,当CACHE资源不够时,远程数据坎制过程中断“采纳基于磁盘日志方式的HUR远程数据更制软件,可以利用破楸日志文件缓冲对带宽的瞬时高需求,从而可以避开由于瞬间的高带宽需求造成的远程数据豆制的挂起。ReducedCaCheUtilizHtion图:HUR对Cache和带宽的要求降低 汲取式更制技术HUR远程数据现制软件利用“汲取式豆制技术”进行数据复制,提升生产系统的存储工作性能.HUR引入了pull(拉)机制实现数据的红制,运用这种技术,主存储系统不须要特定的资源将数据推(PUSh)到远程存储系统中,而是远程存储系统到本地存储系统来读日志卷。这样就解除了主存储系统用于数据远程且制的资源消耗,使得主存储系统的资源100%的服务于生产系统,从而提高了存储系统的性能。 数据一样性保证通过“依次号”、“一样性组”技术,HUR远程数据更制软件保证异步模式的数据一样性.HUR远程数据复制软件也有效的解决了在数据复制过程中的全新同步过程中的数据不一样性问题。在传统的数据复制方式下,当数据链路的缘由造成数据不能够豆制,数据远程豆制自动挂起,同时对生产端存储系统的数据更新保存在存储系统的BilnlaP表中,当链路复原后,存储系统依据BiImaP表中的记录信息符更新过的磁道爱制到备份端的存储系统,而在这个过程中备份端的存储系统的数据一样性是不能保证的,这就是数据夏制的重新同步问题。由FHUR远程数据兔制软件采纳基于磁盘日志的工作方式,当数据链路断开后,对数据的更新仍旧按依次保存在磁盘日志中,这样,当链路复原后,HUR远程数据复制软件仍旧到生产端存储系统的日志文件中读取数据更新记录,这样就解决r数据的重新同步问题. 解决通信线路故障修复后的数据“再同步”问题HUR远程数据划制软件也有效的解决/在数据曳制过程中的重新同步过程中的数据不一样性问题.在传统的数据狂制方式下,当数据链路的缘由造成数据不能够或制,数据远程史制自动挂起,同时对生产端存储系统的数据更新保存在存储系统的BilmaP表中,当链路更原后,存储系统依据BilmaP表中的记录信息将更新过的磁道电制到备份端的存储系统,而在这个过程中备份端的存储系统的数据样性是不能保证的,这就是数据纪制的重新同步问题。一般的异步史制解决方案,为了解决“再同步”过程中的数据不样,会要求在灾备系统留出额外的一份“GoldenCopy”(完整数据快照)空间,在“再同步”之前首先进行个快照,以保证数据的样性。这种方式,即奢侈存储资源,乂增加了额外的系统管理难度。由于HUR软件采纳基于磁盘日志的工作方式,当数据链路断开后,对数据的更新仍IH按依次保存在磁盘日志中,这样,当链路更原后,HUR远程数据第制软件仍旧到生产端存储系统的日志文件中读取数据更新记录,这样就解决了数据的重新同步问题,无需额外的“GoldenCopy”。2.8.3HUR异步复制软件与友商的技术对比说明基于存储系统实现的数据远程发制技术的比较功能/产品其他友商的异步及制技术HUR远程数据复制软件生产系统CACHE占用率高低链路故障管理破坏式biima重新同步按依次写入,日志文件RPO限制30秒同步一次实时同步对主存储系统性能的影响高(由生产系统执行笑制逻辑)低(由灾备系统执行复制逻辑)所支持的平台本厂商的存储HDS以及其它厂商的异构存储第3章数据迁移解决方案3.1 数据迁移概述3.1.1 迁移目标数据迁移是企业IT建设常常面对的工作。在开发环境向运行环境转换、低版本数据库向高版本数据库转换、两个不同数据库之间进行转换以至系统硬件升级时,数据均可能须要被转移并使之迁移后正常运行。就本项目而言,数据迁移工作主要是指将北京中心现有核心业务系统的部分数据一次性搬迁到南方中心,之后北京中心和南方中心作为应用双活中心同时工作,各臼负责一部分业务的交易处理。在此基础上,还须要实现两个中心之间的数据交叉复制,实现数据的远程容灾爱护。31.2数据迁移相关因素在进行数据迁移项目支配时,一些因素是必需考虑的。 数据的爱护数据的爱护是最歪要的,在数据迂移中数据的平安必需得到完全的爱护。任何一个更换过个人计算机中的硬世的人,都对因为在更换过程中对某些细微环节的忽视造成的数据丢失有预期和阅历。当在企业级数据迁移中,数据备份、实施步骤的回退支配是保证数据在迁移后的可用性的必需打第。 在线或离线迂移假如应用可以暂停,则迁移过程可以更快跳:但是当今大多数系统有着严格的可用性要求。当数据迁移在生产环境中进行时,不仅要亲密监控数据迁移的过程,而且要耨迁移对生产系统的影响降到最低。 维护时间窗口通常迁移工作只能在预先确定的维护时间窗口中进行。通常时间窗口是在夜间或周末生产活动最少的时候。这些严格的时间窗口的存在使得迁移项目可能表现出不规则间断的状况:惊慌的迁移在时间窗口中进行,然后在时间窗口关闭时停止,业务接着运行:迁移工作只有在时间窗口再次打开后才可以接着进行.从而使得迁移工作分散成数个不连续的多个阶段性工作。 迁移技术在开放系统环境中,没有一个完备的数据迁移技术。每个迁移技术均有优势和劣势.针时每个特定的业务环境,应当依据不同技术的特点进行细致甄别选择.干脆费用(人力、硬件和软件等)因素应当和间接因素(应用停止和生产系统性能影响等)结合起来作为选择迁移技术的判据.,有些须要更大的维护时间窗口,而有些对生产系统的性能会有较大影响.这些都会成为选择相应存储技术的考虑因素. 支配和应用停帧的容忍程度数据迁移会对生产系统有着或多或少的影响,当分析完应用可用性婴求,完成维护时间窗口的选择后,可供选择的技术就相对比较固定。 测试需求依据应用的状况,特定时间的迁移前测试和迁移后测试是必需的。因为没有个普遍适用的测试支配,所以针对每个特定的环境都须要做出具体的仃针对性的测试支配。测试的时间跨度也与应用状况相关,时间长短也是依据应用的需求确定。 数据迁移的时间跨度总的来说,确定数据迁移时间跨度的最主要因索是用户对迁移对原应用的影响的容忍程度。而时间跨度与应用可用性之间亲密相关。通常,在费用和可以接受的应用可用性之间有着肯定的关系。越高要求的应用可用性意味着越多的费用,从而也就制约了时间跨度。阅历表明,在没仃具体彻底的评估环境和项目目标的状况F,进行迁移时间的预料是很困难的。一般来说,须要经过评估,分析,支配和实施等几个步骤。 整个环境的困难性在数据迁移过程中涉及到各种应用和数据之间的关系,越困难的应用环境,则相应的支配和实施就越困难。3.2 数据迁移方法论HDS所供应的数据迁移服务是种为客户精确完整地将物理上存在的多或单点数据转移集中至单一数据中心或单存储系统的解决方案。本方案涵盖了主机及存储