详解容灾恢复过程中跨数据中心级的关键故障切换.docx

《详解容灾恢复过程中跨数据中心级的关键故障切换.docx》由会员分享，可在线阅读，更多相关《详解容灾恢复过程中跨数据中心级的关键故障切换.docx（7页珍藏版）》请在课桌文档上搜索。

1、1 .容器云平台及容器云存储云平台中IaaS/PaaS是目前云技术应用相对较广的两部分能力，其中PaaS在IaaS的据础上,提供中间件.数据库,以及容器云等便捷部岩和运维能力,中间件和数据库Ur以提供虚拟机部署形态，也可以提供容器资源部署，容器是私有云中一种常见的基础环境，容器公作为常常是私有云中的PaaS中组件出现或者以单独的容器云形态出现。从容器自身来说，其提供的是IaaS层基础计克般力，且常用于无状态应用，容搭消亡后无法保存消亡时的状态.现在大家常见的容涔技术一般是指符合开放容器计划OCl(OPenConIainerlnilialive)标准与规范的容器技术,除了最常见的DoCker之外

2、.还有POdman.Containerd,CRI-O.相对来说,目前DoCker相对应用更为广泛，是一种最为常见的容器引繁，金融行业通常使用K8S来进行容器的编排管理，实现容器调度，容器技术的应用为PaaS平台的实现提供了一种新的资源形态.K8S是一个可移植的、可扩展的开源平台，用于管理容器化的工作负我和服务，可促进声明式配置和自动化。在金融私有云中，通常采用租户进行IaaS资源的隔离以及容器集群资源的隔离，一个租户可以配置，个或者多个KfiS集群.用于运行不同的应用系统,容器加上云计算租户功能，则可以实现容器云平台功能，目前在城商行使用了容器云的，更多是用,部署应用层的一些组件，在涉及一些需

3、要进行弹性伸缩的业务场景,例如杪杀、活动优电等破态业务则未用容器部署应用app层的一些纯Java程序、中间件、无状态的RediS蛆群等，此外也会逐步碰到一四场景,需要我们的容器平台能保存状态，我们部霜MySQ1.、RCdiS等数据库，需要对这些数据库产生的数据做备份.2 .K8S存储系统介绍：说起容器的存储.需要先了斛CSIPVPVCStoragClass的几个基本概念。2.1 CSICSl英文全称是ContainerStorageInterface,是容器编排系统(COS)上通用的容器存储接口，第三方存谛厂商可以通过编,弓CSl插件来将其文件存谛和块存储提供给K8S上容揖化的工作负载,而无需

4、修改K8S的核心代码，K8S作为事实上的容器编排(CO)标准，对CSl持久化存储接口的支持已经可以商用，K8S的VI.13版本已经支持了GA版本的CSl组件.目前K8S主要持久化存储主要通过该标准接口进行对接.在Pod创建过程中，通过指定创建外部卷存储，PYC通过SIorageClaSS的动态供给生成对应绑定的PV,PV的创建与绑定由CSl来进行.这时候CSl就可以自己定义如何加载一个卷,如何挂数一个卷，2.2 PV以及PVCPV全称叫做PersistentVolume,持久化存储卷。它是用来描述或者说用来定义一个存储卷的。PY-段由运维来创建.PV有2个重要的参数,分别是accessMode

5、s和PersistentvolumeReclaimPolicy,accessModes：支持四种类型，第一种是ReadWriteMciny多路读写,卷能被奥群多个节点挂我并读写。第二种是ReildWrileOnCe电路读写，卷只能被通一集群节点挂桢读写.第三种是ReadonIyHany多路只读.卷能被多个集群节点挂载口只能读。第四种是新增特性ReadWriteOncePod,该卷只能被被取一节点的单一Pod挂载为读写模式.当一个带有PVC访何模式为ReadWriteO1KePod的PodA时,K8S确保修个集群内只有一个Pod可读写该PVa如再创建POdB并引用了与POdA相同的PvC(Rea

6、dWriteOncePod)时，PodB则会由于该PVC被PodA引用而启动失败.PersislenivolumeReclaiinPolicy:也有三种策略,这个策略是当与之关联的PVC被删除以后，这个PY中的数据如何被处理.(1)Retain手动重新使用，生产系统中,因通常存储上都是需要保用的数据、日志等，最为常用.Relain当蒯除与之绑定的PVC时候，这个PV被标记为releasedPVC与PV解绑但还没有执行|。|收策略且之前的数据依然保存在该PV上，但是该PY不可用，就要手动来处理这些数据并删除该PY,rc,AzureDisk,有些产品能做到支持ROX,ItlGCEPersisten

7、tDisk.RBD,SCaIeIo等.4.2 持久化存储选型建议在选挂持久化存储时，在选出过程中建议考虑容器适应业务场景、存储的性能、是否支持K8SCS1、是否支持扩容、是否支持克眸等角度诳行选型。目前持久化存:储常用的有NS和对存储两种，(1)对象存储容器选用对望存储的场景和选用NAS存储的场景有一定重合之处，例如对于容器实例需要诳行文档、图片等小文件共享时，可以考虑NAS和对象存储两种.但是面临选择时有一定区别，例如应用如果是影像类系统、视频库管理类系统、图片采集、分析等系统的话，存储图片数据盘达到数PB级别，整个文件大小为MB级别以上，文件数量数万或者更高，则更推荐采用对象存储。媒体、图

8、片等媒体文件只读场景可以通过对象存储读取上述文件类型.对象存储使用的过程中，一般不需要配发CSI,对象存储不需要PY/PYC来做资源抽象，应用可以直接访问和使用只需要在应用中配置对象存储的地址，秘钥等进行读写。(2)NAS存储NAS存储支持多个容器读取一个共享目录并且长期保存，如1日志保存，将不同Pod副本的日志存在同一个目录中，如共享文件，多个Pod同时读写向题。目前在城商行己有的案例中,较为常见的方案是采用集中式NAS存储或者分布式NAS存储提供持久化存储服务,划分文件系统给容器云挂致PV卷。目前采用集中式或分布式NFS存储提供持久化存储服务,能较好的满足在稳定性、高可用、灵活扩容能力、便

9、捷管理几个方面的要求,其优点有如下几个：a、使用MS提供持久化存储，相比Hostpath实现分布式应用在多节点容港日志集中管理，降低日志管理复杂度,提高排障效率。b、使用NAS存储平台,可采用端口绑定的方式提升带宽.保证商业务负载卜的带宽性能,支持业务的高并发。C.使用NAS存储平台，提供了具备高稳定性、高容错链力的存Wi服务.容器在进行弹性伸缩或者进行故隙恢及时，同时将频繁的发生存储卷的挂效和却战，为了保证整个生产环境的稔定性，在进行卷的挂载和卸载操作中需要保证足够的稳定性，同时也需要PV卷服务端烧保证较高的性能，避免应用延迟。采用专用的集中式存储NFS可以提供较为稳定、高性能的存储服务.集

10、中式存储设备通过Raid、冗余存储机头、分布式集静多节点等能力,保证了硬件故障情况下的高稳定性：当NFS表现出性能不足的情况下，集中式存储可采用增加端口绑定的方式提升带宽，分布式存储也同样可以采用增加绑定端口提升带宽，扩容分布式节点提升整体集群存储性能。a、切实的容灾方案：重要业务淘进行多中心部署，通过使用NAS存储，实现多中心架构的容器集群数据同步构建，提供一种切实可行的m要业务容涔化部署的容灾方案,通常银行业会要求羽要业务进行两地三中心部署,通过集中式存储和分布式存储本身的双中心双活能力，也可以构建双中心架构的容器集树,b,简易化运堆管理：随着容器有状态应用的增长,对传统存储运维匚作也会带

11、来挑成,整体方案需要兼顾运维敬捷和安全,集中式和分布式MS存储产品，均具备界面化、便捷的管理手段。采用、AS存储产品，具备直观的图形界面，能进行使使的配置、切换管理,降低运维的复杂性.c、客户端可以启用用户认证机制,且数据是通过明文或者密文传送，安全性相对较高（-一般建议在局域网内使用）虽然NAS存储有明显的优势,但是与其他类型对比时，也有一定的缺点：a、MS存储在高并发下iops效率/性能，相比块存储是处于劣势,如果承载的容揖数量过多，IoPS性能相比块存储要弱.b、在K8S场景中，一个NAS目录如果配Si给K8S集群中,则无配额限制，所有用户中请资源等于申请了所有NFS的存体池。4.3 案

12、例分享在我们的环境中，目前有多个业务系统各采用独立的K8S容器集群承载业务程序，其中较大业务系统一个K8S您酢中部署有12个Pod,主要是运行业务系统的Java应用以及Web应用,该持久化存储场景主要是为了保存业务运行日志,容器集群的持久化存储通过OCeanStor系列存储配器双中心复制的存储集群提供，通过配黄双活NAS存储发布服务至容器云集群，作为PV映射给POd使用。丹一我集群则是采用冷备方案配置,主中心K8S集群使用主中心的分布式存储（可读写），SDS分布式集群将数据异步处制到备中心,灾备中心的冷备K8S灾备集群挂我备中心的分布式存储（不可读写），当主中心故障导致主中心的K8S集群以及存

13、储集群失效时，手动拉起备中心的K8S集群并将备中心分布式存储集群拉起为可读写，以提供业务连续性,也有使用到华为OCeHnStM存砧中的NAS功能进行承收此类业务，总结使用中,体现出以下一些优势：（1）其相比HoSlPalh实现分布式应用在多节点容器日志集中管理,降低日志管理更杂度提高排除效率；（2）使用该存储平台，可采用端1.l绑定的方式提升带宽，保证高业务负我下的带宽性能，支持业务的高并发：（3）使用该存储平台，提供了具备高稳定性、高容错能力的存储服务，柒中式存储的Raid、冗余存储机头等硬件容错能力，支持容器口志的安全存储,保证了业务的持续榜定运行：4）使用该存储平行,切实的容灾方案：要业芬丽进行多中心部署，通过使用华为NAS存储，实现多中心架构的容涔集称数据同步构建,提供一种切实可行的重要业务容器化部罟的容灾方案：（5）使用该存储平台，具备简易化运维管理能力：采用XAS存储产品，具备直观的图形界面，能进行便捷的配置、切换管理，降低运维的复杂性。