城商行GPFS迁移至NAS存储实践经验分享.docx

1背景我行多套业务系统（如柜面业务、支付业务、前置服务等）应用服务器集群存在应用节点之间共享目录的文件访问需求,在系统的前期建设中因当时IBM的GPFS技术相对成熟而且同业广泛的实践均反馈良好，同时GPFS在AIX系统上有较为良好的适配性，因此我行对支付业务采用了基于AIX高可用架构搭建GPFS并行文件系统、对柜面业务采用基于虚拟化技术搭建GPFS并行文件系统来实现应用集群共享文件需求.GPFS在行内部署的多年来有效支撑了应用运行与相关业务发展,但是由于我行在实施1.INUX替代工作、虚拟化环境部署GPFS存在特殊性，以及GPFS维护管理相对的宜杂性.因此在行内踏由数据中心屐迁工作投产了华为OCeanStOrDorado18000系列SAN/NAS一体化双活的高端存储，同时启动了NAS专业存储设备替换GPFS的工作.木文将困绕GPFS在行内应用的实际情况和华为NAS存储技术的先进性展开讨论中小规模的城商银行在文件共享场毋下从GPFS迂移企业级NAS实践路径和思考。2GPFS的行内前期应用现状（以我行柜面业务为例）*a*<zMra*(Wk>l<l<*M*<l*nrnIjMjX环境VM平台我行前期已大规模应用服务器虚拟化技术为业务系疣提供计箕资源，柜面业务正式部罟于虚拟化平台之上，同时又部罟了GPFS集群满足文件共享需求.在上图所示的1.INUX系统以及虚拟化环境下部署GPFS集群需要达成以下条件：1 .首先要在虚拟机之间共享虚拟磁盘。集中式存储通过SAN网络向虚拟化集群映射NSD磁盘；2 .虚拟机要添加额外的SCSl控制器管理共享的虚拟磁盘，在第一个虚拟机上首次添加并创建共享虚拟破盘，在其他应用虚拟机里使用"添加已有磁盘”功能增加同ID的共享磁盘挂载；3 .因柜面应用节点是基于同城双活方式部罟，在生产中心与同城中心各部罟10个节点，为保厚GPFS并发文件系统的数据一致性以及高可用，要设置MASTER节点，选取主中心的3个应用节点作为MASTER,以保证在2个及以下MaSter节点故障的情况下，存活的MaSter节点能继续控制GPFS集群提供服务.使用虚拟化环境部署GPFS集群在一定程度上简化了系统的组网，并且更高效的利用了物理设备资源，但是也正是因为虚拟化的技术特性同时带来了运维工作存在一定复杂性与技术痛点，结合GPFS的技术特性，总结以下6点：1 .在虚拟化平台上使用共享虚拟磁盘的虚拟机不能像普通虚世机一样执行在线迁移，导致如果出现在虚拟化平台维护时需要关闭应用节点操作系统而不是通过在线迁移完成无停机的维护.2 .共享虚拟磁盘的虚机不支持使用快照功能，导致虚拟机不能执行快照、克隆、备份，在需要以上运维操作的场景会对运维工作造成影响.3 .GPFS集群的日常维护对于相关技术有门槛，增加了运维工作且杂度.相较于UnUX的ext3、e×t4.XFS.NFS等传统文件系统的运维管理技术门楂较高.4 .从行内部争了GPFS集群文件系统的应用使用场景考虑，柜面业务需要对代发工资文件、配占参数文件、部分日志文件实现共享，这类场景的共享文件经生成或上传后基本不会被修改，同时也没有高并发的写入和修改需求.但是GPFS并发集群文件系统的技术优势在于对大容量文件系统以及大文件的读写支持，尤其是对于大文件高并发的场景具有较大优势，但是我行目前的文件共享需求场景不能充分发挥GPFS的特性优势.5 .由于我行GPFS是随前期系统新建时即部若,使用时间已较长，该版本已经处于EOS状态.从后续软件稳定运行以及安全性角度考虑，需要进行版本升级或者产品替代.6 .GPFS文件系统对底层的SAN存储网络以及集中式存储设备有着强依赖关系.GPFS磁盘通过集中式存储的远程复制技术实现跨中心容灾,但在我行环境未使用双活技术.各类文件备份通过外接的第三方带库设备实现文件备份.综上6点笳点与原因，我行计划在数据中心新建的契机之上，使用NAS专用存储设备咨换现有GPFS文件系统。3NAS技术路线选型目前市场上使用的NAS产品主要分为3类：企业级集中式NAS存储设备，企业级分布式NAS存储设备开源存储软件NAS。不同的NAS技术路线在产品特性、安全性、冗余性、高可用性、容灾技术、部署与运维成本上具有各自的特点.考虑到我行业务需要共享文件系统的业务特点，即数据规模较小（指数据共享规模一般在TB级数据最），对性能要求根据业务场景不同而需求不同（如支付清算系统对共享文件的性能要求较高，而前文所述的柜面系统业务场景下对性能要求不高）、对数据高安全性、冗余性、高可用性的需求高，我行最终确定选择企业级集中式NAS存储设备作为行内文件共享的解决方案.在企业级集中式NAS存博设备的技术选型上选择了华为企业级NAS存储设备,从NAS存储的软件特性考虑，例如基本的挂载、夏制等传统功能的技术差异度并不明显，主要考察的NAS双活等高级特性，其中NAS双活技术的特性对比表格如下：特性HUAWElNetAppHDS名称HyperMetroMetroCIusterNASCluster+SANGDA(Global-ActiveDevice融合，站点A和站点B两个独立的集群融合，站点A和B是同一套集群NAS网关+SAN,扩展的NAS集祥和两个独立的SAN存储架构双活最大节点数量:32双活最大节点数量：8双活最大节点数量：2数据双写到本地和从常内存数据双写到本地和从端内存，同时要双写到本地和从的硬盘.2倍带宽占用数据同步依赖于SAN阵列的双活故障恢故障自动切换主端故障恢豆后自动恢复就像关系；目前已不需要手工Switchback故障自动切换主端故障恢复后需要手工修复数据才能诙复镜像关系：需手工Switchback故障自动切换主端故障恢复后需要手动恢复镜像关系；需手工Switchback仲裁仲裁服务器/优先站点支持仲裁版势器冗余仲裁服务器仲裁服务器网络FCIPR0CE将复制链接,配置链路和心跳用路集成到单个物理链路中.乐群互联和配窗同步使用IP网络；NVRAM数据或像使用FC或IP网络硬盘框数据镜像使用SAS和FCS转的交涣机SAN用FQNAS用IP4华为企业级NAS两地三中心架构我行在两地三中心部署了三台华为OCeanStOrDorado系列NAS存储设备，形成NAS存储的两地三中心格局.其中生产主中心部署华为OCeanStorDorado系列的基于闪存阵列的企业级NAS节点，在同城两中心各部若一台OCeanStOrDorado系列企业级NAS节点.生产主中心的闪存存储与灾备中心部署双活架构用于承载至要生产业务的共享文件系统资源，因其NVME的闪存特性能够保障生产业务的10性能需求.同时为保障历史文件归档与备份数据安全，在同城中心部署NAS作为生产业务数据的一体化备份节点以及历史数据归档的存储使用。华为企业级NAS存储在前期支持NAS二层双活架构,即两台阵列要在同一个二属网络，其主要的弊端是依赖于跨中心的二层网络，从网络厩面看有一定网络广播风爆和跨中心访问链路不稳定导致的生成树电算问题，从存储容灾层面看发生数据中心级灾难后二屉网关需要切换到灾备中心后，存储的网络就绪才能继续对外提供服务.目前华为企业级存储的微码版本更新至6.1.3PH8版本后已经新增支持了跆数据中心NAS三层网络双活的容灾功能，升级后跨数据中心三层网络的两台存储无法提供相同网段的物理IP,需要配舌虚拟VIP给主机,让主机通过VIP访问NAS业务.在存储内部实现VlP到实际三展物理IP(BGP1.IF)跨网段路由，并将路由关系通过BGP协议上报给汇聚路由器.交换机需要配宣BGPpeer以接受存储上报的BGP路由信息.具体双活切换的原理是：当生产站点可用时，实际承裁Vlpl的BGpUFAO是在统联机的，灾备中心对应的BGP1.IFBO是STANDBY状态.主机配置一条到VlPl的静态路由端门指向其直联的交换机，此时生产交换机接收存储上报的路由信息,计算出到YlPI路由，主机最终通过VlPl访问到生产存储NAS:当生产站点发生灾难不可用或发生切换时，同城存储的BGP1.IFBO由STANDBY状态特变成在我联机状态，VIPl切换漂移到同城灾备的存储设备，同样同城存储通过BGP协议上报路由信息,同城交换机需要垂新计算出到VlPl路由,此时主机不需要任何更改，不需要更新挂我文件系统或者重启操作系统,经历秒级的中断（存砧切换的时间）即可继续访问共享文件系统服务.中断的时间在NFS协议可接受的范围内没有超过16传等待时间）。从业务角度完全超受不到双活切换造成的短新中断，真正做到了跨数据中心三层网络NAS双活。5GPFS迁移方案将GPFS集群文件系统的存量数据迁移至华为企业NAS存储设备的步骤很清晰明7.具体步骤如下：1.对现有GPFS集群的文件系统数据进行备份，防止意外情况发生；2 .从华为企业NAS建立该业务系统对应的租户，分配合适的存睛空间，并新建NAS文件系统映射给业务系统虚拟机；3 .在业务系统上将NAS目录挂载至临时目录,例如/data_migratiOrMemp.4 .根据业务系统的运行情况，可以考虑先将部分存量隐态文件（即不会被修改和删除的文件目录与文件）通过操作系统的CP命令或者RSYNC命令豆制到临时目录下，也可以使用华为提供的数据迁移工具并发迁移存量数据。5 .在变更割接窗口，停止应用服务，不再接受新的请求，确保GPFS集群文件系统内的相关数据.通过CP命令全量豆制（文件个数少或容量小的情况可选择）或者RSYNC的增量兔制命令，将差异数据基制到临时目录。6 .运维人员和开发人员手动做一次检直工作，确认文件系统大小、文件个数、文件权限无误后，通过GPFS集群命令执行集群内所有节点的文件挂线点卸载.在所有应用系统节点上将华为企业NAS的挂载点切换到原GPFS的生产目录.7 .重新启动应用，检查文件系统完整可用，应用服务正甫，相关业务或数据查询正常.8 .检百华为企业NAS上配臂的文件系统一体化备份策略执行执行，文件系统受到保护。9 .业务稳定运行一个月后，确认华为企业XAS的运行可能稳定，可以开始对原GPFS集群进行资源回收，包括停止GPFSJM务、卸效相关软件包、回收祗盘资源。6总结本文介绍了我行在文件共享需求场祟下中小城商限行由GPFS集群文件系统迁移至华为企业级NAS的实践经验。GPFS作为金融企业广泛采用的文件共享解决方案当前依然具有其独特优势点，其并行访问的文件系统可以满足高并发的写请求等.我行在上线华为企业级NAS存储并完成GPFS替代，不仅充分满足了业务中的文件共享需求与IO性能需求，同时降低了运维复杂度，提高了系统稳定性.同时华为企业级NAS双活、一体化备份、文件快照等技术领先性保障了银行业务的连续性，实现NAS数据完备的保护.