如何设计金融机构多场景关键应用下的存储架构.docx
一、引言金融机构存在多场景下的关键应用，银行业更多的关注联机交易与总账系统，保险行业则将投保理赔类系统视为关魅系统如何选择适合各场景卜的存储如何设计适合业务的存储架构,显得尤为重要，二、当前主流存储架构分析现有的存储系统经过长期发展,种类及其繁多,架构也各不相同,仅靠一文不可能讲得完全详尽，这里主要针对架构进行相关讨论.当前主流架构主要分为柒中式存储和分布式存能两种，1 .集中式存储集中式存储是基于双控制器或多控制岩架构的企业级存储系统，如图】所示：控制器A控制-8前送主机接口FCSASSCSI前端主机接口FC7SASSCSIBBU缓存后端总线PCIE/IB三三B三磁兔整列Hi：集中式存储架构图按照图1所示，集中式存储的系统架构I/O路径短，具有访问延迟小的优势，此外，还可通过内置BBU电池实现掉电保护，从而保障缓存中的数据在掉电后不丢失,再结合双活、容灾、CDP等技术保障业务系统的连续性和数据安全性.集中式存储技术成熟，架构简单，有足够的稳定性，对高IOPS'低延时、和数据强一致性有很好支持。所以,集中式存储的特性适合作为金融核心业务系统的数据库存储.传统存储的系统架构决定r其扩展能力有限，无法很好支撵高并发访问性能，随着数据啦不断地长，集中式存储增长空间越来越有限.2 .分布式存储分布式存储是采用分布式架构的存储集群,将数据分布在不同物理位置并通过网络把它连接起来,如图2所示.与传统的高端服务器、高端存储和高端处理器不同的是.互联网公司的分布式存储系统由数最众多的、低成本和高性价比的普通PC服芬器通过网络连接而成，横向扩展能力很强，CPURAM-rX86l冬嘉UXW/IlfiniMId网络图2：分布式存偌架构图按照图2所示，分布式存储有效解决了传统集中式存储的可扩展性问题规模UHJ,展至上千个节点，容Bt扩展到上百PB甚至EB级.性俄随容量线性提升.按需在线扩容后，自动实现数拉;再均衡，分布式存储的多个存储节点能够同时提供读写服芬，因此具有很高的吞吐率，可达到几十GB/S,分布式存储使用多副本和纠删码技术实现数据保护，使用多副本机制，可极大提高存储的高可用性，但是由于多副本机制，导致存储容In有效利用率较低。而纠眦码技术，即可提高存储的可用性，相对于副本机制，存储容城有效利用率亦有很大提高，但该模式，存储读n性能较低。当前主流的分布式存谛产品主要有以下几种（仅列举出开源产品）：Ceph：适合云平台块存储和对象存储HDFS：适用了大数据场设Glusterfs:适用视频音叛等大文件和以读为主的场景BeegfS/1.uster：适用于高性能计党场景三、金融机构业务场景分析与架构选型思路首先，需明确不同金融机构不同场景下的业务特点，此处，以极行业与保险行业为例.比如：银行业的联机交易业务或核心业务，该类型业务，主要体现在客户层面对于业务响应的快慢，故而对于读写的性能要求极高，此外，对于事务性也有极高的要求，交易业务要求数据必须是强一致的,不允许出现就读，脏写的情况但是，像银行业或保险行业的影像类系统，该类型系统，主要存储的是客户的影像媒体数据，数据多以大文件，非结构化数据为主，业务特点也多以影像数据的仰询为主，主要是对性能有较高要求.针对上述出现的类核心业务系统,可采用传统的集中式存储架构，该类存储架构，IOPS.低延时、和数据强一致性有很好支持.对于影像类业务,由于影像数据偏大文件的特点，以个人实践的情况来看，以GlUSte市为代表的分布式存储最为适合该业务，GlUSterfS具有高扩展性、高可用性、高性能、可横向扩展等特点，其根据场景不同，可设置不同类型的卷，如：分布式复制卷，分布式条带卷等，以此来达到高性能读写的目的.1.Glusterfs存储应用场景个人曾针对客户存储影像数据的萄求，设计了GIUSterfS集群的存储方案，使用分布式发制卷来确保数据的高可用性，并针对这种卷模式,使用iozone与nmon工具，进行同步与异步场景卜不同文件大小相关读写性能测试,测试设备信息如表1.I服务器型号I内存ICPUl类型I存储大小I网络带宽II戴尔(DE1.1.)I64G12C|I蛾尔(DE1.1.)I64G12C|I戴尔(DE1.1.)I64G12C|物理机物理机物理机I3TB(HDD)+128G(SSD)IOG|I3TB(HDD)+128G(SSD)IOG|I3TB(HDD)+128G(SSD)IOG|表1.同步，写测试设备数据!.1.Glusterfs集群架构图3：GlUSterfS集群架构1.2 测试用例文件大小命令4k.Ziozone-S1k-i0-i1-W-t1-G-Fmnttl文件大小命令2G.iozone-S2g-i0-i1-W-t1-G-Fmj)ttl4G.iozone-s4g-i0-i1-wT1-G-FZmntZtl8G.iozone-S8gTO-i1-W-t1-G-F11u)ttl16G表2：同步读写文件大小,iozone-s16g-i0-i1-W-t1-<»-Fmntt1命令4k.Ziozonc-S4k-i0-i1-WT1-D-Fmnttl2G.iozone-s2g-iO-i1-W-t1-D-Fmntt14G.iozone-S4g-iO-i1-WT1-D-Fmi)ttl8G.iozone-s8g-iO-i1-w-t1-)-Fmnttl16G.iozone-S16g-iO-i1-W-I1-D-Fmnttl表3：异步读写1.3 窝试结果在分布式复制卷模式，同/异步写入，读取数据的场景下，发现其对于大文件的读写支持很好,测试结果如表4.表5：用例一号写（平均吞吐尤）值复写平均吞吐量）读（平均召IiJb值复读（平均吞吐量）IK7352.60KBZsec3508.55KBsec6007.30KBsec6379.61KBsec2G53855.92KBsec59589.48KBsec59170.50KBsec57179.81KBsec4G58806.86KBsec57990.81KBsec59863.32KBsec56777.48KBsec8G57767.80KBsec55574.25KBsec57562.49KBsec53913.17KBsec16G57196.66KBsec58980.97KBsec51425.59KBsec51036.16KBsec表4：同步读写测试数据用例号耳（平均吞吐量）BftW（平均吞吐量）读平均吞吐值复读（平均吞吐置）4K121745.45KBsec6700.69KBsec6493.22KBZsec7381.72KBsec用例号写（平均吞吐,）值复写平均吞吐量）读（平均吞吐量）值复读（平均吞吐）2G21596.56KBZsec22723.56KBsec99259.4IKBZsec2848802.50KBsec4G22864.95KBZsec20860.88KBsec93040.98KBsec2735853.50KBsec8G21247.79KBZsec20742.79KBsec93401.OIKBZsec88304.33KB/sec16G20912.HKB/sec20835.54KBsec90287.25KBsec91120.91KB/sec第5：异步读写测试数据根据表4可看出，Glusterfs在体对于小文件的读写性能支持并不是很好，但是对广大义件来说,读写性能很强，适合视频源媒体等影像文件的读局根据表5可看出，虽然Glusterfs适合大文件读写，但是异步读写下，并不是文件越大，读”性能越好，反而在电者的测试环境下，2G大小的文件，读与性能达到公佳。该测试数据是基于分布式复制卷进行的数据读写，理论上来讲，该模式下相对于分布式条带卷，读写性能要略微型一些，但是由于采用f多副本机制，所以保证了数据的高可用，但随之带来的是存储容量有效利用率较低以及数据杳询效率的降低.另外,使得一提的是，由于测试场景使用的硬盘为HHD.故而相对于纯SSD存体场景下，读写性能要低一些，后期为满足客户高速读写的需求，将健投换为SSD,读写性能翻一倍不止。所以,在实际场景中，选择分布式存储时,是否采用多副本，副本数做设置多少,采用SSD还是HHD,而要结合具体业务场域来确定。四、结语综上所述，金融机构业务存储架构在选型时，需充分考虑到业务场处的特点，有针对性的选取适合的在谛产品以及架构，不能一味的求新，求变,应以科技为金融版务为宗旨，通过技术，提瑞金融机构服务的质量和效率。
