分布式存储架构发展及技术分析与分布式存储典型问题解读.docx

《分布式存储架构发展及技术分析与分布式存储典型问题解读.docx》由会员分享，可在线阅读，更多相关《分布式存储架构发展及技术分析与分布式存储典型问题解读.docx（22页珍藏版）》请在课桌文档上搜索。

1、分布式存储架构发展及技术分析存储域 SerVerServer z Scncr 国分布式施基于新型极简共享存储的DiCkSS架彻底座从云和互联网的业务场景来看，其存储域主要采用基于服务器部署分布式存储服务的融合方式，它面临如下挑战：1 .数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量数据，大量数据需按照其生命周期策略（例如810年）进行保存。2 .性能可靠与资源利用率难以兼得。支撑业务的分布式存储系统大致可以分为性能型存储和容量型存储，它们均无法同时实现高性能可靠与高资源利用率。具体地，性能型存储主要运行数据库、虚拟化等关键业务，通常采用三副本或两副本并配合独立冗余磁盘

2、阵列卡模式；这类方案虽兼顾了性能和可靠性，但其大约30%的空间利用率却是对存储资源的极大浪费。容量型系统为了提升空间利用率，采用纠删码（EraSUreCode,EC）方式，然而，EC计算过程中的读写、重构等会消耗大量网络资源，导致系统重构效率低下、重构时间长，给系统可靠性带来风险（如图1所示）。云和互联网分布式存储系统性能可靠性影响大EC计算过程中读写、重构等消耗大量网络资源，系统存储资源利用率低常采用多副本方式保证可靠性不同系统烟囱式构建存储.无法跨系统池化存储重构效率低下、重构时间长图1分布式存储资源利用率3 .新型分布式应用的极简高效共享存储诉求。以无服务器（SerVerleSS）应用为

3、代表的新型分布式应用在近些年涌现，这类应用从无状态化向有状态化扩展，比如数据库、消息总线等组件纷纷容器化，数据共享访问的诉求不断增多。与此同时，人工智能和机器学习等应用需要大量异构算力协同，甚至产生共享内存访问的诉求，它们关注高带宽、低时延的访问能力，仅需要轻量、便捷的共享存储系统即可，不需要搭载具有复杂企业特性的传统存储。4 .数据中心税导致数据密集型应用效率低下。面向数据密集型场景，在基于以CPU为中心的服务器架构下，应用为获取数据所缴纳的“数据中心税”（datacentertax）日益加重。例如，服务器内的CPU为处理网络及存储IC）请求，需要消耗高达30%的算力3；此外，由于通用CPU

4、并不擅长数据处理运算，导致其能效比低下。传统存算分离架构将算力资源和存储资源（机械硬盘、固态硬盘等）分离至彼此独立的计算域和存储域，并通过以太网或专用存储网络（例如光纤通道）将二者互连，实现了存储资源的灵活扩展和高效共享（如图2左侧所示）；该架构主要为复杂的传统企业特性设计，难以应对上述挑战，为了让云和互联网存储域服务兼顾资源利用率、可靠性、性能、效率等众多诉求，亟须基于新型软硬件技术构建新型存算分离架构。ECSI存储域 Server计算域 Server计Il无盘化直建存储模组 Mr. Nk V NOF似Mtn化M业务 Oia化 v9 三景YW 3y Bh 卜、Wl 2” KVanlaMnlJ

5、T内朗酝、J JsLUScncr分的W仓am出容凰FSfO分布式EC.和IHiS布JS 6. Hxk r RftMAtHMmt务M内在拉远谢匕大内存加速应用X、.*u.(1MMCSl(SI基于新型极筒共享存储的DiSIdeSS架构底座高通.数据总我名总线、弊总鼻11M机OPriealJe弊)图2传统存算分离架构与新型存算分离架构时比一、硬件技术趋势面对数据中心在容量利用率、存力效率等方面的挑战，近年来，专用数据处理器、新型网络等技术快速发展，为数据中心基础设施的重构提供了技术基础。首先，为取代服务器本地盘，很多厂商推出以太网闪存簇(EthemetBUnChOfFlash,EBOF)高性能盘框(

6、例如，近期陆续发布的西数OPenFlex、VaStDataCereS高性能盘框等)。这类盘框不再具有复杂企业特性，而是注重采用新型的数据访问标准，比如支持NOF(NvMExpressoverFabric)等接口，以提供高性能存储实现对本地盘的替换。NoF协议由NVMExpress(NVMe)标准组织在2016年发布，提供了NVMe命令到多种网络传输协议的映射，使一台计算机能够访问另一台计算机的块存储设备。同时，一些研究机构进一步探索远程内存池化技术，例如，韩国KAIST实验室实现了基于FPGA的CXL(ComputeExpressLink)互连协议；CXL为英特尔于2019年3月在Interc

7、onnectDay2019上推出的一种开放性互联协议，能够让CPU与GPU、FPGA或其他加速器之间实现高速高效互联，从而满足高性能异构计算的要求。其次，业界涌现出整来越多的数据处理单元(DataProcessingUnit,DPU)和基础设施处理单元(InfrastructureProcessingUnit,IPU)专用芯片，在数据流处理路径上取代通用处理器，提升算力能效比。同时，基于可编程交换机的网存协同也是研究热点，例如在网数据缓存的NetCacheKV-Direct,在网数据协调的NetLockSwitchTx,在网数据聚合的SwitchML.NetEC,在网数据调度的FLAIR、Al

8、NiCO等。最后，数据访问网络标准也在持续增强，比如CXL协议新版本加强了内存池化方向的技术特性，同时吸收了Gen-Z(由AMD、ARM、HPE等公司发起定义的面向内存语义的技术)、OpenCAP(OpenCoherentAcceleratorProcessorlnterface,最早由IBM提出的异构计算接口)等技术的成果，正逐步成为业界主流高速互联标准。NVMe2.0也在向着语义统一、Fabric统一和介质统一方向演进。这些新型存储、计算和网络硬件为构建面向云和互联网场景的新型存算分离架构带来了诸多机遇，譬如使用DPU等专用芯片能够打破传统以CPU为中心的服务器架构，由此提升数据密集型应用

9、的效率。二、新型存算分离架构的特征随着远程直接内存访问(RemoteDireCtMemOryACCess,RDMA)CXL可编程网络设备、高性能NVMeSSD、持久性内存等新型硬件技术的发展，需要构建新型存算分离架构，以确保云和互联网存储域服务能够兼顾资源利用率、可靠性、性能、效率等众多诉求。相较于传统架构，新型存算分离架构最为显著的区别在于：(I)更为彻底的存算解耦，该架构不再局限于将CPU和外存解耦，而是彻底打破各类存算硬件资源的边界，将其组建为彼此独立的硬件资源池(例如处理器池、内存池、机械硬盘(HDD)/固态硬盘(SSD)池等)，从真正意义上实现各类硬件的独立扩展及灵活共享；(2)更为

10、细粒度的处理分工，即打破了传统以通用CPU为中心的处理逻辑,使数据处理、聚合等原本CPU不擅长的任务被专用加速器、DPU等替代，从全局角度实现硬件资源的最优组合，进而提供极致的能效比。总结来说，新型存算分离架构具有如下特征：1 .无盘化的服务器。新型存算分离架构将服务器本地盘拉远构成无盘化(diskless)服务器和远端存储池，同时还通过远程内存池扩展本地内存，实现了真正意义上的存算解耦，可极大提升存储资源利用率。业务使用时.，可根据应用需求选择配置不同性能、容量的虚拟盘及池化内存空间，这样一方面可以避免由于不同服务器本地存储空间利用率过低导致超配造成的浪费；另一方面，当服务器出现故障或者更新

11、换代时，也不影响数据的保存，不需要额外的数据迁移。2 .多样化的网络协议。连接计算和存储间的网络协议从当前的IP或光纤通道(FibreChanneLFC)协议扩展到CXL+NoF+IP协议组合。CXL协议使得网络时延降低到亚微秒级别，有助于内存型介质的池化；NoF协议加速SSD池化;IP协议可满足HDD等慢速介质访问诉求。通过这几类协议组合构建的高通量网络，满足了多种场景池化接入诉求。3 .专用化的数据处理器。数据存储、访问等操作不再由通用处理器负责，而是卸载到专用数据处理器。此外，特定的数据操作可由专用硬件加速器进行进一步加速，如纠删码、加密压缩、网络通信等。通过专用数据处理器，可以释放通用

12、处理器算力，用于服务更适合的场景，显著提升系统整体能效比。4 .极高存力密度的存储系统。分离式存储系统(disaggregatestorage)是新型架构的重要组件，作为持久化数据的底座，在存储介质的集约化管理基础上，结合芯片、介质的深度协同设计，整合当前系统、盘两级的空间管理，通过大比例纠删码算法减少冗余资源开销比例。此外，还可通过基于芯片加速的场景化数据缩减技术提供更多的数据可用空间。三、面向云和互联网场景的存算分离架构新型存算分离架构意在解决前文所提的当前架构面临的几大痛点挑战，通过将原有架构的多级分层资源进行彻底解耦池化和重组整合，形成新的三大简化分层：存储模组、总线网络和算力模组，从

13、而提供服务器本地存储拉远池化、新型网络灵活组装、以数据为中心的多元处理、高容量极简盘框等几大新兴能力。1、存储模组面向云和互联网数据中心，需要以更专业的存储能力重新定义云和互联网的存储架构。新型存算分离架构中，存储型模组主要以EBOF,以太网内存簇(EthemetBunchofMemory,EBOM)以太网磁盘簇(EthernetBUnChofDisk,EBOD)等新型盘框形态存在，RAID/EC/压缩等传统存储能力下沉到新型盘框中，构成“盘即存储”的大盘技术，对外通过NoF等高速共享网络提供块、文件等标准存储服务。这一类新型盘框将传统磁盘阵列的冗余池化技术和数据缩减技术进行了高度集约化和小型

14、化。场景 存储模组替换计H/存储的本地SSD/HDD 盘RAIDBlock:、E tM) lll)lftHma tt、泣IrMe IHWMtMM.m.H ll*kV KVS R M m1/Mnonjtg图4网络技术发展时间线存算分离架构中，网络技术非常重要，它决定了系统的响应速度以及吞吐能力，也决定了系统资源池化的能力范围。过去10年，万兆IP网络促使HDD池化，基于IP网络发展了支持块、文件、对象共享的访问协议。当前，面向热数据处理，NVMeZRoCE（RDMAoverConvergedEthernet9RDMA融合以太网）促使SSD池化；并且，NVMe协议快速发展使其开始收编烟囱式协议规范

15、。下一步，面向极热数据处理，内存型网络（例如CXLFabriC）将促使内存资源池化，为业务提供更大的共享内存空间（如图4所示）。涉及分布式存储选型、架构、运维等。1、分布式存储当前主要的应用场景有哪些？简单来说，就是存储设备分布在不同的地理位置，数据就近存储，将数据分散在多个存储节点上，各个节点通过网络相连，对这些节点的资源进行统一的管理，从而大大缓解带宽压力，同时也解决了传统的本地文件系统在文件大小、文件数量等方面的限制。对于分布式存储，应用场景就很多了，如果你有以下需求:数据量大、高吞吐量、高性能、高扩展，那就推荐分布式存储。主要的应用场景:1）块存储类似传统存储IPSan形式提供iSCS

16、I接口，作为虚拟化后端存储2）对象存储视频，音频，图片类的存储，归档存储等，例如保险行业的“双录”系统，电子保单系统3）文件存储作为NFS,GPFS之类集群文件系统的替代品1、分布式块存储：（1）云平台，私有云建设，分布式存储非常适合云平台的场景，传统集中式存储，一一般都是标准iscsi协议挂载卷到。PenStaCk端，每个Iun都需要单独挂载。配置MPIO等。而分布式存储是通过rbd协议挂载存储池给OpenStack,OPenStaCk端直接在存储里划分和创建卷，调用快照等高级功能，分布式存储和OpenStack是天生适配，更加合适OPenStaCk的私有云的发展。（2）容器场景：2018年

17、12月发布KUberneteSl.13版本,用于容器编排引擎的标准存储接口containerstorageinterface（CSI）已普遍可用。在这些产品中，容器本地数据服务的需求对于支持微服务结构变得非常重要，这些需求包括硬件不可知性、APl驱动、基于分布式架构，能够支持边缘、核心或公共云部署等。超过70%的容器应用需要有状态数据持久化保存，SDS可以解决：需要敏捷的数据迁移、从多个应用容器同时访问数据的需求。所以容器场景的弹性灵活的需求也是非常适合分布式存储。2、分布式文件存储：分布式文件适合大容量文件存储场景，横向扩展灵活,性能优于双控存储，例如非线编，共享NAS,高性能计算等等都非常

18、适合，文件存储也是现阶段三种存储中市场使用最高的，但有些也在慢慢转对象存储，对象存储接口协议在逐步开发中，会有一个过渡阶段。3、分布式对象存储：海量小文件需求，检索需求，大数据方向，金融的影像平台，有互联网传输需求，和公有云整合，企业高校的网盘，监控等等非结构化场景都适合，包括一些医疗的PACS也在逐步过渡到对象存储，未来最有爆发潜力的存储。文件和对象都针对的非结构化场景，文件往对象转是大势所趋，在于对象S3接口的逐步推广，对象存储支持文件和对象互操作（文件协议写入，对象方式读出，反之亦然）也是顺应市场需求的产物。金融行业：影像系统、档案系统、容器、私有云、备份医疗行业：超融合、PACS影像存

19、储安防行业：监控集中存储、智能安防教育行业：私有云、校园网盘除了OLTP单一业务极限K）PS需求，和极低时延（微秒），大部分业务场景都可以通过SDS满足，金融领域的开发测试，容器云，电子影像，双录，广电领域的媒资，CDN,等等，都是当前SDS能够应对的场景，简单来讲，SDS本身是分布式架构，通过ScaleUp和ScaleOut对标准化服务器和网络的排列组合，可以获得业务希望获得的存储能力。2、和传统存储相比，分布式存储在哪些应用场景比较有优势？分布式存储适用于虚拟化、云平台对接场景,海量非结构化数据保存场景（如图片、影音等）。数据量大、高吞吐量、高性能、高扩展等场景。分布式在整体架构设计上，可

20、按需配置，灵活扩展；分布式存储性能上限高，传统存储传输接口数量受限制有天花板；分布式存储容量上限高，横向扩展能力强；分布式存储硬件节点做替换对应用影响小；综上所述，在私有云部署，海量非结构化数据，高性能计算，流媒体和视频监控场景有比较大的优势。3、传统存储架构的局限性和分布式存储的优点？传统SAN存储设备一般采用双控制器架构，两者互为备份，配置两台交换机与前端的服务器进行连接，这种双控制器架构方式会有以下两个方面的缺点：1 .网络带宽容易变成整个存储性能的瓶颈；2 .如果一个控制器损坏，系统的性能将大幅下降，影响存储的正常使用。传统存储架构的局限性主要体现在以下几个方面：1、横向扩展性较差受限

21、于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时，前端控制器横向扩展能力非常有限，业界最多仅能实现几个控制器的横向。因此，前端控制器成为整个存储性能的瓶颈。2、不同厂家传统存储之间的差异性带来的管理问题不同厂商设备的管理和使用方式各有不同，由于软硬件紧耦合、管理接口不统一等限制因素无法做到资源的统一管理和弹性调度，也会带来存储利用率较低的现象。因此，不同存储的存在影响了存储使用的便利性和利用率。分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件

22、引入的不稳定因素降到最低。优点如下：1 .高性能一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度；一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。2 .弹性扩展得益于合理的分布式架构，分布式存储可预估并且弹性扩展计算、存储容量和性能。分布式存储的水平扩展有以下几个特性：1）节点扩展后，旧数据会自动迁移到新节点，实现负载均衡，避免单点过热的情况出现；2）水平扩展只需

23、要将新节点和原有集群连接到同一网络，整个过程不会对业务造成影响；3）当节点被添加到集群，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被管理平台接管，被用于分配或者回收。3 .支持分级存储由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。4 .多副本的一致性与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储

24、数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复，从而保证副本的总数固定；当数据长时间处于不一致状态时，系统会自动数据重建恢复，同时租户可设定数据恢复的带宽规则，最小化对业务的影响。5 .容灾与备份在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是

25、，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还非常有利于进行故障重现，从而进行分析和研究，避免灾难在未来再次发生。多副本技术，数据条带化放置，多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。6 .存储系统标准化随着分布式存储的发展，存储行业的标准化进程也不断推进，分布式存储优先采用行业标准接口进行存储接入。在平台层面，通过将异构存储资源进行抽象化，将传统的存储设备级的操作封装成面

26、向存储资源的操作，从而简化异构存储基础架构的操作，以实现存储资源的集中管理，并能够自动执行创建、变更、回收等整个存储生命周期流程。基于异构存储整合的功能，用户可以实现跨不同品牌、介质地实现容灾，如用中低端阵列为高端阵列容灾，用不同磁盘阵列为闪存阵列容灾等等，从侧面降低了存储采购和管理成本。4、分布式存储与传统的SAN、NAS相比的优势和缺点？分布式存储与传统的SAN、NAS相比，优势如下：1、性能：在分布式存储达到一定规模时，性能会超过传统的SAN、NASo大量磁盘和节点，结合适当的数据分布策略，可以达到非常高的聚合带宽。传统的SAN、NAS都会有性能瓶颈，一旦达到最大扩展能力，性能不会改变甚

27、至降低。2、价格：传统的SANNAS,价格比较高。特别是SAN网络设备，光纤网络成本比较高。而且，以后扩展还需要增加扩展柜。成本太高。分布式存储只需要IP网络，几台X86服务器加内置硬盘就可以组建起来，初期成本比较低。扩展也非常方便，加服务器就行。3、可持续性：传统的SAN、NAS扩展能力受限，一个机头最多可以带几百个磁盘。如果想要个PB以上的共享存储，分布式存储是最好的选择。不用担心扩展能力问题。缺点：1、需要比较强的技术能力和运维能力，甚至有开发能力的用户。传统存储开箱即用，硬件由厂家提供，也有完善的文档和服务。而分布式很多是开源或者是有公司基于开源系统提供支持服务，版本迭代比较快，出问题

28、后有可能需要自己解决。2、数据一致性问题。对于OraCleRAC这一类对数据一致性要求比较高的应用场景，分布式存储的性能可能就稍弱了，因为分布式的结构，数据同步是一个大问题，虽然现在技术一直在进步,但是也不如传统存储设备数据存储方式可靠。3、稳定性问题。分布式存储非常依赖网络环境和带宽，如果网络发生抖动或者故障，都可能会影响分布式存储系统运行。例如，一旦发生IP冲突，那么整体分布式存储可能都无法访问。传统存储一般使用专用SAN或IP网络，稳定性方面，更可靠一些。4、分布式存储如何保证数据一致性？从服务端角度，如何尽快将更新后的数据分布到整个系统，降低达到最终一致性的时间窗口，是提高系统的可用度

29、和用户体验非常重要的方面。对于分布式存储系统：N一数据复制的份数W一更新数据是需要保证写完成的节点数R一读取数据的时候需要读取的节点数如果W+RN,写的节点和读的节点重叠，则是强一致性。例如对于典型的一主一备同步复制的分布式存储系统，N=2,W=2,R=1,则不管读的是主副本还是从副本的数据，都是一致的。如果W+Rv=N,则是弱一致性。例如对于一主一备异步复制的分布式存储,N=2,W=l,R=I,则如果读的是从副本,就可能无法读取主副本已经更新过的数据，从而读到了脏数据所以是弱一致性。对于分布存储式系统，为了保证高可用性，一般设置N=3,且强制在主副本读取，也是通常说的分布式存储系统使用强一致

30、性原则。5、分布式存储的文件存储和对象存储有哪些区别？文件存储与对象存储区别主要可从三方面来进行比较：D展现模式：文件存储：以盘符/目录的形式展现，优点是符合用户现有使用习惯，用户可以像使用本地硬盘一样使用存储系统，缺点是无法定制化存储元数据信息，对业务系统无优化；对象存储：与应用系统相结合形式展现，优点是可按需调用存储接口，并为文件设置元数据以及标签属性，可满足业务系统定制化需求，缺点是需要业务系统直接调用存储，用户无法直接调用系统内数据。2）访问协议文件存储：NFS/CIFS协议访问，优点是锁机制可支持多人同时对数据进行修改（锁机制由应用系统决定,缺点是为保证数据访问一致性，需要进行数据索

31、引信息同步，对系统并发性能以及系统规模存在较大影响。对象存储：HTTP传输协议以及RESTfUl接口访问，优点是通过算法存放文件元数据信息，无元数据同步限制，系统可无限制扩展，且性能随着存储系统规模扩展而线性提升，缺点是采用RESTfUl接口Put、Get、Delete,不支持多人同时对同一文件修改。3）数据结构文件存储：采用树形目录结构，读取和存储数据要经过更长路径才能到达目标位置。随着数据越来越多，目录结构会越来越繁杂，查找以及调取文件的速度会越来越慢（操作系统对目录字节数存在限制）；如若出现设备损坏或者扩容时,需要将巨型目录树中的数据重新分配均衡，效率较差。对象存储：采用扁平目录结构，抛

32、弃了嵌套的文件夹，避免维护庞大的目录树，只保留二级（或三级）目录结构。根下直接就是桶，桶中直接存放对象，桶中不能再建桶（禁止多层文件夹）。每个对象文件都只需要一个ID就能获取对象。适用场景总结：文件存储：数百TB-PB级数据并行计算类应用；亿级别以内小文件存储类应用；需要在线修改数据类应用系统，如：非编系统。对象存储：PB-数百PB级数据存储存储类应用；千亿级海量小文件数据存储以及海量并发。6、关于主流分布式文件存储的适用场景？【问题描述】主流分布式文件存储，比如C叩h、MogileFSTFSFastDFSGlUSterFS的适用场景有什么区别？哪些适合单集群，哪些适合跨集群？分布式文件存储的

33、功能、架构设计大同小异，适用场景也基本一致，如何选择更大程度上还是取决于社区的活跃度，一般用户很少有能力去做代码级别的研究，因此社区中安装、部署、运维文档的完整度，社区的活跃度是选择产品时重要的决策点。7、各大分布式文件系统优劣势对比，读写对比，性能对比，数据安全性对比，使用场景对比？各分布式文件系统数据安全性、使用场景区别不大，读写性能更取决于硬件配置，各产品区别主要在于发展过程不同带来的使用场景倾向不同，如CePh之于OPenStack,GIUSterfS之于C）PenShift,建议根据不同用途选择该用途下使用最多的产品，一般这种常见的坑都被踩过了，更稳定、性能更好一些。8、分布式存储技

34、术路线选型探讨：HDFSCephGFSGPFSSWift等各种技术的特点和适用场景？【问题描述】随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。当前，分布式存储有多种实现技术，如HDFS、CephsGFSGPFSSWift等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储技术的特点，以及各种技术的适用场景，在此希望请教下同行，城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？在以

35、上几种分布式存储技术中，每一种存储技术都有各自的特点和应用场景。其中HDFS、CePh和SWift应用比较多，这也和它们的技术发展比较快和应用场景比较多相关。下面分别介绍：一、HDFS主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNOde的内存中，文件数量的增加会占用大量的NameNOde内存。如果存在大量的小文件，会占用大量内存空间，引起整个

36、分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。3、HDFS采用多副本数据保护机制，使用普通的X86服务器就可以保障数据的可靠性，不推荐在虚拟化环境中使用。二、Ceph是一个开源的存储项目，是目前应用最广泛的开源分布式存储系统，已得到众多厂商的支持，许多超融合系统的分布式存储都是基于CePh深度定制。而且Ceph已经成为LINUX系统和OPenStaCk的“标配”，用于支持各自的存储系统。Ceph

37、可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性，在分布式存储系统中，是很少见的。Ceph没有采用HDFS的元数据寻址的方案，而且采用CRUSH算法，数据分布均衡，并行度高。而且在支持块存储特性上，数据可以具有强一致性，可以获得传统集中式存储的使用体验。对象存储服务，Ceph支持Swift和S3的APl接口。在块存储方面，支持精简配置、快照、克隆。在文件系统存储服务方面，支持POSiX接口，支持快照。但是目前CePh支持文件的性能相当其他分布式存储系统，部署稍显复杂，性能也稍弱，一般都将CePh应用于块和对象存储。Ceph是去中心化的分布式解决方案，需要提前

38、做好规划设计，对技术团队的要求能力比较高。特别是在CePh扩容时，由于其数据分布均衡的特性，会导致整个存储系统性能的下降。三、GFSGFS是google分布式文件存储，是为了存储海量搜索数据而设计的专用文件系统。和HDFS比较类似，而且HDFS系统最早就是根据GFS的概念进行设计实现的。GFS同样适合大文件读写，不合适小文件存储。适合处理大量的文件读取，需要高带宽，而且数据访问延时不敏感的搜索类业务。同样不适合多用户同时写入。GFS是最早的推出分布式存储概念的的存储系统之一，后来的大部分的分布式式文件系统或多或少都参考了GFS的设计。HDFS和GFS的主要区别是，对GFS中关于数据的写入进行了

39、一些改进，同一时间只允许一个客户端写入或追加数据。而GFS是支持并发写入的。这样会减少同时写入带来的数据一致性问题，在写入流程上，架构相对比较简单，容易实现。四、GPFSGPFS是IBM的共享文件系统，它是一个并行的磁盘文件系统，可以保证在资源组内的所有节点可以并行访问整个文件系统。GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。GPFS提供了许多标准的UNIX文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。GPFS和其他分布式存储不同的是，GPFS是由网络共享磁盘(NSD)和物理磁盘组成。网络共享磁盘(NSD)是由物理磁盘映射出来的虚拟设备，与磁盘之间是一一对

40、应的关系。所以，使用两台传统的集中式存储设备，通过划分不同的网络共享磁盘，也可以部署GPFS,不一定部署在X86设备上。GPFS文件系统允许在同一个节点内的多个进程使用标准的UNIX文件系统接口并行的访问相同文件进行读写，性能比较高。GPFS支持传统集中式存储的仲裁机制和文件锁，保证数据安全和数据的正确性，这是其他分布式存储系统无法比拟的。GPFS主要用于IBM小型机和UNIX系统的文件共享和数据容灾等场景。五、SwiftSWift也是一个开源的存储项目，但是主要面向的是对象存储。和CePh提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和CePh的对象存储服务的主要区别是。1、客

41、户端在访问对象存储系统服务时，SWift要求客户端必须访问SWift网关才能获得数据。而C叩h使用一个运行在每个存储节点上的OSD（对象存储设备）获取数据信息，没有一个单独的入口点，比SWift更灵活一些。2、在数据一致性方面，Swift的数据是最终一致，在海量数据的处理效率上要高一些，但是主要面向对数据一致性要求不高，但是对数据处理效率要求比较高的对象存储业务。而CePh是始终跨集群强一致性。主要的应用场景，在迪OpenStack中，对象存储服务使用的就是Swift,而不是Cepho10、CephMogileFSTFSsFastDFSGlusterFS,是否都支持跨集群同步?分布式存储一般不

42、建议配置跨集群同步，其本来就是采用网络IO的方式，如果配置跨集群同步，会导致10过长，可能影响读写延迟，建议配置重要数据同步复制即可，可使用rsync之类的工具。11块存储与文件存储的对比？【问题描述】我想请问一下块存储与文件存储的详细对比？比如说，块存储比文件更稳定，时延低，为什么？块协议比文件协议怎么稳定，体现在哪?文件协议开销大，体现在哪？实际测试结果来看，块存储和文件存储的稳定性、时延并没有明显区别。块存储和文件存储的使用场景不一样，块存储主要用于提供VMware或者OPenStaCk做存储卷用，而文件系统存储主要用于文件在容器、虚拟机及物理机之间的文件共享存储。12、在KUbenle

43、teS上用分布式的存储方案进行容器数据的存储，哪个分布式的存储系统可以直接部署起来使用？GlusterFSCePh都可以直接使用使用GlanCeFS、GFS或CePh都可以，但是如果是用于数据库的话，不得不说,效率不高啊！就算使用flashdisk,效率也基本上等于SAS盘的速度。13、影像数据，如果是图像比较大的情况，一张图接近GB时，选择哪种开源产品比较合适？可以使用CePh对象存储协议来保存，建议单独建设一个资源池针对这种大图像来进行存储，可以通过增大对象条带大小的方式获得更好的读写性能。首先表个态，图像照片，特别是尺寸大的，是不太适合直接存放在数据库中的，但如果要存放，开源的数据库My

44、SQL就可以，其实就是放在CIOb字段中，dob字段是MySQL从OraCIe继承过来的，0racle8i的时候，就可以存放4g的二进制文件，所以，现在MySQL完全可以存放。其次，正确的方法，是在数据库中存放一个链接，将图像照片存放在OSS对象存储上，或干脆在磁盘上。存放在数据库中效率怎么都是不高的。14、金融行业如何针对结构化与非结构化数据，进行分布式存储的选型？【问题描述】金融行业如何针对结构化与非结构化数据，进行分布式存储的选型？尤其像客服中心语音数据与信贷类交易系统的影像文件等非结构化数据，如何既经济又安全地选择市场上高口碑和好评的分布式存储进行对接？需要结合不同的使用场景进行POC

45、测试，有些产品可能在特定的场景下比较合适，因此可针对非结构化数据存储和结构化数据存储分别进行POC测试。结构化数据的分布式存储，实际上就是分布式关系型数据库的存储，使用的2pc或3pc的提交模式。为了保证结构化数据的事物一致性，这类数据的分布式存储比较好的是选用ra九架构。非结构化数据，大都是非关系型数据库，只要保证数据的最终一致性，一致性的要求比较低，所以比较自由，HDFS.GFS都可以选择，最简单的就是Hive,你可以把它理解成为一个非结构化数据仓库，底层是对HDFS等分布式存储的的读写。15、把现有影像系统的非结构化数据集中存贮到一起，供AI、Bl等平台使用，使用对象存储是否合适？特别合适，对象存储比较适合存储影像、语音等非结构化数据。对象存储的特点是，你可以理解为是个大U盘，可以读，但不适合于写。放置只读不改的影像数据是合适的。事实上