从烟囱式架构到分布式云架构 银行云模式下的存储架构演进及思路 附存储 从内部部署到云端的演变之路.docx

《从烟囱式架构到分布式云架构 银行云模式下的存储架构演进及思路 附存储 从内部部署到云端的演变之路.docx》由会员分享，可在线阅读，更多相关《从烟囱式架构到分布式云架构 银行云模式下的存储架构演进及思路 附存储 从内部部署到云端的演变之路.docx（6页珍藏版）》请在课桌文档上搜索。

1、本文从IT架构的视角，对某行在不同数字化改造阶段中，云存储架构变化 的过程和思路进行梳理和总结，包括烟囱式存储云架构、集中式云存储架构、 分布式云存储架构，以此为例，旨在分享云存储架构变化的演进观点，希望对同 行有一定的借鉴和参考价值。一、刖百存储是IT行业的三大关键技术领域之一，是IT系统的感知输入记录和 IT大脑的思维记忆所在，其基础性和重要性不言而喻。云存储作为将储存资源 放到云上供行为对象任意时间、任意地点，只要有网络连接即可存取的技术，依 托其便利性和弹性按需的低成本优势伴随着云计算技术一起迅猛发展，势不可 挡。在当前数字经济高速发展的背景下，为了实现“数字经济的基础设施”的宏大 愿

2、景，存储必须担负起更大的责任，为企业数字化转型提供核心价值，促进基础 设施云化、核心技术互联化和应用数据化和智能化的升级。在这个数字经济时代, 云存储也在悄然发生巨变，主要体现在以下三个方面：1、存储服务网络的巨变。云存储是基于云计算相关技术延伸和发展而来的 全新的产品形态。本质上，云计算不是一种计算，而是一种服务，云存储也不是 一种存储，而是一种基于存储功能的服务。云存储的内核是应用软件与存储设备 相结合，通过应用软件来实现存储设备向存储服务的转变。使用云存储时并不是 使用某一个存储设备，而是使用整个云存储网络带来的一种数字化服务。2、云原生对云存储的新要求。云原生应用对迁移性、扩展性和动态

3、性的需 求，对云原生存储也带来了相应的密度、速度、混合度的要求，因此需要云存储 不断提高在效率、弹性、稳定、应用低耦合、安全等方面的能力。首先，云原生 存储是面向应用的应用层存储，是云存储在用户接口、效率和易用性等优势的集 合；其次，云原生存储利用云存储基础设施红利，是构建在应用存储之上的分层 存储；第三，云原生提升了实现效率和自治方面的能力，提升了存储稳定性，降 低了安全隐患。3、不可或缺的混合云存储。通过混合云IT架构无缝上云已成为企业应用 的新常态，混合云存储将成为架起本地数据中心和公共云的桥梁，是传统企业客 户上云的新路径。从新旧业务的融合到云计算研发的混合部署，都离不开混合云 的支持

4、。不同的系统，在不同的时间点所呈现的状态也同样不同，作为一种产品 化的解决方案，混合云可以说是公共云、私有云、本地基础设施部署优势的一个 结合。云所提供的功能和业务越来越丰富，随着容器等云原生技术的发展，业务 的跨云部署也将更加便捷，在权限管理、灵活性、性价比方面表现出更大的优势。在这样的背景下，本文将从IT架构的视角，以我行在不同数字化改造阶段, 云存储架构演进的过程和思路为例进行梳理和总结，旨在厘清在云存储不断的技 术变革下，我行的跟进策略和架构抉择思路，包括烟囱式“云”架构、集中式云存 储架构、分布式云存储架构，希望对同行有一定的借鉴和参考价值。二、烟囱式存储云架构阶段基础设施烟囱式架构

5、，是国内各银行早期数据中心信息系统建设过程中的必 然形态。在这个阶段，大多数IT建设者们并不太关注基础架构方面的规划及设 计，采用何种技术架构，在当时的条件下，并没有那么重要。信息系统的建设重 点就是让承载的业务系统稳定运行，服务器、存储和网络设备的核心使命是为业 务提供一个良好的运行环境，让业务系统稳定连续性运行即可。我行也不例外，在这个时期，我行的信息系统基础设施的主体建设模式仍然 主要停留在“竖井”模式。大部分信息系统都是烟囱式的架构设计，几乎每个重要 信息系统都会配置一套独立硬件设备，典型的“标配”方案为两台高端小型机（或 X86服务器）做数据库服务器，搭建高可用双机环境，然后再加两台

6、或以上应 用服务器，后端连接两台FC交换机和一台存储设备。该架构的弊端主要表现为：在信息系统间，各应用系统建立在自身独立的资 源支撑体系上，存储数据完全是割裂的，导致设备利用率非常低，相互间难以实 现资源共享；在信息系统内，各系统内部在开发、测试、生产和备份等层面的资 源为相对独立的资源在做支撑，整体资源的流动性和利用率低，内部也无法实现 共享;在运维方面，个故障的处理往往需要多个不同专业领域的人员协同工作, 效率容易成为瓶颈；另外，在基础设施资源没有很好规划和合理利用的情况下， 这样的架构也会导致数据中心空间、能耗、制冷大规模增加，而且设备数量的随 意增加还会严重影响运维和管理的效率。三、集

7、中式云存储架构阶段为了有效应对上述烟囱式架构的弊端，我行开展了基于虚拟化技术的系统建 设模式变革，也就是所谓的基础设施“资源池式”的建设模式。通过广泛采用各类 虚拟化技术，实现计算资源和存储资源的虚拟化，同时构建起对应的虚拟化资源 池，提升了整体资源的使用率。虚拟化技术的应用打破了传统竖井式的资源壁垒，应用系统间能够共享各类 资源，支持随业务应用压力变化灵活调整资源供应；池化概念的引入把原来“烟 囱式”彼此割裂的计算、存储、网络资源在逻辑上整合成为了一台超大规模云计 算机。虚拟化资源池为上层软件提供弹性的按需资源供给的能力，从而实现软硬 件部署过程与运行态的解耦，屏蔽软硬件异构多厂家差异性与复

8、杂度，并填补计 算与存储之间的性能鸿沟；另外，从小规模式的资源堆叠逐步走向大规模资源池 构建之后，通过对运维流程的固化、不同专业领域的人员整合等方法，实现了运 维管理的统一化和集中化，大大提高了运维效率。存储虚拟化也正是我行该阶段的技术核心之一，其原理是在物理存储系统和 服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。 服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器 层完全透明。这种架构方式隐藏了不同存储的复杂程度，允许将存储池中的存储 通用功能集成使用，摆脱了单个存储物理容量的局限，同时又能提供各种丰富的 存储高级功能，包括存储自动分层、快照、容

9、灾、双活、数据迁移、镜像、压缩 笺 vjx3r 我行通过存储虚拟化技术搭建了交易类、管理类和开发测试类三套存储资源 池，每套资源池整合了不同厂商、不同型号、不同性能的各类异构存储设备，形 成一个兼具的高可用、灵活性、动态化和可扩展性的池化底座，为上层业务系统 提供块存储服务，例如数据读写、数据镜像保护、在线数据迁移和切换、存储性 能动态分层、数据容灾复制等，该底座也具备一定的扩展能力，例如存储虚拟化 节点横向扩展、新增存储节点和扩容存储容量等。另外，存储资源池又能够支持 统一的RESTFull API标准接口对接上层的云计算管理平台或者容器云平台，屏 蔽了异构存储的差异性，利用编排引擎实现存储

10、、计算、网络、运维等集成式服 务，利用云管实现业务对数据“存储使用管理的全生命周期支撑能力，通 过“应用软件+存储资源池”的方式达到存储设备向存储服务转变的目标，全面 开启计算、存储等基础设施云化的新征程。这个阶段，我行将其命名为集中式云存储架构阶段，存储设备虚拟化技术究 其本质仍然具有集中化特质，扩展也存在局限性。一方面，存储虚拟化设备虽然兼容性好，能够整合多套存储，自身节点也有 一定的扩展能力，但终究存在容量和性能扩展性瓶颈，整个存储池无法提供PB 到甚至EB级的云存储能力。在容量受到限制的情况下，整个存储池的吞吐量 也受到限制，通常而言，需要把连续的信息分片存储于多个存储设备以增加吞吐

11、量和性能。但存储虚拟化天然不适用于跨存储的连续数据分布，存储卷所对应的 存储按照标准需尽量在同一存储内部打散，而不是多存储打散。这种传统集中式 的思路，也正是造成局限性的根因，极大影响了存储池的整体性能和伸缩性。另一方面，在如今的互联网时代，数据存取手段纷繁复杂，形态五花八门， 半结构化与非结构化数据体量日趋增大，集中化的存储架构显现出自身的固有局 限。存储虚拟化后的存储池只能提供块存储服务，无法同时提供对象、块、和文 件存储服务，这些服务在业务互联化的今天，全都是必需品。这就要求云存储系 统必须能够提供多样的存储服务，包括块设备服务来满足数据库类型的存储要 求。文件系统、对象等存储服务来满足

12、半结构化数据和非结构化数据的存储要求。 因此，这就要求云存储能够提供丰富的标准接口，包括文件系统接口（ NFS、 ClFS ）、块接口（ iSCIS、FC ）或者对象接口（ S3、SWlFT ）以及对内 能够提供标准的管理接口。四、分布式云存储架构阶段由于集中式云存储架构的上述局限性，我行积极开展了第二代云存储架构探 索与实践，通过利用大量标准化机器的存储资源聚合构造一个海量存储池，结合 我行的原生云计算架构体系进行分布式云存储系统建设。该云存储系统是我行未 来数据存储的基石性系统，其上承载了一系列的云存储服务，为业务系统提供大 规模、高可用、高吞吐量和良好扩展性的存储服务。大规模：目前单集群

13、达到数百台规模，支持数十PB量级的存储大小，总 文件数量达到亿量级；数据高可靠性：保证数据和元数据是持久保存并能够正确访问的，保证所有 数据存储在处于不同机架的多个节点上面（通常设置为3 ）o即使集群中的部分 节点出现硬件和软件故障，系统能够检测到故障并自动进行数据的备份和迁移， 保证数据的安全存在；服务高可用性:保证业务能够不中断地访问数据，降低系统的不可服务时间。 即使出现软硬件的故障、异常和系统升级等情况，服务仍可正常访问；高吞吐量：运行时系统I/O吞吐量能够随机器规模线性增长，保证响应时 问；高可扩展性：保证系统的容量能够通过增加机器的方式得到自动扩展，下线 机器存储的数据能够自动迁移

14、到新加入的节点上。在上层的云存储服务中，既有要求高吞吐量，期待I/O能力随集群规模线 性增长的“开放存储”；又有要求低时延的“弹性计算”，作为底层平台核心的云存 储必须二者兼顾，同时具备高吞吐量和低时延。并且在线应用对云存储也提出了 与离线应用不同的挑战：对象存储和表格存储服务要求低时延数据读写，弹性块 存储和文件存储服务在要求低时延的同时还需要具备随机写的能力。针对这些需 求，云存储实现了事务日志文件和随机访问文件，用以支撑在线应用。其中，日 志文件通过多种方法对时延进行了优化，包括设置更高的优先级、由客户端直接 写多份拷贝而不是用传统的流水线方式、写入成功，不经过MaSter确认等。随 机

15、访问文件则允许用户随机读写，同时也应用了类似日志文件的时延优化技术。 我行的云存储系统架构如下图所示：集群部署与配置集群监控与告警LinUX操作系统数据中心在我行云存储系统中，文件系统的元数据存储在多个主服务器（Master ） 上，文件内容存储在大量的块服务器（Chunk Server ）上。客户端程序在使用 云存储时，首先从主服务器获取元数据信息（包括接下来与哪些块服务器交互）, 然后在块服务器上直接进行数据操作。由于元数据信息很小，大量的数据交互是客户端直接与块服务器进行的，因 此云存储采用了少量的主服务器来管理元数据，并使用Paxos协议保证元数据 的一致性。通常配置为5个实例，可以同

16、时容忍两台机器出故障，保证了高可 用和快速切换的能力，减少了外部的依赖，做到了独立自包含，在保障高稳定性 和高性能前提下能够容忍复杂故障。此外，块大小被设置为64MB ,进一步减 少了元数据的大小，因此可以将元数据全部放到内存里，从而使得主服务器能够 处理大量的并发请求。块服务器负责管理存储空间和数据读写，支持分级存储，针对不同的存储介 质如NVMe SSD、SATASDD、HDD等，根据相关配置的策略，把数据写 入对应的存储介质，同时支持基于策略的迁移。比如说在混合存储云盘，数据先 写入来自三台不同机器的SSD盘后就返回，后台异步地将数据迁移到HDD 盘；其次，块服务器采用了一系列技术来提供

17、稳定的性能，例如服务分级（能够 对请求队列和网络流量设定不同的优先级）、管理后台活动、热点负载平衡、增 加副本来应对重度使用的数据、缓冲加速、备份请求来规避慢盘等。这些技术的 本质目标就是基于无法预估的资源来打造可以预测的整体，提供稳定的性能。数据高可靠性方面，在向文件写入数据之前，客户端将建立到3个块服务 器的连接，客户向主副本写入数据以后，由主副本负责向其他副本发送数据。与 直接由客户端向三个副本写入数据相比，这样可以减少客户端的网络带宽使用。 块副本在放置的时候，为保证数据可用性和最大化地使用网络带宽，会将副本放 置在不同机架上，并优先考虑磁盘利用率低的机器。当硬件故障或数据不可用造 成

18、数据块的副本数目达不到3份的时候，数据块会被重新复制。为保证数据的 完整性，每块数据在写入时会同时计算一个校验值，与数据同时写入磁盘。当读 取数据块的时候，块服务器会再次计算校验值与之前存入的值是否相同，如果不 同就说明数据出现了错误，需要从其他副本重新读取数据。存储：从内部部署到云端的演变之路随着混合云存储架构的不断增长，清楚自己应如何实现混合云存储非常重 要，因为它们揭示了行业的发展方向。我倾向于将重心放在混合云存储架构上，而不是其他别的存储架构。这是因 为我真正相信它们能够应对当今的IT存储挑战，即永远增长的数据、多个站点、 对灵活性和规模的需求，同时还能够满足特定的性能需求。在本期专栏

19、中，我想 我们需要看看自己应如何实现这一目标，看看这种演变是否会为我们揭示存储在 不久的将来可能会走向何方。NAS出现之前最早的商业存储系统是针对一个目前早已消失的环境而设计的。当时企业可 能需要管理数千个文件。即便是最大的企业也会部署一套存储系统以支持数百个 并发用户。虽然这些遗留系统需要定期停机以进行维护，但是因计划外的原因造 成无法访问的情况也并不少见。在这种情况下，我们使用的是简单的硬盘驱动器和直接连接存储（DAS）, 例如SCSl驱动器，它们实际上只是服务器的扩展。众所周知，这是一个相对脆 弱的系统，硬盘非常容易出现故障。然而，即使对大多数企业而言，这实际上是 互联网出现之前的技术，

20、并且需要保护和管理的数据量也是最少的。NAS的崛起直到20世纪90年代早期，专用文件服务器和NetAPp、EMC等公司的早期 专利NAS设备才被设计出来，以满足不断增长的可扩展且可靠的数据访问。事 实上，由一群工程师发起并成立的Auspex Systems可以说是最早为UNIX市场 创建文件服务器的公司之一。这些解决方案直接响应了市场对数据管理的需求， 并为正成为“新石油”的数据搭建起了管道。当然，这些NAS解决方案中的大多数都是针对大型企业设计的。直到2000 年代中期，针对中小型企业和消费者市场的解决方案才开始进入市场，例如 ReadyNAS Synology0这些解决方案具有与企业NAS

21、类似的功能，虽然容量 较小，但是它们更加注重易用性和经济性。这些解决方案还开始整合在线备份解 决方案以进行灾难恢复。云存储的出现在中小企业和消费级NAS蓬勃发展的同时，面向消费者和企业的云存储服 务也取得了长足的发展。至少在最初阶段，DrOPbOX等公司推出的这些服务被认 为实际上只针对消费者，但是最终Box等公司推出了可满足企业云存储需求的 服务。与IT中的许多领域一样，云的出现是颠覆性的。它们为传统市场带来了兼 具可扩展性、灵活性和可管理性的解决方案。然而，这个服务市场仍然存在一个 明显的缺陷，即在大规模使用畤（并且在许多情况下）性能不佳。与此同时，它 们还带来了一个隐藏的IT问题，即IT

22、经理无法获得良好的数据可见性和可追溯 性，而这些正逐渐成为越来越重要的考虑因素，因为隐私和数据泄露已经成为了 重中之重。此外，针对每名用户的定价如果发生变化也会导致成本上涨。适用于大企业的混合云NAS规模较大的企业能够通过继续依赖本地存储解决方案或将两种方法的长处 （云规模与实时性能）结合起来的新模式来缓解性能问题。这种混合云模式将会 持续在各地的企业中得到广泛应用。混合云NAS支持使用本地缓存来保持文件服务器的性能，同时也支持在云 中安全地存储数据。由于与标准企业安全设置（如ACtiVeDireCtOry）兼容，因此 管理工作流程不需要修改。它们还有一个云分布式文件系统，其能够跨多个站点 同

23、步文件，将NAS架构扩展到云端和全局。Panzura和Nasuni是企业级混合云 存储解决方案的两个例子。适用于中小企业/托管服务提供商的混合云NAS尽管这种混合模式取得了成功，但由于价格过高，许多此类解决方案并没有 进入到中小企业当中。然而即便如此，中小企业也感受到了需要更好地管理和保 护数据以实现现代化所带来的巨大压力。如今，像我自己的企业MoiTOData这 类的公司已经开始将企业级存储功能与云计算的灵活性、可靠性以及针对全球小 微企业的本地解决方案的优异性能有机地整合在一起了。支持隐式备份、多站点文件同步、大型文件协作和集中管理的混合云模型极 大地简化了 IT,使IT经理和服务提供商能够将精力集中在业务价值创造上。接下来会发生什么在预测到可能会出现哪些东西后，我们就可以确定接下来哪些市场压力将影 响存储的发展。首先，数据正在呈指数级增长，并且在可预见的未来仍将继续保 持这种增长。物联网、大数据和越来越多的应用程序将进一步促进这种增长。其 次，云模式将继续存在，并将进一步被广泛使用从而影响架构决策和访问布局。 这意味着大大小小的企业都需要评估和管理自己的存储架构。最大的问题仍然是性能问题。云网络是否会提高性能以满足不必要的本地加 速需求？即使未来使用5G等新访问模式，文件的数量和不断增长的体积似乎暗 示着性能并不会很快得到提升。