存储基础知识白皮书-new.docx
《存储基础知识白皮书-new.docx》由会员分享,可在线阅读,更多相关《存储基础知识白皮书-new.docx(186页珍藏版)》请在课桌文档上搜索。
1、存储根底知识白皮书Revisionrecord修订记录Date日期RevisionVersion修订版本ChangeDescription修改描述Author作者2023-09-011.0initial初稿完成卢三超00144473TableofContents目录1概述911目的91.2范围92存储学习经验之谈92.1 存储图书和资源92.2 从研发角度谈存储技术的学习103存储根底知识113.1存储概念11什么是存储11什么是虚拟化存储11存储系统开展12存储媒介的开展历程12什么是应用存储24什么是统一存储25云存储263.1 存储根本技术知识30常见磁盘类型30SATA硬盘30SAS硬
2、盘31FC硬盘31SATA,SAS.FC三种硬盘的比拟32SSD磁盘32存储系统33SAN的概念33NAS36DAS36FC-SAN,IP-SAN,NAS,DAS区别:37存储主要协议38FC(光纤通道)协议38iSCSI协议38iSCSI与光纤通道的比拟39RAID40RAIDO:条带化结构40RAID2:带海明码校验40RAID3:带奇偶校验码的并行传送41RAID4:带共享校验码的独立磁盘结构41RAID5:分布式奇偶校验的独立磁盘结构41RA1D6:带有两种分布存储的奇偶校验的独立磁盘结构42RAID7:优化的高速数据传送磁盘结构42RAIDlO和RAIDO+1:高可靠性与高效磁盘结构
3、42RAID30:专用奇偶位阵列条带42RAID50:分布奇偶位阵列条带43常用RAID的比拟43LVM453.2 存储高级技术知识46存储业务46统一管理46统一访问接口46存储异构46自动部署46自动配置46升级46补丁46存储扩容46存储减容46动态配置46告警46状态监控47存储高级技术47快照47LUN拷贝47自动精简配置48链接克隆48多路径49cache50SmartCache50mirror50分布式50条带化50分级存储50存储Q0S51热迁移52存储加密52流量统计52DRS52重复数据删除52CDP(持续数据保护)53负载均衡54数据压缩54存储性能55性能概念55动态流
4、优先级控制技术55智能CACHE预取技术55高效存储55存储可靠性57数据一致性57磁盘坏道检测与修复58硬盘打分58磁盘预拷贝58磁盘隔离58磁盘休眠58UPS技术59热备盘59掉电保护59数据保险箱60数据恢复60远程复制60容灾60备份65存储可用性70概述70双机热备份方式70双机互备份方式74群集并发存取方式74工作模式75适用场合76对存储系统的要求763.3 对象存储773.4 分布式存储77分布式存储系统设计的假设干原那么77CAP理论77EventualCOlISiSteIICy(最终一致性)77BASE理论78I/O五分钟法那么79Amdahl定律和GUStafSoll定律
5、79摩尔定律79分布式存储管理系统SheepdogSO3.5 文件系统80什么是文件系统80主流文件系统和特点80NFS和CIFS网络文件系统工作原理和特点82存储系统与文件系统的关系833.6other84信息生命周期84什么是信息生命周期84信息生命周期的实现84实现ILM的技术保障和面临的挑战85信息生命周期管理现状85法规遵从与信息生命周期管理85与信息生命周期相关的存储技术85固定内容管理:85SMI-S864linux下常用存储相关命令864.1 存储常见应用命令87lvm87raid89简介89mdadm管理软RAlD阵列90为磁盘划分分区91创立新的阵列92组装曾创立过的阵列9
6、5查询阵列的状态99管理阵列101监控阵列102扩展阵列104BjtmaP记录08结束语115dmsetupl154.2 磁盘管理115df115du116eject117Indirl18mountl18quota118quotacheck119quotaoffl19quotaonl19repquota119rmdir119umountl20tree120blockdev1204.3 磁盘维护121badblocks121cfdiskl21ddl22e2fsck124ext2edl25fdisk126fsck126hdparm126Iosetup127mkbootdiskl27mkfs128m
7、kinitrJ128mkisofs128mkswap129sfdisk130swapoffl30swapon130sync1304.4 性能,监控等与存储相关命令130top131ios(at132vmstat138uptime138free139ipcs140mpstat142sari44pmapl51Strace152块的大小1524.5 其它152进程在哪个CPU上运行152查看磁盘文件系统1525主要存储厂商及产品介绍1525.1 存储厂商152IBM152XIV152IBMSystemStorageN7000模块化磁盘存储系统153IBMSystemStorageDS8000154H
8、P155NETAPP155E7900存储系统155FAS6200系列企业存储系统155EMC155DMX-4155DELL155Fujitsu155HDS1555.2 数据库厂商介绍155Oracle155DB2160Sybase162MSSQLServerl636存储高级技术知识1646.1 内核中存储系统加载1646.2 通用块层机制1646.310 流图1647延伸阅读1647.1 RAMCIoUdS讨论1647.2 GOOgle发布面向APPEnginelWHighReplicationDatastorel657.38 riSk之CaSSandraFSl66背景介绍166HDFS166
9、MapReduce167Hive167Cassandra167Brisk167BriSk单机部署168环境配置168启动BriSkI69使用CaSSandraFS169BriSk集群部署169环境配置169启动BriSkI70CaSSandraFS工作原理170CaSSandra改动170HadOOP改动1727.451 naAppEngine数据存储效劳架构173什么是SinaAppEngine173SAE的数据存储效劳174RDC(RelationalDatabaseCluster)175MemcacheX1787.452 可视化之美一纽约时报的一天1807.453 数据处理架构189淘宝
10、海量数据产品技术架构189搜索引擎架构图189FaCeboOk架构1897.454 贴吧10亿量级LAMP架构190ListofTableS表目录Table表1运行分析分解AR列表错误!未定义书签。TabIe表2可测试性设计分解AR列表错误!未定义书签。ListofFigUreS图目录FigUre图IXXX流程图错误!未定义书签。文档模板Keywords关键词:Abstract摘要:Listofabbreviations缩略语清单:Abbreviations缩略语Fullspelling英文全名Chineseexplanation中文解释Listofglossary术语解释:glossary术
11、语Fullspelling英文全名Chineseexplanation中文解释1概述1.1 目的关于存储的整体资料不多,各个厂家为了保护各自利益,所谓的白皮书都是和自己产品有关,对于系统学习存储根本知识帮助不是很大.近期很火的大话存储是本很不错的存储书籍,但太多关注各种存储概念,与实际的存储研发需要还是有差距.主要整理了周边人问的最多的,存储开发中常见的知识,希望能对你有所帮助.存储涉及的知识太多,整理的有些乱,后续会逐渐进行修改,希望能得到你的指正和补充.注:大局部来自平时所看资料,进行聚集和整理的,主要是根存储相关的.1.2 范围2 存储学习经验之谈2.1 存储图书和资源学习存储的根底理论
12、最直接的方法就是读书。相对于计算与网络技术,存储技术开展是相对落后的,因此图书方面也要少很多,国内的更少,而且大多是翻译或改编的。我读过的国内存储图书有:网络存储技术清华大学出版社网络存储技术导论清华大学出版社SAN存储区域网络机械工业出版社数据存储藏份与灾难恢复电子工业出版社基于对象的网络存储电子工业出版社IPSAN权威指南中国电力出版社成就存储专家之路清华大学出版社信息存储与管理人民邮电出版社大话存储清华大学出版社数据重现清华大学出版社2、存储资源网络资源也是学习存储的重要资源,而且能够很好地跟踪存储的最近开展动态。我常访问的URL有:另外还有一些国际上存储会议,比方:SDC,Storag
13、eDeveloperConference(2023,:/snia.orgeventsstorage-developer2023presentations)FAST,FileandStorageTechnologies(:/usenix.orgeventsfast/)国内的CSDN和ChianUniX两个大型论坛中,都有存储频道,定期关注下,可以获取到很多资源.2.2 从研发角度谈存储技术的学习对于研发人员,存储技术的学习内容非常之多。我根据自己的理解,把它们大致分为以下8项内容:1、系统管理:UNlX/Linux/WindoWS操作系统管理,要求熟悉甚至精通。2、开发技术:CC+,网络编程,多
14、进程/多线程,进程间通信。如果能掌握内核开发、驱动程序开发那么更佳。3、存储根底:磁盘、RAID阵列、文件系统等存储相关硬件和软件的安装、配置、调试。4、存储系统:RAID,DAS,SAN,NAS,CAS等,对存储系统的原理以及实现技术熟悉。5、存储协议:TCP/IP,SCSI,iSCSI,NFS/CIFS等,熟悉这些存储相关协议。6、文件系统:VFS,EXTxNTFSFAT32等磁盘文件系统,NFS/CIFS网络文件系统,LUStrC/GFS/AFS等分布式文件系统,掌握原理和实现技术,能够阅读源码那么更好。7、存储技术:Deduplication,SSD,HSM,Virtualizatio
15、n,Snapshot,Replication,CDP,VTL,ThinProvision等等,尽量多跟踪最新存储技术进展,多多益善。8、存储架构:掌握不同行业的存储需求,能够根据实际需求提出存储解决方案,并进行存储系统架构、设计和实现。存储研发人员成长大致可分为四个级别:1、存储初级研发:掌握1、2、3项存储内容,在中高级存储研发指导下,可以进行存储研发工作。2、存储中级研发:+掌握4、5项存储内容,可以带着团队进行研发工作,并指导初级研发。3、存储高级研发:+掌握6、7项存储内容,可以进行存储新技术的研究,对现有存储系统优化改良,原型系统开发。4、存储研发专家:+掌握8项存储内容,存储前沿技
16、术研究,存储系统规划与架构,对存储开展趋势有着很好的理解和洞察。2.3 100oO小时法那么IoOoO小时法那么(The10,000HourRule),简单地说,任何人要在任何领域出类拔萃,脱颖而出,都需要认真投入100OO小时以上。100OO小时是一个突破的临界点。以每天10个小时算,10000小时相当于三年。也就是说,要做成功一件事情,你就要每天10小时投入,持续3年。如果每天只有5小时,那么需要6年。如果每天3小时,那么需要10年。因此,如果想成为存储领域的专家,没有什么捷径可走,只有坚持学习、实践、思考。3年、5年、8年、10年后,只要你仍在追求既定目标,定会有所成就。厚积而薄发,与所
17、有存储同行共勉!3 存储根底知识熟悉存储的一些根本概念.必须掌握raid和IVm技术,是现在存储系统的根底.3.1 存储概念3.1.1 什么是存储根据不同的应用环境通过采取合理、平安、有效的方式将数据保存到某些介质上并能保证有效的访问,总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整平安存放的方式或行为。存储就是把这两个方面结合起来,向客户提供一套数据存放解决方案。3.1.2 什么是虚拟化存储虚拟化:广义上来说,就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面,激活一种资源并使之更易于透明控制。它可以有效简化根底设施的管理,增加IT
18、资源的利用率和能力,比方效劳器、CPU,内存,网络或存储等物理设备。存储虚拟化:对存储硬件资源进行抽象化表现。通过将一个(或多个)目标(Target)效劳或功能与其它附加的功能集成,统一提供有用的全面功能效劳。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说,虚拟化的存储资源就像是一个巨大的“存储池,用户不会看到具体的磁盘、磁带,也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。从管理的角度来看,虚拟存储池是采取集中化的管理,并根据具体的需求把存储资源动态地分配给各个应用。存储虚拟化主要用以实现以下根本目标:- 屏蔽已
19、有系统环境及其复杂度- 满足原有的不同的存储访问需求- 整合原独立存储的存储资源- 增加提升可靠性和可用性的各项功能存储虚拟化首先要解决的就是连接并统一管理不同的存储设备。存储虚拟化建设的另一个核心目标是如何有效整合和管理不同的存储设备的逻辑单元,也就是分级池化的概念。3.1.3 存储系统开展我们现在所研究的是构筑存储系统,而不是研究存储介质,也即利用存储介质,其它设备和软件来构筑满足用户需求的存储资源.根本上经历了三个时期.第一时期:个人存储介质,大型工作站,也即存储是和计算部署在一起.第二时期:SAN,NAS,DAS等,也即网络存储,存储和计算别离第三时期:分布式文件系统/存储,存储池,也
20、即云存储,存储资源别离.3.1.4 存储媒介的开展历程 1725年最早期的存储媒介一打孔纸卡这个是最早的数据存储媒介了,在1725年由BaSiIeBOUChon创造出来,用来保存印染布上的图案。但是关于它的第一个真正的专利权,是HennanHOIIerith在1884年9月23日申请的,这个创造用了将近100年,一直用到了20世纪70年代打孔纸卡上图是打孔纸卡的典型例子一它制成于1972年,上面可以打90歹U孔。显然你可以看出,这张卡片上能存储的数据少的可怜,事实上几乎没有人真的用它来存数据。一般它是用来保存不同计算机的设置参数的。 1932年超长的存储设备磁鼓磁鼓磁鼓磁鼓存储器于1932年创
21、造出来(奥地利),广泛应用于上世纪五、六十年代,在50年代中期。一支磁鼓有12英寸长,一分钟可以转1万2千5百转。它在IBM650系列计算机中被当成主存储器,每支可以保存1万个字符(不到10K)o 1846年容量比打孔纸卡大一穿孔纸带穿孔纸带AlexanderBain(机和电传电报机的创造人)在1846年最早使用了穿孔纸带。纸带上每一行代表一个字符,显然穿孔纸带的容量比打孔纸卡大多了。小知识:通信的根本思想是英国人亚历山大贝恩(AIeXanderBain)于1843年提出的,但是直到1925年才由美国贝尔实验室利用电子管和光电管制造成世界上第一台机,使技术进入到实用阶段。不过当时由于机的造价昂
22、贵,又没有统一的国际标准,而且通信还需要架设专门的通信线路,所以开展一直比拟缓慢,应用也只限于新闻,气象等少数领域。像穿孔卡片一样,穿孔纸带最初也是用于机械织布机。 1946年电子应用一计数电子管计数电子管这是1946年研发出的选数管,容量为32到512字节,512字节的那种有10英寸长,3英寸宽,造价昂贵并且存在生产问题,所以从未被投入正常使用。1946年RCA公司启动了对计数电子管的研究,这是用在早期巨大的电子管计算机中的,一个管子长达10英寸(25厘米),能够保存4096bits的数据。糟糕的是,它极其昂贵,所以在市场上昙花一现,很快就消失了。同年,缩写为ENIAC“爱尼亚克的计算机于1
23、946年诞生。这部计算机采用的是真空电子管系统。“爱尼亚克计算机体积庞大。它在宾夕法尼亚大学的一座建筑里占据了差不多170平方米的面积。“爱尼亚克和以往的任何计算机都不一样。至少和老式计算机相比,它的数字处理过程是闪电般的迅速快捷。 1950年大型磁带记录一盘式磁带盘式磁带盘式磁带在1950年代,IBM最早把盘式磁带用在数据存储上。因为一卷磁带可以代替1万张打孔纸卡,于是它马上获得了成功,成为直到80年代之前最为普及的计算机存储设备。在80年代末的时候,大家都聚在一起看老电影,当时看待巨大的圆盘来回转,这就是盘式磁带。磁带首次用来作为数据存储介质是在1951年,被称为UNlSERV0,是UNl
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 存储 基础知识 白皮书 new
链接地址:https://www.desk33.com/p-908877.html