存储基础知识白皮书-new.docx

存储根底知识白皮书Revisionrecord修订记录Date日期RevisionVersion修订版本ChangeDescription修改描述Author作者2023-09-011.0initial初稿完成卢三超00144473TableofContents目录1概述911目的91.2范围92存储学习经验之谈92.1 存储图书和资源92.2 从研发角度谈存储技术的学习103存储根底知识113.1存储概念11什么是存储11什么是虚拟化存储11存储系统开展12存储媒介的开展历程12什么是应用存储24什么是统一存储25云存储263.1 存储根本技术知识30常见磁盘类型30SATA硬盘30SAS硬盘31FC硬盘31SATA,SAS.FC三种硬盘的比拟32SSD磁盘32存储系统33SAN的概念33NAS36DAS36FC-SAN,IP-SAN,NAS,DAS区别：37存储主要协议38FC（光纤通道）协议38iSCSI协议38iSCSI与光纤通道的比拟39RAID40RAIDO：条带化结构40RAID2：带海明码校验40RAID3：带奇偶校验码的并行传送41RAID4：带共享校验码的独立磁盘结构41RAID5：分布式奇偶校验的独立磁盘结构41RA1D6：带有两种分布存储的奇偶校验的独立磁盘结构42RAID7：优化的高速数据传送磁盘结构42RAIDlO和RAIDO+1：高可靠性与高效磁盘结构42RAID30：专用奇偶位阵列条带42RAID50：分布奇偶位阵列条带43常用RAID的比拟43LVM453.2 存储高级技术知识46存储业务46统一管理46统一访问接口46存储异构46自动部署46自动配置46升级46补丁46存储扩容46存储减容46动态配置46告警46状态监控47存储高级技术47快照47LUN拷贝47自动精简配置48链接克隆48多路径49cache50SmartCache50mirror50分布式50条带化50分级存储50存储Q0S51热迁移52存储加密52流量统计52DRS52重复数据删除52CDP（持续数据保护）53负载均衡54数据压缩54存储性能55性能概念55动态流优先级控制技术55智能CACHE预取技术55高效存储55存储可靠性57数据一致性57磁盘坏道检测与修复58硬盘打分58磁盘预拷贝58磁盘隔离58磁盘休眠58UPS技术59热备盘59掉电保护59数据保险箱60数据恢复60远程复制60容灾60备份65存储可用性70概述70双机热备份方式70双机互备份方式74群集并发存取方式74工作模式75适用场合76对存储系统的要求763.3 对象存储773.4 分布式存储77分布式存储系统设计的假设干原那么77CAP理论77EventualCOlISiSteIICy（最终一致性）77BASE理论78I/O五分钟法那么79Amdahl定律和GUStafSoll定律79摩尔定律79分布式存储管理系统SheepdogSO3.5 文件系统80什么是文件系统80主流文件系统和特点80NFS和CIFS网络文件系统工作原理和特点82存储系统与文件系统的关系833.6other84信息生命周期84什么是信息生命周期84信息生命周期的实现84实现ILM的技术保障和面临的挑战85信息生命周期管理现状85法规遵从与信息生命周期管理85与信息生命周期相关的存储技术85固定内容管理：85SMI-S864linux下常用存储相关命令864.1 存储常见应用命令87lvm87raid89简介89mdadm管理软RAlD阵列90为磁盘划分分区91创立新的阵列92组装曾创立过的阵列95查询阵列的状态99管理阵列101监控阵列102扩展阵列104BjtmaP记录08结束语115dmsetupl154.2 磁盘管理115df115du116eject117Indirl18mountl18quota118quotacheck119quotaoffl19quotaonl19repquota119rmdir119umountl20tree120blockdev1204.3 磁盘维护121badblocks121cfdiskl21ddl22e2fsck124ext2edl25fdisk126fsck126hdparm126Iosetup127mkbootdiskl27mkfs128mkinitr<J128mkisofs128mkswap129sfdisk130swapoffl30swapon130sync1304.4 性能,监控等与存储相关命令130top131ios(at132vmstat138uptime138free139ipcs140mpstat142sari44pmapl51Strace152块的大小1524.5 其它152进程在哪个CPU上运行152查看磁盘文件系统1525主要存储厂商及产品介绍1525.1 存储厂商152IBM152XIV152IBMSystemStorageN7000模块化磁盘存储系统153IBMSystemStorageDS8000154HP155NETAPP155E7900存储系统155FAS6200系列企业存储系统155EMC155DMX-4155DELL155Fujitsu155HDS1555.2 数据库厂商介绍155Oracle155DB2160Sybase162MSSQLServerl636存储高级技术知识1646.1 内核中存储系统加载1646.2 通用块层机制1646.310 流图1647延伸阅读1647.1 RAMCIoUdS讨论1647.2 GOOgle发布面向APPEnginelWHighReplicationDatastorel657.38 riSk之CaSSandraFSl66背景介绍166HDFS166MapReduce167Hive167Cassandra167Brisk167BriSk单机部署168环境配置168启动BriSkI69使用CaSSandraFS169BriSk集群部署169环境配置169启动BriSkI70CaSSandraFS工作原理170CaSSandra改动170HadOOP改动1727.451 naAppEngine数据存储效劳架构173什么是SinaAppEngine173SAE的数据存储效劳174RDC(RelationalDatabaseCluster)175MemcacheX1787.452 可视化之美一纽约时报的一天1807.453 数据处理架构189淘宝海量数据产品技术架构189搜索引擎架构图189FaCeboOk架构1897.454 贴吧10亿量级LAMP架构190ListofTableS表目录Table表1运行分析分解AR列表错误!未定义书签。TabIe表2可测试性设计分解AR列表错误!未定义书签。ListofFigUreS图目录FigUre图IXXX流程图错误!未定义书签。文档模板Keywords关键词：Abstract摘要：Listofabbreviations缩略语清单:Abbreviations缩略语Fullspelling英文全名Chineseexplanation中文解释Listofglossary术语解释:glossary术语Fullspelling英文全名Chineseexplanation中文解释1概述1.1 目的关于存储的整体资料不多,各个厂家为了保护各自利益,所谓的白皮书都是和自己产品有关，对于系统学习存储根本知识帮助不是很大.近期很火的大话存储是本很不错的存储书籍,但太多关注各种存储概念,与实际的存储研发需要还是有差距.主要整理了周边人问的最多的,存储开发中常见的知识,希望能对你有所帮助.存储涉及的知识太多,整理的有些乱,后续会逐渐进行修改,希望能得到你的指正和补充.注:大局部来自平时所看资料,进行聚集和整理的,主要是根存储相关的.1.2 范围2 存储学习经验之谈2.1 存储图书和资源学习存储的根底理论最直接的方法就是读书。相对于计算与网络技术，存储技术开展是相对落后的，因此图书方面也要少很多，国内的更少，而且大多是翻译或改编的。我读过的国内存储图书有：网络存储技术清华大学出版社网络存储技术导论清华大学出版社SAN存储区域网络机械工业出版社数据存储藏份与灾难恢复电子工业出版社基于对象的网络存储电子工业出版社IPSAN权威指南中国电力出版社成就存储专家之路清华大学出版社信息存储与管理人民邮电出版社大话存储清华大学出版社数据重现清华大学出版社2、存储资源网络资源也是学习存储的重要资源，而且能够很好地跟踪存储的最近开展动态。我常访问的URL有：另外还有一些国际上存储会议，比方：SDC,StorageDeveloperConference(2023,:/snia.orgeventsstorage-developer2023presentations)FAST,FileandStorageTechnologies(:/usenix.orgeventsfast/)国内的CSDN和ChianUniX两个大型论坛中，都有存储频道,定期关注下,可以获取到很多资源.2.2 从研发角度谈存储技术的学习对于研发人员，存储技术的学习内容非常之多。我根据自己的理解，把它们大致分为以下8项内容：1、系统管理：UNlX/Linux/WindoWS操作系统管理，要求熟悉甚至精通。2、开发技术：CC+÷,网络编程，多进程/多线程，进程间通信。如果能掌握内核开发、驱动程序开发那么更佳。3、存储根底：磁盘、RAID阵列、文件系统等存储相关硬件和软件的安装、配置、调试。4、存储系统：RAID,DAS,SAN,NAS,CAS等，对存储系统的原理以及实现技术熟悉。5、存储协议：TCP/IP,SCSI,iSCSI,NFS/CIFS等，熟悉这些存储相关协议。6、文件系统：VFS,EXTxNTFSFAT32等磁盘文件系统，NFS/CIFS网络文件系统，LUStrC/GFS/AFS等分布式文件系统，掌握原理和实现技术，能够阅读源码那么更好。7、存储技术：Deduplication,SSD,HSM,Virtualization,Snapshot,Replication,CDP,VTL,ThinProvision等等,尽量多跟踪最新存储技术进展,多多益善。8、存储架构：掌握不同行业的存储需求，能够根据实际需求提出存储解决方案，并进行存储系统架构、设计和实现。存储研发人员成长大致可分为四个级别：1、存储初级研发：掌握1、2、3项存储内容，在中高级存储研发指导下，可以进行存储研发工作。2、存储中级研发：+掌握4、5项存储内容，可以带着团队进行研发工作，并指导初级研发。3、存储高级研发：+掌握6、7项存储内容，可以进行存储新技术的研究，对现有存储系统优化改良，原型系统开发。4、存储研发专家：+掌握8项存储内容，存储前沿技术研究，存储系统规划与架构，对存储开展趋势有着很好的理解和洞察。2.3 100oO小时法那么IoOoO小时法那么(The10,000HourRule),简单地说，任何人要在任何领域出类拔萃，脱颖而出，都需要认真投入100OO小时以上。100OO小时是一个突破的临界点。以每天10个小时算，10000小时相当于三年。也就是说，要做成功一件事情，你就要每天10小时投入，持续3年。如果每天只有5小时，那么需要6年。如果每天3小时，那么需要10年。因此，如果想成为存储领域的专家，没有什么捷径可走，只有坚持学习、实践、思考。3年、5年、8年、10年后，只要你仍在追求既定目标，定会有所成就。厚积而薄发，与所有存储同行共勉！3 存储根底知识熟悉存储的一些根本概念.必须掌握raid和IVm技术,是现在存储系统的根底.3.1 存储概念3.1.1 什么是存储根据不同的应用环境通过采取合理、平安、有效的方式将数据保存到某些介质上并能保证有效的访问，总的来讲可以包含两个方面的含义：一方面它是数据临时或长期驻留的物理媒介；另一方面，它是保证数据完整平安存放的方式或行为。存储就是把这两个方面结合起来，向客户提供一套数据存放解决方案。3.1.2 什么是虚拟化存储虚拟化:广义上来说，就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面，激活一种资源并使之更易于透明控制。它可以有效简化根底设施的管理，增加IT资源的利用率和能力，比方效劳器、CPU,内存,网络或存储等物理设备。存储虚拟化:对存储硬件资源进行抽象化表现。通过将一个(或多个)目标(Target)效劳或功能与其它附加的功能集成，统一提供有用的全面功能效劳。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说，虚拟化的存储资源就像是一个巨大的“存储池，用户不会看到具体的磁盘、磁带，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。从管理的角度来看，虚拟存储池是采取集中化的管理，并根据具体的需求把存储资源动态地分配给各个应用。存储虚拟化主要用以实现以下根本目标：- 屏蔽已有系统环境及其复杂度- 满足原有的不同的存储访问需求- 整合原独立存储的存储资源- 增加提升可靠性和可用性的各项功能存储虚拟化首先要解决的就是连接并统一管理不同的存储设备。存储虚拟化建设的另一个核心目标是如何有效整合和管理不同的存储设备的逻辑单元，也就是分级池化的概念。3.1.3 存储系统开展我们现在所研究的是构筑存储系统,而不是研究存储介质,也即利用存储介质,其它设备和软件来构筑满足用户需求的存储资源.根本上经历了三个时期.第一时期：个人存储介质,大型工作站,也即存储是和计算部署在一起.第二时期：SAN,NAS,DAS等,也即网络存储,存储和计算别离第三时期：分布式文件系统/存储,存储池,也即云存储,存储资源别离.3.1.4 存储媒介的开展历程 1725年最早期的存储媒介一打孔纸卡这个是最早的数据存储媒介了，在1725年由BaSiIeBOUChon创造出来，用来保存印染布上的图案。但是关于它的第一个真正的专利权，是HennanHOIIerith在1884年9月23日申请的，这个创造用了将近100年，一直用到了20世纪70年代打孔纸卡上图是打孔纸卡的典型例子一它制成于1972年，上面可以打90歹U孔。显然你可以看出，这张卡片上能存储的数据少的可怜，事实上几乎没有人真的用它来存数据。一般它是用来保存不同计算机的设置参数的。 1932年超长的存储设备磁鼓磁鼓磁鼓磁鼓存储器于1932年创造出来（奥地利），广泛应用于上世纪五、六十年代,在50年代中期。一支磁鼓有12英寸长，一分钟可以转1万2千5百转。它在IBM650系列计算机中被当成主存储器，每支可以保存1万个字符（不到10K）o 1846年容量比打孔纸卡大一穿孔纸带穿孔纸带AlexanderBain（机和电传电报机的创造人）在1846年最早使用了穿孔纸带。纸带上每一行代表一个字符，显然穿孔纸带的容量比打孔纸卡大多了。小知识：通信的根本思想是英国人亚历山大贝恩（AIeXanderBain）于1843年提出的，但是直到1925年才由美国贝尔实验室利用电子管和光电管制造成世界上第一台机，使技术进入到实用阶段。不过当时由于机的造价昂贵，又没有统一的国际标准,而且通信还需要架设专门的通信线路，所以开展一直比拟缓慢，应用也只限于新闻，气象等少数领域。像穿孔卡片一样，穿孔纸带最初也是用于机械织布机。 1946年电子应用一计数电子管计数电子管这是1946年研发出的选数管，容量为32到512字节，512字节的那种有10英寸长，3英寸宽，造价昂贵并且存在生产问题，所以从未被投入正常使用。1946年RCA公司启动了对计数电子管的研究，这是用在早期巨大的电子管计算机中的，一个管子长达10英寸（25厘米），能够保存4096bits的数据。糟糕的是，它极其昂贵，所以在市场上昙花一现，很快就消失了。同年，缩写为ENIAC“爱尼亚克的计算机于1946年诞生。这部计算机采用的是真空电子管系统。“爱尼亚克计算机体积庞大。它在宾夕法尼亚大学的一座建筑里占据了差不多170平方米的面积。“爱尼亚克和以往的任何计算机都不一样。至少和老式计算机相比,它的数字处理过程是闪电般的迅速快捷。 1950年大型磁带记录一盘式磁带盘式磁带盘式磁带在1950年代，IBM最早把盘式磁带用在数据存储上。因为一卷磁带可以代替1万张打孔纸卡，于是它马上获得了成功，成为直到80年代之前最为普及的计算机存储设备。在80年代末的时候，大家都聚在一起看老电影，当时看待巨大的圆盘来回转，这就是盘式磁带。磁带首次用来作为数据存储介质是在1951年，被称为UNlSERV0,是UNlVACI型计算机主要的I/O设备。有效传输速率为每秒7,200字节。这些磁带都是金属的，总共有1200英尺长（365米），所以非常沉。 1958年第一张视频光盘LD光盘图中大的是LD盘，小的是普通5寸光盘1958年就创造光盘技术了，可是直到1972年，第一张视频光盘才问世，6年后的1978年它开始在市场上卖。那个时候的光盘直径IL81英寸（30厘米）,单面最多可以容纳60分钟长的视频或音频,是只读的，虽然不能写,但是能够保存到达VHS录像机水准的视频，使得它很有吸引力。*1963年最珍贵的回忆一盒式录音磁带带盒式录音磁盒式录音磁带盒式录音磁带应该是80年代人，小时候珍贵的记忆之一。它显然也是磁带的一种，可是它实在是太普及了，所以要专门说一下。这是飞利浦公司在1963年创造的，可是直到1970年代才开始流行开来。一些计算机，如ZXSpectrum,Commodore64和AmstradCPC使用它来存储数据。一盘90分钟的录音磁带，在每一面（记得录音磁带是可以翻面的吗）可以存储700KB到IM的数据。现在的一张DVD9光盘，可以保存4500张这样磁带的数据，如果现在要把这些数据全部读出来，那要整整播放281天。 1969年早期盛行的移动存储一软磁盘8英寸软盘第一张软盘，创造于1969年，当时是一张8英寸的大家伙，可以保存80K的只读数据。4年以后的1973年一种小一号但是容量为256K的软盘诞生了：它的特点是可以反复读写。从此一个趋势开始了磁盘直径越来越小，而容量却越来越大。到了1990年代后期，我们可以找到容量为250MB的3.5英寸软盘。IBM公司再次对软盘的创造做出了奉献，从70年代中到90年代末一直广泛应用在存储领域。最初是8寸盘，后来变为5.25和3.5英寸。1971年出现的第一个软盘容量79.7KB,而且是只读的，一年以后才有了读写版本。 1956年重大突破一世界上第一台硬盘机硬盘机世界第一款1956年9月13日，IBM发布了305RAMAC硬盘机。与之相关的计算机平平无奇，可是在存储容量方面有着革命性的变化一一它可以存储“海量的数据,“高达4.4MB（5百万个字符），这些数据保存在50个24英寸的硬磁盘上。直到1961年，IBM生产了1000台305计算机，IBM出租这些计算机的价格是每个月3千5百美元。上吨重的硬盘机，需要飞机托运上图可以看到，世界第一款硬盘机重量到达1吨以上，而现在的硬盘最小仅有0.85英寸，重量10克都不到。东芝0.85英寸硬盘一一世界最小硬盘该硬盘的工作电压为+3.0V。读写时的标准耗电量为0.65W。外形尺寸为3.3×32.0×24.0mm3,重量缺乏10g。对于耐冲击性，硬盘工作时在2ms的时间里能够承受IOooG的加速度。现代磁盘技术现在最重要的存储设备一一硬盘硬盘是现在还在开展中的一种技术，图中的日立DeSkStar7K500,是第一个到达500G容量的硬盘一是最早的IBM305RAMAC的12万倍。我们面对的硬盘开展趋势很明显：越来越廉价的硬盘，有着越来越巨大的容量。2000年2月23日，希捷发布了转速高达15,OOORPM的CheetahX15系列硬盘，其平均寻道时间只有3.9ms,这可算是目前世界上最快的硬盘。同时它也是到目前为止转速最高的硬盘，其性能相当于阅读一整部ShakeSPCare只花.15秒。此系列产品的内部数据传输率高达48MBs,数据缓存为416MB,支持UltraI60/mSCSl及FibreChannel（光纤通道），这将硬盘外部数据传输率提高到了160MB200MBs。总得来说，希捷的此款（捷豹"）CheetahX15系列将硬盘的性能提高到了一个新的里程碑。希捷硬盘2001年下半年Seagate在发布了BarracudaIV系列产品，这一系列产品采用了Seagate独有的FDB液态轴承马达，工作噪音非常小，时至今日仍然是最安静的硬盘之一。也正是BarraCUdaIV的出现，逐步确立了Seagate在硬盘业界的领袖地位。泡泡网PCPOP.COMSATA 接口2003年，Seagate率先推出了Barracuda7200.7系列产品。这一系列产品采用原生SATA控制芯片,结束了桥接SATA硬盘的历史。从这一系列硬盘开始，采用SATA接口的硬盘开始支持SATA特有的技术一NCQ（原生命令队列）。现在，Seagate已经率先推出采用垂直记录技术的2.5英寸硬盘产品Momentus5400.3以及同样采用垂直记录技术的Barracuda7200.10系列产品。7200.10系列产品再次刷新了硬盘单碟容量的纪录，单碟容量到达180GB,这一系列的旗舰产品容量为750GB。硬盘容量正在向TB级逼近，日立前不久也推出了采用垂直记录技术的2.5英寸硬盘产品。上面的硬盘历史开展中，可以看出硬盘总是朝着容量更大、速度更多、运行更稳定的方向开展得，以前是这样，现在也是这样，将来也必然是这样。现代光存储技术体积更小、容量更大一小光盘5寸光盘我们常见的5寸光盘，是从LD光盘开展来的，可是它更小、容量更大。它是SONY公司和飞利浦公司在1979年联合发布的，在1982年上市。一张典型的5寸光盘，可以保存700MB数据。采用红外激光一DVD光盘DVD光盘DVD是使用了不同激光技术的CD,它采用了780纳米的红外激光（标准CD那么采用625650纳米的红色激光）,这种激光技术使得DVD可以在同样的面积中保存更多的数据。一张双层DVD容量可达8.5GB。最先进存储蓝光DVD、HD-DVD蓝光DVD与HD-DVD现在最引人瞩目的，是蓝光DvD和HD-DVD这两种竞争的光盘技术。蓝色激光使得存储的容量进一步增长，目前看起来，好似蓝光DVD更流行一些。不过如果我们目光放更长远一些，也许一种被称为"HolographicVersatileDHc”的光盘，可以提供比蓝光DVD大160倍的容量一一高达3.9TB,相当于保存4600到11900小时的MPEG4格式的电影。蓝光光盘不算什么一一300G全息光盘InPhaseTechnologies公司日前宣布己经开始量产并销售全息存储驱动器和300GB容量的全息光盘(HVD),其中驱动器“TapestryHDS-300R”要价18000美元，300GB容量的全息光盘也高达180美元。目前主要的客户是政府机构和大型企业。InPhase在2005年4月就实现了200Gbit/平方英寸的存储密度，06年初它们那么宣布了，存储密度到达了515Gbit/平方英寸，容量可达360GB全息光盘。这一存储密度已经远远超过了包含硬盘在内的现所有存储媒体(目前实验室里硬盘单碟最高为345Gbit/平方英寸)。根据InPhaSe给出的设想图，全息光盘的容量将在2023年将提高到1.6TB,同时将写入速度提升至120MBs,也就是说在容量提升的同时存储时间并不会变长；而在2023年，它们还将推出可擦写的全息光盘，当然这一切只是方案。2007年1月全息驱动器和光盘已经投入OEM生产，目前已投放市场。目前由于价格昂贵，目前的用户只有一些政府机构和大型企业，其中包括美国地质调查局、洛克希德马丁、时代华纳旗下的TUrnCrBrOadCaSting等等，而德意志银行、欧洲航天局、西门子医疗、群众汽车等也都有意向采用这种新技术。我们从选用新技术的机构和企业也能看出，全息光盘的一些主要用途：高清晰度的视频、重要数据、医疗档案和大型数据库存档。InPhaseTeChnolOgieS副总裁LiZMUrPhy表示：“我们正在努力从软件的角度降低全息技术的使用难度，使之可以模拟DVD、CD-R,磁光盘、磁带等，软件公司也无需作出重大更改就能以原有模式对其进行写入操作。，但是InPhaSe首席执行官却不这么认为，“我们专注的是档案存储市场，根本不会进入备份市场。全息光盘在存储数据时，从不同角度在包含数据的信号光上层叠参照光,使之产生干预,然后将干预波记录在介质上。通过稍稍改变参照光的角度来记录,就可以在同一位置层叠记录多个信号光。目前300GB容量的全息光盘，采用激光波长为407nm的蓝紫色激光，所使用介质的记录层厚度为1.5mm,写入时的数据传输速度为20MB/秒，使用寿命为50年。双光子3D技术一12cm光盘存储ITB美国Cal1/ReCaIl公司日前宣布,它们已经成功开发并测试了TB级光盘,并且已经参加产品设计以及生产范围的讨论。早今年早期该公司开发的253GB光盘一样，TB级光盘仍然采用双光子吸收3D技术，利用双光子吸收现象进行记录时，由于能够抑制上下记录层之间的干预串扰），因此在多层记录时便于通过缩小层间隔来提高记录密度。相对于早期的光盘技术，本次双光子3D技术使用一特别“near-field"透镜和"three-dimensionalIy"萤光媒介技术。能够在L2mm厚的光盘片上记录上百层，让DVD光盘大小的媒体到达全息一样的存储密度。吸收以后的光盘变成浅蓝色目前，双光子吸收技术能够实现50倍于蓝光、400倍于DVD的容量，但是在未来Call/ReCaII的光学技术不光能够实现1TB、5TB甚至15TB。Call/Recall公司总裁WayneYamaMOTO称，“商业和企业必须存放和处理相当大的数据，并且需要定时维护和管理这些数据，Call/ReCaIl光盘比磁带机更具有管理和维护的优势。Call/Recall公司成立于1987年，它长期为军方和一些商业机构提供光存储器技术及超离频存储技术。开发双光子3D吸收技术的PeterRentZePiS博士是全球顶级光学技术提供者，它曾为很多公司提供过技术帮助，包括IBM、松下和日立。3.1.5 什么是应用存储随着许多存储工程的实施，用户对存储设备的需求已经不仅仅满足于数据存储功能，许多用户都希望存储设备可以在一定程度上取代常规的应用效劳器，以到达简化系统结构、减少设备数量、节约系统建设本钱的目的。这样的需求促使了应用存储的出现、并使之得到了快速的开展。应用存储是一种可以内嵌了某种应用软件功能的新型存储设备，它不仅具有数据存储功能，还具有效劳器的局部应用功能，可以看作是效劳器和存储设备的集合体，这种存储设备就称为应用存储。随着芯片技术的快速开展，存储设备所采用的CPU或专用芯片的运算能力及处理速度成倍提高。在许多类型系统中，存储设备不仅能满足系统的数据存储和访问功能，还的往往有较大的性能冗余。同时，随着存储设备的整体价格却在不断降低。用户在设备选型及购置时，一般会选择稍高一级别的存储设备。为了有效地利用存储设备的充裕资源，在存储设备控制器局部中内嵌了特殊功能的应用软件，使得存储设备不仅为系统提供数据存储效劳器，还能提供一定的软件应用效劳器。应用存储的软件功能应用存储真正有别于普通存储的特点在于可以运行特殊的软件应用功能。软件应用功能是指为了更有效地利用高性能存储设备控制器的剩余处理能力，发挥存储设备专用控制器比拟普通PC效劳器更高效、更稳定的特点，在应用存储的控制器中内部有嵌了各种不同类型的软件和效劳器，使存储设备发挥更大的作用。网络管理功能：应用存储中可以内置了大量常用的以太网络管理效劳，如域管理效劳、DHCP效劳、DNS效劳等。存储网络系统不需要再配置专门的域管理效劳器，仅通过应用存储就可以实现存储网络系统的域管理、DHCP效劳和DNS效劳等功能。媒体资产管理功能：应用存储设备中内置了一套强大的音像资源管理系统，也可以称为媒体资料管理系统，该软件系统中可对本存储设备内部的视音频文件、图片等多媒体资料进行录入、管理、检索查询、播放和下载，并可按实际工作中的需求定制分类标准和媒体资源的编目体系,对本存储设备内部的多媒体资源进行编目和分类,方便后期的检索和查寻。媒体资产管理功能对于一些珍贵多媒体资源的长期保存和再利用具有重要意义视频转码：应用存储设备中可以内置了符合视频转码标准的专用视音频转码软件，按预先定制好的转码标准和操作执行时间，在存储设备资源占用较少的时候来执行转码操作。由于视频转码软件只是对本存储设备内部的文件进行处理，数据不会流经存储的主机接口、网络交换机和效劳器，因此不会点用存储设备的总带宽、也不会占用共有的网络资料。且由于存储控制器内部采用的是专用的高性能处理器，视频转码的效率也会大幅度提高。视频点播功能：应用存储内置了一个视频点播软件，用户可能通过该软件对存储设备中的视音频文件进行播放，并可以实现暂停、快进和回放都功能存储共享管理功能：在一些特殊的应用环境中，如广电行业的非线性编辑制作网络系统、高性能计算系统、IP-SAN网络启动系统，无盘工作站系统中，由于应用软件系统要求多台效劳器需要对同一个卷中的数据进行读写操作，就镭要存储设备上的文件系统实现在多台效劳器之间进行共享，那么存储网络中的所有效劳器和工作站就需要安装存储共享管理软件，并配置专门的MDC效劳器来对共享的文件系统进行管理。应用存储的优势特点应用存储是指当存储设备本身所能提供的性能远超过系统需求时，借用存储设备的高可性和稳定性，在存储上运行一定的应用软件效劳。与普通存储设备相对，应用存储除了增加了许多软件应用及效劳功能，也将改变很多应用系统的架构设计。高可用性应用存储设备一般都基于模块化、冗余的、支持热插拔的原那么而设计的，消除了内部的单点故障，其它平安性和稳定性远超于系统中采用的普通PC效劳器，应用软件和效劳器内在存储内部，能够为系统提供更高的稳定性和系统平安性,高效性应用存储设备的核心，即控制器，一般都采用专门设计的总线结构、专门的处理芯片和缓存，在数据校验和数据传输方面做了优化。长时间运行情况下，应用存储不仅能保证软件和效劳器功的平安和稳定，还能保证具有比普通PC效劳器具有更高的运行和计算效率，可为系统提供更高的效劳质量。系统架构简单，节约建设本钱由于应用存储中可以内置.许多软件应用和效劳功能，在系统结构设计时，就可以节省大量的PC效劳器，和与之相连接的网络连接设备、网络接口卡，极大地简化了系统中结构。系统结构的简单化有利用优化系统的工作流程，提高系统的运行效率。同时由于减少系统所需的设备类型及数量，也可以大大减小系统的建设本钱。3.1.6 什么是统一存储过去SAN与NAS,或是FCSANlJlPSAN之间，彼此总是泾渭清楚，企业必须为不同型态的应用分别建设存储设备，但随着企业信息架构的日益复杂，为满足不同的应用需要，企业往往必须分别建设使用不同传输方式的存储系统，以致增加了管理上的麻烦，也增加了设备购置与维护方面的本钱。因此为解决这个问题，可支持多种传输协议，同时满足不同需求的统一存储设备也就应运而生。统一存储就是在开放的系统架构和接11标准之上，提供更加丰富的系统管理功能。可透过同时支持不同的传输协议，从而以单一系统满足企业各式各样的存储需求，还可视不同系统的实际运作情况，灵活调配资源给前端采用不同传输协议的效劳器或主机使用，有效解决传统存储系统不经济与管理困难的问题。根据支持协议的不同，统一存储设备可分为四种类型：(1)FC+iSCSI+CIFS/NFS即支持FC与iSCSI两种块读写协议，以及CIFS、NFS两种最普遍的文件传输协议。显然的，这种类型的存储设备能支持的范围最广，无论是SAN、NAS等形式的应用，还是光纤通道、以太网络等不同类型的传输通道都能支持。企业可以单一系统同时满足各类读写要求，无论是管理或是建设都相当方便。这类系统可分为从NAS为根底出发，进而延伸到SAN,有的产品即为由NAS延伸到SAN的典型；某些产品是以相反的路线延伸，即以FCSAN的磁盘阵列为根底，通过在控制器增加支持不同传输端口的板卡，来支持iSCSI与NAS的读写。(2)FC+iSCSI这类产品只能支持SAN的块读写环境，但能支持光纤通道与以太网络两种传输方式，因此企业可让前端执行在线数据库或ERP等关键任务的效劳器，通过光纤通道来读写SAN,以取得较佳的性能。至于像数据库测试开发等不需特别讲求性能的应用，就可改由iSCSI来读写SAN,因此这种组合能兼顾性能与本钱。(3)FC+CIFS/NFS根本上这种组合就是FCSAN加上NAS网关的I种衍生开展，只不过之前的解决方案是在FCSAN中额外增加一套NAS网关，而现在那么是在FC存储设备的控制器中，增加可支持CIFS/NFS文件读写的卡板。(4)iSCSI+CIFS/NFS由于同样都是使用以太网络作为传输介质，因此iSCSI加NAS是很理所当然的组合，如果不特别讲求性能，任何能连接IP网络的效劳器都能轻易的当作NAS使用。而现在有许多现成的iSCSITarget软件可用，可轻易把效劳器当成iSCSI的设备，因此iSCSI+CIFS/NFS这种组合已日渐普遍。统一存储设备能以单一系统同时满足不同类型的存储要求，由于系统上同时存在了不同型态存储方式的磁盘区，因此如何在不同磁盘区间调配资源，就成为一个问题。另外由于统一存储设备可身兼数职，一旦故障，