云存储总体设计方案.docx

云存储总体设计方案编号：IoHoM21020002拟稿审核批准签名理永才日期2013-09-091. 目的32. m43. 定义44. 系统总体局部5系统慨述5系统功能，性能5系统总体构造6关求技术9系统限留IO外包、外购子系统熄格10产品升级IO用户支持（可选）10军赫性规格105. 软件设计11功能设计116. 测试系统设计15单元测试设计15集成测试设计15系统测试设计15修订履历序号版本号修订内容修订人修订EI期AV初稿磔永才2013-09-09BCDEFGI1.IJK1.MNOPQR1.目的云存储设计方案用来存储RCU-U（车云平台）终端设备所采集的数据，以及对采集数据简洁的查询功能，是对软件及测试概要设计和具体设计的约束。2.适用范围时丁此设计方案设计多方面的内容，运用范围：软件代表、测试代表、设计代表。3.定义缩略语英文中文据述I1.adoopHadoopApachc基金会卜面的，个开源工程,这个工程包含许多子工程ZkccpcrZookccpcrHadoop于工程之一，大型分布式系统的军农协调系统HBascHBascHadoop子工程之一.分布式的、面对列的开源数据库HDFSHadoopDistributed足一个分布式文件系统.HDFS有著高容错性(fau1.t-to1.erantJ的特点并且设计刖来部署在低廉的(1.ow-cost)硬件上VINVehic1.eIdentificationNumber车辆识别码UBIUsage-BasedInsurance基于驾驶行为的保险GPSG1.oba1.PositionSystem全球定位系蜕GSMG1.oba1.SystemforMobi1.eCoMnunication全球移动通讯系统GISGeorahyInfonnationSystem地理信息系统GPRSGenera1.PacketRadioService)通用分组无线效劳3G3rd-generation第三代移动移伯技术G-SensorGravity-sensor由力传感器GYROGyroscope陀娓仪4.系统总体局部4.1 系统梃述1. 1.I名称、型号、版本、保密代号此工程为云存储，简称1.aUnehCIoUd,云存储，版本V0。4. 1.2版本描述4.1.3云存储主要是设计一个存储亿级记录的分布式云存储系统，整个系统大致包含2大局部：（1）云存储：RCbU终端采集行驶数据的存储，RQ-U终端局部分析后的数据存储，HaPRCdUCe分析后的结果存储.（2）云存储门户网站：设备管理，用户管理，用户操作日志记录，笫三方应用的APM预留）。该系统存储的数据主要是为以后的业务应用（如：UBIs汽车租赁等）供应原始的数据，以及供应大数据分析的技术扩展4.2系统功能、性能4.2.1功能特性4.2. 1.1云存储功能有以下几个方面系统局部：1 .运用业内比拟成熟的，开源的HadOOP+Zookeeper+Hbase云存储来存储汽乍原始的行联记录，2 .设招资料，用户资料等亿级以卜的数据运用开源的数据库mysq1.来存储3 .基于1.inUX操作系统具体业务局部：1 .GPS信息存储2 .G-SENSoR（加速/减速）信息存储3 .陀螺仪信息存储4 .速度信息存储5 .发动机转速信息存储6 .平安带指示信息存储7 .气囊信息存储8 .胎压信息存储9 .里程计信息存储10 .车门信息存储11 .油耗信息存储12 .点火信息存储13 .转向信息存储14 .远程诊断信息存储15 .超速信息存储16 .急刹信息存储17 .急加速信息存储18 .旅程行驶距离信息存储19 .碰撞事故信息存储20 .意外事故信息存储21 .用户操作日志记录存储22 .设备信息存储23 .用户信息存储24 .用户汽车阀值存储（电子栏捌，超速阀值.各种数据采集的频度等）25 .软件下载26 .系统日志27 .第三方应用的4.3系统总体构造4.4.1云存储系统方框图4.4.1.1云存储功能性系统方框图4.4.1.2RCU-U物理性系统方框图4.4.13对应关系云存储层：GPS信息存储、G-SENSOR（加速/减速）信息存储、陀螺仪信息存储、速度信息存储、发动机转速信息存储、平安带指示信息存储、气囊信息存储5、胎压信息存储、里程计信息存储、车门信息存储、油耗信息存储、点火信息存储、转向信息存储、远程诊断信息存储、超速信息存储、急刹信息存储、急加速信息存储、旅程行验距离信息存储、碰撞事故信息存储、意外事故信息存储、用户操作日志记录存储云存储门户网站：电备信息存储、用户信息存储、用户汽车阀值存储（电子栏删，超速阀值,各种数据采桀的频度等）、软件下载、系统日志、第三方应用的API（预留）4.4.2可测性设计的整体构造描述：测试过程一般按3个步腺进展，即单元测试、组装（集成）测试，系统测试，为了支持这些测试在下面的软件设计中作了如下考虑：软件模块以及内部子模块的对外接口标准化，整个软件流程系统化，以支持中元测试中的模块接口测试、出错处理测限，并使测试用例测试，同时使集成测试便利简洁：软件模块内部采纳清楚明白的推断分支构造。以便利白盒方式的路径测试：软件模块保证可理解性。运用有意义的数据名和函数名，充分的注择.以便利测试用例的生成、以及走杳等软件评审。在关键的地方增加1.oG信息，以便利出问题的时候知道问题出在哪里。4.4关德技术1 .高军，性云存储底层的HDFS是个分布式文件系统。HDFS有着高容错性(fau1.t-to1.erant)的特点，并且设计用来部署在低廉的(Iow-COSt)硬件上.而且它供应高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(Iargedataset)的应用程序2 .高扩展性HadoOP是在可用的计兑机集旗间安排数据并完成计郛任务的，这些集族可以便利地扩展到数以F计的节点中.假设想扩展云存储系统中的存储容易，运算实力，干脆水平添加机器，修改配置即可实现，上层程序不须要做任何修改。云存储门户网站前端采纳高性能的nginx效劳器做负载均衡，动静别离，静态资源缓存，经典的InaSter-SIaVe热备切换，不连续供应效劳：Keb集群层同样也可以依据集群的负担状况动态添加物理机涔：数据缓存层是供应快速响应的重要保障：数据库MySq1.存储层可以随着访问量的增大，依据业务垂直切分3 .高效性HadOOP能终在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度特别快.根本上系统的关键点上都采纳分布式部署，当系统访问量增大时，可以通过添加效劳器来持续保证整个集群的高效性。4 .高容倚性HadooP能第自动保存数据的多个副本，并且能第智能地将失败的任务重新安排。根本上系统的关键点上都采纳分布式部署,即使有局部效劳器可能因为网络、馁就、cpu,主板等物理损坏，也不会导致整个集群不行用4.5 系统配4. 5.1硬件配置（比拟节约的配置）5台效劳器。台server1：24GB内存+2TBWJ盘7200RPM,其他4台:8GB内存+2TB硬盘7200RPMJ）,其他千兆交换机把这5台效劳器连接起来5. 5.2软件配置1.inUX操作系统、NginX软件、Tomcat,Hadoop>ZookeePer、HbaSe、Mysq1.6. 5.3具体部署serveri:NameNode÷DataNode+HRegionserver2:DataNodeZookeep<jr+IIM<ster+IIReinserver3:NamcNodcSecondary+DataNode+HMasterS1ave+Zookecper+HRegionServer4:DataNode+Zookeeper+HRegion+NginxS1.avo+Tomcat+Mysq1S1aveserver5;DataNode÷HRegion+NginxMaster+Tomcat+Mysq1.Master4.6 外包、外购子系统规格无4.7 产品升皴1 .7.1版本升级规格由于整个系统都是运行在我们的效劳器上,干脆依据升级步骤来升级即可4 .7.2系统可扩大性设计整个系统都是分成多个小模块，多层架构来开发，便利产品的有效的维护和升级。4.8 用户支持（可选）4.8 .1资料供应可以在存储门户网站明显的位置放运用快速入门，在须耍用户填写的表单位置有提示行说明4.9 .2联机帮助暂无要求4.9牢靠性规格5 .软件设计5.1 功能设计5. 3.1软件根本设计思想云存储系统要求工作稳定，性能到达相关标准规定。程序架构多层分模块设计，分布式、高牢器、高可用、高扩展架构。6. 3.2软件开发平台1.inUX开源稳定高性能的开源效劳涔操作系统：HadOOP是大数据存储分析的事实上的标准，开源免费，目前仍旧在快速的开展；NginX是一个高性能的HTTP和反向代理效劳器,同样是免费开源的：MySq1.是目前最流行的开源免费数据库7. 3.3软件系统描述I软件系统构造描述、总体软件框图II功能实现原理通讯集群通过Z；存储系统供应的API接【1把RCU-U聚集的实时业务的数据插入到HBaSe:云存储门户采纳经典的MVC三层构造,有时变更其中的一层就能满意应用的变更.一个应用的业务流程或者业务观那么的变更只需改动MVC的模型层,它实现了示模块与功能模块的别国.提高了程序的可维护性、可移植性、可扩展性与可Ig用性,降低了程序的开发难度.限制层的概念也很有效，由于它把不同的模型和不同的视图组合在一起完成不同的恳求.因此，限制层可以说是包含了用户恳求权限的概念最终，它还有利于软件工程化管理，由于不同的层各司其职，每一层不同的应用具有某些一样的特征，有利于通过工程化、工具化产生管理程序代码，依据用户的恳求，确定是从数据峰获得数据还是从HbaSe集群获得数据或者2者都有.III模块规格、设计描述在各功能模块中须要留意有关数据精度的优化，到达提高网络传输速度，削M云存谛的存储空间便利以后依据第三方业务快速的数据分析.表1：具体功能模块说明序号模块名称说明1公共工具模块整个系统的字符处理，数值转换，获得日期等2GPS信息存储模块依据可能的业务需求来设置HbaSe的RoWKey,提高海量数据的检索速度，保存的数据可以在地图上武现行驶轨迹，根本参数有：RCU-I:的SN、经纬度、海拔、时间、精度等。3G-SENSOR（加速/减速）信息存储根本参数有:RCU-U的SN、当前具体的加速/减速数字、采集时间、系统时间等。4陀螺仪信息存储模块根本参数有：水平面角度,垂直面角度、采集时间、系统时间等。5速度信息存储模块根本参数有：速度、采集时间、系统时间等。6发动机转速信息存储模块根本参数有：发动机转速、采集时间、系统时间等。7平安带指示信息存储模块根本参数有：主驾驶平安带指示、采集时间、系统时间等。8气囊信息存储模块根本参数有：气囊状态、采集时间、系统时间等.9胎用信息存储模块根本参数有"：胎乐数据、采集时间、系统时间等。10里程计信息存储模块根本参数有：里程数据、采集时间、系统时间%11车门信息存储模块根本参数有：车门状态数据、采集时间、系统时间等。12油耗信息存储模块根本参数有：油耗数据、采集时间、系统时间等.13点火信息存储模块根本参数有：点火数据、采集时间、系统时间等。14转向信息存储模块根本参数有：转向数据、采集时间、系统时间等。15远程诊断信息存储模块存储RC1.U终端诊断后，自动把诊断结果上传，根本参数有：远程诊断结果、采集时间、系统时间等。16超速信息存储模块存储RCU-U终端依据用户所设定的阀值，来推断当前是否超速，假如超速.就上传超速信息.根本参数有：速度阀值、当前速度、采集时间、系统时间等。17急刹信息存储模块存储KCU-U终端依据用户所设定的阀值，来推断当前是否急刹，假如急刹，就上传急刹信息，根本参数有：急刹阀值、当前速度、采集时间、系统时间等。18急加速信息存储模块存储RC1.1.-U终端依据用户所设定的阀值，来推断当前是否急加速,假如急加速,就上传急加速信息，根本参数有：急加速阀值、当前速度、采集时间、系统时间等。19旅程行驶距离信息存储模块RC1.-U终湍在一个旅程完毕的时候，上传该旅程的数据。20碰撞事故信息存储模块RCf-U终端推断是否是碰撞，然后上传碰撞事故信息。21意外事故信息存储模块RC1.-U终端推断是否是意外事故，然后上传意外事故信息.22用户操作日志记录存储记录云存储门户中用户更新数据的操作23设备信息模块记录汽车与RCU-U终端的对应关系24用户信息模块包括用户的注册，登录验证，修改密码，找回密码，注册设备，修改设备对应关系25用户汽车阀值存储（电子栏栅,超速阀值，各种数据采集的频度等）模块用户汽车阀值记录的修改,查询26软件下载模块软件版本的记录，上传软件包27第三方应用的API（预留）可以参考目前新浪微博开放API、腾迅微博开放API的设计思路IV软件模块可测性设计规格须要供应软件各模块的单元测试和集成测试用例。满意自动化测试要求。供应应后台具体的测试数据和结果。6 .测试系统设计测试系统设计应满意产品的要求.6.1 单元涌试设计单元测试是研发设计人员对板级枕便件各模块进展强健性测试.各软件谀计人员应对各自负货的模块进展功能和性能测试,包含正常测试和弁样测试.充分保证产品底层最根底的部件的设计鲂业，软件维元测试报告应由对应的研发设计人协完成提交和组织评审，以及进展缺陷早期处理和完警.测试人员对各单元测试进展独立测试和5金证,提交相应文档.云存储具体模块内容请见曲面表格6.2 集成熏试设计集成测试是在单元测试的根底上对模块之间板级间组成的子系统进展强健性测试。由研发设计人M和测试人员各自完成.验证模块间的功能和性能.验证单元测试的未知缺陷.研发设计人员完成自测，块陷处理。测试人员完成测试，验证和提交相应报告，踉踪缺陷处理。云存储须要洲试的主要局部有:通讯集群与HBaseMaster数据库间的通讯，聚集卜来的各种数据是否己经正确保存到对应的表中,云存谛门户网站是否能峪快速查询到采集的数据等.6.3 系统涌试设计系统测试在集成测试完成后，对产品的整体测试.涉盖产品全部需求.这局部由测试人员完成.系统测试还应包含，率就性测试,环境试验等.