《智慧客运项目解决方案说明书.docx》由会员分享,可在线阅读,更多相关《智慧客运项目解决方案说明书.docx(14页珍藏版)》请在课桌文档上搜索。
1、智慧客运项目解决方案XX科技股份有限公司制目录一、项目存在问题及需解决问题31. 存在问题32. 需解决问题5二、解决方案81 .解决方案架构82 .关键技术10(1) Hadoop10(2) SpringMVC10(3) MyBatis10(4) Echarts10(5) MySQ1.10(6) Hive11(7) HBASE11(8) Zookeeper12(9) F1.ume12三、开发范围121 .数据生产122 .数据采集/消费123 .数据分析134 .数据展示14一、项目存在问题及需解决问题1.存在问题1,行业标准不统一国内由于各个地区的经济发展不平衡,在实施智慧客运系统项目时,
2、国家并没有统一的行业标准,所以造成许多地区的智慧客运系统相对独立,衔接和配合度不强。在智慧客运中大数据的应用需要依靠前端传感器进行数据采集,由于铺设的前端传感器来自于不同的生产企业,这些行业并没有统一的接口标准,这就造成即使同一个城市的不同系统也很难进行衔接和配合。在智慧客运的大数据应用中,数据采集是非常重要的环节,由于不统一的标准会严重加大交通数据获取难度,从而妨碍交通流的分析与预测。2、难以确保智慧客运系统基础设施的稳定性与可靠性智慧客运系统的整合度和复杂度越来越高,然而其健壮性却没有随之提高,因此系统整体的信息安全风险随之增大。智慧客运系统往往需要大量的服务器和前端设备,包括信号控制、交
3、通流量采集、交通诱导、电子警察、卡口等子系统,数据要和上级交通管理平台、下级交通管理子平台、公安业务集成平台等系统相连。系统具有流程复杂、业务系统众多、客户端分散等一系列特点。数据中心需要竭尽全力保证业务系统的正常运行。但是随着系统规模不断扩大,前端设备点位增加,设备故障点也呈几何级数增长,管理人员必须保证这些设备正常运行。在数据传输过程中,智慧客运系统中硬件设备因功能滞后或老化而导致传输速率下降以及网络延迟,这些都可能引起数据泄露以及丢失,严重影响大数据安全。3、难以确保数据源的质量数据的质量主要是指数据的真实性或可信度,具体可以分为数据出处和数据失真两个层面。智慧客运应用的数据主要来自于系
4、统中的传感器和监控等设备收集的数据,大数据中心需要高质量的数据源,而目前设备长时间运行的性能得不到保证,数据质量不高限制了智慧客运业务高水平的扩展应用。现代化的交通诱导和交通信号控制需要实时准确的交通流量数据以供进行交通状态判断以及短时交通预测使用。而由于目前系统健壮性不足,难以自行判断数据质量,从而使得交通诱导和信号控制系统不能发挥预期效用,最后影响了整体智慧客运系统的投资价值。4、增加隐私泄露风险巨量的交通数据包含了个人的一些敏感信息。这些数据集中的存储增加了泄露的风险。一旦遭到非法使用,这将引起重大后果。无论从道德层面还是法律层面来看,都将对许多牵涉的用户造成影响。另外,由于数据量较大,
5、对敏感数据的所有权和使用权并没有界定的明确标准,许多基于大数据的分析并未考虑其中涉及的个人隐私安全问题。5、增加信息安全风险智慧客运中的大数据应用是利用道路和车柄等配置的前端设备进行交通数据采集,并从超大量数据中分析出价值信息的过程。智慧客运中大数据的收集、传输、存储、分析过程都是依靠云计算平台和互联网传输进行的,而这个过程便增加了信息安全的风险。一方面,大数据所包含的复杂、敏感数据会引起更多潜在的攻击。另一方面,由于大量数据汇集在一起,一旦黑客成功攻击就会引起大量敏感数据的泄露,造成巨大损失,增加风险率。而且由于黑客一次性可以得到更多数据,这相当于降低了黑客攻击的成本。此外,智慧客运中许多数
6、据传输本身就是借助于移动智能设备的采集和传输,如果这些设备感染具有监控和数据收集功能的病常,这些敏感信息一旦被利用,不法组织便可能追踪到个人的实时位置以及监控个人的行为习惯等其他机密,这将增加个人信息安全风险,提高安全事故风险等级。6、威胁现有的存储和安防措施智慧客运系统应用大数据技术时,必然造成大量数据的汇集。如此巨量受杂的数据需要存储在更高安全管理标准的数据中心。由于原有交通系统中的数据存储中心很有可能并不符合规定,这便对现有的存储环境产生了威胁。另外,巨量的数据也会增加防护难度,影响现有安全防护措施的运行。安全防护手段更新升级的速度必须与数据增长的速度相匹配,一旦安全防护措施跟不上数据增
7、长的速度,便会引起大数据安全防护漏洞。另外智慧客运系统是一个庞大的.复杂系统,大数据应用需要各个子系统的衔接和配合。这必然需要许多工作人员共同参与,由于大数据包含许多非结构化数据,若使每位用户对应访问特定的信息子集,确保敏感信息的隔离,这便意味着需要保护数据的加密方案将会是一个新的挑战。数据的访问控制需要更谨慎,以确保用户只能访问授权其访问的数据。2.需解决问题1、加强交通平台资源整合,推进数据标准化交通系统是庞大而复杂的系统,且覆羞范围非常广,各个交通平台衔接度不够。为了解决大数据应用在智慧客运中的行业不统一问题,首先国家应该推出交通平台的标准化措施,规范每个交通平台的统一化布局,包括交通系
8、统物理层的每一个硬件设施的标准化接口以及交通系统软件层的每一个信息系统的标准化接口,实现各个平台从硬件到软件的互联性和兼容性,进一步推动交通信息化体系综合化和立体化。这样才可以为智慧客运中的大数据应用提供资源共享综合平台。此外,在实现跨部门、跨地区的交通互联共享平台的基础上,我们应该进一步规范交通系统的数据标准化,构建数据标准化体系,实现综合交通平台的数据存储。2、加强交通大数据应用基础设施建设基础设施对交通大数据的信息安全的影响不容忽视。基础设施作为智慧客运系统的物理层结构基础,一旦发生损坏或者出现问题,将很容易增加信息泄露或丢失的风险。因此,智慧客运中的基础设施建设至关重要,应该加强交通大
9、数据应用基础设施建设。加强交通大数据应用基础设施建设主要包括:及时对前端硬件设备进行更新和维护,应对智慧客运系统中的传输信息的网络线路以及传感器和监控等硬件设备进行定期的查验、维护和更新,严防因为基础设施的损坏或者老化等问题而造成信息数据的泄露或丢失;为了应对突发事件,智慧客运系统应该制定相对应的应急措施,以便当突发事件发生时,智慧客运系统能够保证继续安全和运行,从而确保信息数据的安全有效。3、严格控制智慧客运中的数据真实度大数据技术上有一个普遍观点认为数据可以说明一切,数据自身就是事实。大数据的核心价值在于通过对数据的分析挖掘,提炼价值信息并提供预测以及决策。大数据应用价值是建立在真实可靠的
10、数据基础上的,一旦系统采集的数据本身存在错误,那么经过分析挖掘的预测以及决策非但不存在价值,而且会因为错误的决策进而造成损失与危害。因此,智慧客运系统数据采集时,必须通过严格的监控措施以及测试手段确保数据的真实性和可靠性。从数据源头开始把关,一旦发现虚假或恶意数据便及时剔除,同时可以利用稳健统计以及对抗式机器学习等方法减轻数据恶意插入的后果。此外,在智慧客运系统的数据采集过程中,为确保传输过程中数据不失真,应该尽可能臧少人为影响和干预。4、加强智慧客运系统中的大数据管理智慧客运系统中,除了在技术上保护大数据信息安全,安全管理制度也非常关键,它是确保智慧客运数据平台中的大数据信息安全的重要基础。
11、只有使用科学的大数据管理方法,可以从海量的交通数据中获得真正价值,提升智慧客运系统的效率,降低各种安全风险。加强智慧客运系统中的大数据管理具体可以从以下4个方面进行:(D完善智慧客运中的大数据资产管理大数据作为智慧客运中的大数据应用的核心资产,许多安全问题都是在对数据进行管理的过程中。因此,在对其资产管理时,必须清楚定义数据元素,包含别名、格式以及其他特征标识;在对其进行描述时,必须列清该数据元素的信息来源和相关数据元素的其他信息;在对其使用信息的记录时,必须说明数据元素的产生和修改信息、访问历史记录、安全与访问控制信息等。()建立数据的安全系统智慧客运数据中心的防护系统需要设立全面的安全防护
12、,包括设立入侵检测系统、安全审计、防火墙、抵抗拒绝服务攻击、网络防病毒系统、流量整形和控制等措施。此外,智慧客运的数据中心还应该通过使用识别管理技术,加密技术并结合其他主动安全管理技术进行监测和控制交通数据从使用到迁移、停用的整个过程。(3)做好智慧客运中的大数据信息安全风险评估智慧客运系统中的数据类型繁多,不同类型的数据都有相对应的风险等级。作为智慧客运的大数据中心应该将其进行分类,划分不同的安全风险等级。只有这样,才可以加强安全防范,更加明确安全风险治理目标,降低智慧客运数据泄露风险。(4)提高智慧客运系统的职员信息安全意识智慧客运系统的运行,除了大数据平台以及相关硬件设施之外还需要各个部
13、门职员的配合,他们在智慧客运系统的数据安全中扮演着至关重要的角色。尤其作为大数据中心平台管理的职员更应该提高对数据安全威胁的辨别能力,知晓其所管理的数据的重要价值。同时,智慧客运建设的过程中,更应该积极对职员进行相关数据安全培训,提高职员在数据安全防护方面的知识水平和方法战略认识。二、解决方案1 .解决方案架构致掘展示片仟务M度与护HMuMNMIrIHtukafkaf1.ume(根据情景增删该流程)HDFS线上数据一f1.umekafkasparkstreaming实时流式处理消费存储模块流程图:图2消费存储模块流程图3 .数据分析我们的数据已经完整的采集到了HBaSe集群中,这次我们需要对采集到的数据进行分析,统计出我们想要的结果。注意,在分析的过程中,我们不一定会采取一个业务指标对应一个mapreduce-job的方式,如果情景允许,我们会采取一个mapreduce分析多个业务指标的方式来进行任务。分析模块流程图:图3分析模块流程图4 .数据展示数据展示模块流程图:图4联密展示模块流程图
链接地址:https://www.desk33.com/p-1783836.html