智慧物流项目解决方案说明书.docx
智慧物流项目解决方案说明书XX科技股份有限公司制一、项目存在问题及需解决问题1 .存在问题物流管理方面的政策导向还不明确。智慧物流是以交通运输为基础,将商业、科学技术、商务合作、市政支持和金融行业等多个领域联系起来,形成了以社会各行各业作为支撑的综合物流体系特征,其涉及方面广、技术多、实施难度大,与传统的物流形式存在一定的差异性。且传统的物流体制以全面、能够独立工作的大型、小型等区域性运作模式为主,物流管理方面的政策导向还不明确,若开展智慧物流将会造成工作开展难度大,且没有相关的经脸可以借鉴,导致实际工作中容易出现类似于职权混乱、分工不均、设施重复和信息匮乏等多方面的严重问题,进而会制约智慧物流的进一步发展。例如,在物流企业的人工管理中,由于分工不同导致一些工作人员积极性不高,不能达到整体物流管理的预期效果。受技术水平和经济水平等多方面因素的制约。由于受技术水平和经济水平等多方面因素的制约,在实际的工物流作中,虽然少数具备经济实力的物流企业开展了信息技术的创新和改革,但是实际构建的智慧物流体系很少,能够为智慧物流产业提供的经验较少,且已经实施智慧物流企业的物流规模往往较大,经济实力也远远大于中小型的物流企业,其实际的智慧物流创新和改革方式并不完全适用于中小型物流企业。例如,中小型物流企业没有实施信息化的建设,但是这些中小型的物流企业为了发展往往盲目模仿大型智慧物流企业或者竞争对手,导致物流企业之间多体现出”散乱和弱小”的氛围,竞争格局并不合理。同时,对于中小型物流企业,其信息化的发展受技术水平和经济水平等多方面因素的影响,导致其实际的智慧物流信息化发展阻力较大,并不能促进我国物流企业的不断发展。正是由于我国中小型企业的信息发展阻力较大,导致物流企业不能有效控制实际物流成本,不利于我国经济的持续发展。与相关产业间的沟通交流较少。受物流行业本身的限制,导致物流企业之间的实际业务的重合率较高,相应的竞争压力较大。物流产品本身的复杂性以及物流行业的服务专业化、人性化方面还有很大的改进空间,使得实际工作中物流行业的服务产品体系并不科学,不能满足当前经济背景下人们对于物流行业的实际需求。例如,实际的物流业对一些特殊地区的快递收取费用较高,且一些村落快递服务不能提供较人性化的服务,客户还需要到乡镇站点取件,没有体现人性化的特点。造成这方面问题的主要原因是物流业本身与金融业、市政机构、互联网电子商务等相关产业间的沟通交流较少或者沟通和交流效果不明显。物流业与相关产业间的沟通力度不够,导致实际的物流工作在开展的过程中往往具有内部区域性,多成块分布,不具有全国性、整体性、国际性等大型的整体性质,导致专业化、网络化、信息化、共享化的高质量物流服务水平建设还没有实现。而随着我国经济的不断发展,不同的物流企业之间的竞争增多也会导致企业的生存受到一定程度的影响。2 .需解决问题研究智慧物流的关键性技术。智慧物流主要倡导的是现代物流的智能化、自动化、网络化、实效化、专业化和人性化,智慧物流的实际发展能够提高物流企业的实际工作效率,减少实际工作中的成本投入,实现智慧物流体系建设。例如,通过智能化的“丰巢"自主取件、自主放件,快递员和客户不需要当面交易就可实现物品的流通。在智慧物流的建设工作当中,物流企业应深刻研究智慧物流的关键性技术,建立健全的智慧物流体系,从而推动智慧物流稳定发展。提供政策支持。针对我国物流产业目前“散乱和弱小"现状,国家要出台相应的扶植政策,结合国际物流和我国物流的实际,对物流的实际运输方式进行分析,并结合我国远程交通运输以及快速交通运输的特点构建出合理的交通运输体系。同时,国家要利用现有的信息技术加强各行各业之间的联系,将不同的物流产业和物流相关的产业联系起来,倡导共同建设智慧物流体系,实现智慧物流的管理运作。国家要加强物流产业的宏观调控,抑制物流行业的恶性竞争,通过制定相应的政策,加强政府对智慧物流的引导和物流行业的指导,积极倡导物流企业进行转型,提倡智慧物流的实际应用。此外,政府要营造稳定的市场秩序,规范社会上物流产业的发展方向,通过对互联网商业、微商、交通运揄等产业进行合理引导智慧物流健康发展,实现智慧物流的规范化、人性化、法制化和制度化。建设网络信息平台。对智慧物流本身来说,其核心在于物流产业的信息化,将实际的物流工作与实时的信息联系起来,进而促进物流业不断发展。因此,我国要建立健全的物流信息化制度,以我国的物流行业为核心,倡导建设具有整体性和联系性的公共信息平台。在建设网络信息平台的过程上,物流企业要以政府作为主导,注重行业内部的专业指导、倡导相关企业充分参与,将大众市场作为核心建设具有智慧特色的、人性化的智慧物流网络平台,实现物流行业数据的云交互。在建设网络信息平台的过程中要融入先进的技术,例如可以应用云计算、物联网技术、GRS,GPs等技术。云计算可以对不同的数据信息进行快速计算,实现物流的快速分拣和快速识别。GPS和GRS技术可以对物流的去向进行实时动态监控,用户在发出物流商单后可以借助自身的移动设备实时查询物流配送信息,进而预估物流的实际送达时间,合理安排自己的出行时间,间接减少了物流配送时等待客户取件的时间,提高了实际工作的效率和质量。最后,采用高端的服务器对整合运输、仓储、配送等工作进行高效配置和管理,实现高效的智慧物流管理。智慧物流的核心在于开展人性化、自动化和智能化的物流整个流程的工作,通过建设物流网络公共信息平台,将在线支付、物流信息确认、仓库出货、物流配送、物流交易、产品展示、推广营销、沟通交流和售后服务等方面的工作联系起来,实现物流信息共享的同时注重对客户的人性化服务,提高各项工作的实际效率。例如,将物流快递和微信网络平台联系起来,客户只需要在微信小程序上就可以查看自己快递的位置,快递送达到指定接收点后给客户发送提醒消息和提货码,让客户随时随地了解自己快递的信息。提高物流信息化服务能力。在物流信息化服务能力的提高方面,物流企业要认识到物流信息化发展对物流运营的重要影响,在实际的工作中,要提高物流整体水平和整体服务能力,就必须重视物流信息化的发展。在实际工作中,物流企业要对物流的业务流程和相应的管理体系进行研究分析,对业务流程进行改善重组,实现物流信息化和服务流程的结合,注重物流信息化的服务流程优化设计工作。在对外方面,物流企业要积极融入社会市场环境中,倡导将信息共享融入具体工作中,注重对有利信息进行收集、研究和分析。例如,物流企业可以在网络APP中设置收集用户体验和建议的窗口,通过推送一些时事新闻和物流行业的相关资讯引起用户重视物流行业。在注重自身发展的同时,物流企业要加强与其他物流企业的交流和沟通,带动相关企业共同发展。二、解决方案1.解决方案架构图1智佬物流解决方案总体桀构HBaSe是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的GOOgIe论文"Bigtab1.e:一个结构化数据的分布式存储系统就像BigtabIe利用了GOogIe文件系统(Fi1.eSyStem)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于BigtabIe的能力。HBaSe是APaChe的HadooP项目的子项目OHBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBaSe基于列的而不是基于行的模式。系统采用面向对象的软件设计方法,把整个系统看作是多个离散对象的组合。系统设计时,首先把业务流程分解成功能模块及其业务实体对象,然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象,最后把各个功能模块关联起来,形成系统。软件设计是一个将需求转变为软件的过程,系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVc的设计思想,将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想,定义和管理系统的实体及配置,调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性,并便于安装部署。系统采用AJAX技术,提高客户操作的交互性,保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。1 .核心技术(1) HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVe:属于SpringFrameWork的后续产品,已经融合在SpringWebFIOW里面。SPring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询,存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XM1.或注解用于配置和原始映射,将接口和Java的PojOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于Javascript的数据可视化图表库,提供直观,生动,可交互,可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统,由瑞典MySQ1.AB公司开发,属于Orac1.e旗下产品。MySQ1.是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQ1.是最好的RDBMS(Re1.ationa1.DatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQ1.是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) HiveHiYe是基于HadooP构建的一套数据仓库分析系统,它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQ1.查询功能;可以将SQ1.语句转换为MaPRedUCe任务运行,通过自己的SQ1.查询分析需要的内容,这套SQ1.简称HiveSQ1.,使不熟悉mapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同,但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的:具进行数据提取转化加载,用来存储、杳询和分析存储在HadOOP中的大规模数据集,并支持UDF(User-DefinedFunction),UDAF(User-DefnesAggregateFunc1.ion)和UDTF(User-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制,为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBaSe技术可在廉价PCServer上搭建起大规模结构化存储集群。(8) ZookeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是GoogIe的ChUbby一个开源的实现,是HadOOP和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。(9) F1.umeFIUme是CIoUdera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,F1.Ume支持在日志系统中定制各类数据发送方,用于收集数据;同时,F1.ume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。三、开发范围1 .数据生产对于该模块的业务,即数据生产过程,一般并不会让你来进行操作,数据生产是一套完整且严密的体系,这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计(数据的产生、存储、分析、展示),则必须清楚每一个环节是如何处理的,包括其中每个环境可能隐藏的问题;数据结构,数据内容可能出现的问题。2 .数据采集/消费数据采集模块(消费),在企业中你要清楚流式数据采集框架f1.me和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume:CIOUdera公司研发适合下游数据消费者不多的情况;适合数据安全性要求不高的操作;适合与Hadoop生态圈对接的操作。kafka:Iinkedin公司研发适合数据下游消费众多的情况:适合数据安全性要求较高的操作(支持rep1.ication);因此我们常用的一种模型是:线上数据一>f1.ume>kafka>f1.umc(根据情景增删该流程)>HDFS线上数据一>f1.ume>kafka>Sparkstreaming实时流式处理消费存储模块流程图:图2消费存储模块流程图3 .数据分析我们的数据已经完整的采集到了HBaSe桀群中,这次我们需要对采集到的数据进行分析,统计出我们想要的结果。注意,在分析的过程中,我们不一定会采取一个业务指标对应一个mapreduce-job的方式,如果情景允许,我们会采取一个InaPredUCe分析多个业务指标的方式来进行任务。分析模块流程图:HDFS图3分析模块流程图4.数据展示数据展示模块流程图:图4故搞展示模块流程图