城市交通大数据技术及智能应用系统.docx
《城市交通大数据技术及智能应用系统.docx》由会员分享,可在线阅读,更多相关《城市交通大数据技术及智能应用系统.docx(16页珍藏版)》请在课桌文档上搜索。
1、摘要:城市交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和生命周期较短等特征,如何有效地采集和利用交通大数据,满足高时效性的交通行政监管、交通企业经营管理、交通市民服务等应用需求,是城市交通和智越城市面临的前所未有的机遇和挑枝。重点分析总结r城市交通大数据的若干研究内容及核心技术,提出了城市交通大数据智能应用系统解决方案,列举了几种典型应用,在城市交通和智微城市领域的大数据研发和应用领域进行了初步探讨。关键词:城市交通;大数据:云计算;物联网I引言2015年两会上,“大数据(bigdata)”一词首次写入政府工作报告。在交通领域,大数据直被视作缓解交通压力的技术利
2、器。应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因,实现交通和生活的和谐,提高城市的宜居性,为政府精准管理提供基于数据证据的综合决策I。同时,大数据的挖掘和使用还有利于催生信息消费新模式,促进信息消费产业发展。随着手机网络、全球定位系统(g1.oba1.positioningsystem,GPS)/北斗乍我导航、车联网、交通物联网的发展,交通要素的人、车、路等的信息都能够实时采集,城市交通大数据来源日益车友2。在日益成熟的物联网和云计算平台技术支持卜.,通过城市交通大数据的采集、传输、存储、挖掘和分析等,有望实现城市交通体化,即在个平台上实现交通行政监管、交通企业运营、交通市民服务的
3、集成和优化3“城市交通大数据的集成与分析技术研究,对我国智慧城市的发展具有战略性意义。交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和有限生命周期等特征,如何有效地集成交通大数据,满足高时效性和知识牵引等城市交通智慧化需求.是各个大中城市所面临的前所未有的发展机遇和挑战48.本文首先荷维介绍了大数据的发展状况及由垮,然后重点分析总结了城市交通大数据的若干核心技术,并提出城市交通大数据的智能应用系统解决方案,最后重点列举几种典型应用.2大数据的发展状况及趋势近年来,数据的快速增长成了许多行业共同面对的严峻挑战和宝贝机遇,信息社会正在进入大数据时代。大数据指的是涉及的
4、资料量规模巨大到无法透过目前主流软件工具在合理时间内达到感知、撷取、管理、处理和服务的数据集合。从2009年左右开始,“大数据”开始成为互联网信息技术行业的流行词汇。根据比联网数据中心(IDC)估测,数据一直以每年50%的速度增长(大数据摩尔定律),这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量,预计到2020年,全球将总共捕有35亿GB(35ZB)的数据.大数据处理的数据规模从TB级上升到PB、EB甚至ZB级,人们面临着如何降低数据存储成本、充分利用计算资源、提高系统并发吞吐率、支持分布式非线性迭代算法优化等众多难题。为应对大数据的发展趋势,更好地为行业用户和个人提供数据分析的
5、服务,亟需构建各类不同的大数据平台,支持用户对数据的多种需求。构建大数据平台就是要将不同渠道、不同来源、不同结构的数据进行有机的整合。与传统数据平台不同的是,大数据海量的规模、多样的类型、快速的流动和动态的体系以及巨大的价值是大数据平台构建需耍重点考虑的几个因素.除此之外,数据的分类存储、数据平台的开放性数据的智能处理以及数据平台与用户的交互都为大数据平台的建设带来前所未有的挑战。大数据平台处理的数据类型是多种多样的。目前这些平台的搭建已经有了些有代表性的成果,如Goog1.e公司的Freebase、微软公司的Probase、国内著名的中文信息结构库一中国知网。在商用数据平台方面,IBM公司的
6、InfoSPhCK大数据分析平台、天睿公司的TCmdata统一数据环境以及由国内天猫、阿里云、万网联合推出的国内首个电商云工作平台聚石塔是3个典型的数据平台。“大数据”本身是一个现象而不仅仅是一种技术,这是信息科技历史发展的必然结果。大数据的采集、传输、处理和应用所需的相关大数据处理技术,是通过系列地使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的系列大数据处理技术。大数据技术的战略意义也不仅在于掌握庞大的数据信息,而更在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过“
7、加工”实现数据的“增值”。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现等功能的有力武器。大数据发展呈现以下趋势.(1)基于云计党的数据分析平台云计算为大数据提供了可以抑性扩展、相对便元的存储空间和计算资源,使得中小企业也可以像亚马逊公司样通过云计算来完成大数据分析。云计算IT资源庞大、分布较为广泛,是异构系统较多的企业及时准确处理数据的有力方式,甚至是唯一的方式。大数据要走向云计算,还有赖于数据通信带宽的提高和云资源池的建设,需要确保原始数据能迁移到云计算环境以及资源池可以随需弹性扩展。(2)数据分析集逐步扩大,企业级数据仓库将成为主流当人们从大数据分析中尝到甜头以
8、后,数据分析集就会逐步扩大。R前大部分的企业分析的数据量一般以TB为堆位。按照目前数据的发展速度,数据量很快将会进入PB时代。特别是目前在100500TB和50(HTB范闱的分析数据集的数砥会成倍增长.随着数据分析集的扩大,以前部门层级的数据集将不能满足大数据分析的需求,它们将成为企业级数据库(EDW)的一个子集。因此,企业内的数据分析将从部门级过渡到企业级,从面向部门需求转向而向企业需求,从而也必将获得比部门视角更大的益处.随着政府和行业数据的开放,更多的外部数据将进入企业级数据仓库,使得数据仓库规模更大,数据的价值也更大。(3) Hadp对MaPRCdUCC的依赖程度越来越小Hadoop是
9、个能够对大量数据进行分布式处理的软件框架,能够处理PB级数据,具有高可靠性、高扩展性、高效性和高容错性等特点。其新版本不只为MapRcducc服务,而是和CIO1.KIera的ImPHhI一样用一个SQ1.隹询弓I擎或者其他的方法来皆代MapRcduccHBascNoSQ1.数据库就是Hadoop离开MapRcducc约束后的个很好的例子。未来HadoOP平台将在大数据处理中发挥越来越重要的作用。3城市交通大数据3.1 城市交通大数据的主要研究内容城市交通大数据的研究内容主要包括以下方面。(1)时效约束的大数据多尺度汇聚计算和动态图谱交通大数据存在多源、异质、局部性、时空关联、异步性、信息稀疏
10、性和并发性等特点,而城市交通系统存在着对大数据汇聚处理的高时效性以及对“大而信息稀疏”的交通大数据的援域知识牵引要求。现仃的数据融合、计算理论与方法难以满足而时效性的大数据处理和基r数据的知识构建与转换等需求,亟需提出时效约束的大数据多尺度汇聚计算和动态图谱的交通大数据处理新理论与新方法。(2)高维空间的隐性知识序贺挖掘与演化模型交通主体、行为、态势、路网拓扑和环境形成J高维生态系统闭空间,相互之间存在若容度非线性、随机性和动态的耦合关系。交通态势及其演化是交通系统的宏观体现,具有约束条件卜的动态性、序贯性、自组织、随机性等特点,交通态势机理解释对解决城市交通的难题非常重要。传统的交通理论难以
11、发现院含在如此悬维空间的知识,对交通出行规律及其时空演化,大面积交通拥堵演变规律、环境与交通行为等进行综合知识和数据支撑的解群与评价,高维空间的隐性知识序贯挖掘与演化将为此提供坚实的理论与技术支撑。(3)交通态势的预测机理与调控策略交通态势是城市交通系统运行状态的反映,受到交通需求、网络拓扑、多交通子系统、环境、管理和调控策略等众多因素的相互影响与作用。由于城市交通态垮具有时变性、不神定性、非马氏性以及影响因素之间的相关性等特点,是一个超维的宏杂巨系统,其调控与预测是世界性的难题,目前尚缺乏相关的理论与方法.交通态势的预测机理与调控策略的研究,将创建芨杂交通巨系统的预测及其控制的新理论与途径.
12、3.2 城市交通大数据相关处理技术在城市交通蓬勃发展的过程中,其数据采集量必然成倍增长,形成海员、动态、实时的交通大数据.因此,以大数据处理技术为支捽的城市交通信息服务将成为未来智能交通发展的增长点。城市交通所涉及的大数据技术,总结起来大致包括如卜内容。(1)基于Hadoop框架的MapReduce模式技术Hadoop是一个能够对大员数据进行分布式处理的软件框架,而map/reduee是HadOOP的核心计算模型,它将过杂地运行于大规模集群上的并行计算过程高度地抽象到了两个函数.Hadoop实现了一个分布式文件系统(Hadoopdistributedfi1.esystem,HDFS)eHDFS
13、仃着高容错性的特点,用来部署在低廉的硬件上。而且它能提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。(2)数据仓库技术数据仓库是决策支持系统(DSS)和联机分析应用数据源的结构化数据环境,研究和解决从数据库中获取信息等问题.数据仓库的特征在了面向主题、集成性、稳定性和时变性,其主要功能是将组织通过资讯系统的联机交易处理(O1.TP)经年累月所累枳的大量资料、数据仓库理论所特有的资料存储架构进行系统的分析整理,以利于各种分析方法如线上分析处理(O1.AP)、数据挖掘(datamining)的进行,进而支持决策支持系统,主管资讯系统(EIS)等系统的创建,帮助决策者快速、有效地
14、从大量数据资料中分析出有价值的信息,以利于决策拟定及快速回应外在环境变动,帮助构建商业智能。(3)中央数据登记簿技术中央数据登记簿系统是平台数据统一管理、综合交通信息服务的基础,包括与交通信息有关的数据表示和交互以及交通信息服务、适合于综合交通环境的数据字典和消息模板、交通数据项定义规则、注册和管理机制等。(4)平台GIS-T应用技术平台GIS-T应用技术是交通地理信息系统的支拽技术,可为交通信息服务提供高效的信息查询功能、海域的存储功能,包括出租车、公交车、综合交通视频信息等数据:提供优秀用户体验的WCbGIS引旗,让用户享受基于浏览器的交通信息服务。(5)基石非序列性数据操作技术基于非序列
15、性数据操作技术包括虚拟化环境以及流数据处理技术,通过网络招大量:服务器的内存空间统合在起,使之形成个电大型的虚拟内存,然后在其上进行数据配置,可实现对现有设备资源的最大使用效率,同时实现对即时性数据的反削能力。(6)视频大数据处理技术视频大数据处理技术将目前各个专用性的视频监控系统有机地整合在一起,实现视频资源统一接入、统转码、统分发、统管理和统运营的“五统”目标.它可整合包括交通视频,站台视频、客运站视频、离速公路视频,社会治安视频、车毂视频等在内的多种视频资源,提得整体视频监控的效率,且基于视频监控基础设施之上创造更多增值性的应用,从而实现视频监控系统的爆火化效用。(7)大数据处理技术大数
16、据预处理技术是将接入平台的数据根据具体的业务规则进行进一步的处理,包括对接入的数据进行有效性的检验、大数据清洗等。大数据标准化处理技术从数据库中取出经过清洗后的数据,根据业务规则将外部系统的数据格式转化为平台定义的标准格式.(8)大数据融合处理技术大数据眼合处理技术是指采用多源交通信息融合方法,结合特征融合技术(识别/分类、神经网络、贝叶斯网络等)、目标机动信息处理技术(自适应噪声模型等)及多目标跟踪的信息融合技术,提高信息系统的顽健性及可靠性。多源交通大数据信息融合分为3级:基础级是数据级融合,它只完成数据的项处理和简堆关联:第二级是特征级融合,就是根据现有数据的特征预测交通参数:第三级是状
17、态级融合,根据当前交通流信息判断交通状态。交通流信息融合的基本过程包括多源信息提取,信息预处理、融合处理以及目标参数获取和状态估计。(9)实时数据分发订阅技术海量交通大数据具有数据量大、更新频繁、时效性高等特点,往往需要来自十其他系统的实时数据来支持其业务逻辑。比如浮动车辆的GPS数据、目前城市道路的路况分析和收费站排队监控分析、省级运政更星定位联网监控系统的上报、营运车辆安全监管系统等监控分析系统需要向外单位共享的数据。(IO)大数据挖掘技术多源交通大数据挖掘是个多步界的过程,可以分为问题定义、数据准备、数据分析、模式评估等基本阶段.其处理模型如图I所示。图1交通大数据挖掘模型4城市交通大数
18、据的智能应用系统3.3 交通大数据采集内容城市交通大数据可分为静态大数据与动态大数据。静态交通大数据主要包括城市交通的基础空间数据(地表模型、高清正射影像等)、城市及周边基础地理信息(城市路网、交叉口布局、城市基础交通实施信息)、道路交通网络基础信息(道路等级、长度、收费信息)、道路交通客运信息(客运班线、客动票务、市区公交信息、车站线路辐射图、客运企业信息、交通换乘点等)、航班信息、列车信息、水运信息(船次、起终码点、开船时间等)、殍车场信息(停车场位置、名称、总泊位数、开闭状态、空闲泊位数等)、交通管理信息(警区界限、安全界限、警力分布、交通闵位、执法站、车管所、检测场、考试场、过埴检查站
19、)以及交通抽样调查数据等。动态交通大数据来源广泛、形式多样,主要包括通过卫星遥感、航空摄影测量,低空无人机应急平台、地面测量车、地面视频等遥感手段获取的数据以及地面智能交通系统中,通过视频、手机、公交卡、地感线圈等传感设备和极功终端采集的人、车、路等交通耍素的数据.从人可以采集到的数据有驾驶行为数据、付费行为数据和出行行为数据,从车采集到的数据有车辆信息数据、车辆实时位置数据、公交车运营数据、出租车运营数据、众包路况数据,关于路的数据有卫星影像数据、航空摄影数据和道路基触设施数据。3.4 交通大数据云计算支撑平台城市交通大数据和相关业务的服务采用云计算技术来实现,其总体逻辑架构如图2所示。采用
20、云计算技术来支悻一体化交通大数据,按需提供自助管理虚拟基础架构汇集成高效池,以服务的形式提供资源。云计算支掾平台包括数据中心物理资源管理、数据中心逻辑资源,数据中心运营平台和维护.图2城市交通大数据云计兑支撑平台城市交通云计算支撑平台包含多个子系统,各系统提供稳定的信息、管理、监控服务。为了支持智能交通7X24h的稳定、高效服务,可引入云计算虚拟化平台.利用虚拟化技术将应用系统与物理机进行分离,减少因物理环境导致的系统中断服务,在不影响用户的情况下对物理资源进行删除、升级或改变。43交通大数据的智能应用系统交通大数据的智能应用系统是基于交通大数据中心、交通云计算支挣平台来搭建的智能应用系统,采
21、用“中心数据存储和处理”和“本地服务应用”的模式,从海量的交通数据中抓取实时数据,分析挖掘历史数据,基于历史数据对未来情况做出预测,为智能交通提供决策性建议。交通大数据智能应用系统可分别为政府、企业、公众提供智能交通信息服务,系统可为政府部门提供交通行政监管支持,主要提供精细地理信息服务、交通管理服务、应急响应服务、路边车位监管服务、公共交通监管服务等:为公众搭建基于手机应用的交通信息服务,通过交通信息服务也可采集公众日常出行行为的数据,主要有精细地理信息服务、精准实时路况服务、精准交通信息服务、实时车辆信息服务、交通诱导信息服务、停车诱导信息服务等:为企业提供交通信息增假服务,主要有精细地理
22、信息服务、公交车公司车辆调度及辅助决策、商业数据分析等。不同用户可共享行业数据、计算资源、个性化情报分析结果,在数据采集共享、大规模数据实时处理和分析、企业突发事件处置应对方面具有十分突出的优势,从而大大节约r系统资源和成本,提升r工作效率。系统所采用的技术主要包括堪于决策树支持向量机(DTM-SVM)的多源异构交通信息融合技术、基于SoA的交通信息基础数据服务设计、ZigBeC无线传感罂网络技术、基干移动互联网的交通信息应用服务设计、基于机器学习的行程时间预测、基卜位置服务(1.BS)的行人交通信息服务技术等5城市交通大数据智能系统的典型应用城市交通大数据智能系统相关的典型应用解决方案912
23、J,大致介绍如卜,3.5 城市交通大数据的公交行政监管与科学决策城市交通大数据的公交行政监管与科学决策支持系统(如图3所示)实现可分为3个步骤:首先,集成城市公共交通采集的站台、线路、道路、活动场所的交通数据,研发MapReduce框架卜的海量交通流融合与预测和法,针对更杂交通系统行为的不可预测性,充分考虑简单对象的主动性和随机性,从行为生成的角度出发实现对城市公共交通系统的“等价”描述:然后,针对城市公共交通的运营与管理需求,通过计算实验和涌现观察,生成实时、未来和各种可能情况下的交通场景,包含正常条件卜的交通环境,还包括交通事故、恶劣天气、突发事件等异常条件下的交通环境:最后,通过实际交通
24、系统与人工交通系统之间交”运行和过程演化,实现城市公共交通运行数据分析与调度方案演练,并为交通管理者和出行者提供堪于位置的交通服务信息。图3城市交通大数据的公交行政监管与科学决策支持系统大数据可以辅助公共交通规划制定决策。传统的方式需要投入大55人力进行OD调查和数据收集。目前的一卡通可让数据更为全面地展现在决策人员面前,潦量数据全部可以精确掌握,同时再利用车辆拥堵时间、拥堵路段的大数据分析,公交车的线路谢整、增加与减少换乘站的决策就会更加有依据。(1)城市公共交通云计算服务平台体系城市公共交通云计算服务平台采用4U结构,分别为应用U、平台乂、统一资源层和物理层。云计算服务平台使得公共交通管理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 城市交通 数据 技术 智能 应用 系统
链接地址:https://www.desk33.com/p-1566372.html