ArcGIS实时大数据技术架构及应用.docx

ArcGIS实时大数据技术架构及应用ESri中国信息技术有限公司许丹石实时大数据 物联网：大量传感器 交通：出租车 电信：手机信号 社交媒体突发事件-JWaihingtcn.犯罪1牛F雷击事件意外事故监测站流量传感器1.质感器实时大数据移动的固定的车辆动物BsriChinaTHESCIENCEOFWHERE主要内容实时GIS的架构变迁ArCGlS实时大数据最佳部署实践快速搭建实时大数据服务实时大数据动态聚合研发计划SsriaTHESCIENCEOFWHERE'实时GlS的架构变迁由WebGIS到企业级实时大数据输入3Ke/s.可视化、上千WebGlS实时功能输入可视化3Ke/s上千实时大数据T分析存储X3Ke/s200e/s10.3ShmaTHESCIENCEOFWHERE-分析4Ke/s可视化7百万存储10Ke/s4Ke/s_(实时大蛇三10.4WebGIS4Ke/s时空大数据datastorel,存储输入，分析elasticsearch10.4存储elasticsearch输入4-12Kes存储10Kes分析4-12Kes时空大数据datastore可视化大数据GeoEventServer输入，分析WebGIS4Ke/sl4Ke/s可视化ShinaTHESOENCEOFVHERE-ArcGISEnterPriSe实时大数据功能10.5ArcGISEnterprise分析4Kes可视化7百万输入4Kes存储%10Ke/s4Ke/s分析GeoAnalyticsServer存储输入，分析elasticsearchSpark大数据ChinaTHESCIENCEOFWHERE”时空大数据接入类型GeoEventServerPollanArcGISServerforFeaturesyoucancreateyourownconnectors3XOgPollanexternalwebsiteforGeoJSON,JSON,orXM1.ReceiveFeatures,GeoJSON,JSON,orXM1.onaRESTendpointReceiveGeoJSONorJSONonaWebSocketActiveMQActiveMQEBCAPCoTCursor-On-TargetesdExploitationSupportData'1.InstagramKM1.KafkaMQTTMQTT觉NMEA0183RabbitMQ0ValarmSierraWireless(RAP)给Trimbte(TAIP)TwitterWazezONARZonarSnChinaTHESCIENCEOFWHERE'XChinaArcGISlO.5实时大数据平台浏览莒潮艮务实时要素实时和历史要素聚合潮艮务GeoEventServer增强的地图和要素时空大数据存储raArcGISEnterprise®sriSaTHESCIENCEOFWHERE'ArcGIS实时大数据最佳部署实践推荐部署策略10.5最低环境每一台服务器和时空大数据存储都必须位于独立的机器上推荐环境We5备注增加处理器核数可以提高写入速度，更快的查询响应时间硬盘需求取决于实时数据的速度和大小。固态硬盘可以提高写入和查询速度。增加内存可以提高查询结果命中缓存的可能性取决于JVM的限制，32GB是最大值单节点部署有数据丢失风险。三个节点部署通过将数据进行副本备份，提高数据的可靠性。节点数取决于输入数据的速度以及数据保留配置策略时空大数据存储系统要求资源最低推荐处理器8核16核硬盘400G>1TB内存16GB32GB节点数123/_.z/一、/rspatiotemporalbigdatastoreTl匚spatiotemporalbigdatastore-配置kafka作为输入GeoEventServerGeoEVentSerViCeSyoucancreateyourownconnectorsConnectorsReceiveFeature-JSONfromKafkaReceiveGeoJSONonaRESTendpointKafkaHTTPFeature-JSONGeoJSONTransportsAdaptersFeature-JSONGeoJSONJSONRSSTextXM1.k.S1.UCAPCursor-On-TargetGeoMessageInstagramNMEASierraWireless(RAP)Trimble(TAIP)TwitterVMFWazeChinaTHESCIENCEOFWHERE"GeoEvent弹性伸缩扩展部署10.5ArcGISEnterprise、4Ke/s可视化GeoEventServer大数据'afka二一f*画chinaGroAnalytics存储输入，分析THESCIENCEOFWHERE"SsriaTHESCIENCEOFWHERE'快速搭建实时大数据应用搭建实时服务ChineTHESCIENCEOFWHERE9Demo-快速搭建实时大数据服务搭建芝加哥犯罪事件实时监控!艮务ChinaBEUlNG实时大数据动态聚合当数据写入到SPatiOtemPOraldatastoregeohashTHESOENCEOFWHERE-onaghashindex)不间断更新用于geohash空间聚合的空间索引当数据写入到SPatiOtemPOraldatastore 不间断更新用于geohash空间聚合的空间索引空间索引：geoHash&square1.dnYMitCtfi1.ChWtonCalgary 不间断更新用于SqUare空间聚合的空间索引当数据写入到SPatiOtemPOraldatastore 不间断更新用于POintytriangle空间聚合的空间索引不间断更新用于flattriangle空间聚合的空间索引MorunV一菰N，NNNAFu3UWNNNNNN公¥T.MF，出ny>lwwvHtzariflattriangleaggregationbasedonpointytriangleaggregation(basedonapointytriangleindex)当数据写入到SPatiOtemPOraldatastore不间断更新用于POintyhexagon空间聚合的空间索引不间断更新用于flathexagon空间聚合的空间索引当数据写入时空大数据存储中的数据源时：-支持四种空间索引：geohash,方形，锐化和平滑的三角形/六边形-通过时间字段建立时间索引-和一个对每个属性字段建立的倒排索引F二pointynexagonsquaretrianglegeohash11China聚合渲染效果空间聚合显示:时空大数据存储允许你实时聚合动态的数据5IA419AA1.2170-1485930313-AdmgtonCOOrdinatCS:38.8870,o>m,W5私Altitude:1.900Heading：IOGroundspeed:1312/3/2017,7:26:10Heading;337GroundSpeed:126FlmA1.2702/3/2017,8:47:29用于实时数据的聚合可以通过空间、时间和属性查询的任意组合进行探索性分析从聚合视图切换到原始要素视图不同比例尺下显示不同详细程度汩ChinaSCIENCEOFWHERE"客户端调用动态聚合地图map&featureSerViCe可以查询时空大数据dataStOre数据源，返回动态聚合结果mapserviceHeXagOnfeatureservicelodType=flatHexagon&lod=2DentonIAcKinneyGreenvilePlandGadlandTerrellCeburme-5009425.0,8676578.616705721,-1.001885B7,1.7353157233411442E7,-2.00377B7,1.7353157233411442E7,-2.5047125B7,8676578.616705721,-2.00377E7,0.0,-1,001885E7,0.0,-5009425.0,8676578.616705721Mesquite"features":attributes11:,(objectid":1,"Geohash":"-1:1","Count":2552822FortWoAlngtan'WaalacheflathexagonaggregationresponseflathexagonaggregationresponseChinaThescienceofwhere动态聚合地图坐标系某些空间索引支持投影-GeoHash索引只支持GCSWGS84坐标系，但可以动态投影Square,pointy&fIathexogon/tringle索弓I由定义的空间参考决定SunimaryisummarySTEMSUlnmary782.23-4776.160-782.230-1030otherslOCheisninworldmollweideprojection(wkid1398326140.78-125768.351030-6140.78iSum11wryzsummar)STCMSUn)maty2277,42-vTiangleHexagonTe*ella>onJleaiinapOniivls.TriangIeZHexagonTessellation,HeatnwpControlseSrChinaTHESCIENCEOFWHERE"GeoHash矩形聚合3D效果WbAppldfforAMalh.randomdocsIlCtevOfierbodvnaBerRamPSjartramp;ObfecviewIAPlRefererM?削中国）信本XncdencOOO66272MnHeigruMaXheh!APPiycolor：snHEREGamnNGAgenewtferrorColorRampEndFlMMinHeight2000Maxheight5000六边形聚合3D效果GeoeventbigdatavisualizewithWebAppBuiderforArcGIsArcGlSOnlinessrichinaTHESCIENCEOFWHEHE,t®sriSaTHESCIENCEOFWHERE'研发计划即将推出接下来空间索引：多边形数据被写入到时空大数据存储时:-建立多边形空间索引用于多边形聚合渲染CANADAAdnNMlfaMPOlygOnaggregation(basedOnacountypolygonindex)ChinaWHRE,&Dprojecton-the-flyinteractivespace-timecubesleverageexistinggeohash9square&hexagonaggregationcapabilitiesofthespatiotemporalbigdatastoretoconstructon-the-flyspace-timecubes.-enablesexploratory&interactiveanalysisofreal-time&historicobservationdata即将推出Resilience&scalability,0.4Kes三三Igest,4KSeventIGeoEventhubSerVerrouteeconnect三MEnterprise.BigDataichinaTHESCIENCEOFWHERfsrjChinaTHESCIENCEOFWHERE1扫描二维码，发送页面网址到手机7GeoEventGallery帮助资料ArcGISGeoEvent资料库：d=cdb23c8bd5ef42feb5fe74483a676844教程-GeOEVentServerResiliency89048blcfdda4a71a9b2b334fe8c8cc9教程一SPatiOtemPoralBigDataStore870blbf0adl7472497b84b528cb9af00ArCGIS知乎ZhihiJeSriCArCGlS知乎是ESri中国对外的知识问答和分享平台，是一个面向ArCGlS产品知识问答和知识分享社区QXrcGIS知乎目前ArCGlS知乎平台已经有常见问题6400+,技术文章3000+,囊括了ArCGIS和ENVl两大产品的常见问题解决方案和技术文章。其中还收录了来自于ESri美国SUPPOrt部门的10.X版本场景问题解决方案（英文）920余篇。收录售后部门每月在SaleSfOrCe中积累的场景问题解决方案（中文）1200余篇。收录多位ESri中国员工博客中分享的技术文章10e）O余THEIScienceIofWTEHEI卷QSri迪a1THESCIENCEOFWHCQFperiChina。II8UINGTHESCieNClOFWHtKpcrChinaOII8£UINGTHESCICNCiOFWHmQ&A