基于Hadoop的旅游景点可视化系统.docx
《基于Hadoop的旅游景点可视化系统.docx》由会员分享,可在线阅读,更多相关《基于Hadoop的旅游景点可视化系统.docx(26页珍藏版)》请在课桌文档上搜索。
1、本科毕业论文论文题目:基于HadooP的旅游景点可视化系统随着我国经济不断发展,旅游业也进入到了蓬勃发展的时期,旅游在现代社会已经逐渐成为人们生活中不可或缺的组成部分。与此同时,陨着互联网技术的发展,越来越多的人开始使用网络寻找并选择度假和旅游方案.在这个过程中,选择合适的旅游景点和酒店住宿是至关至要的一步。那么面对网上种类繁多的、令人眼花缭乱旅游数据,使旅游者感受到了极大的不便,而数据可视化可以让他们清楚直观的了解相关旅游信息,从而为出行做好规划。因此,建立个旅游景点可视化系统,对于提高旅游的便利性有非常重要的作用。本系统为用户提供了一个旅游景点可视化平台,在该系统中,用户不仅可以查看旅游珏
2、点的城市分布、人流量、珏点等级和景点评分等信息,还可以查看酒店不同类型房间和入住人员类型等.本系统首先利用Python爬虫技术,从旅行网站找取旅游景点相关信息。然后利用HadOOPHDFS对旅游景点数据进行存储,接着基于Python语言,编写代码利用分布式大数据计算框架Spark对HDFS的数据进行预处理,对数据进行去重、过滤等将半结构化数据处理为结构化数据,写入HDFS中,建立宽表。并将分析后的维度表保存至MySQ1.数据库中,最后通过F1.aSk+ECharis+Vue搭建可视化界面,展示数据可视化结果。系统的主要流程由第一步数据采集、第二步数据处理、第三步数据分析和最后的数据可视化这4个
3、模块组成。综上所述,本旅游景点可视化系统能够提供可视化展示和用户交互的功能,基于可视化展示大量的旅游数据,可以让用户更好地广解各个景点和酒店相关信息,从而更好地进行旅游规划和选择。关询:旅游景点:数据分析:数据可视化:Hadoop:Spark论文类型;软件工程AbstractWiththecontinuousdeve1.opmentofChinaseconomy,tourismhasa1.soenteredapcrix1.ofvigorousdeve1.opment,andtourismhasgradua1.1.ybecomeanindispensab1.epariofpeop1.es1.iv
4、esinmodernSOCieIy.Atthesametime,withthedeve1.opmentofInternettechno1.ogy,moreandmorepeop1.earestartingtousetheInternettofindandchoosevacationandtrave1.options.Choosingtherighttouristattractionsandhote1.accommodationisacrucia1.stepinthisprocess.T1.ieninthefaceofawidevarietyOfdazz1.ingtourismdataonthe
5、Inteniet,touristsIee1.greatinconvenience,anddatavisua1.izationcana1.1.owthemtoc1.ear1.yandintuitive1.yunderstandthere1.evanttrave1.information,soastop1.anfortrave1.,I1.ierefore.estab1.ishingatouristattractionvisua1.izationsystemp1.aysaver),importantro1.einimprovingtheconvenienceoftourism.Thissystemp
6、rovidesuserswithavisua1.p1.atformfortouristattractions,inwhichuserscannoton1.yviewthecitydistribution,foo1.f1.ow,attraction1.eve1.andattractionratingoftouristattractions,buta1.soviewdifferenttypesofroomsandoccupantsinthehote1.I1.iissystemfirstusesPythoncraw1.ertechno1.ogytoobtaininformationabouttour
7、istattractionsfromtrave1.websites.ITienuseHadoopHDFStostoretouristattractiondata,andthenwritecodebasedonPython1.anguage,usethedistributedbigdatacomputingframeworkSparktopreprocessHDFSdata,dedup1.icateandfi1.terthedata,processsemi-structureddataintostructureddata,writeittoHDFS,andestab1.ishwidetab1.e
8、s.I1.ieana1.yzeddimensiontab1.eissavedintheMySQ1.database,andfina1.1.yavisua1.interfaceisbui1.tthroughF1.ask+ECharts+Vuctodisp1.aythedatavisua1.izationresu1.ts.Themainprocessofthesystemconsistsoffourmodu1.es:thefirststepofdataco1.1.ection,thesecondstepofdataprocessing,thethirdstepofdataana1.ysisandt
9、hefina1.datavisua1.ization.Insummary,thistouristattractionvisua1.izationsystemcanprovidevisua1.disp1.ayanduserinteractionfunctions,basedonthevisua1.disp1.ayofa1.argeamountoftourismdata,cana1.1.owuserstobetterunderstandthere1.evantinformationofvariousattractionsandhote1.s,soastobetterCarryouttourismp
10、1.anningandse1.ection.KeyWordstTourismAttraction;DataAna1.ysis:DataVisua1.ization;Hadoop;SparkDissertationType:SoftwareEngineering摘要IAbstractI1.目录IIII绪论11.1 课题研究背景I1.2 研究内容和研究意义11.3 论文的结构12相关理论和技术22.1 PythOn爬虫技术22.2 HadOoP22.3 分布式计算框架SPark22.4 后端FIaSk框架22.5 前端Vue框架22.6 Echarts图表库33系统需求与设计43.1 需求分析43
11、.1.1 数据采集与处理43.1.2 数拉;分析与可视化43.1.3 用户管理43.1.4 用户交互体验43.2 系统设计.3.2.1 系统架构3.2.2 功能模块设计:4系统实现74.1 数据采集74.2 数据存储与处理.74.3 数据分析84.3.1 部分旅游景点数据分析84.3.2 部分酒店相关数据分析104.4 数据可视化展示104.4.1 登录注册模块114.4.2 旅游景点可视化展示114.4.3 酒店信息可视化展示165总结与展望195总结195.2展里19参考文献20致谢211绪论1.1 课题研究背景出行旅游作为人们的主要休闲方式和社会经济活动已经得到广泛发展。旅游业不仅可以推
12、动多个产业的发展,调节产业结构,还可以满足人们日益增长的文化需要,已成为国民经济的重要支柱.然而,随着无序化旅游数据的海量激增,针对这些有效旅游数据进行合理分析是制定与旅游发展相关的规划、旅游设施分配和资源调度等方面合理安排的有效手段,从而最大化发挥旅游信息的价值。因此,旅游经济的发展与对数据的合理分析密不可分。近年来,大数据技术的兴起和发展,为对旅游市场进行深入挖掘和分析提供f新的思路和方法。HadOOP是当今最流行的大数据平台之一,可以处理和分析海量的非结构化数据,并实现数据的高效存储、处理和管理。1-2研究内容和研究意义近年来,随着旅游市场竞争的加剧,大数据分析对旅游业显得至关重要。由于
13、互联网的存在,游客可以获得有关景点、服务和旅游行程更丰富、更全面和更有用的信息。该系统可以收集、处理、分析和可视化展示旅游景点和酒店相关数据,帮助游客更好地搜索和选择旅游目的地、景点和酒店,并为旅游企业提供更好的经营和服务理念。同时,该系统的研尢对于推动旅游业的数字化转型和信息化普及有着积极的作用。本项目旨在基于HadOOP构建个旅游景点可视化系统,实现对旅游景点的数据采集、存储,处理、分析和可视化,让大众f解旅游景点和酒店等,为旅游者出行提供有力的参考价值。因此搭建一个简洁有效的可视化系统是非常有意义的。1.3 论文的结构章节安排如下:第一章:绪论。主要介绍本文的课题研究背景、研究内容和研窕
14、意义以及论文的结构。第二章:相关理论和技术.介绍本文所用到的相关技术和理论,包括Py1.hon爬虫技术、Hadoop,分布式计兑框架SPark、后端FIaSk框架、前端VUC框架以及EChartS图表库。第三章:系统需求与分析。主要介绍需求分析和系统设计两方面。第四章:系统实现1介绍系统的具体实现方法和步骤,包括数据采集模块、数据存储模块、数据分析模块和数据可视化展示模块。第五章:结论。对本系统研究内容和可视化结果进行总结,并提出未来的改进方向。2相关理论和技术2. 1PythOn爬虫技术PyIhon爬虫技术是利用Pyihon语言开发的网络爬虫程序,可以通过白动化地访问互联网资源,快速抓取所需
15、信息并进行处理。Py1.hOn语言作为一种简单、高效、易于学习的编程语言,已成为爬虫程序开发的主流语言。常见的Python爬虫技术有正则表达式、XPaih等,它们可根据需求和爬取网站的特性进行选择。为避免触发反爬虫机制,爬虫程序使用伪装登录状态的技术,并降低页面访问菽率以保持不规律性。数据存储包括MySQ1.、MongoDB、NoSQ1.,Ra1.is,HadOoP等,爬取的数据类型主要为HTM1.或JSoN字符串。3. 2HadoopHadOOP是一个可靠的分布式共享存:储系统,HadOOP的核心是分布式文件系统HDFS,分布式运算编程框架MaPRCdUce、分布式资源调度Yam。HDFS用
16、于海量数据的存储:MapReduce用于数据分析和处理,Yarn用于.解决资源任务调度问甥.3.1 分布式计算框架SPark在计算过程中,HadOoPMaPRedUCe从磁盘读取数据,运行进程,将结果写入窿盘.然后从磁盘读取更新后的数据,再次运行进程,最后将结果保存到磁盘。饿盘的读写处理影响数据分析的速度。而SPark从磁盘读取数据,将中间数据放入内存,进行必要的分析处理,并将结果写回集群。Spark的计算方式比基于磁盘的计算方式要快。因此Spark底层的RDD使其成为主流的大数据分析框架,因为它可以让程序员学习成本更低,更加快速的迭代开发,从而成为现在主流的大数据分析框架。3.2 后端FIa
17、Sk框架F1.ask是一个基于Py1.hOn编写的Web框架,它使用简单且灵活的方式帮助开发者构建WCb应用程序。FkSk提供一个核心的框架,通过使用相关插件和扩展库,能够非常方便地实现常见的WCb开发需求。2. 5前端Vue框架Vuejs是一个流行的JaVaSCriP1.前端开发框架,它以渐进式、响应式和数据驮动的方式为开发者提供了种快速构建交互式用户界面的方法。VUe的核心库非常轻量,可以与其他潦行的库和框架T1.IReact,Angu1.ar)一起使用,也支持组件化和声明式路由等功能。2.6Echarts图表库EChartS是一款基FJavaScripi的数据可视化图表库,提供直观、生动
18、、可交互、可个性化定制的数据可视化图表。EChanS由APaChC基金会维护,是一个开源的项目,提供多种类型的图表,包括折线图、故点图、柱状图、饼图等.可以方便地帮助用户将数据转化为可视化的图表展示。3系统需求与设计3.1 需求分析3.1.1 数据采集与处理旅游景点的数据来源种类繁多,系统需要实现数据采集、清洗、存储、处理等功能,以保证数据的完整性、准确性和可拈性。3.1.2 数据分析与可视化系统主要通过图表、地图等可视化方式呈现旅游景点相关数据,为用户提供更加直观、易懂的数据分析结果。3.1.3 用户管理系统可以对不同的用户进行权限管理,包括用户登录、个人信息管理、密码管理、权限控制等功能.
19、3.1.4 用户交互体验系统需要提供友好、简洁的用户界而,支持用户交互操作,包括查询功能、数据可视化展示等功能,以便用户快速高效地了解感兴趣的内容.同时,系统需要具有高效、稳定的性能,以保证用户使用体脸。3.2系统设计3. 2.1系统架构系统采用分布式架构,基于HadOOP生态系统构建可扩展的大数据处理平台。支持对多类旅游景点数据进行采集、存储、处理和分析,并通过Web界面实现数据的可视化展示。平台设计思路如图3.1所示。图3.1平台设计思路3. 2.2功能模块设计(1)数据采桀使用HTTP库向目标站点发起请求时,发送一个Request,这个Request可以包含额外的HCaderS等信息,等
20、待服务港响应。如果服务港能终正常响应,就会得到一个Response.ReSpOnSe的内容就是所要获取的页面内容,类型可能仃HTM1.、JSON字符串、二进制数据(如图片、视频)等类型。本项目鹿虫荻取的内容是HTM1.,用网页解析库BCaU1.ifUIS叩、XPaIh进行解析。保存数据时保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。(2)数据存储基丁Cemos7搭建大数据平台,包括Hadoop.ZOokeePer,Hive等大数据生态圈组件。系统采用分布式存储系统HDFSHadpDistributedFi1.eSystem)存:储旅游景点相关数据,以保证数据的安全和高
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Hadoop 旅游景点 可视化 系统

链接地址:https://www.desk33.com/p-1636969.html