2021企业大数据处理Spark、Druid、Flume与Kafka应用.docx

企业大数据处理：Spark>DruidFlUme与Kafka应用实践本书分三部分展开介绍：第部分（第1章）主要介绍了企业大数据系统的前期准备工作，包括如何构建企业大数据处理系统的软件环境和集群环境。第二部分（第27堂）首先介绍Spaik的基本除理，SPark20版本的SPalkSQLSuuciuredSueaming倏理和使用方法，以及SPark的多种优化方式：然后，介绍/Dmid的基本原理、案器的搭建过程、数据摄入过阳以及在杳询过程中如月实现Dwid杳询API：接着介匏了日志收集系统FlUme的整本架构和关穗粗件，以及分层日志收集架构的设计与实践：鼠后介绍了分布式消息队列Kafka的些本架构雌群搭建过黑以及使用JaVa语言实现客户端APi的脚过程.第三部分（第89南）主要介绍了企业大数据处理的两个实际应用案例，分别是基于DrUd构建多维数据分析平台和基HMX指标的监控系统.第一部分准备工作»1«AS础环境ift稿第1章基础环境准备1.1软件襁准备软件版本选择：操作系绦CentOS66版本；JDK：17版本：Maven：3,2版本：Scala：210版本。所有软件安装目录：/data/Soft。确定了软件版本后，即将具体介绍软件的安装，本节主要介绍基曲的款件安装方式。IJDK安装JDK是JaVaDevebpmemK:t的简称,为JaVa语言开发的程序梃供开发工具包和运行环境，JDK安装的步骤如下:（1卜,载JDK二进制安装包WgCthttpzdwnlad.oracle.aotn-pubjavajclk7ul5-b03jdk-7ul5-limtx-x64.tar.gz（2解压安装tar-zxvfjdk-7ul5-liux-x64.tar.gz（3）创建软连接软连接相当于快捷方式，便于后续版本更新升级。Is-Sdatasoftjdk-7ul5-linux-x64usrlocaljdk(配置环境变量vim etcproflcEusrlocaljdk=SIAVA H0WEj,e=.:$JAVA_HOME/1 ibdt. iar:$IAVA_HOME/l ibtls. jar:SJ RE,H0WE ib: SCISSPAIMexportPAIB:SPAlIk$JAvAJK)ME/bin刷新环境变量使其生效:source/etc/profile(5)验证安装是否成功查看JDK版本命令：java-vers:On2Maven安装XaYen是APaehe开源的一个目前比较湍行的项Fl管理和整合工具，能够自动完成项目的构建，并根据配置文件自动下就依敕组件，提供代理笫译、打包、发布等功能,下面介绍MaYeMm羊细安装过程。NaYen安装的步骤如下：(I)下载MaVen二进制安装包WRethttpxapache(navenfiaven-33.3-9binariesapache-ffa,en-3.3.9-bin-tar.gz(2>解压安装tar-zxvfapachenaven-3.3.9-bln.tar.gz(3)创建软连接软连接相当于快捷方式，便于后绘版本更新升级。IS-sdatasoftapachc-maven-3.3.9-binusrlocalravtn配置环境变垃vimetcproflcexportM2JI0WE=usrlottilravcnexportPAlB=SPAnk$JAVAJoME/bin:JMZJOHbin刷新环境变量使其生效：source/etc/profile(5)验证安装是否成功查看MaYen版本命令:mvn-versionSScaIa安装SCaIa编程语言是一种面向对象的函教式编程语言，充分屣现了函数式编程语言简约,高效的特点，在程序开发的过程中可以引入JHVa语言，可扩展性强，由于SCaM具有很多优秀的特性，越耒越多的开源项目使用SCaIa语言开发，比如SPark、Kafka等。下面详缰介绍SCaIa开发环境的安装过程.ScaIa安装的步骤如下：(1)下就JDK二进制安装包wgethttp:/dcmnloads.Iightbcnd.cnscala2.10.6scala-2.10.6.tgz(2)解压安装tar-zxvfscala-2.10.6.t(3)创建软连接软连接相当于快捷方式，便于后续版本更新升级。IS-Sdatasoftscala-2-10.6usrlocalsc<laW配置环境变属vimetrprofileexportSCAlA-IKJMB=/usr/lo«ilscaIaexportPAIB=SPATH:$JAVAJioME/bin:JMZjlON/bin:SSCALAJK)WE/bin利新环境变量使其生效：source/etc/profile(5)验证安装是否成功查看SCaia版本命令:scab-version第1章基础环境准备1.1软件环境准备软件版本选择：操作系统：CentOS66版本：JDK：17版本:Maven：3.2版本:Scala：2.10版本。所有软件安装目录：/data/SOft。瑜定了我腌本后，我摘具体介绍软件的安装，本节主要介绍基曲徽件安装方式。IJDK安装JDK是JavaDeveopmentK:t的筒裤，为Java语言开发的程序梃供开发工具包和运行环境，JDK安装的步骤如H（D下载JDK二进制安装包WgCthttpzdwnlad.oracle.aotn-pubjavajclk7ul5-b03jdk-7ul5-limtx-x64.tar.gz（2）解压安装tar-zxvfjdk-7ul5-liux-×64.tar.gz（3创建我连接软连接相当于快捷方式，便于后续版本更新升级。Is-SdatasofVJdk-7ulS-linux-x64usrlocaljdk（4）配置环境变量vimetcproflleexportJV.IIOME三usrlo1/jelkexportJRE,HOME=SJAVA.HOKEj?exportCLSSPA,ni=.:$JAVA_HOME/lib/dt.jar：yAVA_HaME/lib/tools.jar为RELHoWE/Hb:SCLASSPAWexportPA1H=SPATH:JJAVA-HOWEbin刷新环境变量使其生效:source/etc/profile（5验证安装是否成功查看JDK版本命令：java-version2Maven安装MaYen是APaChe开源的一个目前比较流行的项目管理和整合工具,能够自动完成项目的构建，并根据配置文件自动下载依赖组件，提供代码箱译、打包、发布等功能.下面介绍MaYen的详捌安装过程。MaVen安装的步骤如E：（1下拨MaVen二进制安装包wgethttp:/nirror.bit.edu.en/apache/rnaven/navcn-3/3.3.9binaricsapache-ravcn-3.3.9-bin.tar.gz（2）解压安装tar-2Dcvfapachenaven-3.3.9-bin.tar.gz（3）创建软连接软连接相当于快捷方式，便于后续版本更新升级。Is-sdatasoftapache-croven-3.3.9-binusrlocalmaven（4配置环境变量vimetcprofilcexportN2HOWE=usrlocal（ravenexportPAfH:SPjYnk$JAV/LH0WE/bin:$M2JI0M/bin刷新环境变量使其生效:source/etc/profile（5）验证安装是否成功查看MaYen版本命令：mvn-version3Scala安装SCala编程语言是一种囱向时象的函数式编程语言，充分展现了函教式编程语言简的、高效的特点，在程用开发的过程中可以引入JaVa语言，可扩展性强.由FScaIa具有很多优秀的特性.越来越多的开源项目使用SCaa语言开发，比如Spa?k、Kafka等.下面详缰介钩SCaIa开发环境的安装过程.SCaIa安装的步骤如b（1>下载JDK二进制安装包WgCthttp:/donnlaads.lightbcnd.cs0la2.10.6scala-2.10.6.tgz（2>解压安装tar-zxvfscala-2.10.6.tgz创建软连接软连接相当于快捷方式，便于后续版本更新升级。Is-Sdatasoftscala-2.10.6usrlocalla（4）配置环境变显vimetcprofilcexportSCAIA.HOME=/usr/local/scalaexportPATlI:SfWnk$JAVAJi0WE/bin:$M2JI0H/bin:$SCALA_H0WE/bin刷新环境变量使其生效:source/etc/profile（5）验证安装是否成功查看SCaHiI本命令：scala-version1.2集群环境准备121ZoOkeePer集群部署ZoOkeePer是大数据系统中常用的分布式框架，主要用于公共配置管理、集群资源一致性管理、状态管理、部分分布式系统Leader选举等，卜面通过完全分布式搭建方式进行介绍.1维需规划由于Zookeeper采用FaStLeadeIEMUon算法选举Leader集群中过半的机器正常运行才能够成功选举Leadeh为保证集群正常运行.集群部署的节点数为奇数个，见少节点个数为3,生产环境建议都署5个以上的奇数个节点,因为3个实例其中只要有个实例不可用，整个ZOOkeePer案神将无法成功选举，仍然不可以提供服务。2.部署过程本例将以三个节点的部署为例,分别在192.16&1.1、192168.L2、192168J.3三台服务器孤署一个ZookeePeT实例。详细都署过程如下：（1）下载安装包并解压wgethttpzapacl>e.fayea.co（zookeeperz（x）keeper-3.4.6z0keeper-3.4.6.tar.gz解压到/data/SOft目录下：tar-wcvfhttp:/aache.fhyea.cozodkeeerzookee>er-3-4-6zookee>er-3-4-6-tr.g-Cdatasoft（2）创建软连接创建软连接便于以后升级版本，方便统一管理。Is-Sdatasoftzkeeper-3.4.6.usrlocalzookecpcr（3>设置环境变量vimetcprofileexportZOOKEEPERJK）ME=usr1oca1/zkeeperexportPAiB:SPRTH:$JAVA_HOME/l）in:W_HOH/l）in:$SCAIA_HOWE/l）in:SZooKH/RjioYE/Mn刷新环境变量使其生效：Source/etc/profile配置进入到ZoOkeeP。佞装目录：cd/usr/local/zookeeper拷贝一份COMll录下的配J?文件，重命名为ZOodg：cp./con（yzoo_saniple.c厄，Confzoocfg编辑配置文件设置关健参数：tiCkTirre=ZO(X)initLimit=5SyncLimit3crataDir=datazkecperdataserwr-l=192.168.1.1:2888:3888server.2=192.168.1.2:2f»8:3ft88scrvcr.3=192.168.1.3:2888:3888关键参数说明：tidirw,ZOokEper中的幕稿卷为时同.所打与时间相关的设亶和为tidcTime时间的整数倍,峨位是修沙- initLimit：ZookeeperLeaderljFo11ower新WiJ生接明FoIlOWer九醛从LeaderH步最斯致也.垓侑&示FOllOWerN小数檄的最大WS时时同.殷为祭敬.表示是tickT1me的触数ftWJ.- SyncLImitLeader和FOllOwerZ向心跳检般的我力面时时阿超过这个时问则认为FOlIgen眼卜线,i妾*数值为婺数，表不是tid<Bme的繁数倍时间.- dataDlr：ZookeePer处久化数据H皱，座议与安装路桎不住何一个路竹K- CtataLogDinH志文件目米，- ClicntPOrt*收听客户录连接的浦口号默队皱为2181- server.X=A:BC其中XW个数字.我示这是加儿Userver：A是诬ServerW在的1%上：毗代诬Server和里悌中的Ieader殳换消息所使用的缰【】：6尔选冬IeadeCj所使用的端I】.（5）创建myd文件在配置参数dataDir对应的路程下新建myd文件，写入单独的个数字，表示集样中该实例的流号,该值在集1中是唯值，不可以亶包，数字必须和ZOodg配置文件中的SerVer.X中的X-对应。（6）启动ZoOkeePerbin/zkServer.shstart（7）验证安装是否成功binzkServershstatus：个IeadRr,汹个fb11owerj或外在ZOokeePer安装的任何个节点执行客户端连接命令：bin/zkCli.sh-server192.168.1.1:2181山HadOoP部署1.HadOOP简介ApacheHadoOP是由著名的APaChe基金会开源的分布式存储计算系统，能够在原价的硬件上轻松实现高可常、高犷展、高性能、高容错等将性，通过增加机器即研直线增加集群的存储和计算能力.HadOoP在大规模分布式系统中起着重要的作用，目前已经形成套关整的HadoOP生态系统,并H在不断发展护大,随着HadOoP生态系统的不断发展,Hadoop已应用到互联网、大数据交通、智能医疗、气象监测、金融服务、人工智能等众多领域。IIDFS（HHdoOPDiSlribUledFileS网em,Hadoop分布式文件系统）：通过对文件分块多份分布式存储的方式保证数据具有商效的容错能力，并且有效梃高数据的吞吐量，MapReduce：应用于规模分布式计算的编程模型，该模型包含Map和RedUCe两种编程原语.MaP阶段常用于接入数据源，数据划分、过渔、整理等操作，RMuce阶段常用于接收MaP阶段的数据，聚合计算,持久化结果数据.VARN：作业调度和笑群资源管理框架.目前已经有很多开源项目部署到YA泅上运行，将丫.廓作为统一的作业调度和资源管理框架,如SPark、HBase.TeZ等.2Had。P集群部詈本节主要介绍HadOOP26.4版本的HadOoP集群部署,1集群规划为保证集群的Si可用能力，NameNOde和ReSoUrCeManager都采用HA部罟方式，各组件详细分布情况如表IT所示，表17HadocP集群规划主机名IP运行进程IiadoopOl、mil、rml192.168.1.1NameNode、DataNode、JounialNode.DFSZKFailoverControllerResourceManagerNodeManagerJobHistoryServ,erQuonimPeerMainhadoop02、nn2、n2192.168.1.2NameNode.DataNodexJounialNode.DFszKFailoverControllerResourceMaiiager、NodeManagerQuonimPeerMaiiihadoop03192.168.1.3DataNodexJoiinialNodeNodeManagerQuonimPeerMaiii:部署过程（l）SSH免密码登录使用root用户登录进入到ssh目录下Cd-.ssh执行ssh-keygen-ISa生成公钿和私钥.系统会直提示信息，一直拉回车就可以.生成私钿文件idjsa,公钥文件idSaPUb,认证文件auihorized_keys.将公钥文件内容追加到认证文件中cat-*.sshicLrsa.pub»sshauthorfZe（Lkey在免密码登录的机器之间互相拷贝公钥然后追加到认证文件中，即可完成SSH免密码登录配置。（2>创建hadoop用户和组groupaddhadoopusera<M-m-ghadoopltad<×>p（3）下教安装包并解压先安装hadoop01,然后将配置好的安装包拷贝到其他节点。wgethttpzw*w.apache.ogdynclGser.<5gihadoopccmonhadoop-2.6.5hadoo>-2.6.5.tar.解Ik到指定目录datasoft下tar-ZXVrhaloop-2.6.5.tar.g-C/data/Softz（4）创建软连接并修改属生为hadoop创建软连接便于以后升级版本，方便统一管理。In-S/data/Soft/hadoop-2.6.Susrlocalhadoopdhm-Rhadoopxnadpusrlocalhadp（5）设置环境变量vimetcprlcexportHAlXK）P-HME=usrloca1/IwdoopCXPortPHI=SPA1H:$JAVA_f»OWE/bin:$tajlON/bin:$SCAlA_HONE/bin:$ZO0KEEPERJ1OME/bin:$HADOOPJaME/bin刷新环境变量使其生效sourceetcprofilc（6）设置配置文件a>HDFS相关的酣S文件COreFiexinl和hd仔3e.xmLCOre-site,m置置信息如下:<nfigration><!-指定hdf的acscrvicc为nsl><property><name>f¾.defhultFS-y11fre><value>hdfs:/nsl</value><property><!梏定had。Pift时Um-><property><wme>hadp.tp.dir<name><value>usrlocalhad<wptp<value><property><!-Iilzookecpcr><property><tarne>ha-ZoOkeq)erquorum<name><value>hadp01z218Lhadoop02218Lhadoop03三2181<value><property><ot>nflgMmtion>hdfssiiaxm【配置信息如下:<confiration><1-指定hdf的naroeservice为nsl用婴和COre-Sitexnl中由保特.我><property><ame>dfnacscrvi<X5><ncio<value>nsl<value><property><lnslI；血力两个NameNOde.分“是rml.nn2><property><ame>df.ha.nancnodcs.nsl<namc><value>nnl,nn2<value><property><!-nnl的RPC通矽地址<property><ame>dfs.nacn(xle.rpc-addrss.nsl.nnl<ruro<value>hadpl:9000</value><property><!-nnl(11httpi!j<JtkM:<property><ame>df.nancrxxie.http-acklrcss.nsl.nnl<ruwc><value>hadpl:50070<value><property><!-nn2的RPcja曾珈址a<property><property><!- nn2的http通信地址<property><name>dts.<value>had.nsl.m2<naDc><ame>dfsamcnode.rpc-addrcss.nsl.n2<name><value>hadoop02:9000</value><property><!泞定NaneNOdeHl兀软娜在JOUrnaIJl'todRI的存放位Ht><property><name>dfs.naenode.shaed.edits.dir<narre><value>qjoumal:/hadwp01:848S;hadwp02:848S;hadoop03:8485/nsl<vaue><property><!将定JoUrnalNOde花木地碳t存放敛跑的位.W><property><name>dfs.joumalnode.cdits.dir<name><value>usrlocalhadoopjoumal<val>e><propcrty><!AtriNameNode大畋门动切换><property><name>dts.ha.autatic-fai1wer.enabled<nafre><value>tue<value><propcrty><!-配置失鼓自动切摭实现力W-><property><name>dfs.client.failover.p>xy.provider.nsl<nac><value>(H-R.apache.hadcx)p.hdfs.server.na(nenode.ha.CongrcclFaiIovcrProxyFrovidcr<value><property><!-配置隔属机制><property><ame>df.ha.fcncin.methods<namo<value>sshfence<val>e><property><1-使用闱离机；W时甯政SSh免登陆-><property><namexlf.ha.fcncing.ssh.PriVutC-key-flcs<nac><value>root.sshi-rsa<va1ue><property><1一斤故DN处止工作的坏便大致.默“0软止只唾"1个假犯坏了DN的会ShUtdOwn><property><amexlfs.datanodc.filcd.volucs.tolcr<tcd<nac><value>2<value><property><i-Blocktt:切本数为3><property><ame>dfs.rolication<ame><value>3<value><prcerty><!-fsirrRgefueditZ件/f砧环<property><amexff.nancnode.name.clir<name><value>datahadpdataldfnatne<value><property><!-应提存儡物理珞径,可以配H匕块盘><property><ame>dfdatanodc.datii.dirnanc><value>datahadpdataldfdata,datahadpdata2dfdata<value><propert><!-blod*大小512M-Q<property><amexlfs.block.size<name><value>S36870912<value>/property<cx>nfgtion>向StaVeS文件潘jtadatanode，nodemanagej节点的hostname：b>YARN相关配置文件。yam-siteXinl配置信息如下:<confiration>U-TfA=ResourceManagerHA><property><are>yjrn.rurcxranag¢abltd<narnc><value>tre<value><property><!-JFjftReSOUrCeManager多；改门动切换<property><ame>ym.rvsourccmanagr.ha.autatic-fiilovr.cablcd<nac><value>tre<val>e><property><I-RM大敢后正花总行的任务在RM恢之后，R叔日劝><property><ame>y5im.rsourxtmanag¢rrecovery.tfubll<namc><value>true<value><property><!(ki"ResourceManager的两个节点><property><ame>yiim.FCsOUrXemanagwha.rm-ids<nafw><value>rmUr2<value>W2r25gJ溢华未指定队列名时.指定用户名作为应用程序所在的队列名-><property><ame>ym.scheduler,fiir.uscr-is-<icfult-quc<nane><value>true<vale><property><!-RM状R侑必存储方式-><property><ame>ym.rsourcanagr.store.class<nafre><value>org.apache.hadcx>p.ya.server.rcsurcefranagcr.recvery.ZKRNtnteStore<value><property><propcrfy><name>yamresourcemanagercluster-ick/nane*<value>yam-la<value><property><property><name>yam.resournanager.hostname,rml<nae><value>ml<value><property><!-RMlHTTPWebWHmW:-><property><name>yamresournanager.webapp.address.nl<nane><value>ityam.resourcemanaer.bostna(De.nl:8088<value><propcrty><property><Mre>yarn.resourcemanager,hostume.i2<nane><value>r2<val>e><property><!-RM2HTTPWcbWHHl-><property>lue><av>yarn.n?s<xircxffarugcr.wxpp.acklrss.rm<value>$yam.resurcefnanager.l)ostname.r2):<prqperty><!MJdeManger方点可使用的总内存大小-a<property><name>yam.nodemanager,resource.mex>ry-rrb<name><value>81920<value><property><!-NOdeMangerH11W!HIW.vcoreft><property><name>yam.nodemanager,nesource.cpu-vcones<nane><value>10<value><property><!-ZOOkeePer处按地址,为了容铭的制匿多个><name>yam. resourccmanagr. zk-address<nafrc><value>badoop01:218Uhadoop02:218Uhadoop03:2181</value><property><!-NM4H<propcrty><name>yam. nodanager<value>filezdataha,Hledata<value>irs<name> 1talyamlog data2yamlog<property><property><!-.AppliCationMasterlS用的内“大小一<property><name>yarn.app.apreduce.am.resource.b<nae><value>2048<value></property>v!-单个任务可申请的被少物理内“M><property><name>yam.schcduler.minirru-allocation-b<name><value>1024<vae><propcrty>V!一单个任务DJ申请的外名物理内"喊一AVPrOPerty><name>yam.schedulcr.三xirru-allocati-rrb<name><value>8192<val>e></property>V常个任务11J申请的级少VCoreMa<property><name>yam.scheduler.minimu-allocation-vcres<nane><value>l<value></property>v!小个任务可申语的4名VCoreh1><property><name>yam.scheduler.maxirru-allocation-vcones<nane><value>10<value></property><!-JmHiKftWHDFS-><property><name>yam.iog-aggregation-cnable<na11je><value>tue<value><propcrty>v!邂合H力保“时长，取位秒一<property><name>yam.log-aggregation.retain-seconds<nae><value>2S92<value><property>v!一聚介HAHDFS“储路恰a<property><name>yam.nodeanagcr.rarotc-app-log-dir<nae><value>datahadoopyan-1ogs<value><propcrty>v!一破用小中网度器-A<property><name>yam.resourcemanager,scheduler.class<nae><value>ot*g.apache.hacic×>p.yam-sevev*.r*esourcefranager.scheduler.fair.FaicSciKxIuIc<value><property>使用公平典电愿配Bt文件路彼><property><ame>yscheduler,fiir.aIIoaition.filc<ruc><value>usrlocalhadoopetrhadpfair-scheduler.!nl<value><property>“configuration,mapred-site.xmi配置信息如下:<congMantlon><!-HistoryServerftJW><property><name>rraprcduce.jobhistx>rv.address<name><value>hadpl:10020<value><property><property><name>frnpreduce.Jobhistory.*ebapp.address<nane><value>hadpl:19888<VaiueA<property><property><name>rrapreduce.jobhistoy.joblist.cache.size<natne><value>200000<value><property><!-MapReducefV'ftidtjtfYamk><property><name>rapreduce.frameoi'k.nae<name><value>ycm<v<lue><property><property><name>rraDreduce.rap.mefrory.b<name><value>1024<val>e><propcrty><property><name>rrnpreduce.reduce.mefrory.tnb<name><value>8192<value><property><property><name>11flpreduce.nap.java.opts<natne><value>-Xwl700n-Xrs900<valuc><property><properry><name>rraprducc.reduce.java.opts<name><value>-Xrw716-Xms3000tt<value><propcrty><property><ure>frnpreduce.client.sulxit.le.replicatiowme><value>20<value><property>!-b½user.na