智慧城管大数据项目部署运维手册.docx

《智慧城管大数据项目部署运维手册.docx》由会员分享，可在线阅读，更多相关《智慧城管大数据项目部署运维手册.docx（41页珍藏版）》请在课桌文档上搜索。

1、智慧城管大数据平台分析项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本81. 批量执行命令脚本82. 批量重命名脚本93. 批量拷贝脚本104. cm_migrate,sh125. format2.sh126. mountDisk.sh137. network,sh138. node,1.ist149. node,txt142. 3hostname及hosts配置141 .配置每台节点的hostname142 .配置节点ip、hostname映射152.4 禁用SE1.inux152.5 关闭防火墙162.6 设置SWa

2、PPineSS172.7 关闭透明大页面182.8 配置操作系统本地yum源192.9 安装http服务202. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群

3、安装向导335. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数456. 酉已置regionserver467. scp-rhbase到其他节点46六、F1.ume安装476. 1安装47七、Kafka安装：477. 1安装47一、文章编写目的本文档主要描述C1.oUdera智慧城管大数据平台的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、

4、关闭防火墙、同步服务罂时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档CDH安装前置准备；2 .安装C1.ouderaManager：3 .通过C1.ouderaManager的WebUI向导式安装CDH集群;4 .集群完整性检查，包括HDFS文件系统、MaPReduce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用root对集群进行部署4 .您已经下载CDH和CM的安装包二、前置准备2.1 配置网络ip开启虚拟机，修改配置文件输入如下命令11ctcsysco11fign

5、ctwork-scriptsifcfg-*会出现如下内容（ifcfg-ens后面的名字可能不同）-rw.1rootroot6168月1319:25etcsysconfignetwork-scripts/ifcfg-ens16777736-rw-r-r.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令Vietcsysconfignetwork-scriptsifcfgens16777736出现下图界面rootwork-scripts#viifcfg-eno1.6777736# 网络类型（通常是Ethernet）TYPE

6、=Ethernet# IP的配置方法noneStatic1.bootpdhcpj（引导时不使用协议I静态分配IP1.booth协议Idhcp协议）BOOTPROTO=dhcprDEFRouTE=yesIPV4_FAI1.URE_FATA1.=no”IPV6INIT=yesIPV6,AUT0C0NF=yesIPV6_DEFR0UTE=*yesIPV6FAI1.UREFATA1.=noNAME=eno1.6777736# 随机idUUID=6d21f413-619d-4283-9ba2-e1.a724c1.c593nDEVICE=eno1.6777736。系统启动的时候网络接口是否有效（ycsno

7、）ONBOOT=yesPEERDNs=yesPEERRouTES=yesIPV6_PEERDNS=*yesPV6_PEERROUTES=yesPV6_PR1.VACY=no需要修改的地方有：BOOTPROTO=StaticWhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPDDR=192.168.139.101#静杰IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话,通常是2,也就是VMnet8的网关设置（增加）NETMASK=255.255.255.0#子网掩码（增加）DNS1=192.168.139.2ffDNS配置

8、，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip地址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOHWADDr=OO:0C：29：14：8B：FATYPE=EthernetID=63af865f-878d-4d93-8284-85d60af589bbIDNBOOT=yesNM_CONTRO1.1.ED=yesbPRQTQ=staticI1.PAbDR=19.ib.1.iuu3ATEWAY=192.168.1.2)NS1=114.114.114

9、.114)NS2=8A8.8重启网络服务使ip生效servicenetworkrestart如果报错，reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132,192.168.1.133注意：每台节点克隆后需要删除每台节点/e1.cudev/ru1es.d70-PCrSiStCnt-net.ru1.es文件,清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改mac地址FrootQhadoop1.O1.ttvimctcudevru1.cs.d70-pcrsistcnt-nct.ruIes进入如下页面，删除CthO该行；将Cth1.修改

10、为Cth0,同时焚制物理ip地址，如图所示修改ip地址roo1.Qhad（K）p1.01/#Vimetcsysconfig/ne1.work-scripts/ifcfg-eth（1）把复制的物理ip地址更新HWADDr=OO：0C：2x：6x：Ox：XX#MAC地址（2）修改成你想要的ipIPADDR=192.168.1.132#IP地址2.2编写相关操作脚本脚本依赖expeci程序，需要在执行这些脚本的服务器上安装expect.安装方式：yuminsta1.1.expect1. 批量执行命令脚本batchcmd.sh#!/bin/shIistfi1.c=$1.Cmd=$2userna11e=

11、rootpassword=123456catS1.ist_fi1.ewhi1.eread1.inedohost_ip=echoS1.ineiawk,printS1.）,#usernane=echo$1ineawk,print$2Jtpassword=echo$1ineawk,print$3./expect_cmd$host_ipSusernameSpasswort1.飞C1.IKrdoneexpectcmd#!/usr/bin/expectsettimeout10sethostIindexSargv0setusername!index$argv11setpassword!index$argv2

12、setcmdIindexSargv3spawnsshp22$uSernameShoS1.$Cm(Texpect,(yesno)?(sendyesn,expect*assword:sendSpasswordXnassword：(send$passwordn)expect100%#cxpccteofexit02. 批量重命名脚本batchzw三ecmd.shtt!binsh1.ist_fi1.e=$1.USername=rootpassword=123456catS1.iSjfi1.ewhi1.eread1.inedohost_ip=echo$1ineIawkprintS1.),host_nara

13、e=echo$1ineawkprint$2host_a1.ias-name=echoS1.ine)awk,(print$3ttusername=echo$1inc)awkprint$2Jtpassword=echoS1.ineawkprint$3、./expect_rename_cmd$hos1._ip$uSername$PaSSWord$host_namdonecxpcctrcnamecmd#!usrbinexpectsettimeout10sethost!indexSargv0setusername!index$argv1setpassword!index$argv2sethostname

14、!index$argv3spawnssh-p22$USCrnamCShostscd-isHOST.*/HoSTNAME=Shostname/etc/sysconfig/network；hostname$hostname；hostnamect1.set-hostnameShostnameexpect,(yesno)?(sendyesn*expect*assword:send$PaSSWOrdn)*assword:(send$passwordn)expect100%#cxpectcofexitO3. 批量拷贝脚本batch_scp.sh#!/bin/sh1.ist_fi1.e=$1.SrJfiIe

15、=$2dest_fi1.e=$3username=rootpassword=123456catS1.ist_fi1.ewhi1.eread1.inedohost_ip=echo$1ine!awkprint$1、#uSerna1.ne=、echo$1.ineawkprint$2、Itpassword=echo$1incawkprint$3、.expect-scp$host_ipSusername$PaSSWord$src_fi1.e$destfi1.edoneexpect_scp#!usrbinexpectsettimeout10sethost1indexSargv0setusername!in

16、dex$argv1setpassword!index$argv2setsrc_fiIeIindex$argv3setdest_fi1.e!index$argv4spawnscp-rSsrcfiIc$uscrnamc$host：Sdcstfi1.eexpect(yesno)?(sendnyesn,expect*assword:sendSpasswordn)assword：send$passwordnexpect”100Vexpecteof4. cm-migrate,sh#!/bin/bash#updatcCMIPif!=1；thenechoUSAGE：$0echone.g.：$0192.168.

17、1.2exit1；fishbatch_cmd.shnode.1.istsed-isserver-host=.*/server_host=S1.etcc1.oudera-scm-agentconfig.ini#updatemysq1.echoupdateCMHOSTJI)host_id=mysq1.-uroot-p1.23456-execute=usecm；se1.ectHOST_IDfromHOSTSwhereIP.ADDRESS=$1；*host_id2=$(echoS(host-idawk-Fprint$2)#echo$host_id)#ccho$hostid2)11ysq1.-uroot

18、-p1.23456execute=usecm；updateRO1.ESsetIIOST_ID=$host_id2)whereNAME1ikemgmt-%,；n5. format2.sh#!/bin/shforiinb.m)doparted-s/dev/sd$imk1.abe1.gptparted-sdevsdSimkpartprimary2048s100%usrsbinmkfs.xfs-f/dcv/sd$i1done6. mountDisk.sh#!/bin/sh#backupetcfstabCPetcfstabetcfstab.bakPARTITION1.IST=sdb1.sdc1.sdd1

19、.sdc1.sdf1.sdg1.sdh1.sdi1sdj1.sdk1.sd1.1.sdm1.,i=1.forPARTITIONinSPARTITION1.ISTdoUUID=b1.kid*7dev/$PARTIT1.ONawk,print$2,sed,sVg,echo$1JUIDechoaddSPRTITIONtoetcfstab,MOuNTDIR=/data$ii=S(i+1)echomkdir-p$MoUNTDIRmkdir-p$MoUNTDIRechoappending$UUIDSMOUNTDIRxfsdefau1.ts00toetc/fstabnecho$UUIDSMOUNTDTRXf

20、Sdefau1.tsOOetcfstabINWechodoneAmounta1.1.partitionsmount-a加howmountedpartitionsdf-h7. network,shvirshne1.des1.roydefau1.tvirshnct-undefinedcfau1.tsystemct1.restart1ibvirtd.serviceyumremoveIibvirt8. node,1.ist192.168.1.131192.168.1.132192.168.1.1339.node.txt192.168.1.131192.168.1.132192.168.1.133nod

21、e1.node2node32.3hostname及hosts配置集讲中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过etchosts配置,主机名通过etchostnamc进行配置。1 .配置每台节点的hostnanctchostnamc文件如下：node1.或者可以通过命令修改立即生效rootip172-31-1338JShosInamect1.set-hostnamenode1.可以使用脚本执行roo1.Q1.oca1.hostbin#shbatch_rename_cnid.shnode,tx1.spawnssh-p22root192.168.1.131scd-isH0ST.*

22、HOSTNAME=root0192.168.1.13spassword：spawnssh-p22root1.92.168.1.132sed-is/HOST.*HOSTNAME=root0192.168.1.132,spassword：spawnssh-p22root192.168.1.133SCd-is/-HOST.*HOSTNME=rootQ192.168.1.133spassword:2 .配置节点ip、hostname映射在每台节点ctchosts文件后追加如下内容，配置ip与hostname之间的映射nodc1.node2node3可以将node,txt文件内容追加到etchostsc

23、atnode,txtctchosts脚本执行shbatchscp.shnode,1.istetchosts/etc/2.4禁用SE1.inuxSE1.inux就是Sccurity-Enhanccd1.inux的简称,安全加强的Iinux0传统的IinUX权限是对文件和目录的owner,group和Other的rwx进行控制，而SE1.inUX采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SE1.inux规定了很多的规则,来决定哪个进程可以访问哪些文件和目录。虽然SE1.inUX很好用，但是在多数情况我们还是将其关闭，因为在不了解其机制的情况下使用SE1.inu

24、x会导致软件安装或者应用部署失败。在所有节点执行SetenforceO命令shbatch_cmd.shnode,1.istwSetenforceO集群所有节点修改e1.cse1.inuxConfig文件如下（重启才能生效,所有需要配置上面的临时关闭）：SE1.1.MJX=disab1.edSE1.1.NUXTYPE=targetedshbatch_cmd.shnode.1.istsedisSE1.INUX=.*SE1.INUX=disab1.ed/etcse1.inuxconfigwroot1.oca1.hostvietcse1.inuxconfig9Thisfi1.econtro1.sthe

25、stateofSE1.inuxonthesystem.tSE1.INU*C4Intakeoneofthesethreeva1.ues:9enforcing-SE1.inuxsecuritypo1.icyisenforced.*perissive-SE1.inuxprintsrdrninginsteadofenforcing.disab1.ed-MoSE1.irwxpo1.icyis1.oaded.SE1.INUXdisab1.ed,SE1.INUXTYPE-cantakeCfWofthreetwova1.ues:9targeted-Targetedprocessesareprotected,I

26、BinifHJtR-Modificationoftargetedpo1.icy.On1.yse1.ectedprocessesareprotected.tmisMu1.ti1.eve1.Securityprotection.SE1.1.NUXTYPE=targeted批量拷贝到其他节点shbatchscp.shnode,1.istetcse1.inuxconfigetcse1.inux检查所有机器是否已修改成功：Shbatchmd.shnode,1.istcatetcse1.inuxconfigwIgrepSE1.INUX2.5关闭防火墙集群所有节点执行SyS1.emC1.1.stopfire

27、wa1.1.d命令shbatch_cmd.shnode,1.istsystemct1.stopfirewa1.1.dwshbatch_cmd.shnode,1.istsystemct1.disab1.efirewa1.1.dshbatchcmd.shnode.1.istsystemct1.statusfirewa11dgrcPActive(root1.oca1.host-ca1.1.shsystect1.disab1.efirewa1.1.dnode1.Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.ID1.servic

28、e.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.node2Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.1.D1.service.Removedsy1.iketcsystemdsystebasic.target.wa11tsfircwa1.1.d.service.node3Removedsy1.inketcsystcmdsystedbus-org.fedorproject.Firewa1.1.D1.service.Removed

29、sya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.root1.ocIhost-Jxc1.1.ssyte*ct1.stntufirewa1.1.d.node1.- firewa1.1.d.service-firewa1.1.d-dynaaicfirewa1.1.daeon1.oaded:1.oaded(usr1.ibsystedysteafirwd1.1.d.service;disab1.ed;vendorpreset:enab1.ed)Active:inactive(dead)8月2216:09:58Ioca1.hott.

30、Ioca1.doedinSyStaBd1):StartingirM*1.1.ddynaaicfirewa1.1.dM*on.8月2216:W:59Iocd1.bost.Ioca1.doedinsyste三d1.):Startedir*w1.1.d-dy0icirew*1.1.8月2216:55:07100IhoStsysted(1.:StoppingfreMa1.1.d-dynamicfIrea1.1.d4e*x.8月2216:55:弊Iocd1.hostsysted(1.:Stoppedfirwa1.1.d-dynkfirewa1.1.dM*on.COde2 firew1.id.servic

31、e-firewa1.1.d-dyn*icfiroM1.1.deo1.oaded:1.oaded(uir1.ibsysted5ystefirewa1.1.d.aervice;dibb1.ed;vendorpreset:enab1.ed)Active:inactive(dead)Bff2216:16:17Ioca1.hoit.Ioca1.doeainyted1.:Startingfirewa1.1.d-dytvaicfirewo1.1.dc.8月2216:16:381.oca1.hot.1.oc1.dinytcd1.):StartedfirtM1.1.ddynoaicircM*1.1.daemon

32、.8月2216:55:03Ioca1.hoitytc*d1.:Stoppingfirpua1.1.ddynamicfireua1.1.(UCBO.8月2216:53:4IOCahaStsyste*1.1.:Stoppeddy11Micf1.reua1.1.Mprocsysvmswappinessshbatch_cmd.shnode.1.istcatprocsys/vm/swappinessroot1.oca1.hostnode1.vm.swappiness=node2vm.swappiness=node3vm.swappiness=.ssh#xca1.1.shsysct1.vm.Swappin

33、ess=IC101.102.7关闭透明大页面在管理节点使用脚本执行:shbatch_cmd.shnode,1.istarcnthugcpagc/dcfragshbatch_cmd.shnode,1.istepage/defragshbatchcmd.shnode.1istarent_hugepage/enab1edShbatch_cmd.shnode.1.istepage/enab1.edechoneversyskerne1.mmtranspcatsyskerne1.11mtransparent-hug*cchoneversyskcrnc1.mmtranspcatsyskerne1/mntra

34、nsparent_hug设置开机自关闭将如下脚本添加到etcrc.drc.1.oca1.文件中iftestf/sys/kerne1/nmtransparent_hugepage/enab1.ed；thenechonever/sys/kerne1/mm/transparent_hugepage/enab1.edfiiftest-fsyskernc1.mntransparc11thugcpagc/dcfrag；thenechonever/sys/kerne1./mm/transparent_hugepage/defragfi也可直接使用脚本shbatchcmd.shnode,txtechoifte

35、st-fsyskcrnc1.mmtransparent_hugepage/enab1.ed：thenetcrc.dc.Iocahecho”echonever/sys/kerne1.m11transparent_hugepage/enab1edetcrc.drc.1.oca1.；echofiretcrc.drc.1.oca1.shbatchcmd.shnode,txtechoiftest-fsyskcrnc1.mmtransparent_hugepage/defrag；thenetcrc.c1.rc.Iocakechoechonever/sys/kerne1/mm/1ransparent_hug

36、epage/defrag/etcrc.drc.1.oca1.；echofietcrc.drc.1.oca1.同步到所有节点#赋予rc.1.oca1.脚本可执行权限etcrc.drc.1.oca1.ctcrc.d/,chmod+xetcrc.drc.1.oca1.*1.s-1e1.crc.dgreprc.1.oca1.,catetcrc.drc.1.oca1.shbatchscp.shnode,1.istshbatch_cmd.shnode,1.istShbatchcmd.shnode,1.ist2. 8配置操作系统本地yum源挂载操作系统iso文件mkdir-pmediaDVD1.mount-

37、o1.oopCen1.OS7-8664-DVD-1511.isomediaDVD1.df-h(root1.oca1.hostsoftware)#aount。1.oopCentOS-7-x86_64-OVD1511.isomediDVt)1.mount:dcv1.oop0写保护，将以只读方式挂IB(root1.oca1.hostsoftware)#df-h文件系统容量已用可用已用X挂t点dcvjppcrccntos-root1012G8.661.3GIX/dcvtpf5126e1260%Zdcvtmpfs12Ge12G%dcvshmtmpfs126ITM12G1%/runtmpfs12Ge12G

38、%sysf5cropdcvsda1.497M125H373M25%/boottmpfs2.4Ge2.4G%runuser0dcv1.oop4.IG4.IG01.%mcdia(M)1.配置操作系统reporootnode1.Ssudovietcyum.repos.d/1.oca1._os.repo1.oca1.isoRame=CentOS-Sre1.easever-Mediabaseur1.=fi1.e：/media/DVD1gpgchcck=OenabIed=IrootGnodc1.Ssudoyumrepo)ist以上内容中，bascur1.是指YUm源的地址，该路径下有个rcpodata目录

39、，就是yum安装源目录。fi1.e：表示yum源为文件。如果只想让1.oca1.,repo生效，可以在每台节点的e1.cyum.repos,d目录下创建一个repo加左目录,将其他的以“.repo”结尾的文件都移动到2,pobak目录中。shbatch_cmd.shnode.1.ist*mkdir-p/etc/yum.repos.d/repo_bakshbatchcmd.shnode.1istyum.repos.d/repo_bak/mvctcyum.repos.dCcntOS-*ctc在每台节点上执行以下命令，更新yum源Shbatch_cmd.shnode,1.ist,yumc1.eana

40、1.1.,yumrepo1.ist,root1.oca1.hostyum.repos.d#11总用量8Shbatchcnd.shnode,1.ist2219:00Ioca1.os.repo2219:01repo_bak-rw-r-r-.1rootroot968月dnxr-xr-x.2rtroot40968月1 .9安装http服务安装apache的httpd服务主要用于搭建OS、C1.ouderaManager.CDH的yum源。在集群服务器中选择一台服务器来安装httpd服务，命令如下：安装httpd服务yum-yinsta1.1.httpd启动httpd服务Systemct1.starthttpdSys1.emct1.statushttpdsystemct1.enab1.ehttpd安装完h1.1.pd后，重新制作操作系统rep。，换成h1.1.p的方式方便其它服务器也可以访问mkdir/varw,whtm1/isoscp-rmediaDVD1.*/var/www/htm1/iso/root如Ode1.$sudovietcyum.repo