智慧城管大数据项目部署运维手册.docx

智慧城管大数据平台分析项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本81. 批量执行命令脚本82. 批量重命名脚本93. 批量拷贝脚本104. cm_migrate,sh125. format2.sh126. mountDisk.sh137. network,sh138. node,1.ist149. node,txt142. 3hostname及hosts配置141 .配置每台节点的hostname142 .配置节点ip、hostname映射152.4 禁用SE1.inux152.5 关闭防火墙162.6 设置SWaPPineSS172.7 关闭透明大页面182.8 配置操作系统本地yum源192.9 安装http服务202. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群安装向导335. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数456. 酉已置regionserver467. scp-rhbase到其他节点46六、F1.ume安装476. 1安装47七、Kafka安装：477. 1安装47一、文章编写目的本文档主要描述C1.oUdera智慧城管大数据平台的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火墙、同步服务罂时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档CDH安装前置准备；2 .安装C1.ouderaManager：3 .通过C1.ouderaManager的WebUI向导式安装CDH集群;4 .集群完整性检查，包括HDFS文件系统、MaPReduce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用root对集群进行部署4 .您已经下载CDH和CM的安装包二、前置准备2.1 配置网络ip开启虚拟机，修改配置文件输入如下命令11ctcsysco11fignctwork-scriptsifcfg-*会出现如下内容（ifcfg-ens后面的名字可能不同）-rw.1rootroot6168月1319:25etcsysconfignetwork-scripts/ifcfg-ens16777736-rw-r-r.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令Vietcsysconfignetwork-scriptsifcfgens16777736出现下图界面rootwork-scripts#viifcfg-eno1.6777736# 网络类型（通常是Ethernet）TYPE="Ethernet"# IP的配置方法noneStatic1.bootpdhcpj（引导时不使用协议I静态分配IP1.booth协议Idhcp协议）BOOTPROTO="dhcprDEFRouTE="yes"IPV4_FAI1.URE_FATA1.="no”IPV6INIT="yes"IPV6,AUT0C0NF=yes"IPV6_DEFR0UTE=*yes"IPV6FAI1.UREFATA1.="no"NAME=eno1.6777736"# 随机idUUID=6d21f413-619d-4283-9ba2-e1.a724c1.c593nDEVICE="eno1.6777736"。系统启动的时候网络接口是否有效（ycsno）ONBOOT="yes"PEERDNs="yes"PEERRouTES="yes"IPV6_PEERDNS=*yes"PV6_PEERROUTES="yes"PV6_PR1.VACY="no"需要修改的地方有：BOOTPROTO=StaticWhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPDDR=192.168.139.101#静杰IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话,通常是2,也就是VMnet8的网关设置（增加）NETMASK=255.255.255.0#子网掩码（增加）DNS1=192.168.139.2ffDNS配置，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip地址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOHWADDr=OO:0C：29：14：8B：FATYPE=EthernetID=63af865f-878d-4d93-8284-85d60af589bbIDNBOOT=yesNM_CONTRO1.1.ED=yesbPRQTQ=staticI1.PAbDR=19.ib.1.iuu3ATEWAY=192.168.1.2)NS1=114.114.114.114)NS2=8A8.8重启网络服务使ip生效servicenetworkrestart如果报错，reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132,192.168.1.133注意：每台节点克隆后需要删除每台节点/e1.cudev/ru1es.d70-PCrSiStCnt-net.ru1.es文件,清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改mac地址FrootQhadoop1.O1.ttvimctcudevru1.cs.d70-pcrsistcnt-nct.ruIes进入如下页面，删除CthO该行；将Cth1.修改为Cth0,同时焚制物理ip地址，如图所示修改ip地址roo1.Qhad（K）p1.01/#Vimetcsysconfig/ne1.work-scripts/ifcfg-eth（1）把复制的物理ip地址更新HWADDr=OO：0C：2x：6x：Ox：XX#MAC地址（2）修改成你想要的ipIPADDR=192.168.1.132#IP地址2.2编写相关操作脚本脚本依赖expeci程序，需要在执行这些脚本的服务器上安装expect.安装方式：yuminsta1.1.expect1. 批量执行命令脚本batchcmd.sh#!/bin/shIistfi1.c=$1.Cmd=$2userna11e=rootpassword=123456catS1.ist_fi1.ewhi1.eread1.inedohost_ip='echoS1.ineiawk,printS1.）,#usernane=echo$1ineawk,print$2''Jtpassword=echo$1ineawk,print$3'./expect_cmd$host_ipSusernameSpasswort1.飞C1.IKrdoneexpectcmd#!/usr/bin/expectsettimeout10sethostIindexSargv0setusername!index$argv11setpassword!index$argv2setcmdIindexSargv3spawnsshp22$uSernameShoS1."$Cm(Texpect,(yesno)?"(send"yesn,expect"*assword:"send"SpasswordXn""assword："(send"$passwordn")expect"100%"#cxpccteofexit02. 批量重命名脚本batchzw<三ecmd.shtt!binsh1.ist_fi1.e=$1.USername=rootpassword=123456catS1.iSjfi1.ewhi1.eread1.inedohost_ip='echo$1ineIawk'printS1.),host_narae=echo$1ineawk'print$2'host_a1.ias-name='echoS1.ine)awk,(print$3ttusername=echo$1inc)awk'print$2'Jtpassword="echoS1.ineawk'print$3'、./expect_rename_cmd$hos1._ip$uSername$PaSSWord$host_namdonecxpcctrcnamecmd#!usrbinexpectsettimeout10sethost!indexSargv0setusername!index$argv1setpassword!index$argv2sethostname!index$argv3spawnssh-p22$USCrnamC©Shost"scd-is"HOST.*/HoSTNAME=Shostname/etc/sysconfig/network；hostname$hostname；hostnamect1.set-hostnameShostname'"expect,(yesno)?"(send"yesn*expect"*assword:"send"$PaSSWOrdn")*assword:"(send"$passwordn")expect"100%"#cxpectcofexitO3. 批量拷贝脚本batch_scp.sh#!/bin/sh1.ist_fi1.e=$1.SrJfiIe=$2dest_fi1.e=$3username=rootpassword=123456catS1.ist_fi1.ewhi1.eread1.inedohost_ip='echo$1ine!awk'print$1'、#uSerna1.ne=、echo$1.ineawk'print$2'、Itpassword=echo$1incawk'print$3'、.expect-scp$host_ipSusername$PaSSWord$src_fi1.e$destfi1.edoneexpect_scp#!usrbinexpectsettimeout10sethost1indexSargv0setusername!index$argv1setpassword!index$argv2setsrc_fiIeIindex$argv3setdest_fi1.e!index$argv4spawnscp-rSsrcfiIc$uscrnamc$host：Sdcstfi1.eexpect"(yesno)?"(sendnyesn,expect"*assword:"send"Spasswordn")"assword："send"$passwordn"expect”100Vexpecteof4. cm-migrate,sh#!/bin/bash#updatcCMIPif!=1；thenecho"USAGE：$0<CM_IP>"echone.g.：$0192.168.1.2"exit1；fishbatch_cmd.shnode.1.ist"sed-isserver-host=.*/server_host=S1.etcc1.oudera-scm-agentconfig.ini"#updatemysq1.echo"updateCMHOSTJI)"host_id='mysq1.-uroot-p1.23456-execute="usecm；se1.ectHOST_IDfromHOSTSwhereIP.ADDRESS='$1'；'*host_id2=$(echoS(host-idawk-F'''print$2)')#echo$host_id)#ccho$hostid2)11ysq1.-uroot-p1.23456execute="usecm；updateRO1.ESsetIIOST_ID=$host_id2)whereNAME1ike'mgmt-%,；n5. format2.sh#!/bin/shforiinb.m)doparted-s/dev/sd$imk1.abe1.gptparted-sdevsdSimkpartprimary2048s100%usrsbinmkfs.xfs-f/dcv/sd$i1done6. mountDisk.sh#!/bin/sh#backupetcfstabCPetcfstabetcfstab.bakPARTITION1.IST="sdb1.sdc1.sdd1.sdc1.sdf1.sdg1.sdh1.sdi1sdj1.sdk1.sd1.1.sdm1.,i=1.forPARTITIONinSPARTITION1.ISTdoUUID='b1.kid*7dev/""$PARTIT1.ON"awk,print$2,sed,sVg,'echo$1JUIDecho"addSPRTITIONtoetcfstab,MOuNTDIR="/data""$i"i=S(i+1)echo"mkdir-p$MoUNTDIR"mkdir-p$MoUNTDIRecho"appending"$UUIDSMOUNTDIRxfsdefau1.ts00"toetc/fstabnecho"$UUIDSMOUNTDTRXfSdefau1.tsOO"»etcfstabINWechodoneAmounta1.1.partitionsmount-a加howmountedpartitionsdf-h7. network,shvirshne1.des1.roydefau1.tvirshnct-undefinedcfau1.tsystemct1.restart1ibvirtd.serviceyumremoveIibvirt8. node,1.ist192.168.1.131192.168.1.132192.168.1.1339.node.txt192.168.1.131192.168.1.132192.168.1.133node1.node2node32.3hostname及hosts配置集讲中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过etchosts配置,主机名通过etchostnamc进行配置。1 .配置每台节点的hostnanctchostnamc文件如下：node1.或者可以通过命令修改立即生效rootip172-31-1338'JShosInamect1.set-hostnamenode1.可以使用脚本执行roo1.Q1.oca1.hostbin#shbatch_rename_cnid.shnode,tx1.spawnssh-p22root©192.168.1.131scd-isH0ST.*HOSTNAME=root0192.168.1.13spassword：spawnssh-p22root1.92.168.1.132sed-is/'HOST.*HOSTNAME=root0192.168.1.132,spassword：spawnssh-p22root©192.168.1.133SCd-is/-HOST.*HOSTNME=rootQ192.168.1.133'spassword:2 .配置节点ip、hostname映射在每台节点ctchosts文件后追加如下内容，配置ip与hostname之间的映射nodc1.node2node3可以将node,txt文件内容追加到etchostscatnode,txt>>ctchosts脚本执行shbatchscp.shnode,1.istetchosts/etc/2.4禁用SE1.inuxSE1.inux就是Sccurity-Enhanccd1.inux的简称,安全加强的Iinux0传统的IinUX权限是对文件和目录的owner,group和Other的rwx进行控制，而SE1.inUX采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SE1.inux规定了很多的规则,来决定哪个进程可以访问哪些文件和目录。虽然SE1.inUX很好用，但是在多数情况我们还是将其关闭，因为在不了解其机制的情况下使用SE1.inux会导致软件安装或者应用部署失败。在所有节点执行SetenforceO命令shbatch_cmd.shnode,1.istwSetenforceO"集群所有节点修改e1.cse1.inuxConfig文件如下（重启才能生效,所有需要配置上面的临时关闭）：SE1.1.MJX=disab1.edSE1.1.NUXTYPE=targetedshbatch_cmd.shnode.1.ist"sedis'SE1.INUX=.*SE1.INUX=disab1.ed/etcse1.inuxconfigwroot1.oca1.hostvietcse1.inuxconfig9Thisfi1.econtro1.sthestateofSE1.inuxonthesystem.tSE1.INU×*C4Intakeoneofthesethreeva1.ues:9enforcing-SE1.inuxsecuritypo1.icyisenforced.*perissive-SE1.inuxprintsrdrninginsteadofenforcing.<disab1.ed-MoSE1.irwxpo1.icyis1.oaded.SE1.INUXdisab1.ed,SE1.INUXTYPE-cantakeCfWofthreetwova1.ues:9targeted-Targetedprocessesareprotected,IBinifHJtR-Modificationoftargetedpo1.icy.On1.yse1.ectedprocessesareprotected.tmisMu1.ti1.eve1.Securityprotection.SE1.1.NUXTYPE=targeted批量拷贝到其他节点shbatchscp.shnode,1.istetcse1.inuxconfigetcse1.inux检查所有机器是否已修改成功：Shbatchmd.shnode,1.ist"catetcse1.inuxconfigwIgrepSE1.INUX2.5关闭防火墙集群所有节点执行SyS1.emC1.1.stopfirewa1.1.d命令shbatch_cmd.shnode,1.ist'systemct1.stopfirewa1.1.dwshbatch_cmd.shnode,1.ist"systemct1.disab1.efirewa1.1.d"shbatchcmd.shnode.1.ist"systemct1.statusfirewa11d"grcPActive(root1.oca1.host-«ca1.1.shsystect1.disab1.efirewa1.1.dnode1.Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.ID1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.node2Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.1.D1.service.Removedsy1.iketcsystemdsystebasic.target.wa11tsfircwa1.1.d.service.node3Removedsy1.inketcsystcmdsystedbus-org.fedorproject.Firewa1.1.D1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.root1.ocIhost-Jxc1.1.ssyte*ct1.stntufirewa1.1.d.node1.- firewa1.1.d.service-firewa1.1.d-dynaaicfirewa1.1.daeon1.oaded:1.oaded(usr1.ibsystedysteafir«wd1.1.d.service;disab1.ed;vendorpreset:enab1.ed)Active:inactive(dead)8月2216:09:58Ioca1.hott.Ioca1.doedinSyStaBd1):Starting<irM*1.1.ddynaaicfirewa1.1.dM*on.8月2216:W:59Iocd1.bost.Ioca1.doedinsyste三d1.):Startedir*w1.1.d-dy0ic<irew*1.1.8月2216:55:07100IhoStsysted(1.:StoppingfreMa1.1.d-dynamicfIrea1.1.d4e*x.8月2216:55:弊Iocd1.hostsyst<ed(1.:Stoppedfir<wa1.1.d-dynkfirewa1.1.d<M*on.COde2 firew1.id.service-firewa1.1.d-dyn*icfiroM1.1.deo1.oaded:1.oaded(uir1.ibsysted5ystefirewa1.1.d.aervice;dibb1.ed;vendorpreset:enab1.ed)Active:inactive(dead)Bff2216:16:17Ioca1.hoit.Ioca1.doeainyted1.:Startingfirewa1.1.d-dytvaicfirewo1.1.dc.8月2216:16:381.oca1.hot.1.oc1.d<xu>inytcd1.):StartedfirtM1.1.ddynoaic<ircM*1.1.daemon.8月2216:55:03Ioca1.hoitytc*d1.:Stoppingfirpua1.1.ddynamicfireua1.1.(UCBO.8月2216:53:4IOCahaStsyste*1.1.:Stoppeddy11Micf1.reua1.1.<M<on.node)- Iirew«1.1.d.service-fIrewe1.1.d-dynaaic£2MIIdemon1.oaded:1.oaded(ur1.ibsyste*dsystefiroM1.1.d.service;d&Mb1.ed;vendorpreset：enab1.ed)Active:inactive(de«d)。月2216:47:02Ioco1.host.Ioca1.doMinsystead1.:StartingfircM1.1.d-dynaaicfirewa1.1.dae.0月2216:47:0)1.oca1.host.Ioca1.doeainyted1.:StartedfireMa1.1.d-dynaaicfirewa1.1.daeon.8月2217:08:181.oca1.hostsystead1.:Stoppingfirewa1.1.d-dynaaicfirewa1.1.doeon.8月2217:08:38Ioca1.hostyted1.:Stoppedfircw1.1.ddynaaicfirewa1.1.dacon.2. 6设置swappiness所有节点执行shbatch_cmd.shnode.1.ist,sysct1.vm.swappiness=1.rShbatch_cmd.shnode.1.istrecho1>procsysvmswappiness"shbatch_cmd.shnode.1.ist"catprocsys/vm/swappiness"root1.oca1.hostnode1.vm.swappiness=node2vm.swappiness=node3vm.swappiness=.ssh#xca1.1.shsysct1.vm.Swappiness=IC101.102.7关闭透明大页面在管理节点使用脚本执行:shbatch_cmd.shnode,1.istarcnthugcpagc/dcfrag"shbatch_cmd.shnode,1.istepage/defrag"shbatchcmd.shnode.1istarent_hugepage/enab1ed"Shbatch_cmd.shnode.1.istepage/enab1.ed""echonever>syskerne1.mmtransp"catsyskerne1.11mtransparent-hug*cchonever>syskcrnc1.mmtransp"catsyskerne1/mntransparent_hug设置开机自关闭将如下脚本添加到etcrc.drc.1.oca1.文件中iftestf/sys/kerne1/nmtransparent_hugepage/enab1.ed；thenechonever>/sys/kerne1/mm/transparent_hugepage/enab1.edfiiftest-fsyskernc1.mntransparc11thugcpagc/dcfrag；thenechonever>/sys/kerne1./mm/transparent_hugepage/defragfi也可直接使用脚本shbatchcmd.shnode,txt'echo"iftest-fsyskcrnc1.mmtransparent_hugepage/enab1.ed：then"»etcrc.dc.Iocahecho”echonever>/sys/kerne1.m11transparent_hugepage/enab1ed"»etcrc.drc.1.oca1.；echo"fir»etcrc.drc.1.oca1.'shbatchcmd.shnode,txt'echo"iftest-fsyskcrnc1.mmtransparent_hugepage/defrag；then"»etcrc.c1.rc.Iocakecho"echonever>/sys/kerne1/mm/1ransparent_hugepage/defrag"»/etcrc.drc.1.oca1.；echo"fi"»etcrc.drc.1.oca1.'同步到所有节点#赋予rc.1.oca1.脚本可执行权限etcrc.drc.1.oca1.ctcrc.d/,chmod+xetcrc.drc.1.oca1."*1.s-1e1.crc.dgreprc.1.oca1.,catetcrc.drc.1.oca1.shbatchscp.shnode,1.istshbatch_cmd.shnode,1.istShbatchcmd.shnode,1.ist2. 8配置操作系统本地yum源挂载操作系统iso文件mkdir-pmediaDVD1.mount-o1.oopCen1.OS7-8664-DVD-1511.isomediaDVD1.df-h(root1.oca1.hostsoftware)#aount。1.oopCentOS-7-x86_64-OVD1511.isomediDVt)1.mount:dcv1.oop0写保护，将以只读方式挂IB(root1.oca1.hostsoftware)#df-h文件系统容量已用可用已用X挂t点dcvjppcrccntos-root1012G8.661.3GIX/dcvtpf5126e1260%Zdcvtmpfs12Ge12G%dcvshmtmpfs126ITM12G1%/runtmpfs12Ge12G%sysf5cropdcvsda1.497M125H373M25%/boottmpfs2.4Ge2.4G%runuser0dcv1.oop4.IG4.IG01.%mcdia(M)1.配置操作系统reporootnode1.'Ssudovietcyum.repos.d/1.oca1._os.repo1.oca1.isoRame=CentOS-Sre1.easever-Mediabaseur1.=fi1.e：/media/DVD1gpgchcck=OenabIed=IrootGnodc1."Ssudoyumrepo)ist以上内容中，bascur1.是指YUm源的地址，该路径下有个rcpodata目录，就是yum安装源目录。fi1.e：表示yum源为文件。如果只想让1.oca1.,repo生效，可以在每台节点的e1.cyum.repos,d目录下创建一个repo加左目录,将其他的以“.repo”结尾的文件都移动到2,pobak目录中。shbatch_cmd.shnode.1.ist*mkdir-p/etc/yum.repos.d/repo_bakshbatchcmd.shnode.1istyum.repos.d/repo_bak/""mvctcyum.repos.dCcntOS-*ctc在每台节点上执行以下命令，更新yum源Shbatch_cmd.shnode,1.ist,yumc1.eana1.1.,"yumrepo1.ist,root1.oca1.hostyum.repos.d#11总用量8Shbatchcnd.shnode,1.ist2219:00Ioca1.os.repo2219:01repo_bak-rw-r-r-.1rootroot968月dnxr-xr-x.2rtroot40968月1 .9安装http服务安装apache的httpd服务主要用于搭建OS、C1.ouderaManager.CDH的yum源。在集群服务器中选择一台服务器来安装httpd服务，命令如下：安装httpd服务yum-yinsta1.1.httpd启动httpd服务Systemct1.starthttpdSys1.emct1.statushttpdsystemct1.enab1.ehttpd安装完h1.1.pd后，重新制作操作系统rep。，换成h1.1.p的方式方便其它服务器也可以访问mkdir/varw¼,whtm1/isoscp-rmediaDVD1.*/var/www/htm1/iso/root如Ode1."$sudovietcyum.repo