智能招聘项目部署运维手册.docx

《智能招聘项目部署运维手册.docx》由会员分享，可在线阅读，更多相关《智能招聘项目部署运维手册.docx（29页珍藏版）》请在课桌文档上搜索。

1、智能招聘项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本81. 批量执行命令脚本82. 批量重命名脚本93. 批量拷贝脚本104. cm_migrate,sh125. format2.sh126. mountDisk.sh127. network,sh138. node,1.ist149. node,txt142. 3hostname及hosts配置141 .配置每台节点的hostname142 .配置节点ip、hostname映射152.4 禁用SE1.inux152.5 关闭防火墙162.6 设置SWaPPineSS

2、172.7 关闭透明大页面182.8 配置操作系统本地yum源192.9 安装http服务202. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群安装向导335

3、. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数456. 酉已置regionserver467. scp-rhbase到其他节点46六、F1.ume安装476. 1安装47七、Kafka安装：477. 1安装47一、文章编写目的本文档主要描述智能招聘平台的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等，又称为集

4、群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档KDH安装前置准备；2 .安装C1.oUderaManage门3 .通过C1.ouderaManager的WebUI向导式安装CD1.I集祥：4 .集群完整性检查,包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用roo1.对集群进行部署4 .您巳经下载CDH和CM的安装包二、前置准备2. 1配置网络ip开启虚拟机，修改配置文件输入如下命令11etcsysconfignetwork-scriptsifcf

5、g*会出现如下内容（ifcfg-ens后面的名字可能不同）# rw.1rootroot6168月1319:25e1.csySConfigne1.work-scripts/ifcfg-ens16777736# rw-rr一.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令vi/etc/sysconfignctwork-scripts/ifcfg-cns16777736出现下图界面root0cm1.nctwork-scriptsttviifcfg-cno1.6777736# 网络类型（通常是Ethernet）TYPE=E

6、1.herne1.# IP的配置方法noneStatic1.bootpdhcp（引导时不使用协议静杰分配IP1.BooTP协议IDHCP协议）Bootproto=,dhcpDEFROUTE=yes”IPV4_FAI1.URE_FATA1.=noIPV6INIT=yesIPV6-UT0C0NF=yesIPV6DEFRoUTE=yesIPV6_FAI1.URE_FATA1.=noNAME=eno1.6777736# 随机idUUID=*6d21.f413-619d-4283-9ba2-e1.a724c1.c593DEV1.CE=%no1.6777736# 系统启动的时候网络接口是否有效（yesno

7、）ONBOOT=yesPEERDNs=yesPEERRoUTES=yesIPV6PEERDns=yesPV6_PEERRoUTES=yesIPV6_PRIVACY=no*需要修改的地方有：BOOTPROTO=Staticffdhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPADDR=192.168.139.101#静态IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话，通常是2,也就是VMneI8的网关设置（增加）NETMASK=255.255.255.0#子网掩码（增加）DNSI=I92.168.139.2#DNS配

8、置，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip她址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOKWADDr=OO:0C：29：14：8B：FATYPE=EthernetUID=63af865f-878d-4d93-8284-85d60af589bbIDNBoOT=yes1.NM_CONTRO1.1.ED=yesOOTPROTO=StaticI1.PAdD=192.168.1,100GATEWAY=192,168.1.2)NS1=114.

9、114.114.114)NS2=8.8,8.8重启网络服务使ip生效servicenetworkrestart如果报错.reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132.192.168.1.133注意：每台节点克隆后需要删除每台节点etcudevru1.es.d70-PerSiSIen1.ne1.rUIeS文件，清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改nac地址rooIQhad(X)P1.O1.8vinetcudevru1.es.d70-persis1.ent-net.ruIes进入如下页面，删除e1.h该行：将e

10、1.h1.修改为e1.h,同时复制物理ip地址，如图所示修改ip地址rooIQhadoop1.O1.Svim/etc/sysconfig/network-scripIs/ifcfg-eth(1)把复制的物理ip地址更新HWADDr=OO：0C：2x：6x：Ox：xx#MAC地址(2)修改成你想要的ipIPADDR=192.168.1.132#1P地址2.2编写相关操作脚本脚本依赖expeci程序，需要在执行这些脚本的服务器上安装expect.安装方式：yuminsta1.1.expect1. 批量执行命令脚本batchcmd.sh#!/bin/sh1.istfi1.c-$1.cmd=S2use

11、rname=rootpassword=123456catS1.is1._fiIewhiIeread1.inedohost-ip=echoS1.ineIawk,print31、ttusernarae=echo$1.ineawkprint$2)ttpassword=echo$1.ineawk,print$3,./expect_Cmd$host_ipSusername$PaSSWord$Cmddoneexpect_cmd#!/usr/bin/cxpcctsettimeout10sethostIindex$argv0setusername!index$argv1setpassword!index$ar

12、gv2setCnId1indexSargv31spawnssh-p22SusernameQShostScmdrexpect,(yesno)?(sendyesn*expect*assword:sendSpasswordn),assword：w(send$passwordn)expect1.()0%#expecteofexit02. 批量重命名脚本batchrcw三ccmd.Sh划/bin/shIiS1.JiIe=$1username=rootpassword=123456catS1.istfiIcwhiIcread1.inedohost_ip=echo$1inejawk,printShost-n

13、ame=echo$1.ineawk,printhost_a1.ias-name=echoS1.ineIawk,ttuscrnamc-echo$1ineawk,printItpassword=echo$1ine)awk,print$3)./expect_rename_cmd$host_ip$uSername$PaSSWOrd$host_namedoneexpectrenamesmdit!usrbinexpectsettimeout10sethost1indexSargv()setusername!index$argv1setpassword!index$argv2sethostname!inde

14、xSargv3spawnssh-P22$USernameShoStnsed-isHOST.*HOSTNME=Shostnamc/ctcsysconfig/nctwork：hostnameShostnamc；hostnamect1.set-hostnameShostnameexpectr(yesno)?(sendycsn*expect*assword:sendSpasswordn)assword：(send$passwordnexpectn100%JiexpecteofexitO3. 批量拷贝脚本batchscp.sh#!/bin/shIiS1.JiIe=$1srcfi1.c=$2dest_fi

15、1.e=$3USername=rootpassword=123456catwhi1.eread1.inedohost_ip=echo$1ineIawk,printS1.),Uusername=echo$1.ineawk,print$2)Jtpassword=echo$1ineawkprint$3)./expect_scp$host_ipSusernameSpassword$src_fi1.eJdestfiIedoneexpect_scp#!usrbinexpectsettimeout10sethost!indexSargv03setusername!index$argv1setpassword

16、!index$argv2setsrc_fiIe!index$argv3setdest_fi1.e!index$argv4spawnscp-rSSrJfiIe$username$host：$dest_fiIeexpect(ycsno)?(sendyesn*expect*assword:nsendSpasswordnassword：(send$PaSSWordn”expect100%expecteof4. cn_migrate,sh#!/bin/bash#UPdateCMIPif!=1；thenechoUSAGE：$0echoe.g.：SO192.168.1.2exit1；fishbatch_cm

17、d.shnode.1.istsed-is/*server_host=.*/server_host=S1.etcc1.oudera-scra-agent/config.iniSupdatemysq1.echoupdateCMHOSTJ1.)host_id=mysq1.-uroot-p1.23456-execute=usecm；se1.ectHOST_IDfromHOSTSwhereIP_ADDRESS=$1,host_id2=$(echoS(host-idawk-Fprint$2)#echo$host-id)#ccho$hostid2)mysq1.uroot*-p1.23456-execute=

18、usecm；updateRO1.ESsetIIOST_ID=$host_id2)whereNAME1.ikemgmt-%,；5. format2.sh#!/bin/shforiinb.m)doparted-s/dev/sd$imk1.abe1.gptparted-s/dev/sd$imkpartprimary2048s100%usrsbinmkfs.xfs-f/dcv/sd$i1done6. mountDisk.sh#!/bin/shSbackupctcfstabcpetcfstabetcfstab.bakPARTITION_1.IST=sdb1sdc1.sdd1.sde1.sdf1.sdg1

19、.Sdh1.sdi1sdj1.sdk1.sd1.1.sdm1.,i=1.forPARTITIONin$PARTITION1.ISTdoUUID=b1.kiddevSPART11I0Nawk,print$2,Sed,g,echoSUUIDechoaddPARTITIONtoetcfstabMOUNTDTR=Vdata$ii=$(i+D)echomkdir-p$MOUNTDIRmkdir-p$MOUNTD1.Rechoappending$UUIDSMO1.NTDIRxfsdefau1.ts00to/ec/fstabecho$UUIDSMOUNTDIRxfsdefau1.ts00etcfstabtN

20、NechodoneAmounta1.1partitionsmount-a#ShOWmountedpartitionsdf-h7. network,shvirshnet-destroydefau1.tvirshnct-undefincdefau1.tsystemct1.restartIibvirtd.serviceyu11remove1ibvirt8. node,1.ist192.168.1.131192.168.1.132192.168.1.1339.node,txt192.168.1.131192.168.1.132192.168.1.133nodc1.node2node32.3hostna

21、me及hosts配置集解中各个节点之间能互相通信使用静态IP地址。IP地址和主机名通过etchosts把黄，主机名通过etchostname进行配置。1 .配置每台节点的hostnaaZetcZhostname文件如下:node1.或者可以通过命令修改立即生效rootip-172-31-13-38JShosInamect1.sethostnamenode1可以使用脚本执行rootQ1.oca1.hostbin#Shbatch_rename_cmd.shnode,txtspawnssh-P22root192.168.1.131scd-isHOST.*HOSTNAME=rootQ192.168.1

22、.13spassword:spawnssh-p22root192.168.1.132sed-is/HOST.*HOSTNAME=spawnssh-p22root1.92.168.1.133sed-isHOST.*HOSTNAME=2 .配置节点ip、hostname映射在每台节点etchosts文件后追加如下内容，配置ip与hostname之间的映射nodc3可以将node,txt文件内容追加到e1.chos1.scatnode.txtctchosts脚本执行shbatchscp.shnode.1istctchostsctc2.4禁用SE1.inuxSE1.inux就是Sccurity-Enh

23、anccd1.inux的简称，安全加强的Iinux0传统的IinUX权限是对文件和目录的OWner.group和Other的i、wx进行控制，而SE1.inUX采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SE1.inux规定了很多的规则,来决定哪个进程可以访问哪些文件和目录。虽然SE1.inUX很好用，但是在多数情况我们还是将其关闭，因为在不了解其机制的情况下使用SE1.inux会导致软件安装或者应用部署失败。在所有节点执行SCtCnfOrCCO命令Shbatch_cmd.shnode.1ist*SetenforceO集群所有节点修改ctcsc1.inux/

24、config文件如下（重启才能生效，所有得要配置上面的临时关闭）：SE1.INUX=Hisab1.edSE1.1.NUXTYPE=targetedshbatchcmd.shnode.1.istsod-isSE1.INUX=.*SE1.INUX=disab1.ed/etcse1.inuxconfigroot1.oca1.host-)Vietcse1.inuxconfig9Thisfi1.econtro1.sthestateoSE1.hHnConthesysten.*SEI1.NUXC4takeoneofthesethreevo1.ues:9enforcing-SE1.inuxsecuritypo

25、1.icyisenforced.perai%ive-SE1.inuxprint%warningsinsteadofenforcing.*disab1.edMoSE1.imncpo1.icyis1.oaded.SE1.1.NUX=disab1.ed，SE1.INUXTYPE-cantakeOneofthreetwova1.ues:9targeted-Targetedprocessesareprotected,nininun-Modificationoftargetedpo1.icy.On1.yse1.ectedprocessesareprotected.#misMu1.ti1.eve1.Secu

26、rityprotection.SE1.1.NuXTYPEtargeted批量拷贝到其他节点shbatch_scp.shnode.1ist/etc/se1inux/configetcse1.inux检查所有机器是否已修改成功：Shbatch_cmd.shnode.1.ist,catetcse1.inuxconfig*IgrepSE1.INUX2.5关闭防火墙集群所有节点执行Systcmct1.stopfirewa1.1.d命令shShshbatch_cmd.shbatch_cmd.Shbatchcmd.shnode,1.istnode.1.istnode.1.istrsystemct1.stop

27、firewa1.1.d”,sys1.emct1.disab1.efirewa1.1.drsystemct1.statusfirewa1.1.d：grepActive(root1.oca1.host-ca1.1.shsystect1.disab1.efirewa1.1.dnode1.Removedsya1.inketcsystemdsystedbus-org.fedoraproject.Firewa1.ID1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.node2Removedsya1.i

28、nketcsystemdsystedbus-org.fedoraproject.Firewa1.1.D1.service.Removedsy1.iketcsystemdsystebasic.target.wa11tsfircwa1.1.d.service.node3Removedsy1.inketcsystcmdsystedbus-org.fedorproject.Firewa1.1.D1.service.Removedsya1.inketcsystemdsystebasic.target.wantsfirewa1.1.d.service.root1.ocIhost-Jxc1.1.ssyte*

29、ct1.stntufirewa1.1.d.node1.- firewa1.1.d.service-firewa1.1.d-dynaaicfirewa1.1.daeon1.oaded:1.oaded(usr1.ibsystedysteafirwd1.1.d.service;disab1.ed;vendorpreset:enab1.ed)Active:inactive(dead)8月2216:09:58Ioca1.hott.Ioca1.doedinSyStaBd1):StartingirM*1.1.ddynaaicfirewa1.1.dM*on.8月2216:W:59Iocd1.bost.Ioca

30、1.doedinsyste三d1.):Startedir*w1.1.d-dy0icirew*1.1.8月2216:55:07100IhoStsysted(1.:StoppingfreMa1.1.d-dynamicfIrea1.1.d4e*x.8月2216:55:弊Iocd1.hostsysted(1.:Stoppedfirwa1.1.d-dynkfirewa1.1.dM*on.COde2 firew1.id.service-firewa1.1.d-dyn*icfiroM1.1.deo1.oaded:1.oaded(uir1.ibsysted5ystefirewa1.1.d.aervice;di

31、bb1.ed;vendorpreset:enab1.ed)Active:inactive(dead)Bff2216:16:17Ioca1.hoit.Ioca1.doeainyted1.:Startingfirewa1.1.d-dytvaicfirewo1.1.dc.8月2216:16:381.oca1.hot.1.oc1.dinytcd1.):StartedfirtM1.1.ddynoaicircM*1.1.daemon.8月2216:55:03Ioca1.hoitytc*d1.:Stoppingfirpua1.1.ddynamicfireua1.1.(UCBO.8月2216:53:4IOCa

32、haStsyste*1.1.:Stoppeddy11Micf1.reua1.1.Mprocsysvmswappinessshbatch_cmd.shnode.1.istcat/proc/sys/vm/swappinessroot1.oca1.hostnode1.vm.swappiness=node2vm.swappiness=node3vm.swappiness=.ssh#xca1.1.shsysct1.vm.Swappiness=IC101.102.7关闭透明大页面在管理节点使用脚本执行:shbatch_cmd.shnode,1.istarcnthugcpagc/dcfragshbatch_

33、cmd.shnode,1.istepage/defragshbatchcmd.shnode.1istarent_hugepage/enab1edShbatch_cmd.shnode.1.istepage/enab1.edechoneversyskerne1.mmtranspcatsyskerne1.11mtransparent-hugechoneversyskcrne1.mmtra11spcatsyskerne1/mntransparent_hug设置开机自关闭将如下脚本添加到etcrc.drc.1.oca1.文件中iftestf/sys/kerne1/nmtransparent_hugepa

34、ge/enab1.ed；thenechonever/sys/kerne1/mm/transparent_hugepage/enab1edfiiftest-fsyskernc1./mm/transparenthugcpagc/dcfrag；thenechonever/sys/kerne1./mm/transparent_hugepage/defragfi也可直接使用脚本shbatchcmd.shnode,txtechoiftest-fsyskcrnc1.mmtransparent-hugepage/enab1.ed：thenetcrc.dc.Ioca1.jecho”echonever/sys/k

35、erne1.m11transparent_hugepage/enab1edetcrc.drc.1.oca1.；echofiretcrc.drc.1.oca1.shbatchcmd.shnode,txtechoiftest-fsyskcrnc1.mmtransparent_hugepage/defrag；thenetcrc.drc.Iocahecho”echonever/sys/kerne1/mm/1ransparent_hugepage/defrag/etcrc.drc.1.oca1.；echofietcrc.drc.1.oca1.同步到所有节点#赋予rc.1.oca1.脚本可执行权限etcr

36、c.drc.1.oca1.ctcrc.d/,chmod+xetcrc.drc.1.oca1.*1.s-1e1.crc.dgreprc.1.oca1.,catetcrc.drc.1.oca1.shbatchscp.shnode,1.istshbatch_cmd.shnode,1.istShbatchcmd.shnode,1.ist2. 8配置操作系统本地yum源挂载操作系统iso文件mkdir-pmediaDVD1.mount-o1.oopCen1.OS7-8664-DVD-1511.isomediaDVD1.df-h(root1.oca1.hostsoftware)#aount。1.oopCe

37、ntOS-7-x86_64-OVD1511.isomediDVt)1.mount:dcv1.oop0写保护，将以只读方式挂IB(root1.oca1.hostsoftware)#df-h文件系统容量已用可用已用X挂t点dcvjppcrccntos-root1012G8.661.3GIX/dcvtpf5126e1260%Zdcvtmpfs12Ge12G%dcvshmtmpfs126ITM12G1%/runtmpfs12Ge12G%sysf5cropdcvsda1.497M125H373M25%/boottmpfs2.4Ge2.4G%runuser0dcv1.oop4.IG4.IG01.%mcdi

38、a(M)1.配置操作系统reporootnode1.Ssudovietcyum.repos.d/1.oca1._os.repo1.oca1.isoRame=CentOS-Sre1.easever-Mediabaseur1.=fi1.e：/media/DVD1gpgchcck=OenabIed=IrootGnodc1.Ssudoyumrepo)ist以上内容中，bascur1.是指YUm源的地址，该路径下有个rcpodata目录，就是yum安装源目录。fi1.e：表示yum源为文件。如果只想让1.oca1.,repo生效，可以在每台节点的e1.cyum.repos,d目录下创建一个repo加左目

39、录,将其他的以“.repo”结尾的文件都移动到2,pobak目录中。shbatch_cmd.shnode.1.ist*mkdir-p/etc/yum.repos.d/repo_bakshbatchcmd.shnode.1istyum.repos.d/repo_bak/mvctcyum.repos.dCcntOS-*ctc在每台节点上执行以下命令，更新yum源Shbatch_cmd.shnode,1.istyumc1.eana1.1.yumrepo1.ist,root1.oca1.hostyum.repos.d#11总用量8Shbatchcnd.shnode,1.ist2219:00Ioca1.

40、os.repo2219:01repo_bak-rw-r-r-.1rootroot968月dnxr-xr-x.2rtroot40968月1 .9安装http服务安装apache的httpd服务主要用于搭建OS、C1.ouderaManager.CDH的yum源。在集群服务器中选择一台服务器来安装httpd服务，命令如下：安装httpd服务yum-yinsta1.1.httpd启动httpd服务Systemct1.starthttpdSys1.emct1.statushttpdsystemct1.enab1.ehttpd安装完h1.1.pd后，重新制作操作系统rep。，换成h1.1.p的方式方便其它服务器也可以访问mkdir/varw,whtm1/isoscp-rmediaDVD1.*/var/www/htm1/iso/root如Ode1.$sudovietcyum.repos,dos.repoosreponamc=osrepobaseur1.=http192.168.139.101isoenab