保姆级别CDH安装运维手册.docx

CDH运维手册hao.shiruis.io目录1 .ClouderaManager使用12 .配置安装源22.1. 酉己置LinUX源22.2. 酉己置CDH源33 .集群管理43.1. 升级CM和CDH43.1.1. CIOUdefal-级述43.1.2. CDH升级概述63.1.3. JDK升级63.1.4. 配置安装源73.1.5. 升级CM73.1.6. 升级CDH143.2. 升级JDK223.2.1. JDK8安装包准备233.2.2. 部署JDK8到集群243.2.3. ClouderaManagerSB三243.2.4. 验证集群JDK8环境253.2.5. 常见问题263.3. 升级Kafka和SPark263.3.1. 设置源地址263.3.2. 更换SparkCSD文件263.3.3. 配置Spark2的JAVA环境变量293.4. 集群数据备份293.4.1. namenode节点元数据备份293.4.2. 备份MySQL元数据313.4.3. 集群用户数据备份313.5. 卸载CDH323.5.1. 数据备份323.5.2. 停止所有服务323.5.3. 删除集群343.5.4. 停止CM相关服务343.5.5. 卸载所有服务343.5.6. 移除ClouderaManager和用户数据353.5.7. 移除用户数据363.5.8. 停止并移除外部数据库373.6. 迁移数据库383.6.1. 环境说明383.6.2. 停止所有集群服务383.6.3. 停止CM服务393.6.4. 备份原数据库数据403.6.5. 安装数据库403.6.6. 启动数据库403.6.7. 初始化数据库403.6.8. 导入备份数据至新库413.6.9. 修改CM的数据库配置信息413.6.10. 启动CM服务423.6.11. 修改集群服务配置423.6.12. 启动所有集群服务443.7. 迁移CloUderamanager443.7.1. 环境说明443.7.2. 服务器配置443.7.3. 配置安装源473.7.4. 安装ClouderaManager月艮务493.7.5. 为CM配置外部数据库493.7.6. 停止所有集群服务503.7.7. 停止CM服务513.7.8. 迁移原CM节点数据513.7.9. 更新集群所有节点的CMServer指向523.7.10. 启动CM服务523.7.11. 启动所有集群服务523.8. 集群功能测试533.8.1. 安全测试533.8.2. 性能测试544 .集群节点管理594.1. 增加节点594.1.1. 异构节点说明594.1.2. 环境说明594.1.4. 配置kerberos客户端634.1.5. 木莫654.1.6. 安装CDH684.1.7. 应用主机模板734.1.8. 迁移角色组744.1.9. 增加节点后续配置764.2. 删除节点774.3. HDFS数据平衡794.3.1. BalanCe参数说明794.3.2. 查看数据分布情况804.3.3. 使用CM814.3.4. 额外注意事项825 .集群用户管理825.3. CIoUderamanager用户添力口825.3.1. 未配置CM和LDAP的集成825.3.2. 已经配置CM和LDAP的集成835.4. HUE用户添力口845.4.1. 未配置HUE和LDAP的集成845.4.2. 已经配置HUE和LDAP的集成865.4.3. 设置用户为HUE的超级管理员885.4.4. 设置用户在HUE中的权限885.5. 集群用户添加895.5.1. IinUX用户添加895.5.2. 为用户生成kaytab936 .集群资源管理946.3. YARN动态资源池946.3.1. 前期配置956.3.2. 资源池设置976.3.3. 创建资源池IOl6.3.4. YARN任务放置规则配置1026.4. 静态资源池1037 .集群安全管理1057.3. HDFS的权限控制1057.3.1. 通过命令行授权1067.3.2. 通过HUE授权1077.4. Sentry简介1107.4.1. Sentry术语1107.4.2. Sentry语法Ill7.4.3. Sentry的管理员设置1137.5. Hive和Impala的权限管理1147.5.1. 可授权对象1157.5.2. Hive/Impala操作所需要的权限1157.5.3. 操作示例1207.6. Hbase的权限管理1357.6.1. 设置Hbase的超级用户1357.6.2. HbaSe权限设置1361.ClouderaManager使用ClouderaManager是CDH市场领先的管理平台。作为业界第一的端到端ApacheHadoop的管理应用，ClOUderaManager对CDH的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过Cl。UderaManger,运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。ClouderaManager设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过CIouderaManager,可以方便地部署并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程，从而减少了部署集群的时间。通过CloUderaManager可以提供一个集群范围内的节点实时运行状态视图。同时,还提供了一个中央控制台,可以用于配置集群。不仅如此,ClouderaManager通过包含一系列的报道和诊断工具,可以帮助优化集群性能，并且提高利用率。ClouderaManager能够提供以下的功能： 自动化Hadoop安装过程，大幅缩短部署时间 提供实时的集群概况，例如节点、服务的运行状况 提供了集中的中央控制台对集群的配置进行更改 包含全面的报告和诊断工具，帮助优化性能和利用率ClouderaManager的架构如图所示，主要由如下几部分组成：服务端/Server:CIolIderaManager的核心。主要用于管理webserver和应用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。代理/agent:安装在每台主机上。它负责启动和停止的进程，部署配置，触发睿势数据安装和监控主机。 数据库/Database:存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的Cloudera管理器服务和监视后台程序使用不同的逻辑数据库。 ClouderaRep。Sitory:用于软件分发由Cloudera软件仓库。 客户端/Clients:提供了一个与Server交互的接口： 管理平台/AdminConSOle才是供一Zb管理员管理集群和ClouderaManage的基于网页的交互界面。 API:为开发者提供了创造自定义ClouderaManager程序的APIo2.配置安装源2.1.配置Linux源安装前选择一台机器安装配置本地源并安装http服务，如UtiIityOl挂载redhat的安装光盘，rootrhel-server-×86-64-dvd.is为iso镜像的地址mount-0loop-tiso9660rootrhel-server-×86-64-dvd.isomtboson在etcyum.repos.d下添加rhel6.repo文件rhel6name=RedhatEnterpriseLinuxbaserl=filemntbosoneabled=lgpgcheck=lgpgkey=filemntbosonRPM-GPG-KEY-redhat-release安装http服务yum-yinstallhttpd设置开机自启动Chkconfighttpdon启动http服务servicehttpdstart将光盘内容拷贝到varwwwhtml下scp-rmtbosovarwwwhtmlredhat确认使用Zredhat可以访问到下载的文件夹。在其他服务器上配置源，¾etcym.repos.d下添加rhel.repo文件localame=RedhatEnterpriseLinuxbaserl=httpredhateabled=lgpgcheck=lgpgkey=2. 2.配置CDH源由于本次在内网环境安装，需要在Cloudera官网下载cm安装包和cdhparcel包Cm安装包下载地址如下，可按照需要选择自己需要的版本，目前采用的版本为5.11.2cdhparcel包下载地址如下，请选择和cm配套的版本下载后将所有安装包传输至内网环境任一机器，解压缩后的目录结构如下（仅为不意）Hcdh5.11.0CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel9manifest.jsonOcmQcm触5Ek5.11 M5.11.0 1.irepodata IlRPMSmirrors cloudera-cm5.repo RPM-GPG-KEY-Cloudera将所有文件拷贝至varwwwhtml供集群使用，确认使用http:cloudera-maagerbaseurl=http:/cm5gpgkey=3.集群管理1. 1.升级CM和CDH3. 1.1.Gloudera升级概述下面描述的流程适用于由ClouderaManager管理的集群，对于不是由ClouderaManager管理的集群升级，请参考：https:WWW.cloudeacom/documentation/enterprise/IateSt/topics/CdhigUPgradeCC)mmandIine.html#Xd583ClObfdbd326ba-5a52cca-1476e7473cd-7f99CDH和ClouderaManager不用同时升级，但是需要保证ClouderaManager和CDH版本的兼容。CIoUderaManager可以管理当前或以前的major版本的CDH1或相同minor版本的CDH1或较低minor版本的CDH。比如，CloudearManager5.7.1可以管理CDH5.7.21CDH5.6.1和CDH4.8.6,但是不能管理CDH5.8.1.ClouderaManager5.x不能管理CDH3.xo升级时具体有如下几种选择：3.1.1.1.评估升级影响一般需要规划一个足够长的维护窗口（停机时间）进行升级。根据需要升级的组件,集群的节点数，以及不同的硬件情况，可能需要一整天来进行升级。开始升级之前，需要做好一些前置条件准备以及关键数据备份，这篇文档在讲述升级步骤时也会说明。升级之前，需要查阅ClouderaManager的hgs:WWWes.html了解APl更改，不推荐的功能，新的功能以及不兼容的更改。同时需要检查https:WWW来确认支持的操作系统，JDK,数据库和其他组件。3. 1.1.2.ClouderaManager升级概述升级ClouderaManager包括以下步骤：1 .在CM节点上升级ClouderaManagerSerVer,使用操作系统的命令，比如Redhat的yum。也可以手动通过tarballs来升级。2 .在所有主机上升级ClouderaManageragent,ClouderaManager的升级向导可以帮助你升级agent（JDK升级可选），同时也可以手动的通过tarballs升级JDK和agentoClouderaManagerJ5,可以参考官网文档：https:WWW.clouderacom/documentatior/enterDrise/IateStZtoDiCS/cmLlDClrade.html#ConCeDtCIlClmbsWX3.1.2. CDH升级概述CDH升级包含Hadoop相关组件的升级，可以使用ClouderaManager来升级CDH1采用parcel或package的方式都可以。建议使用parcels来升级CDH1因为ClouderaManager管理这些parcels自动下载，分发和激活。3.1.3. JDK升级在升级Cl。UderaManager和CDH之前,请确保集群内的所有主机都是使用受支持的OraCIeJDK参考：同时，所有主机必须使用相同版本的JDK参考：https:WWW3.1.4. 配置安装源配置新的CM和CDH源修改etcyum.repos.dCloUdera-manager.repo指向新的CM源c1oudera-managername=ClouderaManager,Version5.13.0baseurl=http:/10.123.197.131cm5gpgkey=http:/10.123.197.131/cm/RPM-GPG-KEY-cIouderagpgcheck=13.1.5. 升级CM3.1.6. 1.暂停cms服务选择集群-Cl。UderaManagementService,选择停止3.1.5.2,备份数据库在数据库所在服务器上执行如下命令备份原数据库数据mysqldump-uroot-p-A>rootoldmysql.dump3.1.5.3.停止CM服务停止cloudera-scm-server和所有cloudera-scm-agentservicecloudera-scm-serverstopservicecloudera-scm-agentstop3.1.5.4.在ClOIlderaManager上备份以下目录scp-retccloudera-scm-serverrootcm-bakscp-retccloudera-scm-agetrootcm-bak3.1.5.5.升级CMyumcleanallyrupgradeclodera-maager-serverclodera-maager-daemonscloudera-manager-agent3.1.5.6.重启ClOUderamanagerserviceCloudera-scm-serverstart3.1.5. 7.登入CM执行升级向导CM会自动启动升级向导Clouderamanager升级向导CkxJderaManagerServer现在正在运行版本513.0（发行版说明0）就胸片将柒朗悠执行以下修勇：1 .在所隔当斯托管的主机上升线ClOMQMS刚WAgE软件包.此力不会升级CoH怪本.您可以修后执行COH升嫌.O9.秋希在升级ClOUdeCu27Xe款件包.一不.我品望现在隆近代中升城.填写CM源克挎, XrnmClouderamanager升级ClouderaManagerAgent软件包选择存储座论理息要安装在主机上的CIoUdtflManageA9E*定发行版.itCtoudecaMangefSefvef的配发行自定义#tilth11p710.123.197.131cm5ASUS、R3t眩J(他RPM力他的分布示例htCptzreMv.eloudra.cM5rdMtat.4eS以UbuntuSMDetian为色的分布笊例：dbttts:/rcMv.cloudr.coaca9ubuntvlvcd三d64clucid>CBSContrib力GPG筌名密钥机,人自定义URL（透用于所朝自定义存储您相无InUfM彷偌的情况.自定义GPG主.URLhttp:/1012319713VVWMGPG*EY<fo(¼以SLES.RRhM我JC地RPM为“3的分布示例hitptzrchiv.clouder.coc5rdhtS4.McaRRI*CC-KtY*cloutfrUUbuntu网其他Debian为Stt的分布示例：OQOOSBhttpt:/rcMv.cloudr,c<woMdbinMvMZMM4carchlv.ky返回InfueMyOWlMMI.OenKnaorcmtrNa选择安装JDK和JCEClouderamanager升级ClouderaManagerAgent软件包JOK安装选项OracleBmryCMLcmAgrwrrwnt(orttwSPUWcrmProductsndJavaFXORACLEAM61CAINCCORAaE)FORANOONBEHALFOF11SQFANOITSSUBsl(XAmeSANDAFnUlATESUNDCUCOMMONCOWTROLISWIlUNGTOLICENSCTHESOFTWARETOYOUONlYUPONTHECONDITIONTHATYOUACCCPTAUoFTHeTERMSCOHTAWEOKTHtSBIHARYCOOCUC6HS£AGRKMENTANDSUPPLEMENTALUCCNSCTERMS(LLECTVaYAGUMEMT3PIEASeREADTHEAGREEMB<TCAA三FUllYBYSaECTlNGTH'ACCCPTIICCNSCAGR£EMENT(ORTHEQulVALENT)BUTTONAND/ORBYUSINGTHESOFTWAREYOUACKNowUDGeTHATYOUHAVtR三AOTHETCRMSANDAGRCETOTHEMIFYOUARCAGRCEMGTOTHESeTERMSONBCHAlFOFACOMPANYOROTHERLEGALENTTTY.YOUREPRESEMTTHATYOUHAVETHEIfGMAUTHOAfTY70BlNOTH三IEGALEMTrTYTOTHESET三RMSIFYOUDONOTHAVtSUCHAUTHORITY.ORIFYOUDONOTWISHTOBeBOUND8YTHETtRMS.TXNSCL三CTTHEPeClEIKSNSCAGR£EM£MT(OATHEEQUIVALENT)BUTTONANDYOUMUSTNOTUSCTHESOFTWAREONTHISSITEORAMYOTHERMEtMAONWHICHTHESOFTWAREISCoNTAINa)1DCFlNnloNSSohw<'mrsthesoftwareIdeniifWdabovmbwyformthtyouscledforowno4m«ulorus0nttwvmcnYouM*cidfordownload,nsUBQrUM)fromOracitoruuthomdBrrfotherxchmerdbmn(mdudtf>g.butnotkmndlo,ltanes.>ourcftlf.hMderlt.andMaMo),anyUPM”orerrorCorrMionspcovdedbyOrd.andanyUMfmnls.programmingguMtandochfdocumMMkonprv*MtoyoubyOracAtundertMA9r<m*G<ecaiPurposOfMopComputersndScvmeaB<xxnper¾induingdesktopandl>MopcomputrorM<vr.Mdfor9enriCOmPUOngfunctionsu<xtefndUMfCOmroI(sucMbutnotSlMCACaUyIUTVtedlomi*l9tnrpurpos#mmtbrowwg.endok<sumproductivitytools)Theus<ofSo*twremyslmsandSOlUt)OntthtPrK(WdedicatedKjnctionality(o<fthanswntcndabov)orts>gndforutmmbddOffunctxMpacsowrepcat*onfornamlbutnotWTVtKtoSo<twremtxdddtnOCbundMvmIndUStnlComrOIsyst<nwotfnob>kMhons.wHkshndhMdv>ct.boslu.TVSTB.BiiHyDtc<l0ct.t¼t11McsndnetwodcCErOIMCtWngqurwnt.PnfMeC8皿slcrQwngem(syscnkSd<XfBiaMsysmt.nduddfromtMdemonandMbetaMdundvr5ts“tewoiaProgmsameant()JavatechnologyappMsandp0caixutnddtorunonthJmPtotfocm.SUn<terdEdmonplatformonJv<mbMGttwalPurpo<DesktopComputmandS4fvrand(b)JMFXlcn0l09yapplicationsGtmddtorunontheJvFXRuntmwon5aFXnatMG(wrlPurposeOktopComputmndS<rvrs'ComnwroeiFMUrman，tMk¼ntfdS安&OracleJMS开发工总(JDK)itftft<Uff*Oracle二if代码评可疑议弁安IiJDK.H滑速中以便用当伪安Ii的JOK.安RqQ无!»*僭SNR文件犍续支持 MmiC ”归事当的法獐允许思无JB强度加密,并且念正在运行安全IW.Z透中谟速电.返回aa输入SSH登录凭证Clouderamanager升级CloUderaManagerAgent软件包槎供SSH曾录凭据。安ttCtoudera包IlfHf主机的root访何权纥安IuI序将通过SSH连检到例的主机.然后报以root用产身份量.微以另一个具襄为root用户的无甚码SUdWPbnjna圈的录!W强主机.作为：。root盟0上送定的用户，值可通过窗碉或公娟身出险证速ML伪ii方法：。所K主机授受相网甚弼厂所得主机幡受相同私蝌入8W：Ii-Mu三nISSH口：22同时安装的10（IBl用挈96个安疆酎药KM大的网络带火知”般其他系筑窗）返回承“等待升级完成支持admin10123M1W巳成Q宽成安IL10123M176巳成1级成安装.VtikyOi Cdhieet oomW.123.197U1一已皿丸80.Iiema Clouderamanager升级ClouderaManagerAgent软件包已成功完成安装.巳Je功用三7个主机中的7个.主机名舞IPMM遇度Ufimeslef01Cdhttttcom10.123J6.1MeMXEM三B.OBD继续返回Cloudera manager升级 Cloudera Manager Agent 软件包 检查主机正确住新谱行哈证JVH在所。7个王机上运行.9个冽主机正"折了&己的主名格.夕在冷51 IW的*时未发电演.U0½hom时茶双（！J所*王凯均将IoC«2St 所为127.00.1.5It过的所主凯均正Un及时电折了 VUt第主机名号.y主机n九乎陶伊（iouwi .个mq的 主机UaTL无网户UflM失.一W件89Qarcd之网未怆IIfPm.U及餐存在巳知铝磷的内候点本在工行.一所 H 主机上的 pc，户AVnswppsM 0XftQB.没弯任何行与透明大足,设置关.BMS COH 5 MuePrhontt*faitXM.OO M主机正在瑞行C0H4. 7自主正在i行COH 5.3个Uil中0过的所宙王凯均在运打相同女本的梢件.U所布耗中王机,不一 Itr） 5a收*.返回OBaOBQ索升级完成e检查主机正确性支格”dmi Clouderamanager升级ClouderaManagerAgent软件包赫喜您！怒己虞功升HWi需吒量主机上的CtodraMlInw*9m.返回进入审核更改向导界面完成克精 XrTVnClouderamanager升级向导审核更改«OflMlOCloudrManagenwntSrrtcSwvtotMcmorOMBtSemcMomocMmAGroup/vad&Mter*MVIeemOrMorS<rvcMorwtocK11OMB.S<nw3Mor存SM同网序列网froMUOttgtbmdw*ctory/JMD*U*tttttta.UAImpAMIDYARHfiMMKIWPaItlQ/«YARN).HOLMonter0ttHottMMOrXtUhQoup/VarWdoSmNMtEmMxHostMoMla.F)存储目量.HOftMomot谓序列IQjHaftrehoMMoragebwdwctorySiMAOXttS.返回示“重启ClouderaManagementService重启完成支挎admin,Clouderamanager升级向导启命令5OBXS±TXClOU-aMezgemeEs(<sceGTQ25.10.535025.46sSUCCUIlyrtrtttrvic.7已Wg1个缔共1个)返回 aaDHD完成OSbowAllStepsShowOnlyFnMStepsShowOnlyRunngSteps©旅行务0ogrM5wM0rw”上护畲令£幼&Ocu4r9*m<nS<rvC*11A2&10:530±2S43Succsfullystrtdtrvlc.CM显示过期配置，重启服务Clouderamanager»»壬帆«»*«»«»«««主页状态 N吉工行状况anO Cluster 130SW W 6H 12佃 1天 30d BMrikncMtaUM© KH6WO Oc*se hv。HH<ueue V 2也© B Kafkan*N>oO 4udue QOom'- >© S4<ttryO Cso*O <X Spert11 Wt v F© <ISpS2O YARN (MR.e i ZooKeeperRaaaioClouderaManagementService重启完成Clouderamanager重启过时服务滚动重启禽令±TXCMt"It?a11月2St11SM*上O809S*Successfullyprfo11MdRollingRestart8tMclustr.-巳M7个纱(共7个)OShowAIIStep*ShOWfMSMPSShowOnlyfhmngSUps>O1MH*HutGf1lA2S11O220tt±441Successfullystoppedmv1c.>O*kftm&EateGf11R2111O22S±3.26«Succtttfullyto<4rvlc.>O伸d务HteC?MwGfIlA21111)228tt±Y4$ucc«esfullystoppedmv1c.>oCifiHftHtwCrHwGfiA2inm3oa±23.x，Suceettfullystartedmv1c.>OBiASftlmcwl(y2BGr11R2111O2S3±23.11sSuccfullytrtdMrvlce.>O启制务HC?HutGf11月2&118:1812348$ucc«ssfullystartedmv1c.©遗t1H缺JB111125.11841上n已完成且无法行任何工作.I返回BS三DSI完成3.1.6.升级CDH停止集群服务clderamanagerw主机诊或图r*«»«主页渗OJaiR9Cluster1MS#1O*12116小H12R1A7d30d八箴加总房巳克JM列©王机OH0KoQhofsIMW©HlH*摩动启©YImPO*KfkaOXKudu升级!OQoze鼾篇目事oAs*y新动至贵潭池eCSoIrImPeCtHotisinClse1e<is>-*-<ISprk2OeteteKefberosCredentials8猜京«5所有运行状MnBKlEID-启动SVSPfiSEI支持*dfweSYARN(MROdZooKMpCfifilHDFSWSnMttB畲名口集Cloudera Manage三SFsMCIURL泰uUtty01xdMMtoot718<VcErMusun/Mo?COmHrandSopy备份NameNode上的HDFSHDFS配置中查看Clnaa 存找什（x 幡 快速VI槽遗name*KMleHDFS(BftSIB) Mancw DetaNote O<M*y HnpFS JoumaWodt NFSOM*mmf HMmHodeF MovwCoRtroMrNtnwNcxfoBffS* C4te*t Of<IK GOXiPJcwmlNodt Dfauk Group .NAmeNodtMAuhCroupHmwNodt (MW1 GroupsSHteMtyr 19HwtwNodMSNtfrwN<xte Mmh Croup SMWtlM*mQ»NimeNode XMJh GroMPMetaStore,注意，此目录实际地址需要在CM的cddfstar-czvf/root/nn_bak/nn_backup.tar.gzn在数据库所在服务器上执行如下命令备份原数据库数据mysqldmp-uroot-p-A>rootnewmysq!.dump向集群中添加新版的CDH存储库Clouderamanager三三a»««t主页KOEen'M令« «4 IV* 3E» XnW'PEtftMflIX I Ell KK Prc<(Clouderamanager主“*»«三a«-Parcel(ClCIuMK1在主页选择升级集群，进入升级向导Clouderamanager«»主机.»«®»®«-»«主页状0所。运行状况问EIQQ*新0令O Cluster 1 (CoHS ? OE