（全国职业技能比赛：高职）GZ033大数据应用开发赛题第08套.docx

2023年全国职业院校技能大赛赛题第08套赛项名称：大数据应用开发英又名称：BigDataAPPliCatiOnDeVeIOPment赛项组别：高等职业教育组GZ033赛项编号：背景描述工业互联网是工业全要素、全产业链、全价值链的全面连接，是人、机、物、工厂互联互通的新型工业生产制造服务体系，是互联网从消费领域向生产领域、从虚拟经济向实体经济拓展的核心载体，是建设现代化经济体系、实现高质量发展和塑造全球产业竞争力的关键支撑，工业大数据则是工业互联网实现工业要素互联之后的核心价值创造者。随着大数据行业的发展，工业数据收集呈现时间维度不断延长、数据范围不断扩大、数据粒度不断细化的趋势。以上三个维度的变化使得企业所积累的数据量以加速度的方式在增加，最终构成了工业大数据的集合。为完成工业大数据分析工作，你所在的小组将应用大数据技术,以Scala作为整个项目的基础开发语言，基于大数据平台综合利用HiveSparkFlink.Vue.js等技术，对数据进行处理、分析及可视化呈现，你们作为该小组的技术人员，请按照下面任务完成本次工作。任务A：大数据平台搭建（容器环境）（15分）环境说明：服务端登录地址详见各任务服务端说明。补充说明：宿主机及各容器节点可通过ASbrU工具或SSH客户端进行SSH访问。MySQL已在容器的MaSter中安装完毕，用户名/密码为root/123456子任务一：Hadoop完全分布式安装配置本任务需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体要求如下：1、从宿主机/opt目录下将文件hadoop-2.7.7.tar.gz、jdk-8u212-linu-64.tar.gz复制到容器master中的optsoftware路径中（若路径不存在，则需新建）,将master节点JDK安装包解压到optmodule路径中（若路径不存在，则需新建），将JDK解压命令复制并粘贴至客户端桌面【Release、任务A提交结果.docx】中对应的任务序号下；2、修改容器中etcprofile文件，设置JDK环境变量并使其生效，配置完毕后在master节点分别执行java-version"和"javac”命令，将命令行执行结果分别截图并粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下；3、请完成host相关配置，将三个节点分别命名为master、SIaVe1、slave2,并做免密登录，用Scp命令并使用绝对路径从master复制JDK解压后的安装文件到slavekslave2节点（若路径不存在,则需新建），并配置SIaVe1、slave2相关环境变量，将全部scp复制JDK的命令复制并粘贴至客户端桌面【Release'任务A提交结果.docx中对应的任务序号下；4、在master将Hadoop解压到optmodule（若路径不存在,则需新建）目录下,并将解压包分发至SIaVe1、SlaVe2中，其中master、SIaVe1、SIaVe2节点均作为datanode,配置好相关环境，初始化HadOOP环境namenode,将初始化命令及初始化结果截图（截取初始化结果日志最后20行即可）粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下；5、启动HadOOP集群（包括hdfs和yarn）,使用jps命令查看InaSter节点与slavel节点的Java进程，将jps命令与结果截图粘贴至客户端桌面【Release'任务A提交结果.docx中对应的任务序号下。子任务二：Kafka安装配置本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：1、从宿主机/opt目录下将文件zookeeper-3.4.6.tar.gz、kafka_2.12-2.0.0.tgz复制到容器mastert36¾optsoftware路径中（若路径不存在，则需新建），将MaSter节点ZOOkeePer,Kafka安装包解压到optmodule目录下，将Kafka解压命令复制并粘贴至客户端桌面【Release、任务A提交结果.docx中对应的任务序号下；2、配置好zookeeper,其中zookeeper使用集群模式，分别将master、slavel>SIaVe2作为其节点（若ZOOkPeer已安装配置好，则无需再次配置），配置好Kafka的环境变量，使用kafka-server-start.shversion查看Kafka的版本内容，并将命令和结果截图粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下；3、完善其他配置并分发Kafka文件到SIaVe1、SIaVe2中，并在每个节点启动Kafka,创建TOPic,其中TOPiC名称为installtopic,分区数为2,副本数为2,将创建命令和创建成果截图粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下。子任务三：HiVe安装配置本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：1、从宿主机/opt目录下将文件apache-hive-2.3.4-bin.tar.gz、mysql-connector-java-5.1.47.jar复制到容器master中的optsoftware路径中（若路径不存在，则需新建），将容器master节点HiVe安装包解压到optmodule目录下，将命令复制并粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下；2、设置HiVe环境变量，并使环境变量生效，执行命令hive-version并将命令与结果截图粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下；3、完成相关配置并添加所依赖包，将MySQL数据库作为Hive元数据库。初始化Hive元数据，并通过schematool相关命令执行初始化，将初始化结果截图（范围为命令执行结束的最后10行）粘贴至客户端桌面【Release'任务A提交结果.docx】中对应的任务序号下。任务B：离线数据处理（25分）环境说明：服务端登录地址详见各任务服务端说明。补充说明：各节点可通过ASbrU工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root123456（已配置远程连接）;Hive的配置文件位于/opt/apache-hive-2.3.4-binconfSpark任务在Yarn上用Client运行，方便观察日志。子任务一：数据抽取编写Scala代码，使用Spark将MySQL库中表EnvironmentData,ChangeRecord,BaseMachine,MaChineData,ProduceRecord全量抽取到HiVe的ods库中对应表environmentdata,changerecord,basemachine,machinedata,producerecord中。1、抽取MySQL的ShICLindUStry库中EnvironmentData表的全量数据进入Hive的OdS库中表environmentdata,字段排序、类型不变，同时添加静态分区，分区字段为etldate,类型为String,且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitionsOdS.environmentdata命令，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；2、抽取MySQL的Shtd_industry库中ChangeRecord表的全量数据进入Hive的OdS库中表Changerecord,字段排序、类型不变，同时添加静态分区，分区字段为etldate,类型为String,且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitionsods.changerecord命令，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；3、抽取MySQL的ShId.industry库中BaseMachine表的全量数据进入Hive的ods库中表basemachine,字段排序、类型不变，同时添加静态分区，分区字段为etldate,类型为String,且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitionsods.basemachine命令，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；4、抽取MySQL的Shtd.industry库中ProduceRecord表的全量数据进入Hive的ods库中表producerecord,剔除ProducePrgCode字段,其余字段排序、类型不变，同时添加静态分区，分区字段为Ctldate,类型为String,且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitionsOdS.producerecord命令，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；5、抽取MySQL的Shtd_industry库中MachineData表的全量数据进入Hive的OdS库中表machinedata,字段排序、类型不变，同时添加静态分区，分区字段为etldate,类型为String,且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitionsods.machinedata命令，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下。子任务二：数据清洗编写HiveSQL代码,将OdS库中相应表数据全量抽取到Hive的dwd库中对应表中O表中有涉及到timestamp类型的，均要求按照yyyy-MM-ddHU：mm：ss,不记录毫秒数，若原数据中只有年月日，则在时分秒的位置添加00:00:00,添加之后使其符合yyyy-MM-ddHH：mm：SSo1、抽取OdS库中environmentdata的全量数据进入Hive的dwd库中表fact_environment_data,分区字段为etldate且值与OdS库的相对应表该值相等，并添加dwd_insert_userxdwd_insert_time>dwd_modify_userdwd_modify_time四列，其中dwd_insert_usersdwd_modify_user均填写userlw,dwd_insert_timedwd_modify_time均填写当前操作时间，并进行数据类型转换。使用hivecli按照envoid降序排序，查询前5条数据，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；2、抽取ods库中changerecord的全量数据进入Hive的dwd库中表fact_change_record,抽取数据之前需要对数据根据changeid和Changemachineid进行联合去重处理，分区字段为etldate且值与OdS库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填写“userl”,dwd_insert_time>dwd_modify_time均填写当前操作时间，并进行数据类型转换。使用hivecli按照change_machine_idxchange_id降序排序，查询前1条数据，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；3、抽取OdS库中basemachine的全量数据进入HiVe的dwd库中表dim_machine,抽取数据之前需要对数据根据basemachineid进行去重处理。分区字段为etldate且值与OdS库的相对应表该值相等，并添加dwd_insert_user>dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_userdwd_modify_user均填写“userl”,dwd_insert_time>dwd_modify_time均填写当前操作时间，并进行数据类型转换。使用hivecli按照base_machine_id升序排序，查询dim_machine前2条数据,将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；4、抽取OdS库中producerecord的全量数据进入Hive的dwd库中表fact_produce_record,分区字段为etldate且值与OdS库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_timedwd_modify_userdwd_modify_time四列，其中dwd_insert_user>dwd_modify_user均填写user1,dwd_insert_timedwd_modify_tinie均填写当前操作时间，并进行数据类型转换。使用hivecli按照produce_machine_id、produce_record_id升序排序，查询fact_produce_record前2条数据，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；5、抽取OdS库中machinedata的全量数据进入Hive的dwd库中表fact_machine_datao分区字段为etldate且值与OdS库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_userdwd_modify_user均填写user1,dwd_insert_timedwd_modify_tinie均填写当前操作时间，并进行数据类型转换。使用hivecli按照machine_idmachine_record_id降序排序，查询前1条数据，将结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下。子任务三：指标计算1、本任务基于以下2、3、4小题完成，使用DolPhinSChedUIer完成第2、3、4题任务代码的调度。工作流要求，使用ShelI输出“开始”作为工作流的第一个job(jobl),2.3、4题任务为并行任务且它们依赖jobl的完成(命名为job2、job3、job4),job2.job3,job4完成之后使用shell输出“结束”作为工作流的最后一个job(endjob),endjob依赖job2>job3、job4,并将最终任务调度完成后的工作流截图，将截图粘贴至客户端桌面【Release'任务B提交结果.docx中对应的任务序号下；2、编写Scala代码，使用Spark根据dwd层的fact_environment_data表，统计检测设备(baseid)每月的PMlO的检测平均浓度，然后将每个设备的每月平均浓度与厂内所有检测设备每月检测结果的平均浓度做比较(结果值为:高/低/相同),计算结果存入MySQL数据库shtd_industry的machine_runningAVG_compare表中(表结构如下),然后在LinUX的MySQL命令行中根据检测设备ID降序排序，查询出前5条，将SQL语句复制粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下，将执行结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；字段类型中文含义备注base_idint检测设备IDmachine_avgvarchar单设备检测平均值factory_avgvarchar厂内所有设备平均值comparisonvarchar比较结果高/低/相同env_date_yearvarchar检测年份如：2021env_date_monthvarchar检测月份如：123、编写Scala代码，使用Spark根据dwd层的fact_change_record表统计每个月（Change_start_time的月份）、每个设备、每种状态的时长，若某状态当前未结束（即Change_end_time值为空）则该状态不参与计算，计算结果存入MySQL数据库Shtdindustry的machine_state_time表中（表结构如下），然后在LinUX的MySQL命令行中根据设备id、状态持续时长均为降序排序，查询出前10条，将SQL语句复制粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下，将执行结果截图粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下；字段类型中文含义备注machinejdint设备idchange_record_statevarchar状态duration_timevarchar持续时长（秒）当月该状态的时长和yearint年状态产生的年monthint月状态产生的月4、编写Scala代码，使用Spark根据dwd层的fact_change_record表关联dinunachine表统计每个车间中所有设备运行时长（即设备状态为“运行”）的中位数在哪个设备（为偶数时，两条数据原样保留输出），若某个设备运行状态当前未结束（即Change_end_time值为空）则该状态不参与计算，计算结果存入MySQL数据库Shtd_industry的machine_running_median表中（表结构如下），然后在Linux的MySQL命令行中根据所属车间、设备id均为降序排序，查询出前5条数据，将SQL语句复制粘贴至客户端桌面【Release'任务B提交结果.docx】中对应的任务序号下，将执行结果截图粘贴至客户端桌面【Release'任务B提交结果.docx中对应的任务序号下；字段类型中文含义备注machinejdj11t设备idmachine_factoryint所属车间total_running_timeint运行总时长结果以秒为单位任务C:数据挖掘（10分）环境说明：服务端登录地址详见各任务服务端说明。补充说明：各节点可通过ASbrU工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root123456（已配置远程连接）；Hive的配置文件位于/opt/apache-hive-2.3.4-binconfSpark任务在Yarn上用Client运行，方便观察日志。该任务均使用SCala编写，利用SPark相关库完成。子任务一：特征工程1、根据dwd库中fact_machine_data表（或MySQL的shtd_industry库中MachineData表），根据以下要求转换：获取最大分区（MySQL不用考虑）的数据后，首先解析列machine_record_data（MySQL中为MachineRecordData）的数据（数据格式为xml,采用dom4j解析，解析demo在客户端/home/UbUntU/Documents目录下），并获取每条数据的主轴转速，主轴倍率，主轴负载，进给倍率，进给速度，PMC程序号，循环时间，运行时间，有效轴数，总加工个数，已使用内存，未使用内存，可用程序量，注册程序量等相关的值（若该条数据没有相关值，则按下表设置默认值），同时转换machine_record_state字段的值，若值为报警，则填写1,否则填写0,以下为表结构，将数据保存在dwd.fact_jnachine_learning_data,使用hivecli按照machine_record_id升序排序，查询dwd.fact_machine_1earning_data前1条数据，将结果截图粘贴至客户端桌面【Release'任务C提交结果.docx】中对应的任务序号下。dwd.fact_machine_1earning_data表结构：字段类型中文含义备注machine_record_idint主键machine_iddouble设备idmachine_record_statedouble设备状态默认0.0machine_record_mainshaft_speeddouble主轴转速默认0.0machine_record_mainshaft_muItipleratedouble主轴倍率默认0.0machine_record_mainshaft_loaddouble主轴负载默认0.0machine_record_feed_speeddouble进给倍率默认0.0machine_record_feed_muItipleratedouble进给速度默认0.0machine_record_pmc_codedoublePMC程序号默认0.0machine_record_circle_timedouble循环时间默认0.0machine_record_run_timedouble运行时间默认0.0machine_record_effective_shaftdouble有效轴数默认0.0machine_record_amount_processdouble总加工个数默认0.0machine_record_use_memorydouble已使用内存默认0.0machine_record_free_memorydouble未使用内存默认0.0machine_record_amount_use_codedouble可用程序量默认0.0machine_record_amount_free_codedouble注册程序量默认0.0machine_record_datetimestamp记录日期dwd_insert_userstringdwd_insert_timetimestampdwd_modify_userstringdwd_modify_timetimestamp子任务二：报警预测1、根据子任务一的结果，建立随机森林（随机森林相关参数可自定义，不做限制），使用子任务一的结果训练随机森林模型，然后再将hive中dwd.fact_machine_1earning_data_test（该表字段含义与dwd.fact_machine_learning_data表相同，machine_record_state列值为空，表结构自行查看）转成向量，预测其是否报警将结果输出到MySQL数据库shtd_industry的ml_result表中（表结构如下）。在Linux的MySQL命令行中查询出machine_record_id为1、8、20、28和36的5条数据，将SQL语句复制并粘贴至客户端桌面【Release'任务C提交结果.docx】中对应的任务序号下，将执行结果截图粘贴至客户端桌面【Release'任务C提交结果.docx】中对应的任务序号下。mlresult表结构:字段类型中文含义备注machine_record_idint主键machine_record_statedouble设备状态报警为1,其他状态则为0任务D：数据采集与实时计算（20分）环境说明：服务端登录地址详见各任务服务端说明。补充说明：各节点可通过ASbrU工具或SSH客户端进行SSH访问；FIink任务在Yarn上用Perjob模式（即Job分离模式，不采用SeSSion模式），方便Yarn回收资源。子任务一：实时数据采集1、在主节点使用FIUnIe采集/dataOg目录下实时日志文件中的数据，将数据存入到Kafka的Topic中（Topic名称分别为ChangeRecord.ProduceRecord和EnVironmentData,分区数为4）,将FlUme采集ChangeReCord主题的配置截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下；2、编写新的FIUme配置文件，将数据备份到HDFS目录usertestflumebackup下，要求所有主题的数据使用同一个Fhnne配置文件完成，将FIUme的配置截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下。子任务二：使用FIink处理Kafka中的数据编写Scala代码，使用Flink消费Kafka中的数据并进行相应的数据统计计算。1、使用Flink消费Ka珠a中EnvironmentData主题的数据，监控各环境检测设备数据，当温度（TenIPeratUre字段）持续3分钟高于38度时记录为预警数据。将结果存入RediS中，key值为"env_temperature_monitor”,value值为“设备id-预警信息生成时间，预警信息”（预警信息生成时间格式：yyyy-MM-ddHH：mm：ss）o使用rediscli以HGETALLkey方式获取env_temperatureJTIOnitor值，将结果截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下，需要FIink启动运行6分钟以后再截图；注：时间语义使用ProcessingTimeoVaIUe示例：114-2022-01-0114:12:19,设备114连续三分钟温度高于38度请及时处理！中文内容及格式必须为示例所示内容。同一设备3分钟只预警一次。2、使用Flink消费Kafka中ChangeRecord主题的数据，每隔1分钟输出最近3分钟的预警次数最多的设备。将结果存入Redis中，key值为warning_last3min_everymin_out,value值为“窗口结束时间,设备id”（窗口结束时间格式：yyyy-MM-ddHH：mm：ss）。使用rediscli以HGETALLkey方式获取warning_last3min_everymin_out值，将结果截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；注：时间语义使用ProcessingTimeo3、使用FIink消费Kafka中ChangeRecord主题的数据，实时统计每个设备从其他状态转变为“运行”状态的总次数。将结果存入MySQL数据库Shtd_industry的change_state_other_to_run_agg表中（表结构如下）。请将任务启动命令复制粘贴至客户端桌面【Release'任务D提交结果.docx中对应的任务序号下，启动1分钟后根据Change_machine_id降序查询change_state_other_to_run_agg表并截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下，启动2分钟后根据change_machine_id降序查询change_state_other_to_run_agg表并再次截图粘贴至客户端桌面【Release'任务D提交结果.docx】中对应的任务序号下。注：时间语义使用ProcessingTimeochange_state_other_to_run_agg表：字段类型中文含义change_machine_idint设备idlast_machine_statevarchar上一状态。即触发本次统计的最近一次非运行状态total_change_torunint从其他状态转为运行的总次数in_timevarcharflink计算完成时间（yyyyMM-ddIIH：mm：ss）任务E：数据可视化（15分）环境说明：数据接口地址及接口描述详见各任务服务端说明。注：所有数据排序按照接口返回数据顺序处理即可，不用特意排序。子任务一：用饼状图展示每日各状态总时长编写VUe工程代码，根据接口，用饼状图展示每日各状态总时长（秒），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release'任务E提交结果.docx】中对应的任务序号下。子任务二：用柱状图展示设备历史各个状态持续时长编写VUe工程代码，根据接口，用柱状图展示接口所有数据中各设备各个状态持续时长（秒），同时将用于图表展示的数据结构在浏览器的ConSoIe中进行打印输出，将图表可视化结果和浏览器ConSOIe打印结果分别截图并粘贴至客户端桌面【Release'任务E提交结果.docx】中对应的任务序号下。子任务三：用单轴散点图展示各设备加工每件产品所需时长编写VUe工程代码，根据接口，用单轴散点图展示各设备加工每件产品所需时长（秒），同时将用于图表展示的数据结构在浏览器的ConSOIe中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release'任务E提交结果.docx中对应的任务序号下。子任务四：用散点图展示环境湿度变化编写VUe工程代码，根据接口，用基础散点图展示设备所处环境的湿度（HUmidity）的变化，同时将用于图表展示的数据结构在浏览器的COnSOIe中进行打印输出,将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release'任务E提交结果.docx中对应的任务序号下。子任务五：用折柱混合图展示设备日均产量和所在车间日均产量编写VUe工程代码，根据接口，用折柱混合图展示设备日均产量（四舍五入保留两位小数）和所在车间日均产量（四舍五入保留两位小数），其中柱状图展示各设备的日均产量，折线图展示该设备所在车间的日均产量，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release、任务E提交结果.docx中对应的任务序号下。任务F：综合分析（10分）子任务一：HadoOP有哪些类型的调度器？简要说明其工作方法。简要描述Hadoop有哪些类型的调度器并简要说明其工作方法，将内容编写至客户端桌面【Release'任务F提交结果.docx】中对应的任务序号下。子任务二：请简述SPark中共享变量的基本原理和用途。请简述Spark中共享变量的基本原理和用途，将内容编写至客户端桌面【Release'任务F提交结果.docx中对应的任务序号下。子任务三：请根据可视化部分设备各状态时长等信息进行以下分析。根据设备各状态运行时长等信息，分析哪些设备使用率高，将内容编写至客户端桌面【Release'任务F提交结果.docx】中对应的任务序号下。