大数据平台部署与运维教学教案.docx

《大数据平台部署与运维教学教案.docx》由会员分享，可在线阅读，更多相关《大数据平台部署与运维教学教案.docx（71页珍藏版）》请在课桌文档上搜索。

1、大数据平台部署与运维教案学年第一学期教案课程名称：大数据平台部署与运维总课时数：64开课班级：授课教师：开课部门：单元1大数据简介教案编号【1】章（单元）一：大数据简介（2学时）课程名称大数据平台部署与运维授课类型课堂讲授学时2教学内容任务1.1认识大数据1.1.1 大数据的概念1.1.2 大数据的特点1.1.3 大数据的发展背景1.1.4 大数据技术的发展历程1.1.5 大数据的应用现状1.1.6 大数据的意义和未来授课对象任务定位1、掌握大数据的概念和特点2、了解大数据的发展背景3、了解大数据技术的发展历程4、了解大数据的应用现状5、了解大数据的意义和未来思政元素融入点大数据产业发展和国家

2、战略：大数据产业，是指大数据的产业集群、产业园区，涵盖大数据技术产品研发、工业大数据、行业大数据、大数据产业主体、大数据安全保障、大数据产业服务体系等组成的大数据工业园区。2021年7月13日，中国互联网协会发布了中国互联网发展报告（2021），在大数据领域，2020年我国大数据产业规模达到了718.7亿元，增幅领跑全球数据市场。我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。2021年11月30日，工业和信息化部发布的“十四五”大数据产业发展规划提出，到2025年我国大数据产业测算规模突破3万亿元，年均复合增长率保持25%左右，创新力强、附加值高、自主可控的现代化大数据产业体系

3、基本形成。大数据产业规模快速增长需要大量人才，预计到2025年，大数据核心人才缺口将高达230万人。所以，不负青春，强国有我！学好大数据技术，为产业发展贡献自己的力量。教学目标知识目标掌握大数据的概念掌握大数据的特点了解大数据的发展背景和应用现状等能力目标能够准确描述大数据的概念能够准确描述大数据的特点素质目标养成善于思考、深入研究的良好自主学习习惯和创新精神具有较强的责任心、细致缜密的工作态度具有吃苦耐劳、团队协作，沟通交流和书面表达能力教学重点、难点重点：大数据的概念和特点难点：大数据的技术体系解决策略：讲师课堂教学要以PPT讲授为主，并结合多媒体、开发工具进行教学教学方法根据不同知识点、

4、不同教学目标要求，采用针对性的教学方法：1 .理论部分，采用课堂讲授+联系日常实际讲授2 .实践部分，采用实例化上机编程，注重讨论和总结教学考核与评价评价构成采用过程性考核与结果性考核并重的评价模式，过程性考核在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核来自每个学习项目的作业、章节测试、期末考试。评价要素学习通平台完成课前、课中和课后全过程学习轨迹记录和评价。主要包括：课前测试、课堂签到、课堂活动、课堂讨论、课堂考核、课后测试、课后作业等要素。评价主体课前、课后测试、课堂签到、课堂活动参与情况等过程性考核，在学习通考核权重环节设置体现过程性学习行为的指标，

5、通过系统自动汇总实现。结果性考核由学生、老师和企业教师多维角度共同评价。教学活动安排教学过程教师活动学生活动设计意图教学资源课前熟悉课件、教案、课程标准、课程计划等内容，发布课前预习通知，引导学生提前学习。登录学习通平台，预习章节内容引导学生提前进行知识点的学习过程中。学习通平台课中一、创设情境，引入单元任务(I)提出问题：围绕在我们身边的大数据应用案例有哪些？各小组头脑风暴，举例说明。(2)【任务场景】在我们使用电商软件购买商品的时候，你是否曾经思考过，为什么每次自己浏览过的商品，就会出现在首页推荐或者其他应用软件的广告中呢？当我们在电商软件上浏览商品时，软件后台会收集你的浏览记录，包括用户

6、账号、商品类别等信息。此刻，如果你是技术人员，你会如何将浏览数据存放起来？在传统开发思维中很多人会选择：关系型数据库。但是一天几百、几千亿的商品浏览数据，主机需要多大的磁盘才能完成数据留存？关系型数据库能处理这么多数据吗？如何实时高效分析出用户的浏览偏好？又如何实时反馈给用户呢？中国古人有“结绳记事”“刻痕记数”，远古时代人们需要准备石头、树木记载相应的数据；在公元前8000年至公元前3500年间，听课，讨论与思考。【任务布置】本任务主要内容包括理解并掌握大数据的概念和特点，了解大数据的发展背景、大数据技术发展历程，把握大数据发展趋势，了解大数据相关岗位和人才需求，为后续更好的开展大数据技术学

7、习打下基础。紧扣知识点内容，通过举例等方式，引导学生产生兴趣，更好的完成学习目标。学习通平台两河流域有苏美尔人的计数泥板，此时需要准备泥版；而后出现了纸张，出现了文档；信息时代有了电子表格、数据库，各类存储介质大显身手。而当今，数据无所不在，所需准备的，是打开思维，融入大数据时代!二、本单元知识点方懈明确本节课学习目标进行重点知识的讲解，重点讲解以下内容：1.1.1 大数据的概念1.1.2 大数据的特点1.1.3 大数据的发展背景1.1.4 大数据技术的发展历程1.1.5 大数据的应用现状1.1.6 大数据的意义和未来观看教师示范讲解，结合内容，思考问题，提问问题按照课程知识点顺序进行讲述课堂

8、极域教学平台VMwareWorkstation虚拟机三、各小组头脑风暴、讨论我们身立N的大数据应用实例设定题目：我们身边的大数据各小组头脑风暴、讨论我们身边的大数据应用案例。并整理下来，各小组汇报讨论结果。头脑风暴、讨论我们身边的大数据应用案例。通过小组讨论、头脑风暴，让学生充分挖掘我们日常生活中已经成熟应用的大数据案例，加深对大数据概念和特点的课堂极域教学平台理解。课后完成课后作业、依据学习通资源复习知识点内容。单元2Hadoop伪分布式安装部署教案编号【2】OPtFth大数据平台部署与运维课程章（单元）二：HadooP伪分布式安装部署（5学时）课程名称大数据平台部署与运维授课类型课堂讲授+

9、实操演练学时5教学内容任务2.1搭建HadOoP伪分布了2.1.1 HadOOP原理与体系架构2.1.2 Hadoop的发展历程与应月2.1.3 HadOOP安装方式任务2.2启动与访问HadOOP（2.2.1 Had。P启动关闭等操作If2.2.2 基于WebUI监控Hadoop（学时：4）厥状学时：1）3令平台授课对象任务定位5、掌握HadOOP原理与体系架构6、了解HadoOP的发展历程与应用现状7、掌握HadOoP安装方式8、掌握HadoOP启动关闭等操作命令9、掌握基于WebUl监控HadooP平台的方法思政元素融入点思政主题：加快解决“卡脖子”难题，让学生了解目前“卡脖子”技术，为

10、实现技术强国贡献力量。何谓“卡脖子”技术？这是一个形象的说法，指的是别人有但自己还没有的关键核心技术，找不到替代，缺了它就没法运转，就像被人扼住了咽喉、卡住了脖子一样难受。当前，我国科技领域关键核心技术依旧是我们最大的命门，“卡脖子”的现象仍比较突出。科技日报曾推出系列文章报道制约中国工业发展的35项“卡脖子”技术，主要有光刻机、芯片、操作系统、航空发动机短舱、触觉传感器、核心工业软件、ITo靶材、核心算法、航空钢材、数据库管理系统、扫描电镜等。关键核心技术是国之重器，拿不来、买不来、讨不来，军事关键核心技术更是如此。我们没有别的出路，唯有坚定走自主创新之路，把发展命脉牢牢掌握在自己手中。正如

11、北斗二号系统的一位副总设计师所说：“国外技术尽管很好，但北斗决不能照搬照抄。我们必须走自己的路，永远不能把登山的保险绳交到别人手中！”目前，国内大数据厂商像华为、大快、星环等都自主创新和研发了大数据平台，实现了大数据关键技术的国产化替代。教学目标知识目标掌握Hadoop原理与体系架构了解Hadoop的发展历程与应用现状掌握Hadoop安装方式掌握Hadoop启动关闭等操作命令掌握基于WebUI监控Hadoop平台的方法能力目标能够自主搭建Hadoop伪分布式平台能够访问和操作Hadoop平台素质目标养成善于思考、深入研究的良好自主学习习惯和创新精神具有较强的责任心、细致缜密的工作态度具有吃苦耐

12、劳、团队协作，沟通交流和书面表达能力教学重点、难点重点：Hadoop伪分布式搭建难点：Hadoop的原理与体系架构解决策略，讲师课堂教学要以PPT讲授为主，并结合多媒体、开发工具进行教学教学方法根据不同知识点、不同教学目标要求，采用针对性的教学方法：1 .理论部分，采用课堂讲授+联系日常实际讲授2 .实践部分，采用任务驱动形式，注重任务的实践操作。教学考核与评价评价构成采用过程性考核与结果性考核并重的评价模式，过程性考核在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核来自每个学习项目的作业、章节测试、期末考试。评价要素学习通平台完成课前、课中和课后全过程学习轨

13、迹记录和评价。主要包括：课前测试、课堂签到、课堂活动、课堂讨论、课堂考核、课后测试、课后作业等要素。评价主体课前、课后测试、课堂签到、课堂活动参与情况等过程性考核，在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核由学生、老师和企业教师多维角度共同评价。教学活动安排教学过程教师活动学生活动设计意图教学资源课前熟悉课件、教案、课程标准、课程计划等内容，发布课前预习通知，引导学生提前学习。登录学习通平台，预习章节内容引导学生提前进行知识点的学习过程中。学习通平台课中一、创设情境，引入单元任务创设任务情境：某IT公司的经理和技术实施工程师小张之间的对话：(1)【任务场

14、景】经理：我们公司现在数据量不断上升，现有的架构需要升级，小张你有什么意见？小张：HadOOP适合应用于大数据存储和大数据分析的应用，适合于服务器几千台到几万台的集群运行，支持PB级的存储容量。HadoOP典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。经理：好，那你先在服务器上搭建一下。听课，讨论与思考。【任务布置】Hadoop是由Java语言开发的,所以Hadoop的部署和运行都依赖JDK,因此必须先将部署前基础环境准备完成。本次任务要求在单节点上部署伪分布式Hadoopo一般在测试场景下经常会部署单节点的伪分布式Hadoop,理解并掌握HadOOP伪分布式的安装

15、部署，可以为后续生产环境下部署Hadoop分布式集群打下基础。紧扣知识点内容，通过举例等方式，引导学生产生兴趣，更好的完成学习目标。学习通平二、本单元知识点讲解、任务演示明确本节课学习目标进行重点知识的讲解和演示，重点讲解以下内容：任务21搭建HadooP伪分布式2.1.1 Hadoop原理与体系架构2.1.2 Hadoop的发展历程与应用现状观看教师示范讲解和任务操作演示,结合内容，思考问题，提问问题按照课程知识点顺序进行讲述课堂极域教学平台VMwareWorkStation虚拟机2.1.3 HadooP安装方式任务2.2启动与访问HadooP2.2.1 HadOOP启动关闭等操作命令2.2

16、.2 基于WebUl监控HadOOP平台三、实战演练，每位同学在自己的机器上完成HadOoP平台搭建每位同学在自己的电脑上完成Hadoop伪分布式的安装部署【工作流程】搭建伪分布式Hadoop的基本工作流程包括：1 .关闭防火墙2 .关闭SELinUX3 .修改主机名4 .配置SSH(secureshell)免密码登录5 .安装配置JDKl.86 .安装配置Hadp按照工作流程完成Hadoop伪分布式环境搭建按照工作流程、规范操作，完成Hadoop伪分布式搭建课堂极域教学平台、VMwareWorkStation虚拟机四、验证Hadoop伪分布式搭建结果在搭建完伪分布式Hadoop的基础上，【工

17、作流程】1.格式化HDFS2 .启动伪分布Hadoop3 .通过WebUI监控Hadoop平台按照工作任务流程，完成格式化HDFS、启动Hadoop通过WebUI监控Hadoop平台运行结果掌握Hadoop相关启动命令，知道Hadp常见问题处理方法，T解HadoopUI监控相关功能，为后续生产环境下部署Hadoop分布式集群打下基础。课堂极域教学平台、VMwareWorkStation虚拟机课后完成课后作业、依据学习通资源复习知识点内容。单元3Hadoop集群部署与监控教案编号【3】章（单元）三：HadoOP集群部署与监控（5学时）课程名称大数据平台部署与运维授课类型课堂讲授+实操演练学时5教

18、学内容单元3HadoopI任务3.1搭建卜3.1.1 什么是集:3.1.2 Hadoop集3.1.3 Hadoop集3.1.4 Hadoop集单元3任务3.23.2.1 通过浏览电3.2.2 集群搭建帘表群部署与监控IadooP集群（学时：4）牌群规划群的特点群部署过程监控Hadoop集群（学时：1）导监视集群运行状态另见问题及解决办法总结授课对象任务定位10、 了解集群的概念和特点11、 掌握集群的规划方法12、 掌握Hadoop集群的部署过程13、 掌握通过浏览器监视集群的方法14、 了解集群搭建常见问题及解决办法思政元素融入点思政主题：团队的力量，通过Hadoop集群协作让学生充分理解和

19、体验团队的力量，重视团队协作。本单元中我们学习的Hadoop集群通过多个节点的紧密协作可以完成海量数据的存储和处理。在当今社会，我们更要重视集群的力量。团结可以把渺小变成巨大，“一双筷子轻轻被折断,十双筷子牢牢抱成团”。所谓团队，是指一些才能互补、团结和谐、目标统一、职责分工、相互配合的一群人。团队精神是指团队成员为了团队的利益与目标而相互协作的作风。团队精神的核心是奉献，团队精神的精髓是承诺。在专业分工越来越细、市场竞争越来越激烈的前提下，单打独斗的时代已经过去，合作变得越来越重要，时代呼唤团队合作精神。团队精神强调团队内部各个成员为了团队的共同利益而紧密协作，从而构成强大的凝聚力和整体作战

20、力，最终实现团队目标。教学目标知识目标了解集群的概念和特点掌握集群的规划方法掌握Hadoop集群的部署过程掌握通过浏览器监视集群的方法了解集群搭建常见问题及解决办法能力目标能够规划并搭建多节点的Hadoop集群能够通过浏览器监控管理集群素质目标养成善于思考、深入研究的良好自主学习习惯和创新精神具有较强的责任心、细致缜密的工作态度具有吃苦耐劳、团队协作，沟通交流和书面表达能力教学重点、难点重点：Hadoop分布式集群搭建难点:Hadoop分布式集群搭建三策略，讲师课堂教学要以PPT讲授为主，并结合多媒体、开发工具进行教学教学方法根据不同知识点、不同教学目标要求，采用针对性的教学方法：1 .理论部

21、分，采用课堂讲授+联系日常实际讲授2 .实践部分，采用任务驱动形式，注重任务的实践操作。教学考核与评价评价构成采用过程性考核与结果性考核并重的评价模式，过程性考核在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核来自每个学习项目的作业、章节测试、期末考试。评价要素学习通平台完成课前、课中和课后全过程学习轨迹记录和评价。主要包括：课前测试、课堂签到、课堂活动、课堂讨论、课堂考核、课后测试、课后作业等要素。评价主体课前、课后测试、课堂签到、课堂活动参与情况等过程性考核，在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核由学生、老师和企

22、业教师多维角度共同评价。教学活动安排教学过程教师活动学生活动设计意图教学资源课前熟悉课件、教案、课程标准、课程计划等内容，发布课前预习通知，引导学生提前学习。登录学习通平台，预习章节内容引导学生提前进行知识点的学习过程中。学习通平台课中一、创设情境，引入单元任务创设任务情境：某IT公司的经理和技术实施工程师小张之间的对话，引出本次任务。【任务场景】经理：小张，我们业务现在增长速度非常快，我们现在单台服务器已经满足不了数据的存储了，我们考虑下后期如何处理。小张：经理，我们的业务数据非结构化数据占大多数，我们可以搭建一套分布式存储来存储数据。经理：我们现在业务系统反应越来越慢，尤其是在业务高峰期的

23、时候，感觉特别迟钝九小张：我们的业务是做数据处理的，我们现在数据量非常庞大，业务处理起来压力非常大。我们可以上线一套Hadoop集群，它的HDFS可以将多台服务器组成一个文件系统，用来存储我们的数据，YARN+MapReduce可以将我们的任务分解到不同的服务器上执行，来提高效率。经理：这个方案听起来不错，你根据我们的业务情况规划一套Hadoop集群，并搭建起来吧。小张：好的。听课，讨论与思考紧扣知识点内容，通过举例等方式，引导学生产生兴趣，更好的完成学习目标。学习通平台二、本单元知识点讲解、任务演示明确本节课学习目标观看教师示范按照课程知识课堂极域教学进行重点知识的讲解和演示，重点讲解以下内

24、容：任务3.1搭建HadOOP集群3.1.1 什么是集群3.1.2 Hadoop集群规划3.1.3 Hadoop集群的特点3.1.4 Hadoop集群部署过程单元3任务3.2监控Hadoop集群3.2.1 通过浏览器监视集群运行状态3.2.2 集群搭建常见问题及解决办法总结讲解和任务操作演示，结合内容，思考问题，提问问题点顺序进行讲述平台VMwareWorkstation虚拟机三、实战演练，以小组为单位完成Hadoop集群搭建每3-5位同学分为一组，完成Hadp多节点的Hadoop集群规划和安装部署。【工作流程】Hadoop完全分布式集群部署工作流程包括：1 .Hadoop集群规划2 .操作系

25、统准备3 .部署Hadp集群4 .启动Hadoop集群5 .验证Hadoop集群按照工作流程完成Hadoop完全分布式集群环境搭建按照工作流程、规范操作，完成Hadoop完全分布式集群搭建课堂极域教学平台、VMwareWorkstation虚拟机四、监控HadoOP集群监控搭建好的HadoOP集群：【工作流程】1 .查看HDFS文件系统的容量大小和使用率2 .在hdfs中创建/upload文件夹，通过Web界面上传文件到此文件夹按照工作任务流程，完成HDFS监控管理、启动wordcount任务并监控运行结果监控管理HDFS、监控管理MapReduce任务的执行过程。课堂极域教学平台、VMwar

26、eWorkstation虚拟机3 .启动一个WOrdCoUnt的任务4 .在ResourceManager的WebUI中查看WordCount任务执行的状态，并查看执行所消耗的时间。课后完成课后作业、依据学习通资源复习知识点内容。单元4HDFS分布式存储教案编号4OPtFth大数据平台部署与运维课程章（单元）四：HDFS分布式存储（10学时）课程名称大数据平台部署与运维授课类型课堂讲授+实操演练学时10教学内容任务4.1认识HDFS分布式存储（学时：1）4.1.1 HDFS原理与体系架构4.1.2 HDFS读写文件流程4.1.3 HDFS特点与优势任务4.2HDFS的文件系统操作（学时：2）4

27、.2.1 HDFS的操作方法介绍4.2.2 HDFS的shell命令操作任务4.3HDFS的系统管理操作（学时：2）4.3.1 HDFS的安全模式操作4.3.2 HDFS增力口扩容操作4.3.3 HDFS数据平衡4.3.4 HDFS存储策略4.3.5 HDFS快照任务4.4本地开发环境部署（学时：1）4.4.1 认识JDK4.4.2 认识Maven4.4.3 认识IDEA任务4.5HDFS的JaVaAPl操作（学时：4）4.5.1HDFS的常用API介绍授课对象任务定位15、 了解HDFS的原理和体系架构16、 掌握HDFS的shell命令操作17、 掌握HDFS的安全模式操作18、 了解HD

28、FS的数据平衡、存储策略和快照管理19、 掌握HDFS的JavaAPI操作思政元素融入点思政主题：增强数据安全意识，通过HDFS的优秀的数据存储机制提高学生数据安全意识。在本单元中，我们学习到HDFS通过优秀的机架感知策略和副本机制来有效保障数据的安全和可用性。当今社会，数据己成为国家的战略资源、企业的关键资产与个体的人格表征。迎接数字时代，激活数据要素潜能，加快建设数字经济、数字社会、数字政府，以及数字化转型整体驱动生产方式、生活方式和治理方式的变革已成为第十四个五年规划的宏大愿景。然而，数据在体现和创造价值的同时，也面临着严峻的安全风险。近年来，数据安全事件造成的影响越来越严重，已逐渐深入

29、扩展到国家政治、经济、民生不同层面。作为社会的一员，我们每个人都要加强学习，强化数据安全风险意识。2021年6月10日，十三届全国人大常委会第二十九次会议表决通过了数据安全法并于2021年9月1日起施行。数据安全法作为数据领域的基础性法律，聚焦数据安全领域的风险隐患，确立了数据分类分级管理、数据安全审查、数据安全风险评估、监测预警和应急处置等基本制度，提升国家数据安全保障能力。教学目标知识目标了解HDFS的原理和体系架构掌握HDFS的shell命令操作掌握HDFS的安全模式操作了解HDFS的数据平衡、存储策略和快照管理掌握HDFS的JavaAPI操作能力目标能够通过shell命令操作使用HDF

30、S能够通过JavaAPI操作HDFS文件系统素质目标养成善于思考、深入研究的良好自主学习习惯和创新精神具有较强的责任心、细致缜密的工作态度具有吃苦耐劳、团队协作，沟通交流和书面表达能力教学重点、难点重点iHDFS的shell操作命令HDFS的JavaAPI操作难点：HDFS的JavaAPI操作解决策略：讲师课堂教学要以PPT讲授为主，并结合多媒体、开发工具进行教学教学方法根据不同知识点、不同教学目标要求，采用针对性的教学方法：1 .理论部分，采用课堂讲授+联系日常实际讲授2 .实践部分，采用任务驱动形式，注重任务的实践操作。教学考核与评价评价构成采用过程性考核与结果性考核并重的评价模式，过程性

31、考核在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核来自每个学习项目的作业、章节测试、期末考试。评价要素学习通平台完成课前、课中和课后全过程学习轨迹记录和评价。主要包括：课前测试、课堂签到、课堂活动、课堂讨论、课堂考核、课后测试、课后作业等要素。评价主体课前、课后测试、课堂签到、课堂活动参与情况等过程性考核，在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核由学生、老师和企业教师多维角度共同评价。教学活动安排教学过程教师活动学生活动设计意图教学资源课前熟悉课件、教案、课程标准、课程计划等内容，发布课前预习通知，引导学生提前学习。

32、登录学习通平台，预习章节内容引导学生提前进行知识点的学习过程中。学习通平台课中一、创设情境，引入单元任务创设任务情境：某IT公司的经理和技术实施工程师小张之间的对话，引出HDFS分布式存储相关任务。【任务场景】经理：小张，我们的大数据平台已经上线了，你整理一下HadooP的数据存储策略给大家分享一下吧。小张:HDFS会先将大文件分割成数据块，将数据块写入到数据节点中。HDFS默认将数据块存储三份来保障数据的安全性。经理：HDFS的这个特性真不错，它三副本的策略保证了我们的安全性。那HDFS还有什么其他特性吗，你总结一下吧。小张：HDFS通过副本放置策略机架感知策略同时作用，提高数据存放的安全性

33、，同时，HDFS尝试满足来自最接近读取器的副本的读取请求来提高数据访问的性能。这方面我统一总结一下吧。听课，讨论与思考。【任务布置】了解HDFS原理及体系架构，理解HDFS数据存储的副本存放策略，理解HDFS文件读写的流程。紧扣知识点内容，通过举例等方式，引导学生产生兴趣，更好的完成学习目标。学习通平台二、任务4.1-4.2知识点讲解、任务演示明确本节课学习目标进行重点知识的讲解和演示，重点讲解以下内容：任务4.1认识HDFS分布式存储4.1.1HDFS原理与体系架构观看教师示范讲解和任务操作演示，结合内容，思考问题，提问问题按照课程知识点顺序进行讲述课堂极域教学平台VMwareWorksta

34、tion虚拟机、Linux4.1.2 HDFS读写文件流程4.1.3 HDFS特点与优势任务4.2HDFS的文件系统操作4.2.1 HDFS的操作方法介绍4.2.2 HDFS的shell命令操作IDEA等三、实战演练，HDFS的SheH命令操作基于搭建好的Had。P环境完成以下操作：【工作流程】1.查看HDFS的根目录的文件列表2 .在HDFS中创建一个目录3 .将本地文件上传到HDFS新建目录中4 .查看HDFS中文件的内容5 .修改HDFS新上传文件的权限6 .在HDFS新上传的文件中追加字符串7 .将HDFS上的文件下载到本地按照工作流程完成HDFS的shell命令操作按照工作流程、规范

35、操作，完成HDFS的命令操作课堂极域教学平台、VMwareWorkstation虚拟机四、任务4.3HDFS的系统管理操作监控搭建好的Hadoop集群：【工作流程】1. Hadoop安全模式操作2. 向IIadoop集群增加worker节点3. HDFS快照操作按照工作任务流程，完成Hadoop安全模式操作、增力口Worker节点以及快照操作等掌握Hadoop安全模式操作，了解集群增加节点和快照操作课堂极域教学平台、VMWareWorkstation虚拟机五、任务4.4、任务4.5HDFS的JavaAPl操作主要知识点：任务4.4本地开发环境部署4.4.1认学生实战操练工作流掌握HDFS的JA

36、VAAPI开发环课堂极域教学平台、VMWare识JDK4.4.2 认识Maven4.4.3 UlRIDEA任务4.5HDFS的JavaAPI操作4.5.1 HDFS的常用API介绍1 .安装JDK2 .安装Maven3 .安装IDEA4 .创建Maven项目程5 .通过JavaAPI完成目录与文件的创建、删除操作6.通过JavaAPI文件上传与下载操作境的安装配置，己经JaVaAPl操作Workstation虚拟机、IDEA课后完成课后作业、依据学习通资源复习知识点内容。单元5MapReduce实现电商销售数据统计大数据平台部署与运维课程。/5编号5章（单元）五：MaPRedUCe实现电商销售

37、数据统计（12学时）课程名称大数据平台部署与运维授课类型课堂讲授+实操演练学时12531 MatedxeSce相关JaVaAPlJi应用523MapReduceiEi543MaPRedUCe8。件任务5.1认识MaPRedUCe（学时：2）任务5.2MapReduce实现词频统计（学时：4）5.2.1 MapReduce数据处理流程5.2.2 MapReduce相关JavaAPI及应用5.2.3 MapReduce驱动类任务5.3MaPRedUCe完成电商销售数据统计（学时：4）5.3.1 MapReduce完成电商销售数据统计的流程任务5.4MaPRedUCe任务管理机制（学时：2）5.4.

38、1 MaPRedUCe任务执行方式5.4.2 任务失败处理机制授课对象任务定位20、 了解MapReduce的原理和体系架构21、 了解YARN运行机制22、 掌握MapReduce数据处理流程23、 掌握M叩RedUCe编程实现词频统计24、掌握MapReduce编程实现电商数据统计思政元素融入点思政主题：“分而治之”解决大难题，通过MaPRedIICe海量数据处理思维，培养学生分而治之解决难题的大数据思维。本单元学习了MaPRedUCe海量数据处理思维：分而治之，简称分治法，就是利用集群的力量，把一个大的问题，转化为若干个子问题，每个子问题都解决了，大的问题便随之解决。在我们的人生旅程中，

39、也不可避免会遇到这样或那样的难题，只要我们充分发挥团队的力量，善于利用“分治法”的思想，那么再大的难题也终将会大事化小、小事化了！教学目标知识目标了解MapReduce的原理和体系架构了解YARN运行机制掌握MapReduce数据处理流程掌握MapReduce编程实现词频统计掌握MapReduce编程实现电商数据统计能力目标能够通过Java代码编写MapReduce词频统计能够通过Java代码实现MapReduce案例素质目标养成善于思考、深入研究的良好自主学习习惯和创新精神具有较强的责任心、细致缜密的工作态度具有分而治之解决大难题的大数据思维教学重点、难点重点：MapReduce的数据处理流

40、程MapReduce的编码实现难点：MapReduce的编码实现解决策讲师课堂教学要以PPT讲授为主，并结合多媒体、开发工具进行教学教学方法根据不同知识点、不同教学目标要求，采用针对性的教学方法：1 .理论部分，采用课堂讲授+联系日常实际讲授2 .实践部分，采用任务驱动形式，注重任务的实践操作。教学考核与评价评价构成采用过程性考核与结果性考核并重的评价模式，过程性考核在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核来自每个学习项目的作业、章节测试、期末考试。评价要素学习通平台完成课前、课中和课后全过程学习轨迹记录和评价。主要包括：课前测试、课堂签到、课堂活动、

41、课堂讨论、课堂考核、课后测试、课后作业等要素。评价主体课前、课后测试、课堂签到、课堂活动参与情况等过程性考核，在学习通考核权重环节设置体现过程性学习行为的指标，通过系统自动汇总实现。结果性考核由学生、老师和企业教师多维角度共同评价。教学活动安排教学过程教师活动学生活动设计意图教学资源课前熟悉课件、教案、课程标准、课程计划等内容，发布课前预习通知，引导学生提前学习。登录学习通平台,预习章节内容引导学生提前进行知识点的学习过程中。学习通平台课中一、创设情境，引入单元任务创设任务情境：某IT公司的经理和技术实施工程师小张之间的对话，引出MapReduce分布式计算相关任务。【任务场景】经理：小张，我

42、们后台数据量越来越大，服务器计算性能不佳，计算效率是个问题，你有什么好的建议吗？小张：Hadoop的核心组件MapReduce可以用来做大规模数据集的并行运算，我们已经有了HadOOP集群，不妨试试MapReduceo经理：嗯，没错。MapReduce可以并行拆分和处理TB级数据，运行在普通服务器组成的集群上也能保证快速高效地处理海量数据，你先了解一下MapReduce的原理和运行机制吧。小张：好的。听课，讨论与思考。【任务布置】MapReduce的运行依赖于JDK和Hadoop,因此必须将Hadoop的基础环境提前安装好，才能进彳亍MapReduce的运行和操作。本任务要求在前面已经完成安装

43、部署Hadoop平台的nodel节点上完成，要求理解MapReduce的原理和体系架构；理解YARN运行机制；最终在nodel上运行MapReduce自带的单词计数程序，查看运行结果。紧扣知识点内容，通过举例等方式，引导学生产生兴趣，更好的完成学习目标。学习通平台二、任务5.1学习演练：认识MaPRedIICe明确本节课学习目标【工作流程】理解课堂极域教学进行重点知识的讲解和演示，重点讲解以下内容：任务5.1认识MaPRedUCe5.1.1 MapReduce概念与原理5.1.2 MiIPRedUCe体系架构5.1.3 MapReduce发展现状5.1.4 YARN运行机制1 .在本地homehdfs下创建备用文件hello；2 .文件中输入内容；3 .将hello文件上传HDFS根目录下；4 .运行jar包；5 .常见问题分析。MapReduce原理与体系架构平台VMwareWorkstation虚拟机、Linux、IDEA等三、任务5.2实操演练：MapReduce1现词频统计明确本节课学习目标进行重点知识的讲解和演示，重点讲解和演示以下内容：5.2.1 MapReduce数据处理流程5.