Python网络爬虫教学教案.docx

《Python网络爬虫教学教案.docx》由会员分享，可在线阅读，更多相关《Python网络爬虫教学教案.docx（18页珍藏版）》请在课桌文档上搜索。

1、Python网络爬虫教学方案说明一、教案是教师组织实施教学活动必备的教学文件，是教学检查的必要内容，使用前通常经过系部、学院两级试教审批，改革课、新开课必须经过系（部）试教审批，学院组织对重点课程进行试教审批。试教未通过、审批手续不全的不得用于授课。二、教案的编写应依据人才培养方案和课程标准，教师在充分研究教材的基础上，区分教学对象、课程类别、教学内容等进行编写，应体现任课教师的风格。不同教学班次应使用不同的教案。三、任课教师在授课前应根据学科、专业、方向的发展情况、新的教学要求以及教学对象的实际水平，及时补充、修改或重新进行教案的编写,以保持教学活动的先进性和适用性。四、教案中每次课后应有留

2、给学生的作业（如思考讨论题、学生应查阅的有关书籍资料等）、小结等。课程结束后教案的教学后记中应有课程总结（包括基本情况、好的方面、存在问题、改进措施、意见建议等内容）。五、授课过程中，教案由教师本人负责保管，授课使用结束后由教研室指定专人于每学期结束前统一送至教学档案室存档。教案审批表20232024学年度第X学期课程Python网络爬虫授课对象计算机专业专科生专业计算机和大数据班级人数XX授课学时36（理论18、实验18）授课地点诚意楼C301、诚意楼C401、诚意楼B403院部院部领导：年月日学校主管教学副校长：年月日备注年月日Python网络爬虫教学方案内容（标题）项目一Python基础

3、知识任务1Python概述任务引入知识准备一、Python简介二、安装PythOn三、安装PyCharm四、PythOn语法规范任务2PythOn命令的组成任务引入知识准备一、基本符号二、常量与变量案例input演示案例print演示案例一一设置变量格式案例一一输出迭代元素三、数据类型案例一一创建列表并输出奇数位和偶数位案例一一元组创建演示四、功能符号任务3程序结构任务引入知识准备一、表达式语句案例一一计算表达式的值二、顺序结构案例一一定义客户信息三、选择结构案例一一输入一个非空字符串，翻转该字符串。案例输入年、月，输出本月有多少天。四、循环结构案例利用WhiIe语句实现1至100的累加五、条

4、件表达式案例输出列表数据六、程序的流程控制案例一一输入数值，若其中包含数值0,显示输入错误，使用break语句跳出循环。案例一一输入数值，若其中包含数值0,显示输入错误，使用ContinUe语句继续执行循环。项目实战实战一输出百度网址实战二计算个人所得税课时6教学目标及要求知识目标：掌握Python的安装过程；掌握Pycharm的安装过程；熟练掌握Python语法规范。能力目标：为后续学习Python网络爬虫积累必要的背景知识。素养目标：利用Python的命令语法培养学生创新意识、养成认真书写的好习惯。重点难点及其处理重点：(1) Python概述。(2) Python命令的组成。难点：(1)

5、输出百度网址。(2)计算个人所得税。处理方法：结合实例讲解，有针对性的了解Python基础知识。裁学方法(1)讲授(2)加强课堂指导，及时解决学生学习中出现的问题。参考文献1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Python3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业(1)计算个人所得税(2)预习：项目二备注Python网络爬虫教学方案内容（标题）项目二网络爬虫基础知识任务1网络爬虫概述任务引入知识准备一、网络爬虫基本原理二、网络爬虫系统框架三、爬

6、行策略四、网络爬虫的分类五、开源爬虫框架/项目任务2HTTP协议任务引入知识准备一、HTTP协议工作原理二、UrIlib模块库三、URL定义案例一一图片网址URL拆分案例一一房地产信息网网址拼接四、URL编码设置案例输出编码网址案例一一网址编码案例一一网址编码与解码任务3网页请求过程任务引入知识准备一、发送请求报文二、返回响应三、HTTP消息项目实战：实战一搜索商品网址实战二搜索食品价格网址课时5教学目标及要求知识目标：掌握Python的网络爬虫的应用与基本概念；了解HTTP协议的工作原理；熟练掌握URL的编码与解码；理解网页请求过程。能力目标：引导学生快速掌握PythOlI的网络爬虫知识。素

7、养目标：借助生活中的网络搜索习惯，结合Python语言，理解网络请求过程。重点难点及其处理市占(1)网络爬虫基础知识。(2)HTTP协议。难点：(1)搜索商品网址。(2)搜索食品价格网址。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。裁学方法(1)讲授(2)加强课堂指导，及时解决学生学习中出现的问题。参考文献1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东Python3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业(1)搜索食品价格网址(2)预习：项

8、目三备注Python网络爬虫教学方案内容（标题）项目三UrlIib请求模块库任务1发送网页请求任务引入知识准备一、基本HTTP请求案例一一获取公司数据案例一一设置请求超时时间案例一一爬取铁路车次信息案例一一不同方式发送请求二、Request网络请求案例一一发送Request请求获取官网数据三、设置请求头案例一一添加头信息获取网页数据四、HandIer方法发送请求案例自定义opener对象五、设置代理IP案例一一创建代理IP六、身份验证案例获取网页cookie信息案例保存百度cookie文件案例加载淘宝cookie信息任务2网页下载任务引入知识准备一、网页结构二、写入网页文件案例一一下载微信公众

9、平台网页文件三、网页文件下载案例一一下载图虫网网页文件案例一一缓存临时文件项目实战：实战一下载PythOn学习网址实战二下载公司网页HTML文件课时5教学目标及要求知识目标：掌握网络请求函数；熟练掌握函数的各个参数使用方法；重点掌握通过代理发送网页请求过程；重点掌握通过身份验证发送网页请求过程；学会网页数据的下载方法并熟练使用。能力目标：掌握借助不同的网址，通过理论指导实践，发送不同的网络请求。素养目标：培养学生的通过编程采集数据的综合应用能力，特别是编程能力，增强其自主学习能力。重点难点及其处理重点：（1）发送网页请求。（2）网页下载。难点：（1）下载PythOn学习网址。（2）下载公司网页

10、HTML文件处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。栽学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Python3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业（1）下载公司网页HTML文件。（2）预习：项目四。备注Python网络爬虫教学方案内容(标题)项目四UrlIib3请求模块库任务1：安装Uruib3请求模块库任务引入知识准备一、安装AnaCOnda二、

11、UrlIib3安装:任务2发送请求：任务引入知识准备一、创建代理对象案例一一获取邮箱登陆界面的响应二、请求方法案例一一获取淘宝不同请求的响应三、定义请求头案例一一获取带请求头的响应四、设置代理IP案例一一使用代理IP发送请求五、自动重试案例一一发送重试请求六、重定向案例一一发送重定向请求项目实战实战一发送请求访问淘宝课时4教学目标及要求知识目标：学会Urllib3安装与加载；熟练掌握Urllib3发送请求函数；对比Urllib3模块中的函数与Urllib中的区别；重点掌握自动重试发送网页请求过程；学会重定向发送网页请求过程。能力目标：让学生熟练掌握Urllib3请求模块库相关的知识。素养目标：

12、通过频繁爬虫被封IP的情况，引导学生直面困难，学会解决问题。重点难点及其处理重点：(1)安装UrIlib3请求模块库；(2)发送请求。难点：发送请求访问淘宝。处理方法：结合讲授；并进行针对性的实训练习。教学方法(1)讲授+学生上机练习(2)加强课堂指导，及时解决学生练习中出现的问题。1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Python3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业(1)发送请求访问淘宝。(2)预习：项目五。备注Python网络爬虫教学

13、方案内容（标题）项目五Requests请求模块库任务1网页请求任务引入知识准备一、标准的HnP请求案例一一访问豆瓣电影网二、返回响应消息案例一一查看响应消息案例返回字符串响应数据案例定义响应数据编码格式案例一一设置网页响应数据格式三、JSON格式数据案例创建json文件案例json数据的编码与解码任务2发送请求方法任务引入知识准备一、发送GET请求方法案例搜索AUtOCad图书网页案例发送带Url参数的请求二、发送POST请求案例一一发送data提交表单数据案例发送Json提交表单数据案例发送body提交表单数据案例发送field提交表单数据三、其他请求方法任务3复杂网络请求任务引入知识准备一

14、、复杂请求头案例一一发送定制请求头信息二、上传文件娄庙一一上传二进制数据三、CoOkieS验证案例输出cookies信息四、会话保持案例通过session对象和requests发送get请求任务4异常处理任务引入知识准备一、try/exceptz二、UrlIib异常处理模块案例处理URLError异常案例处理UrlIib异常三、UrlIib3异常处理模块四、request异常处理模块案例处理request响应错误案例一一忽略SSL证书验证错误发送请求课时6项目实战实战一爬取豆瓣最受欢迎的影评网址教学目标及要求知识目标：学会Requests安装与加载；熟练掌握Requests发送请求函数；学会网

15、页响应数据的分析方法；重点掌握复杂网页请求过程；学会处理网页请求过程中的异常处理。能力目标：能够利用Requests模块主要爬取小规模，数据量小，同时对爬取速度不敏感的网站。素养目标：通过不同参数的设置，对比采集的数据，力求内容科学，方法科学。重点难点及其处理重点：（1）网页请求；（2）发送请求方法。难点：爬取豆瓣最受欢迎的影评网址。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法（1）讲授+学生上机练习（2）加强课堂指导，及时解决学生练习中出现的问题。1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Python3网络爬虫宝典.北京：

16、电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业（1）爬取豆瓣最受欢迎的影评网址。（2）预习：项目六。备注Python网络爬虫教学方案内容（标题）项目六解析网页模块库任务1正则表达式解析网页任务引入知识准备一、正则表达式模式二、使用rc模块实现正则表达式三、字符串查找案例一一字符查找演示案例一一字符查找对象演示案例一一字符大小写查找演示案例一一区分大小写字符查找案例一一网址中查找数字案例一一输出数字查找结果表达式四、字符串替换案例一一HTTP协议替换演示五、字符串分割六、案例一一字符分割演示任务2XPath解析网页任务引入

17、知识准备一、XPath概述二、xpath网页解析案例一一解析文件中的HTML文件案例解析自定义HTML文件三、获取节点信息案例获取HTML文本所有节点信息案例通过节点名称获取HTML文本节点案例一一使用不同表达式获取HTML文本节点四、节点关系案例一一获取HTML文本父子节点五、查找节点信息案例获取HTML子节点信息六、属性节点案例获取HTML中属性节点的属性值七、XPath运算符案例一一大于等于运算查找指定节点信息案例一一或运算查找节点信息案例一一选取多个路径下的节点八、XML节点轴案例一一使用节点轴函数获取祖先节点与同级节点任务3BeautifulSoup解析网页任务引入知识准备一、 Be

18、autifulSoup的安装二、 创建BeautifulSoup对象案例使用IXmI解析html三、 通过属性获取节点内容案例使用IXmI解析html课时6案例使用IXnd解析html获取节点文本四、根据节点关系获取节点案例一一获取关联节点五、查找节点内容案例一一获取符合条件的节点内容案例一一获取指定的节点内容六、CSS选择器查找节点内容案例一一通过类选择器查找节点项目实战实战一获取查询网中河北省石家庄市的邮编区号实战二爬取销售热门图书名称实战三下载销售热门图书的图片教学目标及要求知识目标：能够利用正则表达式编写简单的网页解析程序；能够利用Xpath编写简单的网页解析程序；能够利用Beauti

19、fulSoup编写简单的网页解析程序。能力目标：能够掌握网页解析模块库的过程。素养目标：就不同的解析网页方法展开讨论，培养发散思经维。重点难点及其处理重点：(1)则表达式解析网页。(2) XPath解析网页。(3) eautifulSoup解析网页。难点：(1)获取查询网中河北省石家庄市的邮编区号。(2)爬取销售热门图书名称。(3)下载销售热门图书的图片。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法(1)讲授+学生上机练习(2)加强课堂指导，及时解决学生练习中出现的问题。参考文献1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Py

20、thon3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业(1)下载销售热门图书的图片。(2)预习：项目七。备注Python网络爬虫教学方案内容(标题)项目七Scrapy爬虫框架模块库任务1Scrapy爬虫框架任务引入知识准备一、SCraPy爬虫框架基础二、SCraPy常用命令三、创建Scrapy项目任务2使用模板创建SPider文件任务引入知识准备一、创建爬虫文件命令二、创建basic模板文件三、创建crawl模板文件四、创建CSVfeed模板文件五、创建XmIfeed模板文件任务3Scrapy爬虫文

21、件任务引入知识准备一、Spider类二、配置爬虫三、启动爬虫案例一一保存body网页数据体信息四、提取数据案例一一提取城市名称项目实战：提取景区名称课时4教学目标及要求知识目标：领会爬虫框架的概念；能够了解爬虫框架模块库的安装与加载；利用Scrapy命令编写简单的网页爬取。能力目标：能够掌握SCraPy网络爬虫框架的知识和应用。素养目标：通过爬虫框架的应用，让学生分析网络爬虫的局限性，思考如何合理应用爬虫框架培养学生积极探索、善于钻研的品质。重点难点及其处理重点：(1)SCraPy爬虫框架；(2)使用模板创建SPider文件。难点：提取景区名称。处理方法：结合实例讲授及演示操作；并进行针对性的实训练习。教学方法(1)讲授+学生上机练习(2)加强课堂指导，及时解决学生练习中出现的问题。参考文献1 .江吉彬张良均.Python网络爬虫技术.北京：人民邮电出版社，20192 .韦世东.Python3网络爬虫宝典.北京：电子工业出版社，20203 .明日科技.Python网络爬虫从入门到精通.北京：清华大学出版社，2021及其要求课外作业提取景区名称。备注