《数据采集与预处理》教学大纲.docx

数据采集与预处理教学大纲适用意围：2O2X版本科人才培养方案涕程代码：08140501课程性质：专业必修课学分：4学分学时：N学时（理论48学时,实验16学时）先修课程：Py1.hOn程序设计、Web谛端开发技术后续课程：数据挖掘技术、数据可视化适用专业：数据科学与大数据技术、数据科学与大数据技术专升本开课单位：计算机科学与技术学院一、课程说明小数据采集与预处理是数据科学与大数据技术专业必修的一门专业必修课，本课程主要传授数据果集技术的相关方法，岩重讲解通过大数据采集、数据解析以及数匏按处理的相关方法和应用，为学习数据挖撼技术等有关课程及以后从事技术工作打下必要的基础.本深程注重方法的应用学习,强调培养解决同时的能力兼顾新技术及其发展方向的介绍,培养“有足峪理论基础、动手能力强”的高索质应用型人才.二、课程目标通过本课程的学习，使学生达到如下目标：课程目标I：了斛数据采集的相关方法，了解Web相关技术，掌握网络爬虫的相关方法，务使用网络爬虫技术获取相关数据并进行数据解析：掌握数据预处理的相关方法.课程目标2：综合运用数据采集的方法和数据假处理的方法,完成相关数据的采集的综合工程项目.为之后的数据挖掘等后续工作也准符.在课程教学中把理想信念教育与科学精神的培养结合起来,提高学生用马克思主义的世界观和方法论认识、分析和解决问题的能力。课程目标3：理解网络型虫、数据安全有关的国家标准、行业标准、企业标准、法律法现以及相关知识产权、行业政策.三、课程目标与毕业要求与数据采集与预处理课程教学目标对数据科学与大数据专业毕业要求的支挣见表k表1课程被学目标与毕业聂求关系毕业要求指标点课程目标支撑93.设计/开发解决方案3.1理解数据科学与大数据技术领域工程项目设计方法与开发技术及其时社会、健课程目标2；综合运用数据采柒的方法和数据预处理的方法，完成相关数据的采集的媒合工程项Ih为之后的数据挖物等后续工H康、安全、法律、文化以及环境方面的影响。作做准备。在课程教学中把理想信念教育与科学精神的培养结合起来，提高学生用马克思主义的世界观和方法论认识、分析和解决问题的能力.5.使用现代工具5.1了解信息领域主要资料来源及获取方法,熟悉数学、程序设计等数据科学与大数据技术领域现代工程工具。课程目标h/解数据采集的相关方法，了解WCb相关技术，掌握网络爬虫的相关方法,并使用网络爬虫技术获取相关数据并迸行数据解析；掌叔数据预处理的相关方法.H8.职业加粮8.2具有社会责任感.理解数据科学与大数据技术领域的相关职业道馅和规范，并且在工程实践中自觉遵守，履行职费.课程目标3：理就网络爬虫、数据安全有关的国家标准、行业标准,企业标准、法律法规以及相关知识产权、行业政策.M注：表中-H（MXM（中）”表示课程与相关毕业要求的关联度.四、教学内容,基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、苓本要求与学时分配教学内容教学要求，彼学篁点难点理论学时实验学时对应的课程目标1.数据采集技术的茶本方法1.1爬虫的基础知识1.2 爬虫库的基本使用1.3 数据的存储做学要求t熟悉贬虫小础知识：堂蝗爬虫库的基本使用;理解网JAroboi协议的规则：掌握数据数据存储技术.重点I掌握爬虫库的基本使用：掌理数据数据存储技术.魔点：掌握通虫底的星本使用；掌握数据数据存储技术。1241.2.32数据解析2. 1峥态页面的数据解析2.1 动态页面数据好析教学要求；掌握静态页面BS熔、IXm1.军和正则表达式的使用方法；掌握Se1.eniUm的用法：掌握动态页面JSON数据的处理.点，掌樨静态页面BS犀.Ixm1.库和正则发达式的使用方法:掌维动态页面JSON数据的处理。充点：掌握静态页面BS库、IXm1.库和正则表达式的使用方法：掌握动态页面JSON数据的处理.124K2&爬虫柢架技术3.1爬虫框架技术介绍3.2抓取框架应用收学要求熟悉鹿虫框架的原珅,掌押爬虫框架技术的应用.重点：熟悉爬虫框架的原理：拿理於虫框架技术的应用.难点I熟悉曜虫框架的原理：掌握爬虫框架技术的应用。12I1、2、3敷据5（处理4.1文本分析4.2使用Python的库进行数据清洗、数据转换等预处理悚作教学要求：掌握使用PythOn的第:一方及进行数据文本分析、数据清洗、数据利化等的预处理操作。值点，文本分析,使用Python的库进行数据清洗、数据转换等预处埋操作.难点;文本分析，使用Python的库进行数据清洗、数据转换等预处理操作，1241、2.3合计18162.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实殴项目、实殴内容与学时实验弼实验内容和旻求实验学时对应的课程目标1.网页数据的采集与存储实3内部使用爬虫库荻取网站数据.存储获取数据.实验要求：掌握爬虫诉的相关方法获取M站数据；对数据进行存储。41、32.数据解析应用实3内容t使用解析库（Bcautifu1.Soup.XPa1.h、正则表达式等）对荻取网站数据进疗解析:动态网页中JSON数据处理.实殴要求：学提数据解析像的相关方法进行数据解析，将解析后的数据进行存储.41、23.爬虫框架应用实5金内容：使用Scrapy框架完成网站数据爬取、解析和存储.实援要求：熟悉Scrapy框架的工作原理、安装和应用.41、2、31.数据预处理技术应用实3内部利用PNhon的相关技术进行数据的文本分析,并进行数据预处理.实Ift要求，熟悉数据预处理的相关阵，并先成相关的预处理操作.41.2.316五、教学方法及手段本课程以课堂讲授为主，课下在线学习为辅教学方式.课上讲授采用启发式、讨论式教学、案例教学、随堂测验等,开发学生的潜能,培养学牛.思考问题、分析问题和斛决问题的能力；以“少而精”为原则，精选教学内容，精讲多练。课卜可通过“学习通”、“雨课堂”等在线工具，发布课程将讲视频、课件和单元测试、参考数据等资料，使学生课下通过统上自学的形式，预习、我习以及巩固课程内容。实验教学着重讲授如何用科学的手段来完成理论的验证：如何组织实验、处理数据和分析实验结果：在实脸的要求学生应U习和掌握与本实验彳I关的教学内容,思考实验内容的思路和方案设计等,在实验中要严格遵守实验纪律,按照要求完成实验内容:每完成一项实验.要认真完成一份实验报告。六、课程资源I,推荐教材(1)周勇,杨倩,数据采集与预处理1M1.西安:西安电子科技大学出版社,2022.(2)米洪，一汽数据采集与预处埋M.北京:人民邮电出版社,2021.(3)林子雨.数据采集与模处理国.北京：人民由口电出版社,2022.2 .参考书(1)周林娥等.互联网数据采集技术与应用DG.北京:清华大学出版社，2021.(2)其维科等.大数据采集、预处理与可视化MJ.北京：人民昵电出版社,2022.(3)树世伸等.大数据采集与预处理技术MJ.北京：清华大学出版社,2022.3 .期刊U)张隹等.融合时空行为与社交关系的用户轨迹识别模型J.计算机学报.2021,44(11):2173-2188.(2)赵方.大数据背景Py1.hUn在网络和虫框架中的应用J.电子技术与软件工程，2022(19):13-16.(3)谭作文，张连福.机器学习隐私保护研究嫁述IJ.软件学报，2020,31(07):2127-2156.(4)刘浩.网络“代虫”行为刑事现制的困境与转向一一以实证案例分析为视角J西安电子科技大学学报(社会科学版.2022.32(02):5265.(5) KaurSavroop.Si11hAman,GeethaGta1.IHIC:inte1.1.igenthiddenwebcraw1.erforharvestirdatainurbandomainsJ.COff1.PICx&Inte1.1.iRcntSystems,2022,9(01):1113-1113.4 .网络资源(1)i天.Python网络祀虫与信总提取-北京理工大学(精M深)R01.httpsvideo/BV1mF411h7fv/?share_source-copy_web.5 2)M门大学.大数据实验室h1.1.p",七、课程考核对课程目标的支撑课程成缄由过程性考核成绩和期末考核成缄两部分构成，具体考核/评价细则及为课程目标的支摔关系见去九表4课程考核对修程目标的支撑考核环节占比考核/评价的Ie课程目标123过程性考核课堂表现10(D根据课堂出勤情况和课堂回答问题、课堂测试情况迸行考核，满分K)O分。(2)以平时考核成绩乘以其在总评成绩中所占的比例计入课程总评成绩.622实10(1)根据每个实验的实验操作完成情况和实脸报告½质量单独评分，满分100分：（2）号次实险单独评分,取各次实脸成绩的平均值作为此环节的最终成绩.（3以实5金成绩乘以其在总评成绩中所占的比例计入课程总评成绩.62210（1）要求学生通过在线自主学习教学内容.主要考核学生各堂节知识点的理解和掌旌程度,满分100分：（2）好次堂节测登单独评分，取各次成绩的平均值作为此环节的最终成馈。（3）以作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩.622阶段冽验10（1）主要阶段性考核学生对本阶段知识的掌握程度,满分100分。（2每次测试单独评分，取各次成绩的平均值作为此环节的蚣终成绩.（3）以阶段测试成绩乘以其在总评成绩中所占的比例计入课程&评成绩。622末核期考60（1）上机考试成缄100分，以上机考试成绩乘以其在总评成绩中所占的比例计入课程总评成绩.（2主要考核基本爬虫库加态网页内容、内容的解析、动态网页内容的爬取以及数据预处理的应用等内容.（3）考试魄里为：程序设计SS目等。302010合计：100分542818八、考核与成绩评定1 .考核方如成w定考核方式：本课程主要以课堂表现.实5金、花线学习、阶段测验、期末上机考试等方式对学生进行考核评价.考核基本要求：考核总成绩由期末上机考试成绩和过程性考核成绩现成，其中：期末上机考试成绩为100分（权IR6璐），试曲类型为简答阳、程序胭、计算SS和分析册等类里，试送中基本知识、明木理论、艇本技能的试题分值不超过50%,综合应用题、分析题不低于50%：课堂表现、实验、在线学习等过程性考核成缄为100分（权重40%）:过程性考核和考试试题分值分配应与教学大纲各章节.的学时基本成比例.2 .过程性考核成绩的标准过程性考核方式18点考核内容、评价标准、所占比重见表5«5过程性考核方式评价标准考核方式所占I100>x去90I90>xX0I80>xN7070>x/60x<60比(%)课直表现25视板参与教学活动.部跃回答向遨,准雨率大于90%,认真参与教学活动,R等问题准确率大于80%,偶尔参与教学活动，PI答问SS准确率大于7伽。上课不认真,偶尔参与教学活动，回答准确率大于60%.。上课不认旗.不参与教学活动.实验25实验预习认M能助熟陈掌握方法与步骤.实验操作过程熟练、规范,遵规守纪、团结协作，实照结果详实、结论清新、讨论合理实验前有预习，能鲂掌掘方法与步».实验操作过程正确、规范，遵规守纪、团结协作,实的结果正确、讨论适当实验前有预习，墙木能岬掌握方法与步骤实蛤操作过程基本正确'无协作,实脸结果基本正确，讨论一般实胎前有预习，不能掌握方法与步骤,实脸操作过程基本正确，无协作，实脸结果基本正确无讨论没有预习,不能完成实验：实回锋作步骤有误：实验结果不正确，没有分析讨1.匕o在线学习25完成在线知识戊学习，章行测试准确率大于90%.完成在线知识点学习，章节测试准确率大于8佻.完成在线知识点学习，章节测试准确率大于70%.完成在线知识点学习，堂节测试准确率大于6O.没有完成在规知识点学习，章节测试准确率小于60%.阶浸测试25按时完成阶段刈试.准确率大于财按时完成阶段测试,准确率大于80%按时完成阶段测试,准确率大于70%按时完成阶段测试.准确率大于6O没有按时完成.或准确率小于6O