第五讲机器学习1.docx

《第五讲机器学习1.docx》由会员分享，可在线阅读，更多相关《第五讲机器学习1.docx（7页珍藏版）》请在课桌文档上搜索。

1、第五讲机器学习教学内容：本章主要学习机器学习概念与类型、机器学习经典算法、深度学习概念与应用。教学重点：监督学习、分类、深度学习及其应用。教学难点：深度学习目标检测应用。教学方法：课堂教学为主,结合智慧树等在线平台实时提问、收集学生学习情况，充分利用网络课程中的多媒体素材来表示机器学习原理和过程。讨论五分钟。课后布置作业,要求学生查找、阅读与经典机器学习、深度学习有关的经典论文等。学习慕课第五章机器学习并完成章节测试。教学要求：重点掌握K近邻分类算法、K均值聚类、深度学习目标检测算法，了解强化学习、迁移学习基本概念。课程思政内容：深度学习算法方向涌现出李飞飞、吴恩达、何凯明等众多华人著名学者。

2、周志华等世界著名机器学习专家。激励学生向科学家们学习他们不断探索、突破，提出新理论、新算法和新思想。学习目标：1 .掌握和理解机器学习基本原理；2 .掌握和理解监督学习原理及几种主要的分类方法。3 .理解和掌握深度学习基本原理。学习导言人类智能的重要而显著的能力是学习能力。无论幼小的孩子还是成人，都具备学习能力。人类的学习能力也是随着年龄增长不断增强的。如果机器也能像人一样通过学习去掌握知识,这种机器产生类人智能的可能性显然更大。机器能像人一样具备学习能力吗，如果能的话，那么机器如何做到呢？机器具备了学习能力，是否就具有了智能或类人的智能，甚至产生完全不同于人类的智能？这两个问题都取决于机器如

3、何能够具有学习能力。本章要学习的内容主要是从机器如何具有学习能力的角度来学习一些基本原理和方法,从经典的分类算法到目前流行的深度学习方法，我们可以大概了解机器学习的优势与劣势，为开发更先进的机器学习技术奠定基础。5.1 机器学习能够实现机器智能吗人类在成长、生活过程中积累了很多的历史与经验。人类定期地对这些经验进行“归纳”，获得了生活的“规律”。当人类遇到未知的问题或者需要对未来进行“预测”的时候，人类使用这些“规律”，对未知问题与未来进行“预测”，从而指导自己的生活和工作。机器学习中的“训练”与“预测”过程可以对应到人类的“归纳”和“预测”过程。通过这样的对应，可以发现机器学习仅仅是对人类在

4、生活中学习成长的一个模拟。由于机器学习不是基于编程形成的结果，因此它的处理过程不是因果的逻辑，而是通过归纳思想得出的相关性结论。要通过现阶段的机器学习技术使机器具备类人智能，还有很大差距，但己经发展出的机器学习技术（通过计算机进行各种数据分析和处理的能力）又是人类智能所无法比拟的。现实中，有一些机器学习方法与人类智能没有关系，比如统计学习。统计学习是基于数学统计学发展而来的一种机器学习方法，因为学习算法中涉及了大量的统计学理论，也被称为统计学习理论。其目的在于采用经典统计学大量久经考验的技术和操作方法，比如贝叶斯网络，利用先前知识概念等实现机器智能。5.2 机器学习的类型和应用1 .按方法划分

5、从方法的角度划分,机器学习模型可以分为线性模型和非线性模型。线性模型较为简单,但作用不可忽视，线性模型是非线性模型的基础，很多非线性模型都是在线性模型的基础上变换而来的；非线性模型又可以分为深度学习模型和传统机器学习模型（如支持向量机（SupportVectorMachine,SVM）,K最近邻（K-NearestNeighbor,KNN）、决策树等）。2 .按学习理论划分按照不同的学习理论划分，机器学习模型可以分为有监督学习、半监督学习、无监督学习、迁移学习和强化学习。3 .按任务划分按任务划分类型，机器学习模型可以分为回归模型、分类模型和结构化学习模型。回归模型又叫预测模型,输出是一个不能

6、枚举的数值;分类模型又分为二分类模型和多分类模型，常见的二分类问题有垃圾邮件过滤，常见的多分类问题有文档自动归类；结构化学习模型的输出不再是一个固定长度的值，如图片语义分析，输出是图片的文字描述。4 .按照求解的算法划分可以将分类算法分为判别模型和生成模型。给定特定的向量X与标签值户生成模型对联合概率P（x,y）建模，判别模型对条件概率P（），次）进行建模。常见的生成模型有：贝叶斯分类器、高斯混合模型、隐马尔可夫模型、受限玻尔兹曼机、生成对抗网络等；典型的判别模型有：决策树、k最近邻算法、人工神经网络、支持向量机、IogiStiC回归和AdaBOoSt算法等。5.3 监督学习与无监督学习在实际

7、应用中，机器学习主要以监督学习方式为主，其他还有少数无监督学习、半监督学习以及小样本、弱标注等技术。无监督学习与监督学习相比，最大区别就是数据训练集没有人为标注,常见的无监督学习算法称为聚类。半监督学习介于监督学习与无监督学习之,是结合（少量的）标注训练数据和（大量的）未标注数据来进行学习。第4章中我们介绍的单层感知器、CNN和RNN的网络模型训练都是监督学习，而DBN是基于概率的“生成模型”，预训练过程是无监督学习，依靠无监督地“逐层初始化”，训练每一层的RBM。监督学习的实现主要依靠各种分类方法，所有机器要处理的数据都要由人为定义好相应的类别，再对分类算法进行训练，最后得到可以使用的分类器

8、，由于分类方法不同，各种分类器性能也有差异0k-最近邻分类最简单的多分类技术是Z最近邻（KneareSIneighbor,KNN）分类。顾名思义，输入被简单指定为其最近邻的类别。如图5.4,对于给定的训练数据，通过搜索整个数据集中个最相似的实例（邻居），汇总这4个实例的输出变量可以预测新的数据点。对于回归问题，它可能是输出变量的平均值；对于分类问题，它可能是模式类别值。使用2-最近邻算法的关键在于如何确定数据实例之间的相似性。K均值聚类算法到目前为止，所讨论的分类器都是监督学习，在很多实际应用中，也采用无监督学习。无监督学习从给定的数据中寻找隐藏的结构，即从无标记的训练数据中推断结论。最典型的

9、无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。在聚类这种模型中，算法会根据数据的一个或多个特征将一组特征向量组织成聚类。如图5.8,是种简单的左一均值聚类算法（匕meansclusteringalgorithm）,把个对象根据他们的特征分为左个分割，&。其中，攵表示为样本分配的聚类的数量。可以使用一个随机特征向量来对个聚类进行初始化，然后将其它样本添加到其最近邻的聚类（假定每个样本都能表示一个特征向量，并且可以使用常规的欧氏距离公式来确定距离）。随着一个聚类添加的样本越来越多，其形心即聚类的中心就会重新计算，然后该算法会重新检查一次样本，以确保它们都在

10、最近邻的聚类中，最后直到没有样本需要改变所属聚类。5.4 深度学习深度学习最初于1986年被引入机器学习概念，通常与深度神经网络相关联。深度学习作为机器学习算法中的一个新兴技术，本质是对观察数据进行分层特征表示，实现将低级特征通过神经网络来进一步抽象成高级特征表示,是机器学习中一种基于对数据进行表征学习的方法。深度学习颠覆了语音识别、图像分类、文本理解等众多领域的传统算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端的模型，然后直接输出得到最终结果的一种新模式。这不仅让一切变得更加简单，而且由于深度学习中的每一层都可以为了最终的任务来调整自己，最终实现各层之间的通力合作，因而可以大大提

11、高任务的准确度。随着深度学习的发展，基于编码解码结构的方法快速崛起，并占据了主导的地位。受编码解码结构在机器翻译中成功应用的启发，图像描述开始使用基于编码解码结构的模型,该模型主要包括：用于提取图像特征的编码器和用来将图像特征转换成自然语言的解码器。一般编码器使用深度卷积神经网络（CNN）提取图像特征，并组成固定长度的特征向量，解码器使用改进的循环神经网络（RNN）。图5中采用长短时记忆网络LSTM,将图像特征向量转换成图像对应描述的词语序列。图5.12基于编码解码结构的图像描述模型接下来用算法训练图像描述模型，算法训练的最终结果是找到组参数，在该组参数下图像描述的“生成模型”选用适合的单词（

12、或词组）去描述图像特征，最终生成描述文本。5.5 其他机器学习方法1 .强化学习强化学习（ReinfOrCementLeaming,RL）又称再励学习、评价学习，是种模拟大脑神经细胞中的奖励信号来改善行为的机器学习方法，其计算模型也己经应用于机器人、分析预测等人工智能领域。强化学习的目标是学习一个最优策略，智能体（人、动物或机器人）通过接收的奖励信号作为回报，一般这个过程是从状态到动作的一个映射，以便获得一个整体度量的最大化奖励。状态攵2 .迁移学习迁移学习（TransferLeaming,TD是指利用数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。人类对于

13、迁移学习这种能力，是与生俱来的。比如，如果已经会打乒乓球，就可以类比着学习打网球。再比如，如果已经会下中国象棋，就可以类比着下国际象棋。因为这些活动之间，往往有着极高的相似性。生活中常用的“举一反三”、“照猫画虎”就很好地体现了迁移学习的思想。根据目前较流行的方法，对迁移学习的研究领域进行了一个大致的划分。按照学习方法的分类方式，迁移学习可以分为基于样本的迁移学习方法、基于特征的迁移学习方法、基于关系的迁移学习方法和基于模型的迁移学习方法。3 .6深度学习的重要应用机器创造创造力是指人类产生新颖的、异乎寻常的、有价值的想法的能力，是人类智慧的精华和顶峰，对实现人类水平的强人工智能也是必不可少的

14、。对于人类来说，创造力是一个复杂和较难界定的概念。根据心理学家的共识，创造力被定义为对问题或情境反应的种新颖但恰当的解决方式，而结果和过程是创造力的两个紧密相关的层面。目前，虽然无法断定机器已经具有了创造力，但是基于深度学习的人工智能技术获得的应用结果确实呈现出不同于人类思维的另类“机器智慧”。机器智能事实上孕育出一种与人类迥异的智慧。在解决各种复杂问题或执行任务时，算法发展出不同于人类思维的一套逻辑，与人类大异其趣，却殊途同归。无论如何，人类己经创造一种并非由亿万年演化塑造出的非自然智能-某种程度上，可以称其为“机器内生智能”。而这种机器智能主要是建立在传统人工神经网络、深度神经网络以及其他

15、方法基础上。不同的深度学习方法在音乐、美术、写作、棋类甚至材料、化学领域表现出异于人类的创造能力。2016年5月5日，NatUre将一篇机器学习算法改变材料发现方式的论文放上封面，并提出“从失败中学习”。美国研究者利用机器学习算法，用失败或不成功的实验数据预测了新材料的合成，并且在实验中机器学习模型预测的准确率超过了经验丰富的化学家。2018年3月，上海大学MarkWaHer团队在Nature期刊上发表题为“利用深度神经网络和符号Al规划化学合成”的文章，引发了业内的广泛关注。研究团队首先收集了截止到2014年发表过的几乎所有的化学反应，加起来大约有1250万个反应。然后，研究团队应用深度神经

16、网络及蒙特卡洛树算法，成功地规划了新的化学合成路线，即便是权威的合成化学专家，也无法区分这款软件与人类化学家之间的区别。2018年6月，美国斯坦福大学的物理学家开发了一种新型的非监督人工智能程序“Atom2Vec。该程序只用几个小时，就“重新发现”了元素周期表。AtOm2Vec是非监督型人工智能，未来科学家们可以通过给它设定目标，引导其寻找新材料。2018年7月，美国北卡罗来纳大学开发名为“结构演化的机器学习”（ReLeaSE）的人工智能系统，其包括两个神经网络，可学习170万个己知生物活性分子化学结构，并随时间推移推测出新型药物分子。2018年12月，谷歌DeepMind在AlphaZero

17、的基础上，将机器学习用于蛋白质结构预测的人工智能机器学习方法AlphaFold,如图5.24,它能根据基因序列来预测蛋白质的3D结构，还在有“蛋白质结构预测奥运会”之称的CASP比赛中夺冠，力压其他97个参赛者。思政素材：2006到2016年间华人作者的平均贡献：20062016年间华人在Al领域贡献占比1%90%80%70%60%50%40%30%20%10%0%人数文章总数华人作者其他作者被引用总数EETOP在2006到2016年的时间段里，近两万篇最顶级的人工智能文章中，由华人贡献的文章数和被引用数，分别占全部数字的29.2%和31.8%。近十年，华人用五分之一左右的作者人数，平均贡献了

18、三成的顶级Al研究文章和被引用数。统计角度，这己经是超出平均水平的科研贡献了。吴恩达，卡内基梅隆大学的学士学位，麻省理工学院的硕士学位，加州伯克利分校的博士学位，斯坦福大学的副教授。2014年宣布加入百度，成为百度首席科学家。吴恩达的加入的的确确让百度在人工智能领域领先国内其他互联网公司很多。吴先生还是Coursera的联合创始人，提供了很多高质量的免费在线课程，这是一件很了不起的事情。李飞飞李飞飞，美籍华人。斯坦福大学计算机学系副教授，斯坦福人工智能实验室主任，并且和自己学生李佳一起加入GOOgle,负责机器学习相关工作。李飞飞16岁就独自一人到国外求学，经过一段艰苦卓绝的岁月，终于苦尽甘来。这和很多成功人的经历都相同，正所谓成功地人方法都一样，失败的人各有各的失败法。相信大家都知道ImageNet,国际计算机视觉挑战赛，吸引了很多国际知名的人工智能团队参加，而李飞飞就是这项比赛的发起人和主考官。