1大数据概述.pptx

《1大数据概述.pptx》由会员分享，可在线阅读，更多相关《1大数据概述.pptx（31页珍藏版）》请在课桌文档上搜索。

1、大数据概述,教材第1章,重点与难点,内容：大数据的概念和应用、大数据与云计算、物联网的关系。重点：理解大数据的概念、大数据与云计算、物联网的关系。难点：大数据对科学研究、思维方式和社会发展的影响。,内容提纲,1.1 大数据时代1.2 大数据概念1.3 大数据的影响1.4 大数据的应用1.5 大数据关键技术1.6 大数据计算模式1.7 大数据产业1.8 大数据与云计算、物联网的关系,1.1 大数据时代,第三次信息化浪潮根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革,表1-1 三次信息化浪潮,信息科技为大数据时代提供技术支撑,图1-1 存储价格随时间变化情况,1.存储设

2、备容量不断增加,信息科技为大数据时代提供技术支撑,图1-3 CPU晶体管数目随时间变化情况,2.CPU处理能力大幅提升,信息科技为大数据时代提供技术支撑,图1-4 网络带宽随时间变化情况,3.网络带宽不断增加,信息科技为大数据时代提供技术支撑,图1-4 网络带宽随时间变化情况,3.网络带宽不断增加,数据产生方式的变革促成大数据时代的来临,图1-5 数据产生方式的变革,信息时代三定律,大数据的发展历程,表1-2 大数据发展的三个阶段,1.2 大数据概念,大数据的定义一般意义上，大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。泛指一个时代、一

3、项技术、一种文化、一个挑战。（通常也是大数据集、大数据技术与大数据应用的总称）,大数据的特点:,1、数据量大(Volume),根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）人类在最近两年产生的数据量相当于之前产生的全部数据量预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍,2、数据类型繁多(Variety),大数据是由结构化和非结构化数据组成的10%的结构化数据，存储在数据库中90%的非结构化数据，它们与人类信息密切相关非结构化数据类型多样邮件、视频、微博位置信息、链接信息手机呼叫、网页点击“长微博”

4、,3、处理速度快(Velocity)从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同,4、价值巨大但密度低(Value)以公安部门视频追踪为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的价值。构建大数据平台，投入大，产出可能会比投入低许多。,1.3 大数据的影响,大数据对科学研究、思维方式和社会发展都具有重要而深远的影响。在科学研究方面，大数据使得人类科学研究在经历了实验、理论、计算三种范式之后，迎来了第四种范式数据。在思维方式方面，大数据具有“全样而非抽样、效率而非精确、相关而非因果”等三大显著特征，完

5、全颠覆了传统的思维方式。在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。,大数据科学大数据技术及相应的基础研究已经成为科技界的研究热点，大数据科学作为一个横跨信息科学、社会科学、网络科学、系统科学、心理学、经济学等诸多领域的新兴交叉学科方向正在逐步形成。计算机科学是关于算法的科学，数据科学是关于数据的科学。大数据面临的科学问题本质上可能就是网络科学问题，复杂网络分析应该是数据科学的重要基石。大数据研究不同于传统的逻辑推理研究，而是对数量巨大的数据做统计性的搜索、比较、聚类、分类等分析归纳，因此继承

6、了统计科学的特点。,数据科学家对于数据科学家的关注，源于Google、亚马逊、Facebook、阿里巴巴等公司成功的背后拥有这样一批专业人才。所谓数据科学家:是指运用统计分析、机器学习、分布式处理等技术，从大量数据中提取出对业务有意义的信息，以易懂的形式传达给决策者，并创造出新的数据运用服务的人才。数据科学家已经誉为“今后10年IT行业最重要的人才”。,1.4 大数据的应用,大数据应用无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业。,1.5 大数据关键技术,表1-5 大数据技术的不同层面及其功能,1.6 大数据计算模式,表1-3 大数据计算模式及其

7、代表产品,1.7 大数据产业,大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。,1.8 大数据与云计算、物联网的关系,云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别,云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云类型：公有云、私有云和混合云。服务模式：SaaS(软件即服务，应用层)、PaaS(平台即服务，平台层)、IaaS（基础设施即服务，基础设施层）。云计算关键技术：包括虚拟化、分布式存储、分布式计算、多租户等。,云计算数据中心是一整套复杂的

8、设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。云应用：政府云、教育云、医疗云，等等。,物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。,完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。,物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。,小结,大数据时代来临大数据科学的发展数据科学家大数据应用大数据、云计算和物联网的关系,