大数据基础走进大数据第一章数据时代从我开始.ppt
第一章 数据时代，从我开始,第一篇 数据引领时代，初识大数据,1.1 从韩信点兵说起,相传汉高祖刘邦问大将军韩信统御兵士多少，韩信答说，每3人一列余2人、5人一列余3人、7人一列余2人、13人一列余6人刘邦茫然而不知其数。,举例：假设兵士不满一万，每5人一列、9人一列、13人一列、17人一列都剩3人，则兵士有多少？首先，求出5、9、13、17之最小公倍数为9945（注：因为5、9、13、17为两两互质的整数，故其最小公倍数为这些数的积），然后再加3，得9948人。,大数据到底有多大？,常见的数据单位有bit（比特）、Byte（字节）、KB（千字节）、MB（兆字节）、GB（吉字节）。那GB以上还有什么？GB以上还有TB、PB、EB、ZB、YB、DB、NB。,1Byte=8bit1KB=1024Bytes1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB1YB=1024ZB1DB=1024YB1NB=1024DB,1NB=1267650600228229401496703205376 Bytes,1.1 从韩信点兵说起,大数据又称为海量数据，是指所涉及的数据量规模巨大到无法通过人工或者计算机，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。,大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。,维基百科,Gartner,麦肯锡全球研究所,大数据的定义,1.1 从韩信点兵说起,大数据的发展,2012年大数据，大影响（Big Data，Big Impact）宣称,2017年全球的数据总量为21.6ZB（1个ZB等于十万亿亿字节）,大数据的特征,1.1 从韩信点兵说起,1.2 大数据从哪里来,根据数据来源不同，大数据可以分为三类：（1）人类活动，人在使用互联网（包括移动互联网）过程中所产生的各类数据；（2）计算机及各种计算机信息系统产生的数据，多以文件、数据库、多媒体等形式存在；（3）物理世界，各类数字设备所采集的数据，如气象系统采集设备所收集的海量气象数据、视频监控系统产生的海量视频数据等。,现代社会大数据产生的标志,1、科学研究产生大数据2、物联网技术产生大数据3、网络化产生大数据。,1.2 大数据从哪里来,阿里指数,1.3 大数据能做什么,朋友圈的广告推荐功能,在微信广告推销的作用下，我们都能深深感受到大数据时代的到来。,1.3 大数据能做什么,（1）新一代信息技术融合应用的结点在于对大数据的处理分析,（2）大数据成为信息产业不断发展的新途径,（3）大数据成为提升核心竞争力的关键因素,（4）大数据时代相应的科学研究方法也会出现相应变化,大数据作用,1.4 大数据平台初识,大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。,1.4 大数据平台初识,大数据采集,系统日志采集网络数据采集数据库采集,数据采集处于大数据生命周期中第一个环节，它通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。,1.4 大数据平台初识,大数据存储,传统的存储解决方案能提供数据的可靠性和绝对的安全性，但是面对海量的数据及其各种不同的需求，传统的解决方案日益面临越来越多的问难，如数据量的指数级增长对不断扩容的存储空间提出要求，实时分析海量的数据对存储计算能力提出要求。1、传统的存储解决方案正在改变，如多级存储来不断适应大数据存储管理系统的特点和要求2、全新的存储解决方案正日渐成熟，来有效满足大数据的发展需求。,1.4 大数据平台初识,大数据分析,管理大数据的一个重点是大数据分析，另一个需要重点考虑的是未来的数据增长。实用的大数据存储管理系统应该是可扩展的，足以满足未来的存储需求。公司一般寻找云计算服务来进行存储和管理海量数据而不被供应商锁定，进而确保把握数据所有权。,EMCGreenplum大数据管理分析,1.4 大数据平台初识,大数据处理,大数据的意义不在于掌握多大量级的数据信息，而在于如何处理这些数据信息得到想要的结果。也就是说，大数据价值的关键在于对于数据的“加工能力”，对数据进行深度挖掘，可以解决实际问题，实现其价值。,1.4 大数据平台初识,大数据可视化,大数据可视化应有适当地交互性，必须设计良好、易于使用、易于理解，才能更容易被人接受。可视化方法可通过创建表格、图标、图像等直观地表示数据。大数据可视化并不是传统的小数据集。在大规模数据可视化中，许多研究人员用特征提取和几何建模可在实际数据呈现之前大大减少数据量的大小,
