迎接大数据时代【前半部分】@大数据you大智慧0613.pptx

《迎接大数据时代【前半部分】@大数据you大智慧0613.pptx》由会员分享，可在线阅读，更多相关《迎接大数据时代【前半部分】@大数据you大智慧0613.pptx（47页珍藏版）》请在课桌文档上搜索。

1、迎接大数据时代Welcome the BigData Age,何谓大数据？,引言,大数据大价值,备注说明,大数据时代,大数据技术,大数据风险,制造业大数据,参考与推荐,演讲主题My BigData Topics,引言,用数据打造冠军团队点球成金；大数据什么都知道；尿布与啤酒还有飓风和蛋挞；源于时代的紧迫感；,Welcome the BigData Age,引言 电影点球成金,基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；,打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；,布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队

2、总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。,引言 没有隐私：它什么都知道,旧手机坏了想换新的,是一个爱国的屌丝,女朋友有了一个新手提包,邻居上高中的女儿怀孕了,你两年后可能要买车,喜欢日本爱情动作片,你可能会得高血压,你最近手头不宽裕,特别讨厌某个明星,引言 飓风&蛋挞 And 啤酒&尿布,沃尔玛在上世纪创造的啤酒与尿布的相关性销售是一个营销的经典案例，但是类似的不只有这一个，飓风和啤酒也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。,啤酒和尿布、星期五、男人、小孩,飓风和蛋挞、躲在家里、吃蛋挞,引言 源于时代的紧迫感,大数据时代,我们

3、生活在数据中，所有人都在制造和分享数据；数据是可再生资源，其本质是生产资料；数据惊人的的爆炸式增长；各个国家的大数据战略规划；国际业界对大数据的关注度持续升温；大数据在国内日益受重视；,Welcome the BigData Age,大数据时代 我们生活在数据的世界中,大数据时代 数据是可再生资源，本质是生产资料,仅供开采162年,仅供开采45年,仅供开采60年,不可再生资源VS数据,数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。,大数据时代 数据爆炸式增长（每分钟）,大数据时代 大数据规划战略,2012年3月，美国政府启动“大数据研究

4、和发展倡议”计划。这是 继“信息高速公路”后的又一重大科技战略部署。美国政府将大数据视为“未来的新石油”并将对其研究上升为国家意志。,2010年1月，英国政府的数据开放网站正式出台，2010年5月卡梅伦上台之后正式提出“数据权”的概念，2011年4月主要部门宣布“我的数据”新项目，旨在落实和强化数据权。,继美英之后，国际上德国、法国、日本、加拿大和新西兰等国家也开始了各自国家的大数据发展战略规划。,大数据时代 业界对大数据的关注持续升温,Gartner 2011年技术成熟度曲线,大数据处于高速发展期,大数据时代 业界对大数据的关注持续升温（续）,2012年世界经济论坛发布了“Big data，

5、Big impact”的报告,麦肯锡于2011年5月发布下一个前言：创新、竞争和生产力报告,从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据为国际发展带来的机会。,大数据将成为竞争的关键，大数据将引发新一轮的生产力增长与创新。,Big Data Insight Group和EMC完成的解读大数据的商业价值和战略意义,对大数据在英国企业中的应用趋势进行了调查和解读，发现大数据还处于发展初级阶段。,大数据时代 大数据在国内日益受重视,何谓大数据？,大数据定义；大数据的3V特征（From EMC）；大数据的4V特征（更普遍意义）；大数据的作用；大数据带来的思维变革；,Welcome the

6、BigData Age,何谓大数据 大数据定义,大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯百度百科,大数据是指用传统方法或工具不能处理或者分析的数据信息大数据大价值、大机遇、大变革一书，李志刚主编,大数据=海量数据+复制类型的数据Informatica中国区首席产品顾问 但彬,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产Gartner,何谓大数据 大数据的3V特征（From EMC）,何谓大数据 大数据的4V特征（更普遍意义

7、）,Big Data大数据,何谓大数据 大数据的4V特征（Volume）,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,何谓大数据 大数据的4V特征（Velocity）,何谓大数据 大数据的4V特征（Variety）,何谓大数据 大数据的4V特征（Value）,挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；,何谓大数据 大数据带来的思维变革,更好不是因果关系而是相关关系,更多不是随机样本而是全部数据,更杂不是精确性而是混杂性,何谓大数据 大数据带来的思维变革（更多）,人口大普查全数据模式,随机采样样本模式,大数

8、据应用全数据模式,是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；,大数据时代,小数据时代,何谓大数据 大数据带来的思维变革（更多）,人口大普查全数据模式,随机采样样本模式,大数据应用全数据模式,人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的

9、创新！随机采样分析是小数据时代的产物；,大数据时代,小数据时代,何谓大数据 大数据带来的思维变革（更多）,人口大普查全数据模式,随机采样样本模式,大数据应用全数据模式,我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；,大数据时代,小数据时代,何谓大数据 大数据带来的思维变革（更多）,何谓大数据 大数据带来的思维变革（更杂）,从

10、皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性；,大数据的简单算法比小数据的复杂算法更有效；IBM的机器翻译 VS Google的机器翻译；纷繁的数据越多越好；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；混杂性，不是竭力避免，而是标准途径；,何谓大数据 大数据带来的思维变革（更好）,Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的

11、一半。为什么？探寻事物的因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”,大数据大价值,大数据大价值总述大数据商业模式；大数据行业应用；,Welcome the BigData Age,大数据大价值 总述,促进经济发展,大数据大价值 总述-推动社会进步,历史经验证明，每次重大信息技术的应用，都将会给国家和社会带来深刻的变革。如1993年美国推出的“信息高速公路”计划在一系列工业领域每年创造了3000亿的销售额，于此同时推动了相关多个产品的发展。,如在预测和响应方面：传染病预测、粮食生产趋势预测、天气预测、经济预测,大数据大价值 总述-加强科

12、技创新,几千年前,过去几百年,过去几十年,今天,自然科学，描述自然现象,理论科学，牛顿定律，麦克斯韦方程式之类,计算科学，模拟复杂现象,数据密集型科学，理论、实验和模拟的统一，数据探索,2007年图灵奖得主Jim Gray在美国国家科学研究委员会发表演讲，指出科学研究已经在几千年前的凭经验、几百年前的靠理论模型、几十年前的科学仿真之后，进入了第四个阶段数据探索！,大数据大价值 总述-加强科技创新,互联网行业技术创新,生物工程-数字化模拟细胞,海洋勘探-捕捉海洋活动,运动科学-数据提高成绩,计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个

13、行业都存在大数据应用需求，潜在市场空间非常可观。,计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。,大数据大价值 总述-促进经济发展-中国大数据市场,大数据大价值商业模式-大数据故事地图（From EMC）,大数据大价值 商业模式-大数据产业（Landscape）,大数据应用类,大数据数据源类,开源项目类,大数据分析类,大数据基础设施类,跨基

14、础设施分析类,大数据大价值 行业应用-整体说明,大数据大价值 行业应用-整体说明,大数据大价值 行业应用-医疗行业（From麦肯锡）,大数据大价值 行业应用-能源行业（Distribu TECH）,大数据大价值 行业应用-零售业,市场Market,销售规划、Merchandising,运营Operation,供应链Supply chain,基于大数据分析，市场活动变得更加智能，帮助销售进行有针对性的营销，指导制定市场策略；,帮助商家进行定价调整，如根据不同客户类别设置价格区间；网上零售商基于用户的交互行为调整网页的布局设计；,提高运营效率及满意度，让管理者能够更及时调整运营措施。优化劳动力投入

15、，更加准确预测人员配置要求，避免产能过剩，降低人员成本；,库存优化：根据历史数据、天气、季节等因素改进库存管理；物流优化：优化线路及车辆分布；供应商协调：利用顾客偏好与购买行为协调供应商与零售商谈判；,大数据大价值 行业应用-零售业,交叉营销使用客户的相关数据促进销售，如客户的地理位置信息，购买历史和购买偏好等；,基于位置的营销源于智能手机等设备的大规模普及，如客户接近某个商店，系统就能自动推送商品信息；,店内用户行为分析帮助提升店内布局，货架布置等，数据来源与客户的店内行为，如行走路径和花费时间等；,客户群划分划分更加精确化和精细化，通过实时数据分析及时调整客户群划分方式；,情绪分析辅助商业

16、决策，如利用情绪分析，理解营销活动的真正响应时间，并做出相应调整；,渠道整合无论客户是在线上还是线下，商家都能将渠道数据进行整合，为顾客提供无间隙服务；,基于大数据分析，市场将变得更加智能,大数据大价值 行业应用-零售业（朝阳大悦城案例）,北京朝阳大悦城2011年销售额突破10亿元。这是一个不错的首年成绩。朝阳大悦城组建了一个数据团队，以数据为驱动打造一个全新购物中心。下面讲述柱子、电梯、车流、客流监控与数据的故事。,大数据大价值 行业应用-金融业,阿里贷款：传统的电商向金融行业转变，提供小企业贷款服务,大数据（Big Data）,大数据大价值 行业应用-金融业,银行业,保险业,证券业,小微贷款,