“大数据”的认识与思考22.docx

《“大数据”的认识与思考22.docx》由会员分享，可在线阅读，更多相关《“大数据”的认识与思考22.docx（18页珍藏版）》请在课桌文档上搜索。

1、)Nn三iM1三1.三-三11m三三SS1.iSIORAGERk)IpiBJN三JU三SDW-VWP“大数据”的认识与思考刘姝祎目录1 “大数据”的时代背毋41.1 “大数据”的概念41.2 “大数据”产生的背景41.3 “大数据”的特征51.4 “大数据”的开展阶段51.5 “大数据”带来的机遇62 “大数据”的关键技术82.1 1“大数据”的采集和预处理82.2 “大数据*存储技术92.3 “大数据”分析技术92.4 “大数据”与云计算103大数据产业的应用113.1 大数据产业113.2 “大数据”在典型领域中的应用123.3 智慧城市：立体的大数据生态系统133. 3.1智款城市的产生

2、134. 3.2全球智慧城市的实践133.3.3.中国智慧城市144问题与挑战164. 1数据质量164. 2数据平安164. 3用户隐私与便利性的冲突164. 4庞大能耗164. 5数据分析与管理人才紧缺164. 6跟风现象较为严重175. 7缺少技术创新水平较高的互联网公司175对大数据产业开展的建议186. I政府方面187. 2企业方面19195.3公众方面1 “大数据.的时代背景1.1 “大数据”的概念纽约时报在2012年宣布“大数据时代”已经降临，“大数据”成为了时下最炽热的词汇。顾名思义，大数据是“无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的大量而笈杂的数据集合.G

3、artner认为大数据是“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。大数据”的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对“未来的预测。这些数据可能有些混乱，甚至会出现批漏,但数据量的“多”和时间的“即刻”可以弥补数据质量的瑕疵，“大数据”将以最快的速度“预测”出最可能”的答案，指引人们迅速采取行动。1.2 “大数据”产生的背景大数据的应用和技术是在互联网快速开展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数到达40亿，用户检索信息越来越不方便。谷歌等公司率先

4、建立广覆盖数十亿阿页的索引库，开始提供较为精确的搜索效劳，大大提升了人们使用无联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未仃，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了套以分布式为特征的全新技术体系，即后来砧续公开的分布式文件系统(GFS,Goog1.e),分布式并行计算(VaPRedUCe)和分布式数据库(BigTabIe)等技术，以较低的本钱实现了之前技术无法到达的规模.这些技术奠定/当前大数据技术的基础，可以认为是大数据技术的源头。伴随着互联网产业的崛起，这种创新的海域数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应

5、用,取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效.与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景卜使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结,随即在全世界兴起了股大数据热潮。2012年3月，美国政府发布大数据研究和开展方案3,同时组建大数据高级指导小组，以协调政府在数据领域的两亿多美元投资.根据这一方案，美国希里利用大数据技术再多个领域实现突破，包括科研教学、环境保护、国土平安等，此举标志若，美国把应对大数据技术革命带来的机遇和挑战，提高到国

6、家战略层面,形成了全体发动格局。随后，英国、法国、日本等各国都相继将大数据方案作为国家战略型方案提上日程。值得一提的是，由中国各级政府主导的大数据方案也已经全面展开，“大数据”已成为推动我国经济和科技开展的重要力量。1.3 “大数据.的特征“大数据”具有州的特点：是数据容量巨大(Vo1.ume)。国际数据公司(IDC)的研究报告称，2011年全球被创立和被复制的数据总量为1.8ZB(2的70次方)，并预测到2020年，全球将拥有35ZB的数据量。二是数据类型众多(Variety).相对于过往以文本形式为主的结构化数据，大数据时代的数据类型涵盖/图片、音频、视频、网络H志和地理位巴信息等种类繁多

7、的半结构化和非结构化数据。三是数据价值密度低(Va1.uo)e举例而言，在个连续监控三个小时的视嫉中，能够提供有效信息帮助刑侦人员破案的画面可能只有三五秒.四是处理数据的速度要求非常快(Ve1.ocity),一方面，面对如此巨大的数据量，处理效率至关重要，另一方面，越来越多的处理需要在瞬间完成以便做出及时的反应。在此基础上，阿里巴巴延伸至3个维度一可实时性、可解释性、数据准确性程定性，这三个维度是决定数据是否有价值的关键。1.4 “大数据”的开展阶段每种技术都有自己的生命周期，GartnCr曾经指出新技术生命周期的5个阶段，即技术萌芽期(techno1.ogyIrigger)、期望膨胀期(Pe

8、HkofInf1.atedEXpeCta1.iOns)、泡沫化的谷底期(ThroughofDisi1.Iusionment)稳步爬升的光明期(S1.opeofEn1.ightement).最后才能进入成熟使用期(P1.ateauofProductivity)如下列图1-1所示图1-1大数据生命周期命而大数据正是出于期望膨胀期，预计通过近两年的开展，大数据将会在2016年到达泡沫化的低谷期,之后在5-10年的时间内经历槎步爬上的光明期，到2020年后将会到达实质的成热使用期。1.5“大数据,带来的机遇（1）新一代信息技术融合应用新焦点对大数据的处理和分析正成为未来新一代信息技术腱合应用的核心支撑

9、结点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。以大数据为结点，各项新代信息技术应用产生的信息将不断聚集,并通过对不同来源数据的统性、综合性的处理、分析与优化，将结果反应或交叉反应到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。（2）信息产业持续高速增长的新引擎大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新

10、技术、新产品、新效劳、新业态将会不断涌现,大数据将为信息产业翻开一个高增长的新市场.在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响,还将催生体化数据存储处理效劳器、内存计算等市场。在软件与效劳领域,因为大数据中蒸含的巨大价值,，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。3）用户提升竞争能力的新动力对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业的决策正在从“业务驱动转变为数据业动”o在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间

11、的差距.真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对：在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持：在效劳行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的效劳：甚至在公共事业领域，大数据也开始发挥促进经济开展、维护社会稳定等不可小蜕的重要作用。（4）推动商业模式的创新对于海量数据而言，提供高附加价值的数据分析效劳，将数据封装为效劳形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。对F政府和企业而

12、言，至少可以实践4种商业模式的创新。第一是客户关系管理的创新，通过大数据分析可以根据客户的屈性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以增加新的客户，提高客户的忠诚度，降低客户流失率。第二是企业经营决策指导的创新。企业可以利用用户数据，有效提升资源利用能力，提高决策的准确性，从而提升整体运营效率。如，沃尔玛通过分析客户购置产品的种类组合，适时推出产品联合促俏信息，以提升产品的销量。第三是个性化精准推荐。企业根据用户喜好推存各类产品和业务，如淘宝根据分析客户的检索数据，适时向客户推送相关产品的广告信息。第四是创新社会管理。政府可以将大数据运用到交通、应对突发灾击、维梅等领

13、域中。如，在大数据的帮助下，什么时间段、哪条路拥堵等问题，都可以通过分析得知，通过同条路上多个用户的手机位移速度，便可以判断当时的路况，为拥堵做出准确预警.2大数据*的关键技术“大数据”己经不仅是数据大这一事实r,更重要的是要对大数据进行分析以获取更多智能、深入和有价值的信息。而随着“大数据”在越来越多的领域得到应用，“大数据”也变得越来越更杂,因此“大数据-处理技术在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。大数据应用分析结果需耍经过数据采桀、预处理、存储、分析和挖掘等多多个环节才能最终呈现出来。2.1 “大数据.的采集和颈处理在数据分析界有着一个“拇指法则”，即

14、数据分析工作至少有70限80%的时间都花在搜集和准备数据上，而仅有20限30%的时间花在分析木身上。随着新技术采集手段的出现，数据来源和数据类型变得丰宏多彩，企业和机构采集数据首先需要明确所需的数据内容，并制定好数据分类存储规则，以便更有效的采集数据。按照数据所有者划分，企业数据采集源可以分成3类：一类是企业和机构的内部数据.如系统日志、生产经营数据等：类是合作机构的内部数据，可以通过设定好企业与合作机构的系统接口进行采集：还有一类是大量的网络公开数据，可以通过网络爬虫或者网站公开的应用开发接口(API)将所需信息从网页中采集出来。目前一些瓦联网企业和开源社区开发的海量数据采集工具,如FaCC

15、boOk的日志采集工具SCribe、淘宝的实时数据传输平台TimCTUnnC1.等，均已能够满足每杪数百MB的日志数据采集和传输需求.卜面就物联网及社交网络这两个“大数据”的新唱来源进行荷单的介绍。(1) “大数据与物联网物联网是一个信息技术领域的热词，其本质是传感器技术进步的产物.遍布大街小巷的摄像头,是大家可以直观感受到的种物联网形态。事实上，传感器几乎无处不在，现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应泯、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器，这些不同类型的传感曙，无时无刻不在产生大量的数据，这些成为大数据的重要来源之。妥善的利用这些数据可以监测大气的

16、温度、压强、风力，监测桥梁、矿井的平安，监测乜机、汽车的行驶状态等。(2) “大数据“与社交网络社交网络是互联网开展史上一个揖要的里程碑.它把人类真实的人际关系完美地映射到互联网空间，并借助互联网的特性而大大升华。社交网络使得互联网甚至具备某些人类的特质，瞥如“情绪”：人们分享各自的喜怒衰乐，并相互传染传播，社交网络为“大数据”带来类最具活力的数据类型，人们的喜好和偏爱.由于现实采集的数据与大数据分析过程中所需的数据，会存在结构不一致或不完照的情况，大数据预处理过程可以通过数据提取、转换和加载等操作，对采集的数据进行初步的组织和数量，从而提高大数据分析质员和效率。(3) “大数据”存储技术大数

17、据存储需要满足海量存储、平安存储和快速读取的要求。其中海量存储包含数据容量和数据文件址两个方面，为保蹿系统存储容fit能够以较低本钱存储海量数据并能实现快速平滑扩展，分布式存储和存储虚拟化技术被广泛采用：为更好的对系统中海域文件进行有效管理，聘数据传输和数据控制别离开的对象存储架构应用广泛.为了保障数据平安存储不丧失，大数据存储过程中会采用加密等平安技术，InJ时会对数据进行数次备份。为/支持数据的快速读取和并发访问，分布式存储和对象存储架构将会更有效。目前应用广泛的大数据海量文件存储技术主要有谷歌文件系统(GFS)和基于GFS开展的开源HadOOP分布式文件系统(HDFS)等。一些大型网站将

18、“数据”视为最核心的资产，他们甚至花费淘品的费用来保管这些数据，以便加快用户的访问速度。谷歌公司购置了弟独的水力发电站，为其庞大的数据中心提供充足的电力。2.3“大数据”分析技术当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接.挖掘到可应用的价值.是真正驾驭大数据的重要环节。大数据的分析技术，大致包括5个根本方法理论技术：(1)可视化分析可视化分析能够直观的呈现大数据特点,简单明了易于接受。(2)数据挖掘算法大数据分析的理论核心就是数据挖摭鸵法，各种数据挖掘的算法基于不同的数据类型和格式能更加科学的呈现出数据本身具备的特点，而这些数据

19、挖掘的算法能够快速的处理大数据.(3)稹测性分析能力大数据分析最重要的应用领域之就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据(4)语义引擎大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义.分析，判断用户需求，从而实现更好的用户体验和广告匹配。(5)数据质量和数据管理大数据分析离不开数据质址和数据管理，而质量的数据和有效的数据管理能够保证分析结果的其实和有价值.2.4“大数据”与云计算对于许多组织来说，“大数据”对存储容屋的需求已经超出目前的存储能力。我们正处于PB级存储时代，而EB及存储时代也即将

20、到来。大容量的存储不但要求系统具备在原有数据存储规格上进行扩展的能力，还要简弟快速的进行扩展，云计算就为“大数据”的诞生提供/集中采集数据和存储数据的基础。云计算的出现改变了数据的存储和访问方式，在云计算出现之前，数据大多分散保存在每个人的个人计算机中、每家企业的效劳器中。云计算，尤其是公用云计算，把所有的数据集中存储到“数据中心-，也即所谓的“云端，用户通过浏览器或者专用应用程序来访问。一些大型的网站，通过提供基石“云的效劳，积累大量的数据，成为事实上的“数据中心”，这为“大数据”诞生奥定了基础。而云计算及其技术绐了人们廉价获取巨量计算和存储的能力.云计算分布式架构能够很好地支持“大数据”存

21、储和处理需求.这样的低本钱硬件+低本钱软件低本钱运维，更加经济和实用，也使得“大数据”处理和利用成为可能。可以说云计兑为“大数据”提供了存储空间和访问渠道，“大数据”则是云计算的灵魂和必然的开展方向。而近年来国内各地也兴起建设云计算基地的风潮,客观上为“大数据在我国的推广和应用准备了必备的储存空间和访问渠道。3大数据产业的应用3.1 大数据产业“大数据”的应用能带来巨大的经济价值和社会价值，对于产业开展而言，“大数据”可以实现应用创新、降低行业内的生产本钱并创造新的产业价值。咨泡机构麦肯锡最早提出“大数据时代已经到来，在2012年发布的大数据：创新、竞争和生产力的下一个领域文章上说明，在零传业

22、、制造业、医疗卫生和公共部门，“大数据”可以加快产业规模的增长速度，降低生.产运营本钱：对于企业而言，采用“大数据”可以提升企业的竞争力，改善企业的营销规划，客户定位，产品创新、工作流程优化、人力资源管理、物理管理和风险控制等多方面的能力。目前，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，人们对于海量数据的挖掘和运用，预示若新一波生产率增长和消费者盈余浪潮的到来。对于“大数据”产业，政府与公共事业部门、行业企业、个人消费者是其的最终用户。在政府与公共事业领域.“大数据”可以应用到城市规划、公共平安、公共交通、舆情管理等社会管理和民生效劳领域，带来效率提升、响应速度加快、效劳

23、水平提高、管理本钱下降等诸多效益,对于行业企业，“大数据”可以应用到产品研发设计、生产运作管理、供给链管理、客户关系管理、企业品牌营销等各个环节.，能够帮助企业准确把握市场需求变动、提高产品设计与生产效率、提高供给链的敏捷性和准确性、实现个性化精准营销，同时也促进IT技术的创新。对于个人消费者，通过“大数据”的应用效劳将使信息变得更加泛在，从家庭生活、出行、消费、娱乐、旅游、学习等方方面面拓展民众生活空间、提高民众的生活品质。总结以往，“大数据”的应用价值可以分为感知现在和预知未来两局部。(1)感知现在通过对历史数据和当前数据的融合，以及潜在模式挖掘，力求到达对事物对群体与社会开展当前状态进行

24、更全面、更精确、更理性的认知。这种认知可以是宏观的，也可以是微观的。宏观方面可以对PB级社会媒体数据、百亿级日志数据继续拧分析挖掘，掌握宏观现状，如环境指数，健康指数等。在微观方面可以利用PB级的日志数据和EB级的监控数据，挖掘潜在线索，如犯罪行为轨迹等。(2)预测未来通过对“大数据.彼此之间的关联分析，演化态势和效应的判定与调控，揭示事物开展的演变规律，进而对是事物开展趋势进行预测。如基于twitter等网上公开数据的实时感知、动态获取与综合分析，结合仿真调控，预测大选结果：联合国全球脉动利用网络大数据预测失业率与疾病爆发等现象，利用数字化的早起预警信号来提前指导援助工程，以免某个脱贫地区重

25、新陷入贫困。这些都说明了正确的大数据应用对于准确预测事件开展趋势具有重大的价值，人们可以给予“大数据“更好的进行科学决策和事前准备，未来“大数据”预测技术将会更广泛的运用到人们的日常生活中，变革人们的生活。3.2 “大数据”在典型领域中的应用当前“大数据”己经在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业有所应用并带来了巨大的产业价值。以下本文招举出实际案例以介绍“大数据”在各个领域的具体应用。在IT领域,一个典型的案例就是eBay通过数据分析技术可以精确计算出广告中的每一个关键字为公司带来的回报，通过对广告投放的优化，自2007年以来eBay产品销售的广告费降低了99%,而顶

26、级卖家占总销隹额的百分比却上升至32%e在经济领域，大数据在经济领域的应用可以通过这样一个有趣的案例进行说明，社交媒体检测平台DataSift检测了社交网络Facebook首次公开暮股当天Twitter上的情感倾向与Facebook股价波动的关联“在Fcebook开盘前，Twiitor上的情感逐渐转向负向，25分钟之后twitter的股价就开始下跌，当twiner上的怙感转向正面时，Facebook的股价在8分钟后也开始回弹，最终当股市接近收盘，Uritter上的情感转向负面时，10分钟口FaCebOok的股价又开始下跌,该机构得出结论，TWittOr上每一次情感倾向的转向都会FaCebOOk

27、股价的波动高度关联。这证实以大数据预测未来股价走向的典型案例。气象预测方面，家美国公司把气象数据放在亚马逊的“云平台”上进行处理，以及时提供气象预报的方式，保证当地的农牧业主在特定的地区以及特定的季节不会遭受天气灾害，由此获得了丰厚的利润。智能交通方面,根据路网监控，火车票及飞机票的预定，以及网上地图查询记录，能够提前预测某个城市的出行人数的大致规模，再结合交通部门的其他信息，便可以预测出群体出行的态势，对其可能的出行时间、出行路线、出行方式等进行预测，从而为城巾.交通调度提供决策帮助，军事领域，美国“2049工程研究所”2008年在华盛帧成立，2010年它利用网络上公开的数据和资料，分析和预

28、测我国在军事和经济领域的平安问题，发布了一份名为&中国核弹头存放和使用系统的报告，称在陕西、江西、四川等地发现了中国的核武沿基地，甚至还精确到了核基地所在的市县名称。2013年3月，他们还发布了一份关于中国无人机工程的研究报告，较全面的分析了中国无人机的研制、开展、装备以及作战部署情况。以上都是大数据在一些实际领域的应用，未来“大数据“将会在更多的领域得到应用，决策行为将会基于数据分析做出，通过对数据的整理和分析,政府和企业能筋预测个体下一步的需求,进而提供更加智能与高效率的管理和效劳。3.3 智城市，立体的大数据生态系统智慈城市是城镇化开展的高级阶段，是城市信息化的新形式，是现代城市开展的愿

29、景，智慧城市在产生.大数据的同时，“大数据”也支撵者智依城市的建设和开展，而智悬城市的衡量指标是由“大数据”表达的。大数据”挖掘对智慧城市的经济开展和社会管理是无形的生产资料，“大数据“合理利用将创造巨大财富。在未来，大数据符成为维护城市运行的根本要素，智慈城市在“大数据”的支掾下，成为立体的大数据生态系统，促进城市的开展。3.3.1 智城市的产生随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保险等的需求的也在不断膨胀，诸如高房价、堵车、雾霾等“城南病”也越来越多,传统的管理手段已变得捉襟见肘，而信息化可以说是抗击“城市病”的有效手段.伴随着网络帝国的崛起、移动技术的融合开展

30、以及创新的民主化进程，知识社会环境中的智慈城市是继智能城市.之后信息化城市开展的高级形态.利用城市管理中产生的大量信息与数据，积极促进城市机构之间的实时沟通和协助，分析原因，制定对策，有效平衡社会、商业和环境开展需要，优化现有的可用资源，以最优化的方式为城市公民提供全面又超前的效劳，积极提高公民的生.活幸福感一这种高效、智能且可持续的城市管理被称为智慧城市。可以说大数据是智慧城市实现智慧化的关键支撑，成为驱动智慧城市开展的动力。智志城市采用以物联网、云计算、大数据等为核心的新代信息技术，集成城市的组织（人）、业务（政务）、交通,通信、能源等城市运行中的各个核心系统，使整个城市成为以一种更有智慧

31、的方式运行的宏大的智煞城市系统，对保障城市正常运行的每个系统进行全面的监测、管理、预警和处置，快速、智能地响应城山.管理者和市民的各种需求,提高城市运行效率，提高政府决策力。建设智慈城市是城市开展的新范式和新战略，是当今世界城市开展的趋势和特征。建设智慧城市对抗击“城市病”具有强烈的现实意义。首先智建化运营通过运用来自城市多个部门的信息，进行数据聚集和标准化后，识别出相关的重要:事件，以提升效劳质量。其次，智慈化运营能够预测城市开展的问题与危机，最大限度降低对城市居民的影响。如通过可视化全要事件和警报、地理信息等数据，识别出模式和趋势，保证行动仃依据，生动触发预设的预案以加快响应，然少效劳中断

32、概率，防止城市内大型事故扩大升级,减少灾害的影响.最后，智越城市可实现通过协调不同部门的资源，以提高更快、更有效的影响。“大数据”的智急化阴助管理者跨部门决策、协调，提高公共效劳交付效率，减少应对突发灾害的响应时间。3.3.2 全球智慧城市的实践全球在智慈城市的实践中展现了各自不同的设计理念：美国在智慈城市建设方面选择智能电网进行突破，注重于商业机构的合作，利用UrbanSinI等智能化的城市仿真系统对城市空间开展进行优化。在美国2009年的经济城苏方案中，有项高达110亿美元的投资，用于建设可安装各种控制设备的新一代智能电网。日本在2009年7月推出“智念日本战略2015”,旨在将数字信息技

33、术融入牛.活的方方面面，聚焦丁电子化政府治理、医疗健康信息效劳、教育与人才培养3大公共事业。韩国政府于2004年提出了韩国开展战略，经过多年的实践，首尔、釜山等一些城市已进入“泛在城市”时代.泛在城市”以“建设尖端信息城市,提高市民生活质员和城市竞争力为目标，利用无线传感器网络，实现对城市设施、平安、交通、环境等方面的智能化管理和控制.根据国际数据公司预计，2011年，全球新型智煞城市信息技术的市场规模到达340亿美元，并将以每年超过18%的速度增长，到2014年将到达570亿美元。3.3.3 .中国智嫌城市2012年11月，住房和城乡建设部办公厅发布g关于开展国家智念城市试点工作的通知，将建

34、设智慧城市作为贯彻党中央、国务院关于创新驱动开展、推动新型城镇化、全面建成小康社会的玳要举措，要求各地高度筑视，抓住机遇，通过枳极开展智慧城市建设，提升城市管理能力和效劳水平，促进产业转型开展。截至2012年7月，中国共有150多个城市提出建设或正在建设智慈城市，其中，北京、上海、广州等城市是智慈城市创立进程的领跑者。总体上说，中国东部地区智慧城市建设正点在于以信息技术促进转变经济开展方式，提高社会管理水平，提升城市竞争力,塑造城市品牌。中西部地区智越城市的建设更加注重对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加强招商引资。中国智.尊城市建设分为前期基础设施建设、中期

35、数据处理设施建设和后期的效劳平台建设。就智亚城市的建设内容来看，一方面是加强城市基础通信网络建设，提高通信网络带宽及糊盖率：另一方面是在一个云计算平台之上提供智急应用效劳，如智钻交通、智殿医疗等。相关的建设涉及通信设备制造企业、系统桀成企业、数据采集分析企业、通信运营商和数据效劳企业，时整个产业链将起到巨大的拉动作用.中国智慧城市建设有三种模式：种是以物联网产业开展为驱动的建设模式，如天津、广州等:一种是以信息基础设施建设为先导的建设模式，如上海、南京等：一种是以社公效劳与管理应用为突破口的建设模式，如北京、武汉等。在中国智慈城市建设中，应当注意以下几点： 1）要因城而异，不能照搬西方的模式。

36、智超城市建设口标确实立要符合城市当前的开展阶段，解决居民最迫切需要解决的问题，走出中国智款城市建设的差异化道路。（2）注重政府统筹，打破行业、地域壁壁，建立智念城i5大数据的共建共享机制， 3）大力推动智荔城市的创新应用，实现创新示范工程应用的落地。 4）完善智越城市建设中大数据信息平安的甚础建设及管理体制，从技术、管理和法律等多方面保证智怒城市建设的正常运行。4问题与挑战“大数据”对社会的好处是无穷无尽的，它在一定程度上解决可迫在眉睫的全球问题，如处理气候变化、铲除疾病等，然而“大数据”在带来大知识、大开展、大价值的同时，也潜藏若巨大的风险。4.1 数据质量其实准确是数据的生命，组织如果没有

37、能力获得真实数据，数据规模再大、数据分析技术再先进也是徒劳。另外由于受到城乡差异、地域差异等的影响，社会上弱势群体的信息占有和表达处于弱势，这就造成了数据鸿沟的存在。而数据造假、数据鸿沟等问题在大数据时代依然存在，偏见和百区存在于大数据中，大数据得出的结论并不是完全客观、准确的，它并不能提供价值判断，也不能完全取代人的经脸和直觉.认清这个事实，能够帮助我们在运用大数据的过程中，更科学的解读数据.4.2 数据平安数据平安在大数据时代也同样面临挑战。大数据开展的趋势往往与加大信息开放、设计新的信息收集设备以及为海量数据的庞大存续和分析需求提供支持的云计算等如影随形。带来的副作用是IT基础架构将变得

38、越来越体化和外向型，对数据平安和知识产权构成更大风险。4.3 用户融私与便利性的冲突“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题：隐私和便利性之间的冲突。研究说明，消费者受惠于海量数据：更低的价格、更符合消费者需要的商品，以及从改善健康状况到提高社会互动顺畅度等生活质量的提高。但同时，随着个人购置偏好、健康和财务情况的海量数据被收集，人们对院私的担忧也在增大。这需要政府和企业从政策、技术和法律等多个方向进行思考和应对.4.4 庞大能耗向来被人们认为是绿色环保的信息产业其实是污染和耗能大户，调查结果发现，数据中心浪费的电力高达总能耗的90%以上。业内专家估计，全球范用内所有数据中

39、心的总功率高达3000万千瓦，几乎等于30座核电站的发电量。尽管现在已经有许多方法梢助数据中心降低能耗，但出于对风险的恐惧，多数公司不愿作出任何改变目前，中国多个地区已经开始或方案兴建大型数据中心,在建设过程中应提前考虑能耗问题，以免选蹈制辙。4.5 数据分析与管理人才紧缺人才是大数据带来的挑战之一O研究说明，单单在美国，对拥有深厚的海信数据分析（包括机咫学习和高级统计分析）技能人才的需求，可能超出目前预测供给量的50-60M到2018年，需要新增多达MT9万名专家。此外，还需要150万名熟悉如何应用海量数据的管理者和分析员。企业和政府必须加大招聘和人才挽留力度，同时大力投入关键数据人员的教育

40、和培训。4.6 跟风现象较为严目前大数据应用市场还没有很大，要等到数据、技术和系统的准备有了一定的突破之后才会出现飞速的开展，但是从现在工业界开展的情境看来，很多企业出现r跟风上工程、跟风卖产品的现象。在现今“大数据”的开展情境看来，政府和企业要做到结合行业和产业的特点进行整体的规划，之后逐步实施，做到不慌张、不跟风也不要坐失良机。4.7 缺少技术创新水平较高的互联网公司从全球来看，大数据技术创新水平分布极不均衡，如谷歌、FaCebOok、IBM公司的技术遥遥领先于我国企业，总体来说，国际形成了“原创技术-开源软件-商用产品的技术创新涟条，并以此为基础初步衍生了从存储和计算平台、数据分析软件到

41、大数据云效劳的产业生态。我国未来大数据的开展必然会受到技术水平的影响，如何加大创新投入力度，提高我国大数据技术水平成为未来我国大数据产业开展的一大问题.5对大数据产业开展的建议展望未来，大数据开展的序幕刚刚拉起，冷净的思.考是十分必要的，大数据在更多领域落地实施还是要经历一个较长期的过程，而在这个过程中离不开政府、企业和公民的共同努力。5.1 政府方面“大数据”是立足全局、面向未来的田大战略，将为中国创造社会经济创新开展的田要机遇，将引领公共管理与效劳的变革。实施大数据战略，对于政府部门来说，不仅意味着要上马多少高新科技工程，更意味着要调整自身运作的机制，进行次政府理念的创新，政府职能的转变、

42、政府流程的再造.（1）政府要成为“大数据”的实践者，积极推动大数据的全面落地，在领导意识、组织文化、组织结构和工作流程等各方面的整体优化，鼓励率先在政府部门和公共事务中推动“大数据”的应用，更好的增强效劳能力，树立更加开放、透明、负责、高效的政府形象。（2）政府部门作为“大数据的实践者应该建构套数据系统，这个数据系统需要包括3个必备因素：大上有云（云平台）、地上有网（物联网、泛在网）、中间有数（数据）.所谓天上有云就是建立政府云平台，把离散在指挥中心、公安、交通等雎位的信息资源，聚合成集预案库、知识库、专家库、案例库队伍库、地理信息库为体的应急信息资源云，通过统指挥调度，在各类突发事件的处理过

43、程中为各级指挥人员提供决策支持。应用云平台不仅能有效协调政府资源和行动，还能在政府部门之间共享数据效劳，防止重复投资，提高计算资源利用率。共享和联动是云平台的关键词，也是让大数据真正落地实施的突破口.而做到地上有网的关键是消除信息孤岛。“大数据”的关键在于分享，可以说信息孤岛是制约“大数据”开展的大障碍，各部门之间不愿公开、分享数据,造成数据之间的割裂，无法产生数据的深度价值.关于这一问题，政府部门一方面要进行纵向信息系统整合，自上而下进行统一的部署，在上卜.级部门之间利用多级网络和中心数据库，构建统一的信息平台：另一方面要实现横向电了政务信息系统整合,实现跨部门的政府信息资源共享和政务协同：

44、最后还要改变现存的内部管理观念，实现性质体制的改革和创新。在数据方面，除了采集更多的数据，更为关键的是利用现有的数据资源。政府部门想要让大数据全面落地要做到妥善利用数据，重视历史数据的价值,对不同来源的数据进行整合.同时政府在严格控制信息的基础上，促进商业化的基础信息交易的开展，做到数据公开，这样可以节省社会数据资源,提高数据的利用效率。做到这些需要政府政策的大力支持,进行整体设计，并分阶段的推行。（3）在保护数据信息方面，政府需要成为数据守护者，出台新的制衡机制，如成立第三方监督平台进行数据保护、实行企业问贵制，即谁使用谁保护、呼吁公民参与监饵等方法，重塑保护个人信息的法律和道德双重标准.加

45、强监督和约束机制，提高信息保护透明度。（4）全力支持国内“大数据”技术的创新，在国家高校、科研机构建立大数据人才培养机制，鼓励企业和科研机构参与到“大数据”技术的创新工程中，结合各界力量力争在“大数据”技术上得到突破性开展。（5）政府应该积极与市场的力量相结合，推动大数据产业联盟的开展，重点关注“大数据”领域早中期创业企业，关注这些企业的技术和商业模式的开展,发现、培育和扶持创造性的思想、创新的技术，促进未来大数据产业的开展“但是在开展的过程中，需要注意的是“大数据“产业联睨不能简雌的等同于“大数据中心，要防止过热开展而带来的风险，政府要做到“整体规划，桎步开展“。5.2 企业方面2013年后

46、，大数据的应用进入了实际上的操作阶段，对于企业来说，公司策略的制定应该更加务实。以百度、阿里、膊讯等为首的互联网行业需要做到：（1）加大力度整合内部系统，构建内部数据仓库。（2）在国家政策的引导下，加大我国大数据技术的自主创新水平,实现技术突破，为大数据产业的蓬勃开展奠定基础。（3）枳极应用大数据改善既有效劳，利用大数据技术开拓互联网、金融等领域的跨界融合。（4）对于企业来说，如何使用“大数据”会成为未来“大数据”应用的焦点所在，企业应当为保存和管理数据承当责任，使用大数据的公司应该基于其对个人产生的影响，对涉及个人隐私数据的再利用行为进行正规评测，躲避或者减轻潜在伤害。企业为公民的隐私保护负

47、货，将会在一定程度上减少信息泄露的危险.5.3 公众方面在大数据时代，公众在享仃其带来的便利的同时，还在承当着信息泄露带来的危宙的风险。作为“大数据.的来源方，公众应该时刻关注国家、企业的数据保护措施，积极参与数据保护方案.但这并不代表公众要抵抗大数据的开展，广阔公众需要做到理性思考，“大数据”现在正处于开展阶段，各国政府和企业已经开始重视随私泄露问题，并在积极的寻求解决之道，相信在不久的将来会找到合理的制衡之法。公众需要正确看待大数据，积极的支持大数据的开展。总结本文所述，大数据产业推动我国创新技术的开展，而且，在国家的统筹规划与支持卜.，通过各地方政府因地制宜制定大数据产业开展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来开展前景十分广阔。