电商大数据分析平台项目简介.docx
电商大数据分析平台项目简介XX科技股份有限公司编制目录电商大数据分析平台项目背景客户情况及市场情况1 .客户情况32 .巾场情况3技术选型4项目团队构成5团队成员技能需求6电商大数据分析平台项目背景随着互联网和电子支付的应用及普及，电子商务行业发展迅猛，同时越来越多信息被聚集起来，电子商务进入了信息大爆炸的时代。大量的信息在给用户和企业提供多样化选择和营销手段的同时，也不可避免地出现了信息过载的问题：从用户角度来看，用户在面临越来越多的选择的情况下显得无所适从，无法尽快地锁定自己想要购买的物品；从企业角度来看，海量信息的汇入使得企业无法对其进行全量的存储和及时的利用，难以抽取有效信息支持决策，造成用户和资本的流失。在些困境出现的同时，电商大数据平台的出现，成为当下电商海量数据存储处理和实现精准营销主要且有效的方式。客户情况及市场情况1 .客户情况随着经济的发展、生活水平的不断提高，人们越来越关注自己的形象及给他人的第一印象。也可以说，人们越来越关注时尚，将更多的关注点放在服装穿搭上。从时尚企业的用度来说，它们更需要获取前沿的市场信息，如什么是时尚、时尚的发展趋势、人们的关注点在哪里等，这些都是各个厂家及相关从业人士想要获取的信息。由于信息获取渠道的改变，我们将视线从传统的纸媒户外及电视转到了互联网，销售渠道也从百货公司、专卖店转移到了电商平台，所以我们必须覆盖上述数据渠道。然而互联网信息和电商产品详情效据的量极大,获取信息的渠道众多，如果不进行自动化的智能收.集、筛选及整理，很难获取精准的情报信息。因此时尚行业的大数据需求应运而生，帮助企业建立企业外数据的资产，并将价值应用于运营中。2 .市场情况随着移动购物市场的飞速发展，大大刺激了我们的消费欲望，以前我们可以“秀才不出门，尽知天下事”，到现在我们可以在家中就能够等到自己心仪的、想要的宝贝，所以，近几年来，从快递的行业的发展我们就可以侧面了解到我国电商行业的发展先装了，可以说,近几年，中国的电子商务交易规模正在逐年扩大，并且还保持着较快增长的速度。有数据显示，中国的电商行业发展，已经超过了美国的全球最大网络零售市场，成为了电子商务市场中的中梁砥柱和重要力量，从那些电商企业当中，我们也能够看到电商行业的发展，现在阿里巴巴、京东、苏宁、国美的崛起，给传统的零售业造成了很大的冲击，也使人们的消费方式和生活方式发生了很大的变化，很大程度上便捷了我们的生活，成为我们的日常生活中不可或缺的重要部分，到现在为止,我国的电商行业还在向那些边缘的城市进行纵深发展，相信不久的将来，电商行业会实现全面覆盖。技术选型 CDH/F1.umeKafka数据采集，结合数据流技术对接各类应用系统及数据库的数据资源 CDH/HDFS文件类数据整合与存储，HADOOP技术路线 CDH/HBASE格式类数据整合与存储，HD00P技术路线 CDH/HIVE数据清洗 HADOOP数据清洗工具 CDHSPRK离线数据开发及处理 F1.INK实时数据开发及处理 CDHSPRK数据服务及安全 CDHYARN÷CM数据负载及集群管理 CDHH1VESparkM1.数据分析及智能 TAB1.EAU针对数据分析及智能提供自助式或嵌入式的可视化分析图表 E1.ASTICSEARCH针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索HADPYARN针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具项目团队构成姓名性别学历职券专业工作单位项目中的分工每年工作时W（月）签字成员A男本科高级大数据工程师应用电子技术XX科技股A项目管理12成员B男本科高级大数据工程师体育医学技术总监12成员C男本科中级软件工程师计算机科学与技术软件开发12成员D男本科高级大数据讲师计算机科学与技术VTFFR公司软件开发12成员E男本科中级软件工程师数学与应用数学软件开发12成员F男本科高级运维工程师信息管理架构设计12团队成员技能需求(1)成员A云计算、大数据市级工程师擅长：负责企业级云计算、大数据平台项目，大数据应用开发项目的立项、论证、验收等项目过程管理，云计算和大数据相关通识性培训。项目经历：区域医疗云计算中心、重庆三峡银行大数据平台、电信分析云项目、重庆移动业务支惮大数据平台建设。(2)成员BCIoUdera大数据专家高级软件工程师长期从事技术管理工作，对技术团队的管理和认识有自己独到的见解，善于将人员提升和管理经营有机结合。擅长技术：Windows,1.inux.Exchange,数据库、HadOop、项目管理等系统开发与管理。(3)成员C高级软件工程师擅长技术：网络通信、网络安全、数据库操作、dui1.ib,cc+0(4)成员D高皴软件工程师擅长技术：Python爬虫程序开发、Python数据分析、1.inUX系统管理、大数据存储与管理、HadOoP大数据开发、Sca1.a函数式编程、数据挖掘、云计算平台架构、EXCeI高级数据分析、图像识别、机器学习、分布式计算、数据可视化分析等。(5)成员E大数据分析师擅长技术：R语言统计分析、EXCe1.数据分析、Q1.ik数据可视化、数据可视化建模、极率论与数理统计。(6)成员FCIo1.IdCra大数据专家高皴软件测试工程师曾在上海惠普、IBM.MOTORO1.A.北京融信恒通等公司任职,授长技术：hadoop平台设计、运维、熟悉yarn、hdfs/HA、mapreducev1.v2,f1.ume.SqoOp、pig、impa1.a.hive,zookeeper,等相关组件集群的搭建和维护管理。
