媒体直播大数据基本设计说明书.docx
媒体直播大数据项目基本设计说明XX科技股份有限公司编制目录媒体宜播大数据项目31. 总体架构设计32. 网络拓扑33. 数据处理流程4数据生产展示5数据采集展示6数据分析展示7数据可视化展示81. 权限管理：82. 媒体直播大数据分析：9项目安排12媒体直播大数据项目1.总体架构设计总体架构如下所示:薨体系统架构图1iiZi1.<mEchftTtf1.效黑修示层任务调RZi:HtcuscR1.DS数第分析房FIubq2.网络拓扑3.数据处理流程平台管理层r叨吩析AT愉程慢修层ce/Yam（数据存储）文件与储信.n.,MW1.nr.三.f1.-*Vr1.,f.1.MZI.,RR.tW*I.J1.,t.RR.m1.*t.V>.4.MIVr1.a*Vi4*.a.t.m*vc1iMr，.e.Q>waj".3.，.jmvi.M*,>."irri.,一.R，G，iJ1.¼r1.ZI.M-M*.1.*41.>iV2>.Xi4.M.S*.NIWI.atf.1.V.<JB.MM>I.t1.1.f1.f1.NiW1.w.mf>Uf,c.A*.jxn.f1.宜.，*>,ji""tv月.mM.A.jw”加Ritzi/,一.，XXaMKZV1.Sa.M?，.6.M.itn*.x*u'F.aM.jm*v.e.M.a«.nii*v>r.mn4.v>.Niv.jn*.w.M.j«Mv.w3.X04H.a.JnM1.f.1.>V"1.”.A111.f.A031.MM.1.S."1.WA11.t1.CQ.AW".,W4Iv.,x.)>v>.7i4*.M.xe.n*>.-aR.,v.ija.mv7.r.u.,.4.,M,1.,IB.M1.WM.W7K±.t.±M.mWK1.tV.M.tK.MIV1.M2.1.X».MIWM4.b.er.M*rv.a4r.9tw.M<wvn.4ft.,9r,mw7.iR.uw/.frW.Mi4*m.>r%.w.Vr.mwii.？<),w.MWv.a.n.4.*c.j>vn.MtWVI.*<>.tV.a.W*VVI.t*.n.*a.*1V41.4A.MIU.,a.IV1.WVI.A.MIWAn1RMt.*m.MV4上层应用-cequj<（数据分析）MaIfSamzaAtormHCataIog（元数据管理）（JavaN1.OfS输HDFS（文件存储）数据生产展示“九NA.Ait%R,u，n.j.wwvn.M*.i.ixum4F.,W1.9CW,XWV77.4ft.>,0CW.mwn.m.rH*/.cRtWg.m>.U.J*MVI.1,IV.9x.u.*a.>n*4».r,XA,"tv,u».n.”."n.<it“1.jr.R,“0Sr*'.工.mvi=*mib.KXrk”.一«，'.V2ft.NIB1.1.aft.f>.*XA.KMVn,.,jm3B.J,tOcQ.I一.MWI.I.一*.R8¾M.9>1”*一.Jt*VI.4M.以一.MM>>VI.-/.”M.9-Nwv.v.n.rivh二.fK.MIVM.MrU1.U.»>.»M.JtV.K.-tM.FW.NtA1.*.R1.ZB.MIWMm,ko.a.Mivft.j>u.H.ta.»twu».ta.jiWk.an.kUM.ta,JmrQ.1.X.MIVM>.a<.9.X.M*1.V*.».>.J>k(t1.XUT.«.!.«W.MMtfWi.Mtt.N.9W.NIWV>H.I7M.4.B«.N1.*V>.3KM.W.98.JMIWI.,.，*.NWV.，.r>.I,一.X1««XnN.MVt>.J*UT.1.VN.2n*V1.Xtt.1.RM.NI*V).nW4.f1.W.M1*V1.JM.1V.VM.JMtTVi.”.»».HWV.9.r,.-t,N(Aa“a.V."1.W4H.".a.JHMI.俄.f.mV"t.4II.IM1.1.R1.”"1.AM.1.S."1.21.1.1.T.).*.AM4.u.*A.w4».一，.A1.Ve135>.1.-H.mW1.1.1.A.-.JIW11.¾R.I,04.一.RIW1.2MJR.一»«W1.-Q/m.R-HWWI.<,FM.4M.NiW1.图4获取数据并去拄敏感词通过函数生成媒体直播大数据数据，需配置生成文件名和生成路径。数据采集展示4M.maawQmmM*MM5.1MMM，”(a4r1.<«mbiK*i<*,4B*As4v*NMH*<tt1.M*1.*<1.M*«<WU4kAh4m*-AJMmQ)«.<zk»wFMMtQJWz”r9M<tMM«<r4f5，'JWd>M.1.M.<<k«M1.bwWM.kik<(tf“M”“M.k*<Mk.<M*4e<<*f*0MMM*1.*W<M.w*k<*<'M.WW*4VifU<-vJ"Q”%3。.k*W*M.<k<k<M*VVtMw<Mt31I2331*<“，”乂m<n“wa”."a，mV<h*nR.eGY."<<3111.4.>.IiMI-EU1.,3.一»"，13E”M2.NtttB*VkyHAW»«3*»3W*M«U.k*y*<M.1.MMI*1.k*<*e*e%w<<.7.T3QkM*y.<<inR.*<f1.w<f*.raMaB1.n<M>-.*wit*K1.»“R.Qr78.1f.QEUR*.f2«tU.1r<*t*<ytM%QtoMQ*M09.w*1.im<tM<.a>Wk>4*<obbm”2”of<*4Uf0wkUt*卜1Vw<iU.a4ww<32，.)a一九).bI1.w1WW7“<a三itM*mwbbI1.»4)>wekM1.Q<YQ”KEN<I<1，”.Ftt%1.mk1.W<*<1.1.yrtte<4WVI1.»O1.k<rwM<MM.ftMttW<M<f*Vta*QXM.三*kiE5f1.ume聚集图fikafka集群待消费蚊据图8HBASE存仲数据2,然后使用HbaSe消费通过f1.ume将客户数据采集到kafka集群kafka集群数据。数据分析展示v”量IIf*tntow16秀17J-<10东Ag20WOOW0.0400.0600.070O.CWOO.OM)6i8aoo0.240jcooo.ooo40000.000MOOaooOCOOO.OOO900.0009CO.OQO10.000!20000.000i6ooo2<0000E9Mysq1.分析锹据使用MaPRCdUCe将HBASE中的数据，经过清洗、分析之后存储到MySQ1.数据库中。数据可视化展示1.权限管理：资源管理：对系统菜单进行管理，可资源进行添加、修改等操作。MSOft98r国"O>WJBRff*j三Am分析商内客占比堂人即三三mrG金军公布加商gS电,皿分端MHt2双白EA9BMS8EM1.WR6EA叱SA.naryiXgMTCAKtoCe.t>toonwnv.<¾c>Vanw图10资源管理界面岐图角色管理：是系统角色信息管理地方，在此可对系统的角色进行添加、删除,修改等操作，以及可以修改角色的查看权限。*Ba*HQIcn3ea8>»8IM图11角色管理界面截图用户管理：对系统用户进行管理。图12用户管理界面截图2.媒体直播大数据分析：直播内容占比分析直播内容占比分析功能包括：使用图形展示各种类型直播内容占比情况。直播受众人群年龄分析直播受众人群年龄分析功能包括：使用图形展示直播受众人群年龄占比和数量情况。直播用户TG1.分析直播用户TGI分析功能包括：使用图形展示中国各地地区直播用户TG1.情况。直播平台市场份额分析直播平台市场份额分析功能包括：使用图形展示各主要直播平台市场份额占比情况。移动用户规模分析移动用户规模分析功能包括：使用图形展示全年各个时间段移动用户规模越势情况。直播市场规模分析直播市场规模分析功能包括：使用图形展示历年直播市场规模趋势情况。BMTM9直播观众分布区域分析直播观众分布区域分析功能包括：使用图形展示各城市间直播观众分布占比情况。项目安排需求分析初步调研根据商业需求确定网站平台需求功能第一周详细需求分析根据初步调研完成具体需求文档第2-4周项H开发项目研发根据需求文档进行项目的设计以及开发工作第4-14周测试项目测试根据测试文档进行项目测试第15-17周安装部署部署部署项目上线第18周试运行试运行对项目进行试运行第18周项目上线项目上线项目完成并上线第19周
