附件四:采购项目实施方案.docx
《附件四:采购项目实施方案.docx》由会员分享,可在线阅读,更多相关《附件四:采购项目实施方案.docx(29页珍藏版)》请在课桌文档上搜索。
1、附件四:采购项目实施方案4.1项目概述为进一步宣传淄博市文化旅游资源,提升城市形象,拟对进入淄博地区的市外游客,发送淄博文旅过境短信。4.1.1短信要求1)短信发送范围:对进入淄博地区的市外联通手机用户,发送以“淄博文旅”为主题的宣传短信。2)信息发送要求:实时采集游客的位置信息,监测到游客进入淄博地区辖区后,立即发送短信;1个月内多次出入淄博地区的外来人员只发送1次;3)发送数量:每月不低于150万条,共计不低于1950万条。4)发送对象:进入淄博境内的外地联通手机号码。5)发送时间段:每天7:00-20:00。6)短信发送号码:123017)短信内容:含欢迎问候语共70字符,汉字、标点、字
2、母均为一个字符,初始内容如下:【淄博市文化和旅游局】齐国故都、陶琉名城,邀您访聊斋踢蹴鞠,听韶乐品鲁菜。精彩尽在“文旅淄博”公众号。旅游热线(0533)2187222o后续内容如需修改,以淄博市文化和旅游局提供的加盖公章的书面通知为准。8)短信发送频次:每个号码每月只发送一次。9)服务期限:从2020年1月份至2021年1月31日。4.2总体功能设计短信发送服务项目平台功能架构如图1所示,通过整合联通的统一信令采集平台、大数据平台、短信网关等能力和资源,实现用户信令采集、目标用户识别模型、短信推送、分析可视化(分析报告)以及指标统计等五部分逻辑功能。图1短信发送服务项目平台功能架构统一信令采集
3、平台负责从网络中提取用户漫入、漫出淄博市区域用户的信令数据,形成漫入、漫出信令表,在第一时间发现用户进出区域边界的信息,实现信令采集的逻辑功能;漫入、漫出信令表通过SOAP协议送到大数据平台,在大数据平台完成用户群的识别,找出符合发送过境短信的用户群,并将结果送往短信网关;短信网关通过移动网络给用户发送过境短信,同时收集用户短信状态报告,并将状态报告反馈给大数据平台;大数据平台完成数据的沉淀,按照淄博市文化和旅游局的统计纬度形成月度、季度分析报告,也可以通过可视化技术,实时传送用户的漫入、漫出情况以及其他属性的可视化显示。4. 2.1信令采集系统山东联通综合信令统一采集平台(信令采集系统)需要
4、对移动核心网(电路域和分组域)、固网、关口局、IMS网络、无线侧等其他数据源。在数据采集接入中实行已采集数据利旧,新链路新增采集的原则。对于新增链路数据的采集,按以下原则执行: El链路:高阻跨接; FE链路:原则上要求TAP方式采集,对于链路较多流量小的接口可以考虑端口镜像方式采集; GE/10GE:一级分光+光放+1分8二级分光。详细的接入方案如下图2所示。图2信息采集方案移动核心网(电路域):全省MC口数据通过中兴平台汇聚输出,NC接口的FE链路通过交换机或路由器镜像方式采集,C/D/E/Gr接口的El链路通过高阻跨接方式新增采集;移动核心网(分组域):全省SGS接口均为GE光链路,通过
5、一级分光+光放+二级分光方式新增采集,全省Gn、Sl-MME、S6a、Sl-U.SIl接口数据通过恒安嘉新或华为系统输出;IuPs-C接口数据通过某安全工程汇聚设备输出。其他:通过文件导入或者FTP等方式接入经分系统、BOSS系统等其他基地数据。高阻跨接信令采集的硬件设计采用标准El接口(GB6879-86)专用芯片,在连接方式上则采用高阻跨接方式(即采用高阻抗的不可逆耦合线圈在DDF架上进行跨接),采用75Q同轴传输线,跨接内阻大于2KQ,线路码型为HDB3。同时为减少传输线阻抗不匹配造成的反射波,采用了阻尼和反射吸收回路,避免采集接口对信令链路的影响。采集卡采用标准NO.7信令协议解析专用
6、芯片,以提高协议解析效率和处理速度。对外接口采用PCI总线与PC机接口,确保采集信令的高速传输,同时也提高了系统的集成度。目前单套信令采集卡可支持4对El接口,16对Link,可扩展为8对El接口,32对Lin匕采用高阻跨接方式采集信令数据的原理如下图所示:包含信令时隙的El中继电路R采集模块在EI中继电路中提取信令时障实现信令数据的采集图3高阻跨接不意图分光/光放设备移动核心网(分组域):全省SGS接口均为GE光链路、IMS网络里的GE接口通过一级分光+光放+二级分光方式新增采集,所以SGs、IMS网络的GE光路数据链路采集由主用链路光分路器、复制链路光放大器、复制链路光分路器组成。主用链路
7、光分路器采用1:2分光,各支路分光比为2:8;复制链路光放大器采用OEO方式,对信号进行再生放大;复制链路光分路器采用1:8分光,各支路按平均分光以上的光数据链路采集支持GE(单模、多模)、IOGE(单模)相关接口的数据链路采集。TAP设备淄博范围内IMS网络FE链路及移动核心网络NC接口的FE链路通过TAP方式新增采集,所以需要TAP设备进行采集。移动核心网络:NC接口的FE链路GE电链路TAP采集设备示意图如下:输出侧为GE光口,II.收发双向均使用独立光口输入侧为GE电口C接口C接口C接口C接口复制燧路1复制旌路2复制链路3制链路4收发收发收发收发UUUUDLJ主用链路A接口B接口1路输
8、入4路输出TAP设备图4:TAP采集设备TAP设备对每路输入GE电口支持独立的4路输出,且输出侧收、发双向分别为独立光口。对于同一被采集设备的主、备用链路需要由不同TAP采集。TAP为百兆/千兆自适应TAPoTAP设备供电应为直流-48V或交流220Vo汇聚分流设备由于本期扩容工程接入的FE和GE链路较多,需要对经分光或TAP采集后的多条FE和GE链路进行汇聚,解决处理设备端口瓶颈的问题,从而节省采集解析设备的数量。分流汇聚设备流量汇聚示意图如下图5流量汇聚示意图汇聚分流设备功能,支持IOGE光、GE光、GE电等多种网络接口/支持根据IP报文五元组进行流分类,并把流的分类绑定到分流端口或分流组
9、上,完成分流的工作。/支持优先级的设置。分流设备能够把规则分成多个个优先级,优先级高的规则会先匹配。/支持分流动作:分流负载、采样转发、丢弃等。,分流规则能够使用报文中以下任意字段进行组合配置/源IP地址/目的IP地址,IP协议类型/TCP/UDP源端口号/TCP/UDP目的端口号/TCPFlag/TCP/UDP报头以后一定范围内(TCP/UDPPayIoad开始20B)的字段/IPv6功能要求:提供的应用功能支持IPv4/IPV6双栈。数据分流支持对LTE的Sl-ESGsS6aSllSl-U等接口进行会话完整性分流,同一用户的单次PDP所有流量分配到同一上级设备上。4.2.2山东联通大数据平
10、台山东联通大数据平台体系具备多个模块和功能。在数据获取阶段,其中对大数据的接收方式主要有外围系统抽取、移动设备上应用服务的获取等;对大数据的记录主要完成对元数据的选择,以便构建所需要的数据结构。通过云ETL抽取、清洗数据,把数据导入到分布式数据库。分析、建模的过程多种多样,统计学、数据挖掘、机器学习等各类方法相互结合可以产生各种智能推荐系统以满足用户的查询请求。庞大的数据量虽然处理起来比较麻烦,但往往能让我们从中发现更有价值的信息。大数据处理的及时性要求应当更快更及时的处理用户查询,决不允许较大的处理延迟。由用 e云&TLuse用平台及努e郅次巨谢九虚E.化/史琼IS度/安全管理图6.大数据平
11、台整体架构大数据处理的原始数据来源主要可归类为离线批量数据和线上实时数据两类。离线批量数据适合批处理形式的计算,首先进行数据的存储,然后再对存储的静态数据进行集中计算。HadoOP是典型的大数据批量计算架构,由HDFS分布式文件系统负责静态数据的存储,并通过MapReduce或者Spark将计算逻辑分配到各数据节点进行数据计算和价值发现。线上实时数据往往时效性高,流动性强,无法确定数据的到来时刻和到来顺序,也无法将全部数据存储起来,适合使用流式形式的计算。因此,不再进行流式数据的存储,而是当流动的数据到来后在内存中直接进行数据的实时计算。4.2.3在信网关行业短信业务是一项应用性较强的集团行.
12、业产品,是指销售公司、企事业单位利用联通公司的短信/彩信通道向用户发布业务信息或通知等内容,在手机接收端显示的固定的以106或95开头的短信接入码,是集团单位提升服务品牌的重要手段。行业短信系统业务流程如图7所示。行业短信系统主要分为客户管理系统和联通行业短信通道,客户可以客户管理系统提供客户信息资源自主管理;行业短信通道包括联通行业网关和短信/彩信中心,提供短信、彩信的业务通道。二者之间通过公共互联网或联通专线连接。图7行业短信系统及业务流程联通行业短信的优势: 支持大量短信并发 迅速发送短信 支持短信交互 业务排他 合作模式开放4.3详细功能设计淄博市文化和旅游局过境短信服务项目是山东联通
13、大数据平台支撑的一个应用模块,项目是基于山东联通大数据平台上的信令数据,结合漫游用户判定算法,分析信令数据并提取出漫游用户,并结合漫游用户缓存数据库验证用户是否符合发送条件,将验证通过后的用户推送到短信信息中心,对外发布短信消息。应用层信息中心短信发送短信查询JXflLflXUL-?/-联通大数据平台亘用英IL数建标准尤数君 奴建货量 生命周期 数S安全图8:山东旅游公共服务短信推送功能图4.3.1公共服务短信推送流程公共服务短信推送流程如下图所示。图9公共服务短信推送流程图HDFS信令数据:位置更新信令采集:采用联通NO.7信令链路的位置更新信令,当称动台由一个位置区移动到另一个位置区时,必
14、须在新位置区进行登记,也就是说当移动台发现存储器中的LAI与接收到的当前小区的LAI不同,就需进行位置更新。位置更新分类(根据网络对位置更新的标识不同):正常位置更新(越位置区位置更新)周期性位置更新(T3212更新)IMSl附着(用户开机时进行)注:位置更新请求(LOCATlONUPDATINGREQUEST)中位置更新类型信息单元将分别指示进行何种类型的位置更新。 漫入用户信令采集:漫入用户信令采集数据的依据是当移动台MS漫游到VLR所管辖的区域后,VLR通知MS所属的HLR,向HLR提供新的路由信息的使用,此时HLR要向VLR发送有关的用户业务信息,以便VLR能给漫游用户提供合适的业务,
15、同时HLR还要向前一个为移动台提供业务的VLR发送删除此移动用户的信息。因为这些信息中包含了用户的MSISDN,IMSl和VLR、HLR状态等数据,所以通过监听这些信令交互过程可以采集到山东省外用户在山东省的漫游信息或本地用户回山东省的漫游信息,以及省内各地市之间漫游的异地、本地用户信息。下图是移动用户在漫游时,信令网中的信令接续流程简图。其中HLR是用户归属HLR0漫游进入漫游离开图11漫游登记信令接续流程图漫游用户获取:从HDFS上获取到NO.7信令位置更新数据后,Spark程序将对原始数据进行分析,结合漫游用户判定算法(基于漫游判定模型),从中提取出能够反映用户漫游信息的关键数据,发送数
16、据到下一步。用户识别建模为了准确识别出进入山东某区域旅游、出差的联通用户,进行欢迎短信的推送,让用户感受到山东人民的好客,同时又不会产生类似垃圾短信的反感,需要根据用户的身份归属(出生地、工作地、居住地)、交通工具、用户号码归属、用户年龄等进行分析,建立用户识别模型,准确锁定目标用户。 用户状态获取:接受到漫游用户信息的关键数据,按照本次招标文件要求,短信推送的范围是漫入淄博市境内的外来中国联通手机用户,且在1个月内(30天)多次进出入该区域的人员只发送一次,将漫游用户输入到漫游用户状态判定模型中,计算出漫游用户发送状态,符合要求的漫游用户列表发送至下一步存储。 状态判定模型为了准确计算出漫游
17、用户是否需要推送欢迎短信,让用户感受到山东人民的好客,同时又不会产生类似垃圾短信的反感,需要根据用户历史漫入信息、短信红名单等信息建立用户状态判定模型,分析出漫游用户的工作、居住习惯,准确的判定用户状态。存储HDFS接受到新增的漫游用户列表数据,存储到Hadoop集群上。短信信息中心提示短信推送是通过山东联通短信网络实现对用户的短信推送的。淄博市文化和旅游局过境短信服务项目和山东联通短信网络的互联有两种方案:一、通过短消息点对点协议(SMPP)与山东联通已建短消息中心互联,通过短消息中心向用户发送问候语短信;二、通过联通短消息网关接口协议(SGlP)与山东联通在信短消息网关互联,通过联通在信短
18、消息网关向用户发送漫游提示。通过SMPP协议与短信中心连接发送短信存在的缺点是以后随着山东联通省内建设短信中心数量的不断增加,项目与各个短信中心的连接也需要相应地不断增加,不仅消耗连接电路的成本,而且会影响平台的稳定运行。因此,本期工程建议采用通过SGIP协议经联通在信网关发送问候语短信,这样可以避免平台与多个短信中心的连接。4.3.2分析可视化(分析报告)图12统计分析报告数据流程漫游用户HDFS:根据项目需求,按季/年汇总存储在HDFS上的漫游用户数据。对小文件进行合并大文件,输送到下一环节,以提高程序运行效率。季/年漫游用户:获取到漫游用户的数据,根据粒度季年进行数据的清先、筛选等相关的
19、处理,并输出季/年的漫游列表接口(脱敏)。将数据推送给联通集团总部,获取用户的基础资料信息(性别、年龄等)。然后再进行数据合并,推送到下一环节处理。统计分析模型:将上一环节生成的漫游用户数据及短信中心反馈的短信发送状态数据输入到统计分析模型中,经过精确算法分析,输出短信推送数据分析报告,内容包括短信推送数量、到达率、来源分布、男女比例、年龄分布等数据,并于年底提交全年的数据分析报告。分析模型分析模型根据需要输入漫游用户清单、漫游用户基础资料以及短信发送状态数据,通过大数据平台的并行计算,采用回归分析、聚类分析、差别分析算法,计算出短信推送报表以及数据分析报告。存储HDFS:将分析报告存储到Ha
20、dooP集群上,以便于备查。生成分析报告:根据项目要求的格式生成分析报告。4.4关键技术及解决方案4.4.1Hadoop存储设计一HDFSDataNodeDataNode图13HDFS架构图HDFS:HDFS是HadooP的核心模块,是一个高度容错性的分布式文件系统,适合部署在廉价的通用硬件上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。一个HDFS集群由一个名字节点(namenode,管理文件命名空间和调节客户端访问文件的主服务器),还有若干个数据节点(datanode,用来具体存储数据)。HDFS的设计建立在“一次写入、多次读写”任务的基础上。这意味着一个数据集一旦由数
21、据源生成,就会被复制分发到不同的存储节点中,然后响应各种各样的数据分析任务请求。在多数情况下,分析任务都会涉及数据集中的大部分数据。4.4.2Hadoop数据仓库工具HiVe是基于HadoOP的一个数据仓库工具,处理能力强而且成本低廉。它的主要特点是:存储方式是将结构化的数据文件映射为一张数据库表。提供类SQL语言,实现完整的SQL查询功能。可以将SQL语句转换为MapReduce或spark任务运行,十分适合数据仓库的统计分析,减少分析工作业务开发的工作量。针对大量数据处理的问题,平台实现了集群分解压缩的数据处理优化方法,将业务平台中存储的大量数据通过多任务并行读入,分解压缩后输出至平台所提
22、供的HDFS中,映射为HiVe表,避免聚合操作。在集群数据处理时,将集群分解压缩应用到连接查询的混洗阶段中,以减小传递到输出端的数据量,从而加快计算任务的执行,提高集群处理速度。在HiVe中对中间数据或最终数据做压缩,可以大量减少磁盘的存储空间,比如基于文本的数据文件,可以将文件压缩40%或更多,同时压缩后的文件在磁盘间传输和I/O也会大大减少;当然压缩和解压缩也会带来额外的CPU开销,但是却可以节省更多的I/0和使用更少的内存开销,故在运行时选取I/O密集型的作业使用数据压缩。4. 4.3大数据分布式计算框架Spark是一个类似于MapReduce的分布式计算框架,其核心是弹性分布式数据集,
23、提供了比MaPRedUCe更丰富的模型,可以在快速在内存中对数据集进行多次迭代,以支持复杂的数据挖掘算法和图形计算算法。SParkStreaming是一种构建在SPark上的实时计算框架,它扩展了SPark处理大规模流式数据的能力。SparkStreaming的优势在于: 能运行在100+的结点上,并达到秒级延迟。 使用基于内存的SPark作为执行引擎,具有高效和容错的特性。 能集成Spark的批处理和交互查询。 为实现复杂的算法提供和批处理类似的简单接口。基于云梯SparkonYarn的SparkStreaming总体架构如图1所示。SparkonYarn启动后,由SparkAPPMaSte
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 附件 采购 项目 实施方案
链接地址:https://www.desk33.com/p-190626.html