海关网络集采项目投标技术方案.docx

、技术方案1 .概述1.1 项目背景“金关工程”是推动海关报关业务电子化，国家金关工程是一项重要的国家信息化重点工程，也是国家为提高对外经济贸易及相关领域的现代化管理水平和宏观调控能力，适应二十一世纪世界经济和国际贸易发展需要而建设的国家电子商务工程。而金关工程(二期)将要在海关金关工程(一期)建设的基础上通过总体设计、丰富应用、整合资源、创新科技、强化安全，将金关工程建设成进出口环节的企业诚信监督系统，海关服务进出口企业、优化口岸管理的辅助系统，口岸及进出口管理部门协作共建、信息共享、提升公信度的管理系统,不断优化海关监管和服务，保持国内相关领域领先，并达到国际海关先进水平其中，在金关二期工程中，网络系统建设是“金关工程”建设的重要基础。本次海关金关工程二期网络项目包括全国各直属海关关区的设备升级替换,包括了关区城域网以及各关区管理网、运行网的改造升级工作。整个项目涉及范围较广泛，设计承载业务功能复杂。功能的重要性和多样性对于网络的传输和承载能力提出了更高的要求，需要对于承载网络做出合适的规划设计，来支撑整个应用，满足业务的需求。L2关键术语定义与说明关键词：1. TRTLL：多链接透明互联，上将网络负荷分解到多个路径上，从而更有效地利用网络带宽。通过在L2网络上增加多路径功能，TRlLL解放了网络带宽并使得L2网络更加具有弹性和更加适合虚拟化环境。2. MPLSVPN：通过标签技术实现网络逻辑隔离，实现多个VRF技术以保隙路由表的隔离处理。3. MVM：MPLSVPNManager4. 组播：通过二层和三层组播技术实现对组播流量的生成和使用。5. HoPE：HoPE(HierarchyofPE)也叫分层VPN(HierarchyofVPN,简称HoVPN),是将PE的功能分布到多个PE设备上，多个PE承担不同的角色,并形成层次结构，共同完成一个PE的功能。6. QoS：质量保证技术，通过端到端的多种质量保证技术实现对不同流量的预留带宽和服务保障。2 .建设目标本项目为海关关区网信息化网络系统升级改造，是整个海关信息化的基础设施之一。木次关区网项目的建设，一是为了实现各个海关关区内网络城域网络的互通，为海关各级办公点之间及现场之间提供高速、可靠、安全的信息承载平台，实现各个办公点间的互联。满足通关数据、视频监控、语音通信和信号处理、控制管理等各类信息数据传递的需要。二是对海关个关区网的数据中心进行升级改造，提升各个关区业务系统网络的功能及能力，提升网络带宽，适应海关业务系统的快速发展。因此，本次项目方案的总体思路如下： 对整体方案进行顶层设计，充分考虑现有方案的成功经验和教训，在成功经验基础上进一步考虑扩展性，满足未来几年的业务需要。然后进行分步实施，每个阶段都将最终目标往前推进一步； 以应用需求为主导，专注业务系统建设。各业务部门充分利用统一的基础设施，把主要精力放在熟悉而且迫切需要解决的业务问题上，聚焦业务系统建设； 按照“云计算”模式建设进一步整合资源,充分利用现有基础设施资源的整合利用，有效地遏止重复建设，节约建设资金。在此基础上，进行公共服务平台和网络互通的建设，重点建设数据中心、网络平台、安全保障体系和运维服务体系。 网络建设充分考虑IPv4地址空间不足问题，新采购设备应全面支持IPv6需求。2.1建设目标为满足海关信息化的需求，网络的建设应满足以下目标：1 .建设高性能的满足业务应用的网络系统：通过网络需求分析，随着业务系统的快速发展，各海关办公点网络对与网络带宽的需求也相应提升；后续随着云计算、大数据、物联网等新技术的广泛运用，将有越来越多的应用在各关区网络上运行，这又会增加数据流量，对网络带宽的要求必将更高。因此高带宽链路网络是满足上述业务要求的基础。2 .建设完善的服务质量保证体系：海关网络是一个综合性的网络，该网络将为业务、办公、语音、视频、监控等应用系统提供数据传输。业务数据对网络的要求是响应时间短，传递速度快；而语音和视频这些实时应用则要求数据流平稳，延迟稳定。不同的应用对网络的服务有着不同的要求。网络设计必须充分考虑服务质量的问题。通过完善的QoS服务质量保证手段，保证同一网络平台上的多种应用正常运行。3 .建设高可靠、高安全的网络：因为所有业务都依赖于网络的正常运行，这对网络的可用性和网上传输数据的安全性提出了非常高的要求。为了满足数据传输所要求的高可靠性、高安全性，必须通过完备的冗余策略提高网络的可靠性和可用性，通过相关的网络安全措施来保障网上传输数据的安全性。4 .建设结构化的、易于扩展的网络：为保证新的业务系统对网络的需求，海关网络结构以及采用的设备应具有一定的可扩展性，以保证各级节点的可扩展性并满足外部应用接入对网络的需求。2. 2建设任务网络建设项目涉及深圳、黄埔、拱北、昆明、广州、湛江、南宁、海口、南昌、江门、汕头、长沙、杭州等多个海关。除了广域网连接各个关区和现场之外，还包括了各个直属关办公网络及数据中心网络的建设。广域网的建设。广域网主要承载各级办公点和通关现场之间的业务流量传输，包括通关业务、视频流量和语音通信等。局域网及数据中心网络的建设。局域网主要承载各级办公点和通关现场内部的办公流量。数据中心网络主要承载各直属关内部业务系统的数据，后续还需要指出云计算及虚拟化平台等业务系统。2. 3建设原则本次项目的设计遵循“先进实用、安全可靠、灵活可扩、开放经济”等原则。1 .实用性和先进性采用先进成熟的技术满足各类业务需求，兼顾其他相关的管理需求，尽可能采用先进的网络技术以适应更高的数据传输需要，使整个系统在相当一段时期内保持技术的先进性，以适应未来信息化的发展的需要。2 .安全可靠性为保证各项业务应用，网络必须具有高可靠性，尽量避免系统的单点故障。要对网络结构、网络设备、服务器设备等各个方面进行高可靠性的设计和建设。在采用硬件备份、冗余等可靠性技术的基础上，采用相关的软件技术提供较强的管理机制、控制手段和事故监控与网络安全保密等技术措施提高整个网络系统的安全可靠性。3 .灵活性和可扩展性计算机网络系统是一个不断发展的系统，所以它必须具有良好的灵活性和可扩展性，能够根据会展中心不断深入发展的需要，方便的扩展网络覆盖范围、扩大网络容量和提高网络的各层次节点的功能。具备支持多种通信媒体、多种物理接口的能力，提供技术升级、设备更新的灵活性。4 .开放性和互连性具备与多种协议计算机通信网络互连互通的特性,确保本计算机网络系统的基础设施的作用可以充分的发挥。在结构上真正实现开放，基于开放式标准，包括各种局域网、广域网、计算机等，坚持统一规范的原则，从而为未来的发展奠定基础。5 .经济性和投资保护应以较高的性能价格比构建本计算机网络系统，使资金的产出投入比达到最大值。能以较低的成本、较少的人员投入来维持系统运转，提供高效能与高效益。尽可能保留延长已有系统的投资，充分利用以往在资金与技术方面的投入。6 .可管理性由于系统本身具有一定更杂性,随着业务的不断发展,网络管理的任务必定会日益繁重。所以网络设备必须采用智能化，可管理的设备提高网络的运行性能、可靠性，简化网络的维护工作，从而为办公、管理提供最有力的保障。3.总体方案设计3.1 网络体系设计3. Ll网络规划原则海关网络必须能承载各种业务应用系统以及网络增值应用，并能高速、可靠、安全运行，在满足海关网络中视频监控和语音通信的需要的同时要与未来业务应用拓展相适应。海关网络建设将遵循以下原则：网络必须支持不同种类的环境、是可扩展的、可靠的、可集中管理的、安全的，能提供服务质量保证，并遵循电子政务网络平台的相关建设标准。3. L2广域网络的层次划分海关关区网网络包括的节点众多（直属关、隶属关、通关现场），分布较广，为了保证网络的高效稳定运行，整个网络按照直属关节点网络、隶属关节点网络以及通关现场节点网络三个层次来进行设计。如下图所示：直属美核心路由器通关现百Tfi关现场直属关节点：是关区网的总接入与核心，这里部署A类网络路由器设备及B类网络路由器。负责接入直属关内部的数据及各个隶属关上传到直属关的数据，并将这些数据处理后上传到总署。隶属关节点：作为各隶属关与直属关联结的汇聚点，因此这里部署C类及D类网络路由器设备，主要承载各隶属关业务、视频流量，并汇聚通关场上传上来的流量，并发送到直属关中。通关现场节点：主要为各个通关现场的现场业务及视频接入，主要部署D类及E类路由器，根据现场环境不同，还会部署一定数量的3G路由器，用于接入通关现场的数据，并将其上传到隶属关及直属关。由于纵向流量有限而横向流量较大,所以基于以上拓扑设计的好处是让路由器专职做纵向的转发。3. L3管区网网络层次设计针对各关区数据中心的设计需求，经过合理规划，在进行数据中心网络设计时采用层次化、模块化以及虚拟化的设计，保证技术架构先进可靠，网络扩展性强，同时简化管理。从网络的逻辑结构来看，结合网络系统建设的特点，在逻辑上采用三层结构构建：核心层、汇聚层及接入层。在实际物理连接上也采用三层结构，以提高网络接入的安全性及效率。通过应用以太网交换机设备，来构建环科院外网网络系统，使得整个网络系统具有先进性、稳定性、安全性等众多特点，完全可以满足实际应用的需要。根据本次采购设备的情况，结合现有需求，物理网络设备拓扑如下：=横向盖斛化万兆千兆由上图拓扑图可以看到，在物理网络结构上，采用三层组网形式，分别为核心交换机、汇聚交换机、接入交换机。考虑到本项目中千兆为最低接入能力，万兆为最低上行能力的要求，在木次物理网络结构上采用服务器千兆接入，万兆上行至汇聚交换机，万兆上行至核心交换机的连接方式，满足接入能力的要求。同时本项目中涉及的核心交换机和汇聚交换机均支持多虚一虚拟化技术，支持将两台设备虚拟化成一台设备，从而简化网络管理，提升网络可靠性。3. 2可靠性设计海关关区网络承载着各级节点通关数据、视频信号，语音信号等，需要很强的实时性和可靠性，这种可靠性最终要从设备、链路、网络、业务等各层次保证。1 .设备级的可靠性设备级的可靠性包括设备本身的健壮性及对周围环境的适应能力，可靠的设备应该对关键部件（如主控板，交换背板，电源等）进行冗余备份，并且可以在恶劣的环境下长时间稳定运行。设备级可靠性的另外一个重要方面就是设备在线升级能力及容错能力，容错能力体现在如设备发生故障时，可自动平滑的启动备份部件，不对业务造成影响，设备级可靠性的另外一个重要内容就是设备间的备份,如采用VRRP进行设备备份，当主用设备发生故障时，流量自动切换到备份设备上，该过程对业务透明。2 .链路级的可靠性链路级的可靠性包括链路本身的可靠性，包括良好的线路质量，及链路的备份技术，如采用一些物理线路捆绑技术提供线路的可靠性，也可以采用其它链路/线路保护技术。3 .网络级的可靠性设计合适的拓扑，如避免采用单星型结构以避免单点故障；网络设计模块化，各功能区域相对独立，任一区域的故障不会扩散到其它区域；路由可靠性：首先根据网络特点选择合理的路由协议,避免路由环路,减少路由振荡,并且保护某个网络节点失效后网络快速自愈。4 .业务可靠性网络只是业务的承载平台、设备、链路及网络的可靠性设计归根到底都是为了保证业务的可靠性，从网络角度考虑业务可靠性，主要是通过各种网络技术时业务数据流满足业务的要去，如流量分布是不均衡的，特别是突发流量会引起网络的拥塞，导致业务的中断，需流量管理的引入能够使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。海关网络需要充分考虑以上四个方面，在整网的设计上结合应用的实际情况，进行相应的可靠性部署。3. 3多业务设计海关网络分布了大量业务系统，包括数据、视频、监控等，而且使用人员众多，因此业务内网面临的一个重要课题是如何保证多业务网络再网络上的可靠快速的传输和转发,大量诸如QoS技术、流量控制技术等都需要在海关网络上进行设计。4. 4产品的选择按照招标书的要求，在充分研究海关金关二期网络项目的需求基础上，并对于海关长期网络建设理解，我们对目前业界的主流的网络厂商做了较为详细的对比研究，综合考虑厂家产品及解决方案在政府及其他行业特别是在海关行业的使用情况和应用规模、产品技术的先进性、成熟度及兼容性、公司的研发实力和服务体系保障等因素，我们推荐采用杭州华三通信技术有限公司（以下简称H3C公司）的网络产品主要作为此次项目的组网设备。我方选择H3C公司的依据：1 .标书性能技术指标的符合度根据标书的技术指标要求，H3C公司可以提供全线的包括高端路由器、路由器、交换机等性价比非常高的产品来满足此次项目的投标。投标所使用的设备性能指标均满足标书要求并且大部分性能指标高于标书要求。2 .设备应用规模及稳定性、兼容性H3C公司的网络产品目前已经广泛应用与全球的各个行业中，截至2013年4季度IDC统计数据H3C公司在中国企业级路由器市场份额市场份额为50.8%（数据来源于IDC2013报告），排名第一。截至2013年4季度H3C公司在中国市场交换机的市场份额为32.4%（数据来源于IDC2013报告），排名第一。H3C目前在国内的整个电子政务IT系统建设中己经得到了大规模的应用：H3C承建十二金工程中9个全国骨干网H3C承建中央部委和各级国干省干网络份额超过70%H3C在中国政府行业综合网络市场份额第一大规模的应用不但大大拉近了用户和H3C公司的距离，使得H3C公司能够更快更好为市场、为用户提供产品，同时也验证了H3C公司产品的稳定性和兼容性。3 .完善的研发体系和全系列的网络产品H3C每年将销售额的15%以上用于研发投入，在中国的北京、杭州、深圳以及印度的班加罗尔设有研发机构,在北京和杭州设有产品鉴定测试中心。目前,H3C已申请专利超过4000多件，其中80%是发明专利。H3C每年将销售额的15%以上用于研发投入，在中国的北京和杭州都设有研发机构，并设有可靠性试验室以及产品鉴定测试中心。截至2012年底，H3C累计申请专利近4000件，其中发明专利比例超过85%。2012年，H3C发明专利授权量在全国企业排名前十.H3C始终聚焦IP技术领域创新进步，以覆盖IP网络、IP安全和IP管理的产品线为积累形成以下一代数据中心解决方案和基础网络解决方案为核心的新一代互联网解决方案，并迅速得到广泛应用，占领了IT发展潮流的制高点。新一代互联网的发展正带动IT与网络的快速融合，H3C未来将整合虚拟化、自动化、SDN等技术领域的领先优势，推进云计算、智能网络在各行业的成功部署，为客户创造更大的应用价值。因此选择该厂商的网络产品能够有效的保障用户在网络建设方面的延续性和持续性。4 .健全的服务支持和培训认证体系H3C公司建立了遍布全国的服务机构。除公司总部设有完备的技术支援平台外，在全国建立了40多个区域服务中心，3个备件分拨中心和38个区域备件库，通过先进的通信技术与总部的技术支援平台连接，完成用户信息、故障处理流程、备件库存、产品分布等信息的共享，形成覆盖全国地市级城市OH3C公司技术支持中心总部(TSC,TechnicalSupportCenter)拥有130余名H3CIE级别经验丰富的服务专家，涵盖网络规划、网络测试、路由、交换、安全、无线、网管、存储、视讯、语音、SMB产品等IP所有领域。H3C技术支持中心拥有高素质的服务队伍，所有人员具有本科及以上学历，80%的成员具有5年以上大型网络服务经验。为了满足不同客户不同层次的培训需求，H3C服务公司建立了规范、专业的用户培训体系，将总部培训与分部培训、集中培训与现场培训有机结合。目前，在数据通信网络技术领域，H3C培训面向全球，致力于培养专业务实网络人才。考虑客户不同层次需求，提供全系列的网络产品培训I,网络技术认证培训和客户化培训解决方案。同时建立起国际规范的完整的网络技术认证体系。 在中国建立30余家授权培训中心，海外建立7家授权培训中心；覆盖中国各大中心城市以及拉美、亚太、中东、北非、俄罗斯等地区和国家。 在中国建立330余家网络学院。截止2012年底40多个国家和地区的19万人接受过培训，10万多人获得各类认证证书。获得“十大影响力认证品牌”、“最具价值课程”、“高校网络技术教育杰出贡献奖”、“校企合作奖”等数项专业奖项。鉴于以上几个主要原因，我们在此次投标中主要选用了H3C公司的网络和安全产品做为此次投标的网络产品。4.广域网方案详细设计本次海关关区改造包括了对于直属关广域网及各关区管理网、运行网的建设，其中广域网部分基于海关业务系统的特点将会采用MPLSVP、及QoS进行部署，广域网的详细设计如下：4.1 MPLSVPN设计海关网络进行MPLSVPN部署主要目的是对网络上分布的各业务系统进行逻辑隔离，同时在MPLSVPN部署的时候，因为存在效率和多媒体业务的需求，所以相应进行了分层PE部署和MPLSVPN组播设计。4.1.1 MPLSVPN部署4.1.1.1 MPLSVPN技术BGP/MPLSVPN模型由三部分组成：CE、PE和P。CE(CustomerEdge)设备：用户网络边缘设备，有接口直接与服务提供商(ServiceProvider,SP)相连。CE可以是路由器或交换机，也可以是台主机。PE(ProviderEdge)路由器：服务提供商边缘路由器，是服务提供商网络的边缘设备，与用户的CE直接相连。在MPLS网络中，对VPN的所有处理都发生在PE上。P(Provider)路由器：服务提供商网络中的骨干路由器，不与CE直接相连。P设备只需要具备基本MPLS转发能力。下面是一个BGP/MPLSVPN组网方案的示意图：CE和PE的划分主要是根据运营与用户的管理范围，CE和PE是两者管理范围的边界。CE设备通常是一台路由器，当CE与直接相连的PE建立邻接关系后，CE把本节点的VPN路由发布给PE,并从PE学到远端VPN的路由。CE与PE之间使用BGP/IGP交换路由信息，也可以使用静态路由。PE从CE学到CE本地的VPN路由信息后，通过BGP与其它PE交换VPN路由信息。PE路由器只维护与它直接相连的VPN的路由信息，不维护服务提供商网络中的所有VPN路由。P路由器只维护到PE的路由，不需要了解任何VPN路由信息。当在MPLS骨干网上传输VPN流量时，入口PE做为IngressLSR,出口PE做为EgressLSR,P路由器则做为transitLSRe4.1.1.2 BGP/MPLSL3VPN的实现BGP/MPLSVPN的主要原理是：利用BGP在骨干网传播VPN的私网路由信息，用MPLS来转发VPN业务流。下面从VPN路由信息的发布和VPN报文转发两个方面介绍BGP/MPLSVPN的实现。 VPN路由信息发布 CE到PE间的路由信息交换PE需要了解与它相连的CE的VPN路由信息，并存放到相应的VPNTnstance中。PE与CE之间的路由信息交换可以通过静态路由、RIP、EBGP.OSPF或ISlS来实现。 PE之间的LSP建立 PE之间可以使用LDP、CR-LDPRSVP建立LSP。 入口PE到出口PE的路由信息交换入口PE路由器利用MP-BGP把它从CE学习到的路由信息发布给出口PE,并获得出口PE学习到的CE路由信息。PE根据EXPOrtVPNTarget检查所有VPN-instance的IinPortVPNTarget属性，决定是否对路由添加前缀，作为VPNv4路由加入到VPN-instance。PE之间通过TGP来保证内部的连通性，通过MP-BGP来传播VPN路由信息，并完成VPN-instance的更新。 PE到CE间的路由信息交换CE可以通过静态路由、RIP、OSPF、ISTS或EBGP,从相连的PE上学习VPN路由。PE通过与相连CE之间的路由交换来更新CE路由表，从而完成各CE之间的路由交换。经过以上的步骤，CE之间将建立可达的路由，完成VPN私网路由信息在公网上的传播。 MP-BGPMP-BGP（MultiprotocolextensionsforBGP-4,请参见RFC2283）在PE路由器之间传播VPN组成信息和路由。MPfGP向下兼容，既可以支持传统的IPv4地址族，又可以支持其他地址族（比如VPN-IPv4地址族）。使用MP-BGP确保VPN的私网路由只在VPN内发布，并实现MPLSVPN成员间的通信。 VPN报文转发VPN报文转发采用两层标签方式：第一层（外层）标签在骨干网内部进行交换，指示从PE到对端PE的一条LSP。VPN报文利用这层标签，可以沿LSP到达对端PE；第二层（内层）标签在从对端PE到达CE时使用，指示报文应被送到哪个Site,或者更具体一些，到达哪一个CE。这样，对端PE根据内层标签可以找到转发报文的接口。特殊情况下，属于同一个VPN的两个Site连接到同一个PE,这种情况下只需要知道如何到达对端CEo4.1.1. 3MPLSVPN部署在一级节点、二级节点、三级节点的路由器部署为PE,同时与路由器相连的核心交换机也部署为PE,接入交换机部署为UCE设备，在级节点、二级节点、三级节点之间部署MP-iBGP,在一级节点部署为RR,一级节点与二级节点实现iBGP全连接，在二级节点全部设置为RR,所有三级节点与二级节点RR实现iBGP的全连接。在局域网的核心交换机为PE,接入交换机的三层网关终结在核心上，这样可以方便的为需要开辟VPN的业务实现VLAN划分，该VLAN映射为一个VPN,通过这种灵活的方式可以不改动网络拓扑结构的同时随时划分VPN0VPN的划分可以根据业务类型划分,如视频监控VPN、视频会议VPN、语音调度系统VPN、财务VPN、办公VPN等。海关金关二期网络系统MPLSVPN部署如下： 视频监控系统VPN：属于视频类业务，实时性要求较高，需要保证带宽； 语音通信系统VPN：实时性要求高，需要与数据流隔离 信号处理系统VPN：信号类数据具有实时性，需要与其他业务流信息隔离。海关金关二期网络项目MPLSVPN设备功能选择如下：4. L2HoPE部署4.1. 2.1HoPE技术HoPE(HierarchyofPE)也叫分层VPN(HierarchyofVPN,简称HoVPN),这个解决方案的目的是将PE的功能分布到多个PE设备上，多个PE承担不同的角色，并形成层次结构，共同完成一个PE的功能。分层PE中SPE/UPE有三个优势：资源占用少，处理效率高。如节省子接口资源和IGP对等体的配置；稳定性高，如果采用IGP对等体完成路由引入，将会将IGP的路由振荡带入整网VPN,导致不稳定。不然，就只有采用静态配置方式完成路由进入，这样配置复杂度和维护性将会非常高；部署简单，VPN可以通过格式化配置工具进行全网统一部署，但是MCE只能针对每一个VRF手动进行配置，用户难于维护，对用户维护人员的能力增加会增加公司的整体成本。4.2. 2.2HoPE部署目前标准的MPLS/BGPVPN模型是一种平面式模型，PE设备无论处于网络的哪个层次，要维护同样多的路由，对其性能要求是相同的。而典型网络是核心一汇聚一接入三层模型，设备性能依次下降，网络规模依次扩大。这就为PE设备向网络边缘的扩展带来了困难。分层PE是将PE的功能分布到多个设备上，它们承担不同的角色，并形成层次结构，共同完成一个集中式PE的功能。对处于较高层次的设备的路由和转发性能要求高，而对处于较低层次的设备的路由和转发性能要求低，同典型的网络模型相吻合，在分层部署MPLS/BGPVPN时，解决了纵向VPN扩展问题。分层PE的结构如下：直接连接CE的PE设备称为下层PEUnderlayerPE),简写为UPE,与多个UPE直连或者通过MP-BGP会话或者IP隧道、GRE隧道连接的PE设备称为上层PE(SuperstratumPE),简写为SPEoSPE与标准的PE设备这种框架结构称为PE的分层结构(HiberarchyofPE),简写为HoPE。UPE维护其直接连接的VPN站点的VPN-IPv4路由，但不维护VPN中其它远程站点的VPN-IPv4路由或仅维护它们的VPN-IPv4聚合路由；SPE维护其通过UPE所连接的站点所在的VPN中的所有VPN-IPv4路由，以及所有远程站点中的VPN-TPv4路由。UPE为其直接连接的站点的路由分配MPLS标签，并通过MP-BGP随VPN-IPv4路由发布这个标签给SPE；SPE不发布远程站点中的路由给UPE,而是只发布VRF默认路由或聚合路由给UPE,并携带MPLS标签。UPE和SPE之间可以采用MPTBGP,也可以采用MP-EBGP。在采用MPTBGP时，SPE作为各个UPE的路由反射器(RR),UPE作为路由反射器的客户端(RRClient),但SPE不作为其它PE的路由反射器。为了拒绝从其它PE发布过来的不属于本分层式PE所连接的站点的VPN中的路由，SPE上要根据各个UPE的所有VRF的importroute-targetlist的合集生成一个全局importroute-targetlist,用于过滤从其它PE发布过来的路由。这个全局列表可以根据SPE和UPE之间交换的信息动态生成，也可以静态的加以配置。动态机制是这样的，UPE通过BGP的RouteRefresh消息发布一个ORF(OutboundRouteFiIter)给SPE,这个ORF中包含了一个扩展团体列表，其内容是UPE上所有VRF的importroute-targetIiSt的合集。SPE将所有UPE的扩展团体列表合并起来，形成全局列表。静态列表与动态列表的的生成规则是一样的UPE和SPE之间采用标签转发，因而只需要一个(子)接口相互连接。这个接口可以是物理接口，子接口(如VLAN,PVC)或者隧道接口(如GRE、LSP)。在采用隧道接口的时候,SPE和UPE之间可以相隔一个TP网络或是MPLS网络。分层PE技术的控制平面工作原理图请见图。VPN B宜吉0.1.2.024FF为 CE-5分层PE控制平面图例一VPN-IFV4<6 (RD: 66000:10.12.-24 FTMrRT< 100 4rtf(L3)VPN-IPvi «16 (RD: IP44fi)65000:1:10.12.*FF为 IJPEJRTft 1.650002:10.12.0*24FT1为 PERK aat(TVPN-RRUPE-2US(VPNRR)AS65000VPNIPv4<(RD: IP4l(t)650002:10.12.0/24VPNAVPN A分层PE技术的控制平面需要从两个方向来解释，一个方向是HOPE的下层PE宣告VPN-IPv4路由如何发布到上层PE设备。如上图所示，VPNA和VPNB用户分别从CE-4,CE-5宣告10.1.2.0/24的路由给UPE-I和UPE-2。UPE设备按照标准的MPLS/BGPVPN工作方式宣告含有10.L2.0/24的VPN-IPV4路由给上层PE设备SPE,>SPE设备支持分层PE特性。在本例中SPE设备工作为二级VPN-RR角色，它反射来自UPE的VPN-IPv4路由给上级VPN-RR设备，同时修改下一跳地址，替换新MPLS标签。剩下过程同标准MPLS/BGPVPN工作方式一样。分层PE控制平面图例二VPN-IP46(RDJP4*6)65000:10.12.(X24FF力E3RTft100,柝签(IJ)650003:10.12.024FTMr陛2VPNBVPNB一级 VPN-RRRTft附CSVPN-RR)VPNCAS65000UPE-2VPNlPv4W(RDlPv4lt)6580:1 QQODjOFF% ：PERT值100 ,桥婆(U) 650002:10 1 2.024 FT为 E lRT值 IOcI-桃HLI)宣苦H 6 QOoQQFrMr p2VPNIPv4 Wft (RDJFVdWfi) 650002:0.0.00« r-a> PERTflL 10021¼«(L6)酩H在 0.0D0) T-AUPE1VPNAVPNA分层PE技术的控制平面的另一个方向是HOPE的上层PE宣告VPN-IPv4路由如何发布到下层PE设备。如上图所示，SPE设备从来自一级VPN-RR的MPTBGP会话中导入了UPE连接的VPN所属的VPN-IPv4路由后，它不是直接反射给UPE设备，而是将RD值相同的同一个VRF表中的所有VPN-IPV4路由，替换成0.0.0.0/0的缺省路由或者预先定义好的聚合路由，修改下一跳地址，替换新的MPLS标签，然后宣告给下层PE设备UPE。这样UPE设备将只会维护很少的VPNTPV4路由，同时也不会去做过滤非本地VRF路由的工作，因为这部分工作已经有SPE完成，所以UPE设备的处理性能可以较SPE和PE设备大大降低，也即可以选择较为低端的设备来部署纵向VPN网络。建议此次项目进行分层PE部署，提高VPN业务的扩展能力，减小骨干网VPNV4的路由数量，减轻骨干网设备的转发压力，提高骨干网的稳定性。把区域中心管理处的路由器部署为SPE,管理处的路由器部署为UPE,以实现HoPE的全面的部署，具体部署如下：三级节点MCE4.1.3MPLSVPN组播部署在海关网络中有大量的多媒体信息,如视频监控,语音通信等。组播技术为多媒体、业务，如视频监控的开展提供了一个强有力的技术手段。随着MPLSVPN技术的日益成熟，VPN得到了广泛应用，在VPN网络中运营组播业务的需求已经提到日程上来，基于MD方案的组播VPN技术为该业务的开展提供技术上的保障。MPLS/BGPVPN目前得到越来越广泛的应用，在VPN内的用户需要网络为其开通组播业务，提供组播服务。MPLSVPN内开展组播需要考虑如下几个方面的问题：(1)在MPLS/BGPVPN网络中，位于公网的P路由器无法获知各个VPN的私网路由表，不能直接转发私网组播数据。在MPLS/BGPVPN网络中，PE路由器负责计算每个VPN的私网路由表，对VPN内的私网IP数据包打上两层标签,使得位于核心网络部分的P路由器不需要知道私网的路由，就可以利用外层标签正确转发私网数据包,但是组播数据包不是象单播数据包一样只根据目的地址就可以转发，而是要根据组播源地址和入接口进行RPF(ReversePathForwarding)检查，只有从RPF接口来的组播数据包才能转发，而公网P路由器是无法知道私网路由的，因此不能直接对私网的组播数据进行转发。(2)在MPLS/BGPVPN网络中，VPN用户的私网组播数据的源、组地址可能会重叠。MPLS/BGPVPN网络中的一个好处就是允许每个VPN的私网地址空间重叠，因此不同VPN用户的组播源地址可能是重叠的，组地址也可能是重叠的，PE路由器需要能正确的将私网的组播数据包转发给属于同一VPN的用户，而不会造成数据的交叉访问。（3）为节约带宽，公网需要支持组播功能。组播技术对比于单播技术的优点就是，在网络的每个链路中都只有一份组播数据被转发,每个路由器根据出接口的个数更制组播数据，无论对一个接收者还是多个接收者而言带宽都是一样的。对MPLS/BGPVPN网络的公网，如果公网能够支持组播，利用组播按需复制的功能，只在分叉点第制组播数据，无疑会使公网的数据负载大大减少，从而节约带宽。（4）私网组播数据流能够按需发送。一个VPN有多个Site构成，每个Site连接到不同PE上，当在VPN内支持组播功能时，并不是每个Site都需要组播数据，当私网组播数据通过公网时，如果数据只流向连接有接收者Site的PE路由器，将会减少PE路由器的负荷。4.2QoS总体部署H3C网络设备提供的丰富QoS机制完全能够满足海关网络系统的要求，具体策略如下。对于不同的业务如视频业务、语音通信业务和其它关键业务，普通业务分别在接入交换机对其进行IP优先级/DSCP进行标记，并且基于IP优先级/DSCP对流量进行分类。保证视频业务、语音通信业务和其它关键业务有高的优先级。在广域网的入口，通过流量监管机制CAR,在入口侧限制业务中不同信息流的流量，此功能在边缘局域网交换机上进行。这些业务在从LAN发送到WAN时肯定会在出口处发生拥塞，这时可以采用拥塞避免措施如通过WRED/尾丢弃机制对于不同业务区别对待，避免网络内部流量振荡。减少TCP窗口发送的段。通过CBWFQ队列调度算法，保证高优先级的队列数据优先通过，比如水调和其它关键业务。从而保证业务数据的带宽、时延、时延抖动等QoS性能最后需要说明的是QOS的最佳工作区间是在网络偶尔发生拥塞的情况下，如果网络经常发生拥塞，最好的QOS解决办法就是升级线路带宽。1、流量分类和标记流量分类是将数据报文划分为多个优先级或多个服务类，如使用IP报文头的ToS（TyPeofservice,服务类型）字段的前三位（即IP优先级）来标记报文，可以将报文最多分成8类;若使用DSCP（DifferentiatedServicesCodepoint,区分服务编码点,ToS域的前6位），则最多可分成64类。在报文分类后，就可以将其它的QoS特性应用到不同的分类，实现基于类的拥塞管理、流量整形等。网络管理者可以设置报文分类的策略,这个策略除可以包括IP报文的IP优先级或DSCP值、MPLS报文的EXP域值、802.Ip的COS值等带内信令，还可以包括输入接口、源地址、目的地址、MAC地址、IP协议或应用程序的端口号等。分类的结果是没有范围限制的，它可以是一个由五元组（源地址、源端口号、协议号码、目的地址、目的端口号）确定的流这样狭小的范围，也可以是到某某网段的所有报文。在海关网络局域网边界，即一级节点核心交换机、二级节点核心交换机设备处对报文进行分类时，同时标记IP优先级或DSCP,这样，在网络的内部就可以简单的使用IP优先级或DSCP作为分类的标准。而队列技术如WFQ,CBWFQ就可以使用这个优先级来对报文进行不同的处理。下游（downstream）网络可以选择接收上游（upstream）网络的分类结果，也可以按照自己的分类标准对数据流量重新进行分类。在海关网络中：在网络的边界做如下分类和标记：（1）所有视频监控、视频会议等应用的数据报文聚合为EF业务类，将报文的IP优先级标记为5,或者将DSCP值标记为EF；（2）语音通信等关键业务，在接入交换机上将报文的IP优先级标记为4,或者将DSCP值标记为AF4；（3）电子邮件、OA等行政办公业务数据报文的IP优先级标记为3,或者将DSCP值标记为AF3；（4）对于其他业务，则将数据报文的IP优先级标记为2,或者将DSCP指标记为AF2。当报文在网络边界被标记分类之后，在网络的中间节点，就可以根据标记，对不同类别的流量给予差别服务了。对EF业务类保证时延和减少抖动，同时进行流量监管；对AF业务类在网络拥塞时仍然保证一定的带宽，等等。2、拥塞管理的部署在海关网络广域网骨干设备的局域网连接接口上，在入方向（局域网向广域网流向）进行拥