【白皮书市场研报】边缘内生智能白皮书-2024全球6G技术大会.docx

。一a”动W-论以摘要边缘计鸵作为卜一代无线网络的关键技术，推动了网络与计算设施的边缘化。更加靠近用户终端的边缘服务器可使得业务的服务时延大大降低，并能够应对不断涌现的新型场景。同时,人工智能的迅速发展对边缘计算的性能提升具仃显著推动作用，有助于边?彖计算设备应对急剧增加的边缘IW数据。因此，可将边缘数据的计算本地性和人工智能的强计算能力相结合，即边缘智能,来增强边缘侧的数据处理能力，提高无线通信系统的整体性能，并改善用户的服务体验。边缘智能近年来研究火热并处于快速发展阶段，因此本白皮书旨在分析当前边缘智能的研究进展。主要包括：（I）6G边缘智能网络和基础设施：首先分析面向6G网络的边缘内生智能架构：然后对边缘智能算力基础设施进行介绍，包括边缘智能俊件和云平台：最后描述边缘智能网络基础设，包括边缘智能接入网和核心网。（2）边缘内生智能的关键技术：从模型轻量化、边云协同智能、边缘智能化部署和深度边缘节点这几个方面分别进行介绍，并对无线联邦学习中的边缘智能进行详细的讲解，包括联邦学习中的模型稀疏化和模型量化。<3）边缘内生智能应用：分析智慧交通、智能制造和智能节能等面向边缘内生智能的典型应用。目录1 .引言41.1 背量41.2 边缘计算与边缘内生智能发展概述41.3 边缘内生智能的正要性52 .6G边智能网络和基础设诙72.1 面向6G的边缘内生智能架构72.1.1 架构整体概述72.1.2 内生智能面的设计与实现82.2 边缘智能算力堪础设施Il2.2.1 边缘智能坡件112.2.2 边一智能云平台192.3 边缘智能网络基础设施282.3.1 边缘智能接入网282.3.2 边缘智能核心网363 .边缘内生智能的关键技术433.1 模型轻量化433.1.1 典枝443.1.2 知识蒸储453.1.3 量化473.1.4 NAS483.2 边云协同智能493.2.1 联邦学习493.2.2 分割学习513.2.3 模型分割523.3 无线联邦学习中的边缘智能543.3.1 无践联邦学习543.3.2 联邦学习中的模型稀疏化573.3.3 联邦学习的模型敬化603.4 边绿智能化部署633.4.1 无线恻智能化驱动力633.4.2 智能化部署633.4.3 算力部署663.5 深度边缘节点673.5.1 深我边域节点的无线网络可编程693.5.2 深度边缘节点的同元融合693.5.3 深度边缘节点的跨域A1设计724 .边缘内生智能应用754.1 智慈交通754.1.1 河破交通边缘计算系统概述754.1.2 智赛交通边镂计算类型764.1.3 智破交通边缘计尊应用784.2 智能制造804.2.1 智能制造边缘让W系统概述804.2.2 智能制造边修计算类型824.2.3 智能制造边缘计尊应用8343智能节能864.3.1 场景概述864.3.2 对边缘智能的潜在衢求与应用865 .边修内生智能的发展与挑战876 .致谢901 .引言1.1 背景从IG到5G,通信技术经历J'多次升级和变革，显著提高了数据传输速率，降低了延迟，并扩大了网络覆盖范围。然而，随着物联网和人工智能等技术的飞速发展，万物互联且应用场景日益更杂，现有的网络架构已无法满足新的需求。因此，作为下代通信技术，6G必须具品更高的性能和更强大的智能化能力，推动边缘侧网络从“万物互联”向“智能互联”转变。为了更好地适应未来多样化且比杂的用户请求和应用场景,将智能技术滋入通信系统的设计和实现，内生智能的概念应运而生I。近年来，人工智能（AD的理论与技术得到了进步，并广泛应用于工业场景。但是大部分的AI服务通常部署在云服务器上。随着''万物互联”时代的到来、终端设备数量和生成的数据迅速增加。集中式数据处理的形式即把所有的数据上传至云湍的形式无法满足用户低时延的需求.因此，边缘计算随着物联网（IoT）以及人工智能的发展而出现。然而，目前对边缘计算的研究实施无法满足更杂的业务场景。因此，边缘内生智能有潜力成为边缘计算的下一个研究热点12）。边缘内生智能能够在原生网络中实现各个单元之间的自我动态感知以及自我优化的能力，打破了原有外挂式Al架构，通过将AI深度融入至网络各层中以提高系统整体网络效能，并实现网络架构中整体生命周期的自主感知以及自我管理31.2 边缘计算与边缘内生智能发展概述边缘计算：为了缓解云数据中心的处理乐力，边缘计算的概念被提出。边缘计算是一种将计算过程从中心服务器迁移到设备边缘的技术。它的核心思想是招网络、计算,存储和应用服务整合到一个靠近数据源头的平台上，可以就近提供股务。这种技术有助于减少云计算的处理负载和解决数据传输延迟的问题，满足用户在实时业务、应用智能、安全与隐私保护等方面的需求.边缘内生智能:边缘智能是边缘计算发展到定程度后的下个阶段。随着边缘计算和人工智能技术的快速发展和迭代，边缘智能的概念应运而生，在边缘执行人工智能算法,这是更史杂的数据分析任务.在边缘节点，特别是在移动设符和物联网设备上部署人工智能应用，就需要边缘计算支持。首先，边缘节点需要提供相应的硬件和编程库，以满足人工智能的博本操作。其次，需要一个边缘说算平台来实现边缘节点的资源管理和任务调度。最后，需要解决云端协作式人工智能中的任务卸载和数据安全问题41。随着人工智能技术的不断发展，边缘设备智能化程度得到了提升。最初，边缘智能主要关注在边缘设备上运行人工智能算法和模型，以实现数据的快速处理和响应。这种方式的智能化程度相对较低，因为边缘设备的功能和性能有限，无法实现更杂的人工智能匏法和模型的运行5.随者技术的不断发展，边缘设备的性能和智能化程度得到了显著提升。在这个过程中，边缘内生智能的概念逐渐兴起。边缘内生智能强调将人工智能技术桀成到边缘设备中，使其具符自主的数据处理和分析能力。这种方式使得边绿设备能够更好地适应纪杂的应用场兔，提裔数据处理和响应的速度和效率6J。1.3 边缘内生智能的重要性边缘内生智能的重要性包含如下方面：<1）在网络边缘例生成的数据需通过Al完全择放其潜能：由丁移动设符数量激增，设备端将产生.大量的数据（例如音频、图片和视频）。此时AI算法的引入将是必不可少的，因为它能够快i分析这些庞大的数据员，并从中提取特征，从而做出高侦量的决策，提高了数据处理的效率和可器性。这有助于诚少人工干预和错误率，提高业务的效率和可靠性7。边缘内生智能以更丰富的数据和应用场景扩展智能尊法部署范围：传统的云计算模式中数据源般会上传并存储至云端，因为云端具有非常高的计毓性能8。然而，随着万物互联时代的快速发展，传统的云计免模式逐渐向边缘计算模式转变。未来边缘侧将会产生海量的物状网数据，若上述数据需要全部上传至云端进行Al算法处理，那么将会占据大量的带宽资源并为云计算数据中心带来非常大的计算压力。面对上述挑战，通过将云端计算能力下沉至边缘，实现了低延迟的数据处理，从而实现高性能的边缘智能处理模式9。边缘内生智能具有更好的系统可用性和可扩展性：Al技术己经在日常生活中的许多数字产品与服务中取得J,巨大的成功，如视频监控、智能家居等。Al也是创新前沿的关键强动力，如自动驾驶!、智能金腱。因此，Al应该更接近人、数据和终端设备，在实现上述目标的过程中，由于数据处理在本地进行，所以当中央服务器遇到问题时,边缘设备仍然可以继续运行。此外，随着新应用的添加或现有应用的升级，边缘设备可以轻松扩展或修改，提供了更好的灵活性。边缘内生智能增强了人工智能应用的可用性和可访问性：由于边缘设备的处理能力增强，更多的人工智能应用可.以在设备上运行，而不仅仅是依赖云眼务器。这增加了人工智能的可用性和可访问性10)。叁考文献IS.Talwar.N.Himayat,II.Nikopour,F.Xue,G.WuandV.Ilderem,6G:ConnectivityintheEraofDistributedIntelligence."IEEECommunicationsMagazine,vol.59.no.11.pp.45-50.Nov.2021.2)M.ElsayedandM.Ero1.KantarCi,“Al-EnabledFutureWirelessNetworks:Challenges,Opportunities,andOpenIssues/,IEEEVehicularTechnologyMagazine,vol.14,no.3,pp.70-77,Sep.2019.3S.Dcng.H.Zhao.W.Fang.J.Yin.S.DustdarandA.Y.ZomayaJEdgcIntelligence:TheConfluenceofEdgeComputingandArtificialIntelligence."IEEEInternetofThingsJournal,vol.7.no.8.pp.7457-7469.Aug.2020.4M.Pan,W.SUandY.Wang,"ReviewofResearchontheCurriculumforArtificialIntelligenceandIndustrialAutomationbasedonEdgeComputing,“2021InternationalConferenceonNetworkingandNetworkApplications(NaNA).1.ijiangCity.China.2021.pp.222-226.5Y.Xiao.G.Shi,Y.1.i,W.SaadandH.V.Poor,''TowardSelt-1.eamingEdgeIntelligencein6G."IEEECommunicationsMagazine,vol.58,no.12.pp.34-40.Dee.2020.6H.HuandC.Jiang,tkEdgeIntelligence:ChallengesandOpportunities,2020InternationalConferenceonComputer,InformalionandTelecoinnumicalioiiSystems(CShHangzhou.China,2020,pp.1-5.71M.Mukherjee.R.Matam.C.X.Mavronioustakis.H.Jiang.G.MastorakisandM.Guo,''IntelligentEdgeComputing:SecurityandPrivacyChallenges,*'IEEECommunicationsMagazine,vol.58,no.9,pp.26-31,Sep.2020.8Y.Sun,B.Xic,S.ZhouandZ.Niu.*tMEET:Mobility-EnhancedEdgeinTclligcnccforSmartandGrccn6GNetworks,0IEEECommunicationsMagazine,vol.61.no.I.pp.64-70.Jan.2023.9Q.Cui,Z.Gong,W.Ni.Y.Hou.X.Chen,X.Tao,P.Zhang,"StochasticOnline1.earningforMobileEdgeComputing:1.earningfromChanges.*IEEECommunicationsMagazine,vol.57.no.3.pp.63-69.Mar.2019.IOM.Yao,M.SohukV.MarojcvicandJ.H.Rccd"ArtificialIntelligenceDefined5GRadioAccessNetworks."IEEECommunicationsMagazine,vol.57.no.3.pp.14-20.Mar.2019.2. 6G边缘智能网络和基础设施2.1 面向6G的边缘内生智能架构作为下代无线网络的关键使能技术，多接入边缘计算(MUlti-accessEdgeComputing,MEC)能够支撑大量的新兴业务。随若人工智能(ArtificialIntelligence.AI)的不断发展，其在MEC中的应用越来越广泛，但Al在5G网络中仅作为外挂式应用来协助MEC.6G网络中的MEC将在设计之初考虑AI.并将其作为MEC系统的组成部分，以此来提高MEC的灵活性和开放性，更好地应对不断涌现的应用场景和用户需求。由此，边缘内生智能架构被提出，本架构基于Al功能的解耦和重构来为用户提供定制化的Al服务。2.1.1 架构整体概述边缘内生智能架构由“四层三面”组成,如图2.1所示其中,“四层”包含基础设施层、虚拟化层、功能层和应用层；“三面”包含控制面、Al面和管理编排(managementandorchestration»MANO)面。<-)四层I蓦础设黄层：位于边缘内生智能架构的最下层、涵盖了系统中的所有通信、存储和计算资源.其中，通信资源包括WiFi、互联网等：存储资源包括内存、硬盘驱动器(HaixlDiskDrive.HDD)和固态驱动涔(SolidStatcDrivc,SSD)等;计算资源包括中央处理器(CentralProcessingUnit,CPU)、图形处理器(GraphicsProcessingUnit.GPU)等。 虚拟化层：位于基础设施层之上，将底层资源抽象为资源池供上层的网络功能使用.当业务需求到来时，虚拟化必可创建Doeker容器并使其在资源池上运行，来供给网络功能以保障其正常运转，进而保证定制化的Al服务。 功能层：位于虚拟化层之上，包含被解橘的网络功能，即控制功能和Al功能，以及一条服务总线“不同的网络功能能够根据业务需求进行实时的激活,择放和重组，并通过服务总线串联。 应用层：位于边缘内生智能架构的最上丛.包含多样化的网络应用.应用以与用户直接交互，并在用户请求到达时,自动调用功能层的网络功能和虚拟化层的DOCkCr容器来为用户提供服务。(二)三面： 控制面：负责从基础设施层到应用层的控制信令传输和处理。 MANO面：将控制面的服务请求转化为MANo指令，并对系统的功能和资源进行协调和管理。MANo面包含虚拟基础设施管理器(VirtualizedInfrasiruciurcManager,VIM),功能MANO和应用MANO.分别用于对资源、功能和应用的管理编排。 Al面；也叫做内生Al面，作为边缘内生智能架构的核心面，用于学习用户和网络的行为和需求，实现网络的自运营。共虚拟化层为Al应用提供运行环境库，如PytOrCh、tensorilow等,可根据,应用请求和资源状态进行选择：其虚拟化层包含被解耦的Al功能和一条眼务总线：其应用层包含一个模板选择器和一个智能算法模型库，用石实现边绥内生智能的灵活重构。2.1.2 内生智能面的设计与实现在边缘内生智能架构中，基于微服务的Al面被解耦为独立的Al功能，Al功能可被按需激活和调用：在应用请求到来时,被解稿的Al功能可以按需组合来为用户提供Al服务，以实现内生智能。<-)内生智能面解精：如图2.1所示，在内生智能面中,Al服务被解耦为数据采集功能(DataCollectionFunction,DCF)，数据预处理功能(DalUPreprocessingFunction,DPF).模型训练功能(ModelTrainingFunction,MTF).模型验证功能(ModelValidationFunction.MVF)以及数据存储功能(DalaSloragCFUnCIion,DSF)，各功能介绍如下： DCF,采集Al模型训练所需的原始数据并生成相应的训练数据集。 DPFi对包含无效成分的原始数据进行预处理，通过数据采样、特征提取和降维等操作将原始数据中的无效或偏移内容移除，将其转化为Al模型训练所需的数据格式。 MTFi根据业务需求选择相应的AI算法,训练AI兑法的核心模型。 MVFt在模型训练或实时推理的过程中评估AI模型的性能。 DSF:存:储和管理Al面的所有数据及AIF的相关参数，不同A【功能之间通过统的服务总线进行通信与交互。同时，AI功能可通过服务总线与控制功能进行信息传递，并根据业务类里由功能MANO来激活。(二)内生智能面重构：边缘内生智能重构借鉴了模板与实例化思想，依据业务类型进行Al功能激活、运行环境配置和资源分配，以实现定制化的AI服务。模板，通过提取和抽象类边缘智能业芬的共性为其提供通用的解决方案。边缘内生智能模板涉及模板信息(TCmPlatCinformaIion.Tinf)和模板标识符(Templateidentifier,Tid)两个关键要素。其中，模板信息包含Al应用的组成元素，即应用所需的AlF类型、资源和运行环境,存储在智能算法模型库中。模板标识符用于区分不同Al应用对应模板的标识，存储在模板选择器中。在模板使用前，需对模板进行预定义操作，即根据特定Al应用需求定义该应用所需的功能激活、资源分配和运行环境配置相关参数。实例化：根据模板中定义的参数，创建AI应用实例，以对Al服务请求做出响应。如图2.2所示，边缘内生智能的实例化流程包含以下步骡：DMANO对应用层持续监测，在接收到应用请求时向模板选择器发送模板选择请求2)模板选择器更具应用类型选择相应的模板，并将其Tid发送至智能算法模型库来请求Tinf3)智能兑法模型库提取模板对应Tinf,并将其反馈回模板选择器4)模板选择器将收到的Tinf发送至MANO面5)MANo面根据收到的Tinf进行实例化操作：（八）配理应用所需的运行环境库(b)分配所需资源(O激活相关AIFIAIF图2.2边线内生智货实例化流程2.2边缘智能算力基础设施2.2.1边缘智能硬件随着技术的匕速发展，边缘智能硬件逐渐成为了物联网、人工智能和云计算三大技术交汇的焦点。这种智能硬件不仅具备实时、高效的数据处理能力，还能够在网络边缘进行智能决策，从而大大减轻了云端的数据处理压力，提高了整体系统的晌应速度和效率。在客户需求方面，边缘智能硬件面向各行各业，从环境适应性、实时性、安全性、稳定性等各方面都提出了较高的需求。例如，在智能制造领域，可以通过边缘智能硬件对环境恶劣的工厂生产线上的各种数据进行实时采集、处理和分析，实现生产过程的自动化和智能化.在医疗领域，可以通过边缘智能硬件对病人的生理数据进行分析，实现远程医疗和智能化诊断。在技术特点方面，边缘智能硬件采用了先进的郭法和数据处理技术，可以实现高效的数据处理和分析。同时.，它还采用了多种传感器、通信技术和软件定义，可以实现与各种设备和系统的互联瓦通。此外，边税智能硬件还具有低功耗、高可旅性等特点，可以满足各种恶劣环境下的使用需求。在产品形态方面,边缘智能硬件可以以各种形式出现，如智能摄像头、智能传感器、智能机器人、边缘服务器等.这些设备可以与各种设备和系统进行连接，实现数据的共享和协同处理.同时，它们还可以通过云端进行远程管理和控制，实现设备的远程监控和维护。(一)边缘智能硬件需求如下表所示，从硬件部署位置与数据中心的距离来看，边缘智能可分为近边缘(NearEdge)和远边缘(FarEdgc)近边缘主要是云计算的卜沉，功能上与云数据中心类似，具备强大且综合的计兑能力，硬件产品形态包括一体化机柜、重边缘服务器等。远边缘更加恻理于边缘现场的应用，功能上与具体应用有很强的相关性，如数据聚合/转换、协议解析、工业控制、AI推理等，硬件产品形态的形式丰富多样，比如工控机、P1.Cs网关、MEC等。后期维护等阶段。因此，边缘计算产品5-7年甚至更长的生命周期对于这些应用场景来说尤为关键，这不仅意味着更高的稳定性，也意味着更低的后期维护成本；（2）长生命周期面向的是整个业务系统，不仅包括边缘计算硬件设备，也包括运行在硬件设法上的平台、业务应用、协议以及产生的数据：<3）同时，长生命周期也不仅仅包含运行时间，也包括了硬件设备的后续持续供应、服务、更新，以及平台、业务应用等的持续迭代等：3.严苛的工作环境：<1）更严苛的物理环境由于边，象计算部署位践分散，面临的物理环境发杂，对应的温度、湿度、电磁辐射等环境条件都参差不齐。总体来说，边缘计算的物理环境可以分为室内和户外。与数据中心统一规划和管理的机房环境不同，边缘计算的室内环境通常为普通机房，或者是如工厂车间、零售门店之类的人机共处的环境.这类环境中往往空调制冷能力有限、空气洁净度也无法与数据中心相比。因此，防尘、温度的要求会略高一些，在人机共处的情况下，还对边缘计算设备的噪音有一定要求。边缘计算的户外环境更加更杂和严苛，环境温度可能达到-2（rcarc,防水、防雷击、抗震等指标要求对边缘计算硬件设备也造成了很大的挑战。<2）更严格的数据安全环境边缘计算的E速发展也将网络攻击威胁引入了网络边缘,而常见的应对手段仍然是较为传统的网络安全防护技术，很难抵抗边缘计算中多源、跨域的入侵和攻击.边缘计算架构的节点计算能力、存储能力和能量均受限，现有的安全防护手段不能完全适用于边缘节点，攻击单个计算节点或服务节点的成本较原本功能强大的中心服务器大大降低，因此更容易获得攻击者的关注。网络边缘更贴近万物互联的设符，涉及大员的用户个人隐私数据：网络边缘的通信、决策方式旦被攻击会更直接地影响到系统功能的实现，攻击者维次攻击成果不非。边缘计兑架构下，攻击的更低成本、更高收入使其面临着不容忽视的安全威胁.安全威胁存在于边缘计鸵节点本身、边缘管理节点和层与层之间等多个环节。此外网络边缘存在资源受限、软硬件异构性大、海量终端分布广等特征，传统的数据中心安全防护方案无法适用。动化系统运行过程和控制相关的实时数据处理，也可以服务新型应用,如非实时数据的分析、存储、运算等要求。3,原生边缘智能：边缘AI是指AI算法运行在边缘设备上或靠近边缘的服务潜上。边缘场景及杂多样，原生边缘智能更强调在边缘侧进行模型训练与推理，这与云原生有本质区别。基于多任务泛化的行业预训练模型，在边缘场景下基于边缘的数据在边缘侧的微调压缩和量化，形成边缘(W的小模里将是一种主流趋势。随着大模型的发展和应用，大模型将进一步推动人工智能在边缘长尾场景落地，这也提出r更强的边缘原生智能算力需求。(三)边缘计算硬件产品形态边缘智能硬件产品形态多种多样，本章节主要介绍四种典型的智能边缘硬件产品形态：边缘服务器、工业计算机、网关和边缘一体化机柜。1.边缘服务Sh边缘服务器被定义为部署在边缘数据中心或苑近边缘现场的服务器，包括用于边缘计算场景的通用服务器(general-purpose)和专为边缘场景设计的边缘优化型服务器(edge-optimized)«其中用于边缘计算场景的通用服务涔(general-purpose)与用于数据中心场景的通用服务器在饺件上几乎没有差别，往往应用F环境相对友好的场景中.边缘优化型服务器(edge-optimized)与通用服务器相比，在外观、功能、稳定性等多方面进行了优化(如下表)，例如低能耗、更宽的工作温度葩困、多种安装方法、安全性和OT集成等.从产品形态来看，边缘优化型服务器(edge-optimized)又可以细分为定制型边缘服务器(purpose-built)和边缘微服务器(microserver)定制型边缘服务器(pux*e-buil)是针对特定功能进行设计和构建，部署在安防、视频监控等特定用例中的小型服务器，具有特定的外形尺寸、低能耗、广泛的工作温度和多种接口类型等特性，以适应恶劣环境.通常不会部署在标准数据中心，而是部署在边缘数据中心。边缘做服务器是一种坚固耐用的融合计算设备，专为各种环境条件下的现场嵌入式使用场景而设计的微型服务器，能够提供企业级计算和管理功能，图2.6边缘体化机柜示意图2.2.2边缘智能云平台如2.1.1所述,边缘计算设备数城繁多，千差万别，分散部署到不同的区域或位置。为了协同使用这些设齐，减小应用适配难度，降低部署、运营管理的电杂度，需要一个分布式的软件平台在解决这些问题的同时，满足日益增长的智能化应用需求.边缘智能云平台就是这样的分布式软件平台，它采用云原生技术，是部署在边缘和云上的系统，实现以容器为载体的微服务的统一、快速部署。总体架构包括三个主要部分：边侧、云侧和协同机制.边幡这部分包括边缘硬件及运行在上面的边侧内生智能平台。边缘硬件可以是单个边缘设备，也可以是多个边缘设备组成的边缘集群。边侧内生智能平台是边缘智能云平台的关键组成部分,它提供了在边缘设备上使用容冷运行应用程序和服务的解决方案,边侧内生智能平台提供边缘冲算环境中所需的基础设施和服务，包括容器编排、数据存储、安全性管理和监控等功能。云倒：这部分包括云例计整系统和云侧管理平台。云侧计律系统是运行在云端的数据中心，可以是一个位于云端的运行边侧内生智能平台的集群，也可以是个运行云原生平台的集群。它与上述位于边侧的边侧系统进行协同工作，例如 灵活数据接入；支持4G、5G、WIbK宽带等不同形式的数据接入，将数据卸载到边缘平台进行处理和计算，并聘结果及时反馈到生产系统或者上传到云端 高效应用管理：能够感知应用的类型以及对资源的使用情况，实时谢整资源分配，无缝进行扩缩容。 优化应用JK能：针对特定类型的应用进行针对性资源优化。例如GPU虚拟化使同样算力能支持更多的Al或其它强GPU应用。 极简部署/运雏，以全融合体机形式部署的边缘计算平台实现开箱插电即用、自动组网、故障时整机替换。具有智能运维能力,实时监控收集多维度运维数据，自动故障告警、修复。 轻量全局安全防护I使用统一身份认证服务提供帐号鉴权功能，利用其它相关上下文信息（身份、威胁,可信评估、角色、位置/时间、设备配置等）加强安全策略，且提供边缘平台上动态和静态数据的加密.下面分章节对边侧内生智能平台、云健运维管理平台和协同机制这三部分做详细介绍。（一）边内生智能平台边侧内生智能平台也是基于容罂技术和K8S的编排管理能力实现。容器相比物理机和虚拟机，具有轻量级、部署简单、支持多环境、启动时间短、易扩容、易迁移等特点，能解决边缘设备异构严重的问题。KUberneteS已经成为云和数据中心内容器编排的主流选项，它使用微服务和容器来封装功能模块，然后通过声明管理的编排工具来管理和部署这些功能模块,，作为云侧业务的延伸，边侧采用相同或相似的技术是符合逻辑的选择。但是为了适配边缘设备做到更轻量，在边侧使用边缘内生的KubCnIetCS发行版：K3s,Kubccdgc.MiCrOK8s等轻量的云原生平台。这些都是经过认证的KUbemeteS发行版，完全支持K8sPl,同时提供更低的Cooiprint和更富的可靠性。它们可以在x86和Arm硬件上运行，支持GPU、NPU,VPU等异构淞件。边缘节点与中心云之间的网络环境兔杂，边缘节点可能因为某些原因与中心云断联。由于边缘节点数量众多，环境史杂，【T运维人分难以及时对断联节点进行维护恢史，边健云原生平台需具符离线自治能力，从而保障边缘测业务的连续性和可靠性。图2.195G轻点化核心M全卜沉部署架构此方式让核心网内的能力可更大限度地开放给行业：可满足行业更多的定制化需求：数据面与信令面的网元可异厂家设备组网，给予运营商和企业更多的产品选择权；行业对网络的自主可控完全掌握在自己手中。3.边缘内生智能的关键技术3.1 模型轻量化近年来，随若人工智能技术的快速发展，深度神经网络（DNN）获得了越来越多的关注。DNN已被广泛地应用于各个领域并取得了优异的效果，如目标检测、图像分类、自然语言处理和医学诊断等。然而，随着任务发杂度的增加，DNN的参数量日益增加，模型结构也变得愈加兔杂，这带来了极大的存储与计算资源需求。此外，随着移动设备的普及和边缘计算的兴起，DNN模型在边缘设备上的部署需求也日益增加.然而，边缘设备资源相对有限，这为DNN模型的部署带来了困难。为了解决这现实问题，模里压缩和加速技术，种以获得轻量化的模型为目的的技术被提出，井逐渐成为DNN领域的热点技术之一。具体的,模型压缩是指通过各种技术手段减少DNN的模型大小、计算兔杂度和计算址，并维持模型的精度相较压缩前无明显损失。到目前为止，模型压缩技术主要包括剪枝、蒸储、量化、神经架构搜索（NAS）等.的知识来自教肺模型中间层的检出特征图,主要思想是匹配教肺和学生的特征激活。垠于关系的知识探讨了不同层之间的关系和不同数据样本之间的关系,并由学生模型进行模仿.UMdd图3.3知识蒸皤中的肺生根槃蒸镭兜法可以分为三类：离线蒸镯、在线蒸储和自蒸镯,离线蒸搐中的教新模型是预先训练好的.在蒸懦过程中不对教肺模型进行训练,只对学生模型迸行训练,因此这种蒸播方法被称为离线蒸锚,其优点是简单便于实现,但是训练开销过大且学生模型过于依赖教断模型。在线蒸溜中,教师模型和学生模型同时更跖是-种端到端的训练方法,其进一步提高了学生模型的性能,克服了离线蒸锚的局限性.深度交互学习方法提出的在线蒸镯是将任何一个网络都可作为学生模型,其余网络为教肺模型,互相学习,以协作方式工作。在线知识蒸馈中,多种类型知识集成也是一种提高蒸馈效果的方法。如图3.4所示,一种运用于在线蒸储的新型多尺度特征提取和融合方法使用了多尺度特狐15,并用双重注意力和特征融合生成更准确的特征,与软目标集成在一起进行蒸播.自蒸镯是一种教断和学生模型使用相同的网络的蒸搐方法,模型可以超网络深U的知识蒸镯到浅丛部分,或者将早期知识转移到后期模型.教加模型和学生模型之间的结构差异也会影喻到知识蒸值的效果,为了诚少数卿模型和学生模型的容址差异，出现了很多学生模型结构,如：）简单的浅层模型:2）数肺模型的简易量化版本:3；具仃高效操作的小型模型：4）具4优化的全局网络结构的小型模型;5;和教部模型一致的学生模型。知识蒸锻结合其他模型压缩方法也可以提高优化效果,如通过聚类的剪枝蒸馔方法,将剪枝和蒸摘进行结合,在原始模型的监督下对模型使用聚类实现冗余通道的费建和等效窗除.图3.4用于在线知识蒸储的多尺世特征提取和融合(MF日.示意图3.13量化量化是指将训练好模型的参数和激活值从高精度转换为低精度的过程，通常从n位降低到m位，其中n>m,减少了模型的存储开销和运行功耗，加快了计兑速度，如图3.5所示。量化用途广泛，可以运用于大多数的模型和硬件，比如现场可编程门阵列和专用集成电路,它们可以配置为使用任何类型的数值表示形式，例如整点、浮点。量化可以根据是否需要再训练分为两种类别：量化感知iJ½(Quantization-awaretraining,QAT)和训练后址化(Post-trainingquantization,PTQ)oQAT涉及对神经网络参数进行量化，然后重新训练它，可以使它能根据新量化的值进行调整和学习。但有时数据量不够时无法进行歪新训练，因此我们使用PTQe量化感知训练是指在对模型量化后，重新使用训练数据对模型进行微调的方法。因为模型在地化后，可能会将扰动带入模型的参数中，使模型偏离其收敛点，因此为了保证模型的性能.在模型量化后增加微谢这步骤，使模型更好地收敛。步骤般如下：(I)址化权重：(2)使用浮点输入和激活对模型执行前向训练：(3)使用浮点梯度对量化模型执行后向传递：(%使用浮点梯度更新权重，然后返回步骤(I)e当训练数据不可用时，则采用训练后量化方法。PTQ利用校准数据对预训练模型进行校准，以计算剪切范围和比例因子，然后根据校准的结果对模型进行<1）初始化I全局模型在联邦学习开始时由个中央服务器初始化。<2）本地训练：每个本地设备使用本地数据对模型进行训练。这个阶段的训练是在本地进行的，不涉及对中央服务器的通信。（3）模型更新：在本地训练后，本地设备生成模少参数的更新。（4）同步聚合；设备将模型更新发送到中央服务器，中央服务器执行模型参数的聚合操作，例如加权平均，以生成全局模型的新版本。迭代上述步躲在多个迭代中市更进行，直到达到满意的模型性能。图3.7联邦学习训练框架联邦学习的优势包括降低通信开销、提高陷私保护、适应分布式数据等特性。它通常应用下那些拥有大量本地化数据且涉及隐私敏感信息的场景，如医疗、金曲和物联网等领域。尽管联邦学习具有许多潜在的优势，例如保护用户隐私、减少数据传输和降低通信成本，但它也面临一些挑战,以下是一些联邦学习的挑战.<1）数据异构性：在陕邦学习框架中，为了协同达到目标准确度,客户端和服务器之间需要进行多轮联邦训练。由于复杂深度学习模型中存在数仃万个参数，更新高维模型会导致显著的通信成本。尤其是当设备的数据是非独立I1.分布不同<non-11D）时，这一问题变得更为严全。实际上，由于有限的观测能力，分布式设备上的数据是差异化生成的，导致本地数据样本的不平衡，且数据中非独立同分布的程度越高，联邦学习算法的收敛速度越慢。因此，异构数据成为联邦学习部署在实际物联网环境的瓶颈。（2）做私保护：联邦学习的一个主要目标是在不共享原始数据的情况下进行模型训练。然而，确保在本地设备上处理的数据不泄露敏感信息仍然是个挑战。设计有效的隐私保护机制对于用户的信任至关重要。<3）通信开循：联邦学习需耍在本地设备和中央服务器之间进行模型参数的交换，这可能导致大量的通信开销。有效地减少通信成本对于确保联邦学习的实用性至关全要。<4）激励机制I由于陕邦学习的分散性质，每个参与方都有自己的数据，并且可能面临随私和资源成本等方面的考虑。因此，为了激励这些参与方积极参与联邦学习，需要引入适当的激励机制.联邦学习在边缘智能中发挥着重要作用,将在3.3节中进行详细介绍。3.2.2分割学习分割学习的提出为边缘:协同智能提供了另一种思路，其方式是在深度神经网络的某一层（也叫切割必）将其分成客户端模型和服务器湍模型，分别部署在每个用户设备和云服务潺上。多个用户参与分割学习时，所有设备都以串行的方式与服务器交互，训练流程如下：用户使用本地数据执行客户端模型得到中间数据，和原始标签起发送给服务器，服务器将接收到的中间数据作为客户端模型的输入维续执行服务器端模型，完成前向传播，然后计克输出与原始标若的误差并做反向传播，逐U计算更新服务器端模型参数，然后得到切割乂参数的梯度然后回传到用户，用户再维续完成反向传播更新客户端模型参数，如图3.8所示。分割学习框架在某种角度等同于第中式学习，因而在某些锻设下的精度表现比联邦学习更商，并且用户只部署了全局模型的部分，计算、存储负担较小，通信开销也变成了中间数据的传输而非整个模型，同时服务器只拥有全局模型的一部分，这在模型隐私方面也是令人满意的.WM>n<l,Aw)nlZiWN五号!林造石藤6图3.8分割学习示意图串行训练方式决定了次训练中只有个客户端与服务器交互，使得其他客户端资源闲巴以及训练时间偏长。所以为减小分割学习串行训练带来的资源闲置和时延，可以采用以下方式实现并行分割学习：（1）用户同时进行前向传播实现并行训练，通过对所有