AI计算平台相关参考信息、安全框架应用参考.docx

《AI计算平台相关参考信息、安全框架应用参考.docx》由会员分享，可在线阅读，更多相关《AI计算平台相关参考信息、安全框架应用参考.docx（7页珍藏版）》请在课桌文档上搜索。

1、附录A（资料性）人工智能计算平台相关参考信息A.1人工智能计算平台参考形态本文件所述的人工智能计算平台核心考虑数据中心及边缘场景的AI计算平台，具体形态可以是单台A1.训练/推理服务器也可以是多台A1.训练/推理服务器组成的训练/推理集群及配套软件栈，终端设备不作为本文件所述的人工智能计算平台。A.2人工智能计算平台参与角色A.2.1参与方角色及业务活动分析在A1.应用开发运行过程中，根据不同的产业链组成，可能存在多种不同的参与方需要在边缘侧、云侧、数据中心侧等不同位置、不同组成的A1.计算平台上开展数据预处理、模型训练、A1.应用开发、A1.模型部署、A1.应用运行等业务活动，具体如图A.2

2、所示。参考ISO/IEC22989,以人工智能应用的生命周期阶段为基准梳理相关参与方及其业务活动。I准备II设计开发I：I验证确认I:I部署I-I运行监测I:|新评估I:I退出IAI应用AI模型AI应用运行方A1.应用提供方I模型搭建I:模型评估I应用运行Ej-7efjI J I I1.I模型推理IrT模暨脸证 I 模型用我I3模型部署卜I模不更新IIA1.模型提供方II模型训练TI模型退役I图A.1A1.应用生命周期参与方及参与方活动人工智能应用生命周期中涉及到的各参与方及其业务活动包括：a) A1.应用运行方：基于人工智能计算平台提供的软硬件环境，开展应用运行、模型推理、模型评估、模型销毁

3、等业务活动，核心需求在于保障A1.应用持续稳定运行、A1.模型推理结果准确，不会遭受模型萃取、对抗样本、模型后门触发等攻击，从而影响业务运行结果；同时需考虑推理数据涉及的关键信息泄露及个人隐私泄露等风险。b) A1.应用提供方:通常与AI模型提供方为同一实体,负责A1.应用开发、将A1.模型部署到A1.应用中，向A1.应用运行方交付完整的A1.应用等业务活动，核心需求在于获得其所期望的A1.模型(未遭篡改、性能达标等)；c) A1.模型提供方：开展模型搭建、模型训练、模型评估、模型更新、模型退役等业务活动，核心需求在于基于安全的AI计算平台开展业务活动，能够保障训练任务持续运行，且运行过程中，

4、训练数据、A1.模型等不会遭窃取、篡改等；d) A1.数据提供方：开展数据收集、处理等业务活动，核心需求在于保障A1.数据集保密性、完整性、可用性；e) A1.计算平台提供方：为A1.应用运行方、A1.应用提供方、A1.模型提供方、A1.数据提供方这些可能的平台使用方提供其所需求的软硬件资源环境，并保障平台自身安全，同时根据平台使用方需求保障其核心资产安全。A.2.2参与方核心资产识别分析上述的参与方及业务活动，识别总结各参与方的核心资产如表A.屋表A.1A1.计算平台参与方核心资产识别参与方业务活动AI核心资产AI数据提供方数据预处理训练数据AJ模型提供方模型搭建、训练、评估训练数据训练脚本

5、AI模型AI应用提供方模型部署推理脚本AI模型AI应用运行方模型推理、验证推理脚本推理数据A1.模型A.3安全模块分布本章节将从AI计算平台组成层次角度，给出文中本文件所述安全模块分别在AI计算平台中如何分布，整体的安全模块分布如图A.2所示。安个模块位？I分布牌用使傕U的安个模块加解密模块故障监测模块A1.推理攻击检测模块运行环境陶肉模块密钥管理模块故障处理模块日志安全管理模块完整性校照模块训练任务中断处理模块延急程序依测模块M础资源U的安全模块Cpuw设备极密钥模块A1.加速资滁安全隔离模块可信度H怏块安全管理帙块安全通信模块可信度根模块一值管理模块AI加速处理器1M设备设密根模块A1.加

6、速货源安全隔离模块可信度砥模块安全管理模块安通信模块可度R根模块度St值管理模块AI加速处理器N侧谀品根密野般块A1.加速资源安全隔窝模块可信度Ift模块安全管理模块安全通信模块可信度根模块度最值管理模块图A2安全模块位置分布图在该安全模块位置分布视图中，对位于CPU侧、A1.加速处理器侧的模块进行了明确区分，未明显区分的模块默认位于CPU侧。附录B(资料性)人工智能计算平台安全框架应用参考附录B对A1.计算平台相关参与方提供了使用本文件中定义的安全功能的参考方法。如图B.1所示,各参与方通过服务接口调用A1.计算平台提供的相关机制保护其AI核心资产。各参与方如何调用安全机制解决相应安全威胁可

7、具体参考表B.1：a) A1.应用运行方：基于本文件中定义的服务接口和安全模块实现的功能，保护A1.应用安全运行，抵御针对运行态模型的攻击；此外，可根据推理数据的性质(如隐私数据等)调用相关机制保护推理数据及A1.模型；b) A1.应用提供方：基于本文件中定义的服务接口和安全模块实现的功能，保护A1.模型及软件包安全，防范A1.应用运行方可能恶意导出、滥用A1.模型、A1.应用；c) A1.模型提供方：基于本文件中定义的服务接口和安全模块实现的功能，保护模型及训练脚本等A1.核心资产的完整性、保密性；d) A1.数据提供方：基于本文件中定义的服务接口和安全模块实现的功能，保护训练数据集的保密性

8、、完整性；e) A1.计算平台提供方：基于本文件定义的安全框架，在设计和开发A1.计算平台时实现安全框架中定义的安全模块及安全机制，并根据本文件定义的服务接口对其他参与方实现开放的标准接口。保障A1.计算平台自身安全，并为其他参与方提供标准化的安全功能。AiHVWf1.(GMt 1 I RW IAIWjI1.tW4 )I 收 -IIMV图B.1人工智能计算平台安全框架应用示意图具体地，人工智能计算平台提供方可参考本文定义的安全框架为A1.数据提供方、A1.模型提供方、A1.应用提供方、A1.应用运行方提供相关的安全模块和机制保障其A1.核心资产安全，各AI应用开发运行相关参与角色可调用AI计算

9、平台提供方提供的相关安全模块和机制来缓解各个环节的安全威胁，保障A1.核心资产安全。表B.1安全威胁与A1.安全功能映射关系参与方业务活动AI计算平台能够协助应对的安全威胁AI计算平台提供的安全功能AI数据提供方数据预处理数据集勒索：基于A1.计算平台处理数据集过程中，数据集可能遭受勒索病毒威胁，造成数据集不可用：恶意程序检测未授权访问：训练数据集可能被未授权的用户或者程序访问或篡改，导致数据泄露。运行环境隔离不安全的数据传输：数据收集、预处理可能需要跨设备环境传输，不安全的数据传输机制，可能导致数据泄露；AI核心资产加解密不安全的数据存储：不安全的数据存储环境或配置管理缺陷，可能导致数据泄露

10、；AI核心资产加解密数据集篡改：经过预处理后的数据集遭篡改,目标是破坏被攻击数据集的质量/完整性，进而污染训练阶段生成的机器模型，在有针对性的投毒攻击中，攻击者希望对特定示例进行错误分类，从而导致采取或省略特定操作；AI核心资产完整性校验A1.模型提供方模型训练/验证训练任务中断导致模型参数丢失：大模型训练过程中，因为设备/网络/集群等故障，导致模型训练任务中断，导致训练的模型参数丢失：训练任务中断恢复不安全的传输：模型训练可能需要跨设备环境传输，不安全的传输机制，可能导致模型训练结果、训练数据泄露；AI核心资产加解密不安全的存储：不安全的存储环境或配置管理缺陷，可能导致模型、训练数据泄露；A

11、I核心资产加解密模型窃取：1）硬件层面，对A1.模型运行时CPU、A1.加速处理器、内存等资源进行侧信道分析、内存dump等，实现对A1.模型、训练/推理数据、训练/推理脚本等关键信息窃取；2）软件层面，也可能因为模型明文存储或加密机制安全强度不足，导致模型遭窃取：模型训练/推理单元（虚机、容器）不安全（虚机、容器漏洞等），遭恶意程序入侵，窃取本计算单元中处理的A1.模型、训练/推理数据、训练;推理脚本等，或攻击者利用计算单元脆弱性，突破资源隔离机制（容器逃逸等），劫持控制本服务器，窃取其他用户的A1.模型、训练/推理数据、训练;推理脚本等：运行环境隔离AI核心资产加解密异构算力安全协同AI应

12、用提供方模型部署模型文件伪造：模型部署之前未校验模型来源，鉴别模型文件真实性，导致应用部署了伪造的模型对业务带来不利影响；AI核心资产完整性校验表B.1安全威胁与A1.安全模块映射关系（续）参与方业务活动AI计算平台能够协助应对的安全威胁AI计算平台提供的安全功能模型文件篡改：模型部署环境可能存在漏洞，导致模型文件被恶意篡改，植入后门或者窃取信息；AI核心资产完整性校验模型窃取：A1.应用从开发训练环境部署到推理运行环境，甚至可能是边缘侧环境，存在模型窃取风险：AI核心资产加解密AI应用运行方模型推理模型窃取：1）硬件层面，对A1.模型运行时CPU、内存等资源进行侧信道分析、内存dump等，实

13、现对AI模型、训练/推理数据、训练/推理脚本等关键信息窃取；2）软件层面，也可能因为模型明文存储或加密机制安全强度不足，导致模型遭窃取；模型训练/推理单元（虚机、容器）不安全（虚机、容器漏洞等），遭恶意程序入侵，窃取本计算单元中处理的A1.模型、训练/推理数据、训练/推理脚本等，或攻击者利用计算单元脆弱性，突破资源隔离机制（容器逃逸等），劫持控制本服务器，窃取其他用户的A1.模型、训练/推理数据、训练;推理脚本等；运行环境隔离AI核心资产加解密异构算力安全协同模型萃取攻击：多次调用A1.应用提供的服务接口，获得推理样本的推理结果，进而还原A1.模型，并根据还原出的A1.模型，构造更加针对性的攻

14、击样本来攻击原始模型；AI推理攻击检测属性推断攻击：攻击者可以推断给定的数据记录是否是模型训练数据集的一部分；AI推理攻击检测对抗样本攻击：在模型推理请求样本中添加定向的噪声，欺骗模型做出错误的预测；AI推理攻击检测对抗资源消耗攻击：利用对抗手段分析模型推理资源消耗，构造样本造成模型推理损耗提高，造成拒绝服务，例如，利用遗传算法构建样本，促使模型推理消耗更多时间和电能；AI推理攻击检测恶意内存访问：A1.应用运行期间，为获得机器学习模型推理结果，通常将模型解密加载到内存中运行，恶意程序可能通过缓冲区溢出等手段，访问、窃取内存中的模型明文；异构算力安全协同内存导出：运维人员可能通过内存DUMP等

15、手段，从内存中非法导出模型明文；异构算力安全协同表B.1安全威胁与A1.安全模块映射关系（续）参与方业务活动AI计算平台能够协助应对的安全威胁AI计算平台提供的安全功能总线监听：A1.应用运行期间，为通过人工智能加速处理器加速运算，获得推理结果，需要将模型从通用处理器传递到人工智能加速处理器中运行，在此过程中，需要通过总线传输模型明文，从而存在模型明文遭窃取的风险；异构算力安全协同A1.模型提供方模型退役不完全的模型删除：模型可能批量部署，在其退役时，未能批量全而删除，导致模型被非授权使用、滥用：AI核心资产加解密运行环境隔离删除不彻底：模型文件删除不彻底，被非法恢复，导致模型被非授权使用、滥用。