赛迪译丛：《在自动驾驶中采用人工智能技术的网络安全挑战及相关建议》-29正式版.docx

ro赛迪智库2021年10月11日第31期总第504期在自动驾驶中采用人工智能技术的网络安全挑战及相关建议【译者按】今年2月，欧盟网络安全局（ENISA）发布在自动驾驶中采用人工智能的网络安全挑战报告。报告梳理了人工智能技术在自动驾驶汽车中的应用现状，通过5个攻击场景深入分析了人工智能技术在自动驾驶中产生的网络安全威胁和挑战，并提出加强人工智能网络安全供应链安全、开发端到端的人工智能安全解决方案、提升人工智能相关事件处置和漏洞发现能力、加强汽车行业人工智能安全培训等多项对策建议。该报告旨在提高人们对人工智能技术潜在风险的认识并有效化解风险。赛迪智库网络安全研究所对该报告进行了编译，期望对我国有关部门有所帮助。【关键词】自动驾驶人工智能网络安全借助人工智能技术的进步，新一代汽车正在实现半自动和自动驾驶功能。根据美国汽车工程学会发布的道路机动车辆驾驶自动化系统相关术语的分类和定义（以下简称SAEJ3016）,道路机动车辆被划分为六个自动驾驶级别，从没有自动驾驶的O级到完全自动驾驶且不需要驾驶员的5级，如图1所示。本报告所指自动驾驶车辆，对应SAEJ3016中的4级和5级车辆。SAEJ3016标准规定的自动驾驶级别O1I23I4I5I无自动驾驶三驾驶员辅助i部分自动驾驶;有条件自动驾他高度自动驾驶；完全自动驾驶;人类驾驶员监控驾驶环境自动驾驶系统监控驾驶环境图1SAEJ3016标准规定的自动驾驶级别一、人工智能技术在自动驾驶中的应用（一）自动驾驶汽车中的人工智能技术过去10年，自动驾驶快速发展。自动驾驶系统能够通过感知并推断周围环境，做出安全、顺利到达目的地的判断，并据此采取行动控制车辆。人工智能技术特别是机器学习的快速发展是实现自动驾驶的重要推动因素。图2列出了自动驾驶系统面临的典型场景。通过将每个问题分解成较小的任务，并运用机器学习为每个任务开发独立的模型，从而实现自动驾驶。场景理解感知摄像头激光宙达雷达超声波9检测与定位物体检测道路检测语义分割同步定位与地图构建高清地图场景表征传感器融合行为预测物体映射计划和决定规划路径和移动轨迹优化驾驶政策控制速度变化转向加速与制动图2：自动驾驶系统的典型元素利用人工智能和机器学习技术实现的自动驾驶系统增强型功能主要包括制动辅助、智能停车、与信息娱乐系统的语音互动等。1 .自适应巡航控制（ACC）。该功能包括调整车速，以保持与前方车辆的最佳距离；估算车辆之间的距离，并加速或减速以保持合适的距离。2 .自动泊车或泊车辅助系统。该功能是指将车辆从行车道移至停车场，包括识别道路上的标记、周围车辆和可用空间，产生一连串的指令来执行该动作。3 .汽车导航。该功能利用全球导航卫星系统（GNSS）设备提供的位置数据和车辆在感知环境中的位置，寻找到达预期目的地的方向。4 .盲区/十字路口警示/变道辅助。当车辆在十字路口转弯或变道等情况下，通过位于车辆相关位置的传感器，检测位于车辆侧方、后方和前方的车辆和行人。5 .避免碰撞或前方碰撞警告系统。检测潜在的前方碰撞并监测速度，避免发生碰撞。系统通常会估算前方车辆、行人或阻挡道路的物体的位置和速度，并对可能发生碰撞的情况做出主动响应。6 .自动车道保持系统（ALKS）。通过转向使车辆保持在其行驶车道的中心，包括检测车道标记，在驾驶条件不明情况下预判车道轨迹，并执行操纵车辆的动作。7 .交通标志识别。识别道路上的交通标志，通常识别所有交通标志，如交通信号灯、路标或标志。这需要摄像头传感器根据形状、颜色、符号和文字等各种标志做出检测。8 .环境声音检测。检测并分析与驾驶环境相关的声音，如喇叭声或警报声。需要在嘈杂的情况下进行声音识别。（二）自动驾驶系统中的人工智能软件在现实环境中驾驶车辆并非易事，需要有复杂的社会伦理和决策能力，才能有效应对各种意外和危险情况。嵌入在自动驾驶车辆中的人工智能软件可以实现这些功能，它们通过对处理传感器收集到的各种数据进行处理，从而做出移动、停车、减速等决策。其中涉及到的三类主要的数据处理功能模块包括感知模块、规划模块和控制模块。感知模块负责收集从传感器获得的多个数据流，并从中提取有关环境的相关信息。规划模块负责计算车辆将采取的轨迹，考虑起始位置和所需目的地之间的路线，以及车辆沿整个路径必须遵守的所有约束。控制模块负责通过作用于执行器（速度、转向角、灯等）来执行系统计划的动作序列，以确保正确执行轨迹。1.感知模块。是指自动驾驶车辆解析传感器原始信息的能力，用于实现车辆周围环境状态的中间表征，并跟踪车辆随时发生的状态变化。此外，对于自动驾驶车辆可能遇到或必须与之交互的所有物体，如基础设施（道路、标志、交通灯等）、各项因素（如车辆、骑自行车者、行人等）或障碍物，感知系统还具备检测、分类和识别能力。感知系统还包括构建内部环境地图，允许车辆在空间和时间维度上定位自身和其他对象。根据场景理解、场景流估计和场景表征与定位等原则，可对自动驾驶车辆的感知任务进行排序。目前，该领域很大程度上受深度学习技术主导，同时还受到机器人技术的很大影响，尤其是定位技术、映射技术以及常规的时序模式识别算法。（1）场景理解。场景理解包括所有旨在提供自动驾驶车辆环境画面的任务。典型任务包括检测并识别环境中存在的所有要素。大多数归为场景理解的方法均利用各种传感器的数据流，并采用非常出色的计算机视觉架构。但是，对于在理论上非常精确的计算机视觉系统来说，实时理解真实交通环境中的各类物体异常复杂。这当然需要考虑到场景的可变性：即外表可变性、环境可变性和含义可变性。（2）道路和车道标志。自动驾驶车辆需区分可行驶区域（公路、机动车道、乡间小道等）和不可行驶区域（人行道等）、不同类型的路面以及显示车流走向的各种车道。（3）移动因素和障碍物检测：移动因素（行人、骑自行车者、车辆等）和障碍物（植物、物体等）主要使用物体检测、图像分割和跟踪技术进行检测。（4）交通标志和标线识别：特定标志或标牌指示的检测和识别对确保安全驾驶至关重要。（5）声音分类。识别环境声音是理解驾驶场景的一个重要方面。胎噪、喇叭声或发动机轰鸣声等诸多要素可传递车辆附近的信息，有助于预测危险情况。尤其是急救车辆的警报器，会提醒车辆必须调整驾驶规则。（6）场景流估计。场景流估计功能会收集与场景动态行为有关的感知任务，主要涉及物体和车辆移动。在场景流理解中，最重要的任务是物体和车辆跟踪，其目的是预测它们的运动情况，并且可能还需对其他交通参与者的行为进行建模。因此，对各种规划任务都具有很高的相关性。场景流估计面临的两方面主要挑战是跟踪运动或静止物体，并预测物体的意向和动作。(7)场景表征。场景表征任务包括同时映射环境和持续定位自动驾驶车辆。车辆定位包括估计自动驾驶车辆与周围环境的相对位置和方向。这些定位技术实际上是源自同步定位和地图构建(SLAM)领域的一系列方法。几十年来，同步定位和地图构建技术一直用于解决移动机器人同样面临的问题。占据栅格是一种概率掩码，会回应环境栅格地图每个单元格被占据的概率。这是机器人领域采用的另外一种常用技术，用于自动驾驶的定位和地图构建。2 .规划模块。规划任务包括自主进行车辆操作所需的所有计算，包括路线规划、执行特定驾驶场景的运动轨迹等。这些规划任务面临的难题是很难正确评估系统的预测情况。与地面真实信息通常已知的、且可与预测进行比较的感知任务相反，评估规划系统的性能时，需在受控环境中进行测试，或在模拟器中进行评估。即使在这些具有挑战性的设定条件下，自动驾驶车辆仍能应对大多数情况，但在数据、模型或模拟没有考虑到的场景中，可能无法做出正确决策。推理功能主要依赖于自主机构和机器人使用的先进人工智能方法。（1）路线规划。路线规划（或路线选择），也称为全局规划，是指确定车辆当前位置与用户请求目的地之间的最佳路径。路线规划会用到全球导航卫星系统（GNSS）坐标和车内嵌入的离线地图。（2）行为规划。行为规划是指根据环境表征和行驶路线，选择最合适的驾驶行为。这个决策过程可用有限状态机1来进行建模分析。各种状态是指车辆行为，并且各种状态之间的过渡受车辆感知到的驾驶环境约束。（3）运动规划。运动规划或局部规划是指根据计算出的路线和选择的行为，在车辆感知环境中找到车辆的最佳行驶轨迹，包括将高级行为转化成感知环境坐标中所示的一系列路点。行驶轨迹必须考虑到几种约束条件，例如车辆可行性（例如考虑到当前速度）、安全、合法和尊重环境中的其他参与者，以及确保乘客获得平顺的驾驶体验。3 .控制模块。控制系统用于执行规划系统计算出的行驶轨迹，即在硬件层面执行车辆执行器的各种命令。一般来说，车辆有两种运动方式：横向运动（车辆转向控制）和纵向运动（加速和刹1有限状态机是为研究有限内存的计算过程和某些语言类而抽象出的种计算模型。车踏板控制）。4.信息娱乐和车内监测。人工智能不仅用于实现各种驾驶功能，而且证明在信息娱乐系统和车内监测方面大有裨益。这些功能开始越来越多地集成到车辆中，既有专门用于语音识别的嵌入式硬件，也有通过语音控制和面部表情控制的个人行车助理。（1）人机接口（HMI）,人机接口可实现乘客与车辆间的互动，例如向驾驶或娱乐系统发出命令或接收当前行程等信息。（2）车内监测。通过传感器，如摄像头、麦克风、温度传感器等监测车内信息，确保乘客的舒适性。（三）汽车功能与人工智能技术的对应关系表1列出了自动驾驶汽车功能与人工智能技术的对应关系。二、自动驾驶中的人工智能网络安全问题自动驾驶和车联网的发展对车辆的计算功能和互连互通提出了更高要求，也增加了车辆受到网络攻击的可能性。自动驾驶车辆的网络安全风险将对乘客、行人、其他车辆和相关基础设施安全产生影响，亟需对应用人工智能的安全漏洞风险进行研究。人工智能网络威胁可分为两类：有意威胁和无意威胁。有意威胁包括恶意利用人工智能和机器学习中存在的漏洞实施故意攻击和伤害。无意威胁包括因人工智能和机器学习的缺陷、不良设计或内在特性引起的不可预测的故障、失效或其他负面后果。本报告重点讨论利用人工智能漏洞破坏自动驾驶车辆的威胁。表1自动驾驶汽车功能与人工智能技术的对应关系汽车功能计算机视觉I序列机器学习自动规划I控制端到端的方法物体检测,图像分割车辆定位I循环模型马尔可夫模型过滤模型传统规划模仿学习政策学习道路检测XXX车道检测XXXX运动因素检测XXX交通标志识别XXX标记识别XXXX物体跟踪XXXXXX声音识别X定位XXXX占据地图XXXXXXX路线规划X行为规划XXX运动规划XX行驶轨迹执行XX-11-常见的网络安全威胁包括四类：一是传感器卡塞、致盲、欺骗/饱和。传感器会致盲或受到干扰。通过这种方式，攻击者可操纵人工智能模型，向人工智能算法提供错误数据、或故意提供不完整数据，从而降低自动决策的有效性。二是DoS/DDoS攻击。中断自动驾驶车辆可用的通信通道，使其与外界基本失去联系。这种攻击方式会直接影响车辆操作，并会阻止自动驾驶。DDoS攻击的目的是中断通信通道。三是操纵车辆通信。劫持和操纵通信信道会对自动驾驶操作产生严重影响，攻击者可修改传输的传感器读数或错误解释道路基础设施提供的信息。四是信息泄露。车辆为了实现自动驾驶会存储和使用大量的个人敏感信息，包括人工智能组件上保存的关键数据，因此潜在攻击者会有意获取此类信息从而导致数据泄露。下面通过5个假设场景，对自动驾驶汽车中存在的人工智能漏洞危害进行解释。（一）攻击场景L针对用于街道标志识别和车道检测的图像处理模型的对抗性扰动1.基本情况：通过在道路标志上引入物理扰动，达到欺骗模型感知有关环境错误信息的目的，包括对道路车道的油漆或道路标志（停车标志、限速标志等）进行改造、放置贴纸或投射光。这些精心设计的模式会导致感知组件对对象或符号的错误分类，进而导致自动驾驶汽车发生错误行为。2 .攻击步骤：（1）攻击者分析目标车辆的相机和基于人工智能的图像分类器功能，设计能够改变输出的对抗性攻击。此阶段可能需要尝试多个扰动模式或显示参数。攻击者还需要进行一些物理实验以确保攻击成功。（2）攻击者执行目标标志或交通标志更改操作，致使自动驾驶汽车做出错误分类。（3）行经更改的标志或交通标志的目标车辆将错误地将该标志分类为攻击者设定的类别（例如将停车标志识别为限速标志），并做出相应反应（例如进行降低速度而不是停车）。3 .产生的影响：中一高。影响程度取决于目标标志及其在自动驾驶功能中的作用。标记的错误分类很容易产生安全问题，引发自主导航功能中的不当行为，危及道路使用者的安全，导致驾驶员、乘客或行人死亡。4 .检测难度：简单中等一困难。根据攻击的性质，有些可以很容易地检测到，有些在事故发生之前肉眼都无法检测到。5 .连锁效应风险：低。该扰动是局部的，只影响途径修改标志处的车辆。6 受影响的模块：标志识别算法、传感器、车辆功能。（二）攻击场景2：对规划模块进行中间人攻击1.基本情况：攻击者在车辆主机中发现了一个可远程利用的漏洞，并通过互联网利用该漏洞远程入侵易受攻击车辆的主机。一旦进入主机，攻击者将横向移动获得对车载网络的访问权限。此外，攻击者还可能在车辆维修期间直接访问车辆内部网络。如果车辆的内部网络不能对其进行有效验证，那么注入一个被篡改的模块可能比利用互联网连接入侵更有效。基于此，攻击者可以对感知模块输出的环境状态发动中间人攻击。假设攻击者为了避免被检测到只能向状态值增加小扰动，那么为了选择正确的扰动，攻击者可以设计对强化学习模型的对抗性攻击，用于选择考虑环境状态的正确行为，从而导致自动驾驶汽车的行为发生变化。攻击的方式包括将识别到停止标志时发出的制动命令替换为加速命令，并且即使轨迹上存在障碍物也允许转弯。2 .攻击步骤：（1）攻击者识别并找到可从互联网远程利用的车辆主机漏洞的方法。（2）一旦车辆主机被攻破，攻击者将横向移动获得访问车载网络的方法。（3）发动中间人攻击劫持人工智能组件输入的数据。（4）对车辆使用人工智能模型进行分析，并发起对抗性机器学习攻击实现操纵规模模块输出的目的。3 .产生的影响：高。影响取决于系统中产生的特定不当行为。如果负责车辆执行器的系统成为目标，则潜在影响非常大，车辆或可能执行紧急制动等不安全操作。4 .检测难度：困难。对抗性机器学习攻击是在车载网络内进行的，攻击者可以更精细地控制人工智能输入，并且其行为更容易被驾驶员忽视。5 .连锁效应风险：高。在这种情况下，攻击的入口可以是从互联网触发的可远程利用的漏洞。攻击者可以轻松地将攻击自动化，从而在全球范围影响整个易受攻击的车辆。6 .受影响的模块：运动规划算法、车辆功能。（三）攻击场景3：对停车标志识别的数据投毒攻击1 .基本情况：已售的自动驾驶车辆需要不断地向公司回传一些数据，特别是车辆人工智能模型在决策中遇到高度不确定的边缘情况时。基于此，攻击者可利用制造商定期更新自动驾驶汽车人工智能模型，向模型中注入意外行为。例如，攻击者可创建一个具有停车标志形状的标志，并在其上标注“SHOP”一词。驾驶员不会将该标志视为真正的交通标志，但自动驾驶车辆可能会，并采取安全方法制动，同时触发异常。该异常可由驾驶员进行纠正，并将模型中的交通标志“SHOP”与“DONOTSTOP"动作关联。攻击者可用不同的车辆重复该操作，以增加模型集成的可能性。当模型在车辆上部署更新后，攻击者可简单地在任何停车标志上将“T”替换为“H”，从而引发交通事故。2 .攻击步骤：（1）攻击者找到一个图形，该图形足以被自动驾驶系统误解，同时又很容易被驾驶员识别。（2）攻击者对该图形进行驾驶测试，将其与交通标志不同的动作进行关联。（3）自动驾驶系统遇到该图形时将发出警告，该警告将由驾驶员进行处理，将该图形视为误报并更新驾驶模型，以解决此状况。（4）车辆模型更新后，攻击者修改目标交通标志，欺骗自动驾驶汽车做出错误动作。3 .产生的影响：高。影响取决于系统中产生的特定不当行为。如果负责车辆执行器的系统成为目标，则潜在影响非常大，车辆或可能执行紧急制动等不安全操作。4 .检测难度：简单困难。通过对自动驾驶车辆返回的异常情况进行验证，可以较容易地检测出中毒攻击。而一旦攻击通过了验证，对人工智能模型内部的检测将会很困难。5 .连锁效应风险：中。一旦更新部署，全球范围内易受攻击车辆都将受到影响。6 ,受影响的模块：决策算法、车辆功能。（四）攻击场景4：入侵OEM后台服务器后大规模部署恶意软件攻击1.基本情况：攻击者发现可远程利用的漏洞并从后端服务器部署恶意人工智能固件。此类攻击可能由OEM员工（例如开发人员）或者能够渗透到后端服务器的外部攻击者发起。成功进入服务器后，攻击者可以执行人工智能模型的恶意OTA（无线）更新。由于该更新操作是从受信任的服务器发起的，自动驾驶车辆将视其为合法操作。此类攻击可能会通过操纵图像识别组件对行人进行错误分类，使人工智能模型对行人“视而不见”，导致自动驾驶汽车撞到道路或人行横道上的行人，从而引发严重交通事故。由于OTA更新正在大规模应用于特定型号或品牌的全部车辆，不难想象当全部车辆受到影响时会对道路安全产生的影响。2 .攻击步骤：（1）攻击者利用已知软件漏洞、服务器端的错误配置或盗用管理员帐户等方式渗透到目标OEM的后端服务器。（2）攻击者获得OEM后端服务器的访问权限后，对特定的型号或品牌的全部车辆执行人工智能模型或图像识别组件的OTA固件更新。（3）由于该请求是合法的OEM服务器发起的，车辆在收到OTA更新请求后将确认并接受该请求。（4）攻击者在OEM后端服务器上传人工智能模型的流氓固件并启动OTA更新过程以部署该固件。（5）一旦恶意软件安装在自动驾驶汽车上，攻击者就可以通过利用恶意软件中引入的后门或者对所有车辆的预期行为产生不利影响，实现对车队的远程控制。3 .产生的影响：高一重大。远程服务器可能同时与众多车辆通信，破坏这种中央服务器的人工智能模型可能会影响整个生态系统，包括乘客的安全。4 .检测难度：中等。远程服务器一般有足够的资源对其进行高级威胁监控。但与此同时，大量远程服务器的部署也增加了要保护的攻击面。5 .连锁效应风险：高。此类攻击由于可以远程执行，具有高度可扩展性；同时，此类攻击基于受损的人工智能模型，可以立即影响车队。6 .受影响的模块：OEM后端系统、软件和许可证、OTA更新、车辆功能、信息（用户、设备、密钥和证书）等。（五）攻击场景5：传感器/通信干扰和全球导航卫星系统（GNSS）欺骗攻击1 .基本情况：攻击者通过干扰无线传感器和通信，产生无线电干扰以破坏无线网络，导致传感器无法接收消息、，车辆无法发送或接收V2X消息。此外，攻击者还可能通过发射虚假信号（例如类似GNSS的信号，意图在受害者接收器中产生基于位置的虚假信息）来欺骗通信。恶意信号可能被用于对无线传感器的通信通道产生不利影响，例如：耗尽电池寿命甚至堵塞通信通道，使传感器无法传回其读数。这将造成依赖目标传感器的人工智能模型出现故障，导致车辆的相关功能出现问题。另一方面，在GNSS欺骗的情况下，人工智能算法会被输入故意错误的数据，并且将针对车辆功能做出错误的决定。2 .攻击步骤：（1）攻击者识别传感器和GNSS信号中的安全漏洞。（2）攻击者通过远程利用这些漏洞，将不需要的信号注入通信通道或禁用发送/接收消息来；或者，攻击者用携带虚假定位信息的无线电信号压制相对较弱的GNSS信号。（3）一旦传感器受到威胁，攻击者可阻止传感器（数据被阻止或中断成功传输），从而影响车辆用于执行相应功能（例如障碍物检测、车道偏离等）的决策算法的功能）。或者，一旦GNSS信号被欺骗并且车辆开始接收错误数据，那么基于定位功能的人工智能技术就会受到不利影响。（4）攻击者接管对自动驾驶车辆的控制。3 .产生的影响：高一重大。现代车辆配备了大量传感器，以便能够自动执行所有驾驶功能（例如传感、检测物体等）。因此，通过传感器干扰，攻击者可能会将无用的信号注入通信通道，并阻止和中断传感器与相关人工智能算法的连接。在GNSS欺骗的情况下，人工智能模型会输入虚假和潜在的恶意数据，这些数据会影响决策过程和车辆的相关功能，包括乘客的安全。通过这种类型的攻击，无论是干扰还是欺骗，攻击者都可能影响对自动驾驶汽车的控制。例如，这可能会导致不同的态势感知理解、引发错误的碰撞警告、选择错误的车辆位置/定位，从而产生安全问题。4 .检测难度：中等。干扰或欺骗攻击不需要安装任何高级类型的硬件或软件。通常情况下，干扰或欺骗攻击很难被检测到，但它们确实会对车辆的功能产生不利影响。5,连锁效应风险：传感器网络很容易受到干扰。这些信号可以完全占用信道，导致无法进行真实通信或传输中的数据包被破坏。此类攻击还会影响人工智能模型、决策算法，从而影响车辆功能。由于此类攻击可以远程执行并影响各种车辆的功能，因此具有高度可扩展性。在此类攻击中，由于V2X通信受到影响，与被攻击车辆通信的其他车辆也可能受到影响，并且在错误消息的情况下可能会导致不必要的碰撞。6.受影响的模块：软件（例如人工智能模型、决策算法）、车辆功能、自动驾驶汽车传感器、通讯系统、全球导航卫星系统移动网络/系统等。三、自动驾驶中的人工智能网络安全挑战及相关建议（一）对人工智能模型和数据进行系统的安全验证数据对构建和验证人工智能系统至关重要，并且是机器学习模型学习过程的核心。自动驾驶车辆一般会配置多个传感器，每秒收集数百万个环境描述数据，这些海量的数据集为复杂、动态的人工智能模型提供基础支撑。为防止自动驾驶车辆在现实世界中发生意外，对这些海量数据集进行系统的安全验证至关重要，以避免车辆遭到投毒攻击、逃逸攻击等网络攻击。人工智能模型的一个重要特点是其可随时间推移改变输出结果，意味着其安全性和鲁棒性评估不应仅在模型开发过程，而应贯穿于模型的全生命周期。特别是随着第三方预训练模型的推广和应用，人工智能模型的网络安全风险挑战更加严峻。为保障人工智能系统在自动驾驶车辆中的安全性，对模型更新的安全性和鲁棒性进行系统的评估和测试至关重要，以确保人工智能模型更新不会增加可被攻击者利用的漏洞威胁。相关建议：一是为人工智能模型建立主动或被动的监测和维护机制。主动监测用于确定如何改进模型持续学习效果，以提供软件更新；被动监测用于发现错误的输出并查明原因，以了解如何改进模型。二是对部分特殊的人工智能组件进行全生命周期的系统性的风险评估。三是建立快速响应机制，以便在发生安全事件是启动应急预案和开展应急响应。四是建立车辆运行测试的反馈闭环机制，对车辆开展持续监测并总结经验教训。五是建立审计流程，开展事后取证分析，解决可能出现的安全问题。六是增设额外的验证检查点，降低错误数据的影响。（二）与人工智能网络安全相关的供应链挑战供应链安全是网络安全的重中之重。在人工智能组件的供应链中，如果没有适当的安全政策和足够的策略，将会导致系统缺乏弹性，存在潜在的安全漏洞。人工智能生命周期各阶段的安全问题，都可能给汽车供应链带来安全风险。例如，人工智能模型的复杂性和不透明性对预训练模型的安全检测（有意或无意设置后门）提出了挑战；机器学习的开源特点使得人们可以在线获得预训练模型并用于机器学习系统，但无法保证其来源的安全性。在自动驾驶领域，供应链安全问题的另一个特殊性在于汽车中使用的数字组建大多依赖第三方供应商，一辆自动驾驶汽车可能拥有多个制造商提供的几十个电子控制单元，使得自动驾驶汽车的网络安全是所有相关方（包括原始设备制造商、一级和二级汽车零部件供应商）的共同责任。现行的联合国欧洲经济委员会（UNECE）法规草案规定，原始设备制造商、供应商和服务提供商应共同应对网络安全问题，并实施相应的安全控制。相关建议：一是建立覆盖自动驾驶整个供应链（包括第三方供应商）的人工智能安全政策。二是确保对整个供应链的人工智能安全政策进行管理。三是对自动驾驶人工智能相关风险和威胁开展识别和监测；四是在整个供应链中推广人工智能安全文化；五是要求整个供应链遵守汽车行业法规。（三）将人工智能网络安全与传统网络安全相结合的端到端整体方案为保障自动驾驶车辆安全运行，应在自动驾驶车辆中推广人工智能安全解决方案，并与传统网络安全相结合，以提高人工智能系统的安全性。自动驾驶对人工智能技术依赖程度的加深，不仅为攻击者以人工智能算法为目标实施网络攻击提供了动力，而且成功实施网络攻击造成的后果越来越严重。传统的解决方案常常忽视了自动驾驶车辆是一个多维环境，车辆部件本身可能包含一个或多个不同特性的人工智能模型。因此，为保障自动驾驶车辆网络安全，应建立一套端到端的解决方案，综合考虑车辆组件、人工智能系统的多样性及其相互作用，构建一套完整的、涵盖车辆各组件和人工智能系统各个阶段的综合安全机制，这对于系统性抵御潜在安全风险至关重要。即使一个系统在设计和开发时考虑了安全问题，但随着时间的推移以及额外增加的一些设备、软件和功能，系统也会发生变化。因此，需采用一套维护和更新的综合方法，以完全掌握所有系统、人工智能模型及其交互情况。为保障自动驾驶网络安全，相关的汽车企业和机构都需要更新其网络安全政策，而目前最需要是一套将人工智能网络安全与传统网络安全相结合的整体方案，以及一份详细介绍自动驾驶汽车人工智能系统的文档。相关建议：一是相关机构应制定覆盖人工智能特性的安全流程。二是在自动驾驶汽车人工智能部署和开发时，应在设计环节提升安全性。三是在汽车行业推广使用标准化组件和同类型人工智能解决方案。四是确保人工智能网络安全政策在承担特定职责的机构中得到有效执行。五是在汽车产业生态中营造人工智能网络安全文化。六是推动将人工智能网络安全纳入各机构的创新及研发活动。七是促进行业内部交流对话，确保人工智能安全解决方案开发的互操作性。八是促进设计和实施基于人工智能的组件安全模。九是推动自动驾驶人工智能组件安全性方面的研究。十是实施能够防止或检测传感器潜在干扰的解决方案。（四）与人工智能相关的事件处置和漏洞发现能力尽管许多企业的网络安全团队知道自动驾驶车辆的组件和系统存在网络安全隐患，但通常只有当发生安全事件或发现漏洞时，人们才真正意识到安全的重要性。尽管已经对安全漏洞进行了大量宣传，但人们的网络安全意识仍然很薄弱，特别是在人工智能系统相关的安全漏洞方面。值得注意的是，有时候发现漏洞比已知存在潜在高安全风险对实际的影响更大。这主要是由人们的乐观偏见造成的，人们普遍认为发生安全事件的几率很小。存在这种观念的原因是人们对安全风险的了解不够，或者过于低估了安全风险。因此，乐观偏见会对汽车中人工智能的安全风险感知产生严重的负面影响。此外，人工智能安全意识的缺乏和安全培训的不足也加剧了乐观偏见的产生。因此，需进行真实场景的培训，才能解决乐观偏见对人工智能安全产生的负面影响。相关建议：一是调整安全事件响应预案，将人工智能的特殊性考虑在内。二是培养从人工智能安全事件中吸取经验教训的企业文化。三是促进知识共享。四是推广人工智能安全事件报告方面的强制性标准。五是组织应急演练活动，以了解安全漏洞的潜在危害。六是开展模拟事件演练，提高相关部门的安全意识和知识水平。（五）汽车行业人工智能网络安全能力和专业知识的缺乏由于开发和系统设计人员缺乏人工智能网络安全方面的专业知识，在开发过程中未对人工智能组件进行安全测试和代码分析，在应用过程中未提前制定网络安全策略，这导致攻击者轻易地将自动驾驶车辆人工智能组件锁定为攻击目标。因此，人工智能安全问题通常采用事后补救的方法，且以安全插件形式为主，又为安全漏洞的产生创造了良好条件。即便人工智能系统在设计开发环节考虑了安全问题，但由于人工智能系统的多变性，其附加的设备、软件和功能会不断变化，需要人工智能团队具备强烈的安全意识，持续跟踪各种变化并对安全配置进行调整，以评估人工智能系统潜在的安全威胁。大多数人没有接受过相应的培训，所以无法识别人工智能软件需求变化对安全的影响，甚至不会意识到软件的某些设计和选择存在的安全隐患，造成在开发阶段发生的错误和疏忽将致使人工智能软件存在被人利用的漏洞。缺乏支持和鼓励开发和设计人员通过教育和培训获得人工智能安全意识的管理制度，是汽车行业人工智能网络安全最重要的问题。企业可能缺乏提供人工智能安全培训的资源，开发人员可能主要关注软件功能而忽视了网络安全，亦或开发人员意识到网络安全问题但受限于预算和时间的限制。因此，项目负责人必须接受适当的人工智能安全教育和培训，这可以在很大程度上确保不会做出削弱自动驾驶车辆安全的决定。但是，安全意识不应止于开发和管理人员，与人工智能软件相关的所有成员都必须接受安全培训，以确保人工智能网络安全成为自动驾驶车辆的核心关注点。所有相关方接受人工智能网络安全培训也有助于在讨论、规划和开会决议时，让网络安全问题引起大家的重视，以促进汽车行业的安全保障。相关建议：一是将人工智能网络安全的特殊性融入整个机构的政策。二是打造由机器学习、网络安全和汽车行业等相关领域专家组成的多元化团队。三是让有经验的人员协助实施人工智能安全实践。四是开展安全教育和培训，重点关注人工智能系统网络安全以及其在整个汽车生态系统中的整合情况。五是将人工智能安全工具集成到工具箱中，对每个请求进行自动化安全检测，以改善响应机制，在出现漏洞时提供更好的补救措施。六是通过邀请领军人物进行客座讲授或者设置专门课程等方式，将产业专业知识融入学术课程。译自：CybersecurityChallengesintheUptakeOfArtificialIntelligenceinAutonomousDriving,February2021byEuropeanUnionAgencyforCybersecurity苴i三智库na三关aIrUI,在速看震-1世界工业研究所*小企业研究所报：部领导送：部机关各司局，各地方工业和信息化主管部门，相关部门及研究单位，相关行业协会