【研报】2024+人工智能安全报告.docx

《【研报】2024+人工智能安全报告.docx》由会员分享，可在线阅读，更多相关《【研报】2024+人工智能安全报告.docx（27页珍藏版）》请在课桌文档上搜索。

1、2024人工智能安全报告目录一、Al的定义3二、Al引发科技变革3三、Al存在滥用风睑4四、Al普及引入多种威胁61、深度伪造62、黑产大语言模型基础设施73、利用Al的自动饿击94、Al武器化105、1.1.M自身的安全风险116、恶意软件127、钓鱼邮件148、口令爆破159、验证码破解1610、社会工程学的技术支持1711、虚假内容和活动的生成1912、硬件传感器相关威胁20五、当15况总结21六、应对措施罐议211、安全行业212、监管机构223、政企机构224、网络用户23主要观点人工智能（Al）是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨大潜力的Al技术同时

2、也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。研究发现：Al已成攻击工具,带来迫在眉睫的威胁,Al相关的网络攻击频次越来越高。数据显示,在2023年,基于Al的深度伪造欺诈暴增了3000%,基于Al的钓鱼邮件数量增长了100O%；奇安信威胁情报中心监测发现，已有多个有国家背景的APT组织利用Al实施了十余起网络攻击事件。同时，各类基于Al的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（DeePfake）、黑产大语言模型、恶意Al机器人、自动化攻击等，在

3、全球造成了严重的危害。Al加剧军事威胁，Al武器化趋势显现。Al可以被用来创建或增强自主武器系统，这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题，如责任归属问题及如何确保符合国际人道法。Al系统可能会以难以预测的方式行动，特别是在复杂的战场环境中，这可能导致意外的平民伤亡或其他未预见的战略后果。强大的Al技术可能落入非国家行为者或恐怖组织手中，他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。Al与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织OWASP发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱

4、不足和未经授权的代码执行等。此外，因训练语料存在不良信息导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全、公共安全其至公民个人安全。但目前，业内对其潜在风睑、潜在危害的研究与重视程度还远远不足。Al技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新T弋Al技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。一个影响深远的新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前，

5、攻防双方都在紧张地探索Al杀手级的应用，也许在几天、几个月以后就会看到重大的变化C因此，无论监管机构、安全行业，还是政企机构，都箱要积极拥抱并审慎评估AI技术与大模型带来的巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。在本报告中，我们将深入探讨Al在恶意活动中的应用，揭示其在网络犯罪、网络钓鱼、勒索软件攻击及其他安全威胁中的潜在作用C我们将分析威胁行为者如何利用先进的Al技术来加强他们的攻击策略，规避安全防御措施，并提高攻击成功率。此外，我们还将探讨如何在这个不断变化的数字世界中保护我们的网络基础设施和数据，以应对Al驱动的恶意活动所带来的挑战。一、Al的定义人工智能（Artifi

6、cialIntelIigencetAI提一种计算机科学领域，旨在开发能够执行智能任务的系统。这些系统通过模拟人类智能的各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它的应用范围非常广泛，包括自动驾驶汽车、智能助手、智能家居系统、医疗诊断、金融预测等。人工智能的发展旨在使计算机系统具备更加智能化的能力，以解决复杂问题并为人类社会带来更大的便利和效益。Al可以分为两种主要类型：弱AI和强Al。弱Al（狭义Al）是设计用来执行4寺定任务的系统,如语音识别或面部识别，而强Al（通用Al）是可以理解、学习、适

7、应和实施任何智能任务的系统。2022年以后，以ChatGPT为代表的大语言模型（1.arge1.anguageModel,1.1.M）Al技术快速崛起，后续的进展可谓一日千里，迎来了AI技术应用的大爆发，体现出来的能力和效果震惊世界，进而有望成为真正的通用人工智能（ArtffiCialGenerallmeIIigence,AGD。Al是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事。Al被视为第四次科技浪潮的核心技术，它同时也带来巨大潜在威胁与风险。二、Al引发科技变革 效率和生产力的提升：Al可以自动化一系列的任务，从而极大地提高效率和生产力。例如，Al可以用于自动化数据分析

8、，使得我们能够从大国数据中快速地提取出有价值的洞察C 决策支持：Al可以处理和分析比人类更大的数据量，使得它能够支持数据驱动的决策。例如，Al可以用于预测销售趋势，帮助企业做出更好的商业决策。 新的服务和产品：Al的发展为新的服务和产品创造了可能。例如，Al已经被用于创建个性化的新闻推荐系统，以及智能家居设备。 IK决京杂问题：Al有能力处理复杂的问题和大量的数据，这使得它能够帮助我们解决一些传统方法难以解决的问题。例如，Al已经被用于预测疾病的发展，以及解决气候变化的问题。 提升人类生活质量：Al可以被用于各种应用，从医疗保健到教育，从交通到娱乐，这些都有可能极大地提升我们的生活质量O在网络

9、安全领域，近期大热的生成式Al在安全分析和服务方面已经有了一定的应用场景和规模，根据SPhJnk发布的CISO调研报告，所涉及的35%的公司采用了某些类型的生成式AI技术，约20%的公司用在了诸如恶意代码分析、威胁狩猎、应急响应、检测规则创建等安全防御的核心场景中。35%安全卫生&姿态皆理分析与优化26%25%23%分析数据源,确恶意软件分析枪测规则生成27%告警与事件的数据犷充定优化还是消除26%内部沟通23%22%22%生成安全配置标准工作流自动化威胁狩猎20%20%19%风险评分策略生成安全响应&取证调查表1生成式Al在企业网络安全上的应用Al的应用带来了许多好处，我们也需要关注其可能带

10、来的问题，在推动Al发展的同时，也要制定相应的政策和法规来管理Al的使用。三、Al存在滥用风险麻省理工学院技术评论洞察曾对301名高级商界领袖和学者进行了广泛的人工智能相关问题调查，包括其对人工智能的担忧。调查显示，人工智能发展过程中缺乏透明度、偏见、缺乏治理，以及自动化可能导致大量失业等问题令人担忧，但参与者最担心的是人工智能落入坏人手里。恶意使用人工智能0%极其关注非常关注关注有些关注不关注表2人工智能相关问题调查Al恶意使用对现有威胁格局的影响主要有两类：对现有威胁的扩增。Al完成攻击过程需要耗费大量时间和技能、人工介入环节的任务，可以极大提升攻击活动的效率，直接导致对现有威胁模式效能的

11、扩大，如钓鱼邮件和社会工程学的恶意活动。引入新的威胁。Al可以完成大量之前人类根本无法完成的任务，从而引入新的攻击对象和模式。比如Al模型自身的漏洞利用，以及借助Al可以轻易生成的音视频内容，构成信息战的新战场。业内普遍预测，未来十年该技术的恶意使用将迅速增长，人工智能的恶意使用在网络安全、物理安全、政治安全、军事安全等方面构成严重威胁。网络威胁：考虑到网络空间固有的脆弱性及网络攻击所造成的威胁的不对称性，网络威胁日益受到关注。威胁包括网络钓鱼、中间人、勒索软件和DDOS攻击及网站篡改。此外，人们越来越担心恶意行为者滥用信息和通信技术，特别是互联网和社交媒体，实施、煽动、招募人员、资助或策划恐

12、怖主义行为。威胁行为者可以利用人工智能系统来提高传统网络攻击的效力和有效性，或者通过侵犯信息的机密性或攻击其完整性、可用性来损害信息的安全。物理威胁：过去十年中，网络技术让日常生活日益互联，这主要体现在物联网（IOT）的出现。这种互联性体现在物联网（IOT）概念的出现中，物联网是一个由互联数字设备和物理对象组成的生态系统，通过互联网传输数据和执行控制。在这个互联的世界中，无人机已经开始送货，自动驾驶汽车也已经上路，医疗设备也越来越多地采用了Al技术，智能城市或家庭环境中的互连性及日益自主的设备和机器人极大地扩大了攻击面。所有智能设备使用了大量的传感器，Al相关的技术负责信息的解析，并在此基础上

13、通过Al形成自动操作决策。一旦Al系统的数据分析和决策过程受到恶意影响和干扰，则会对通常为操作对象的物理实体造成巨大的威胁，从工控系统的失控到人身伤害都已经有了现实案例。政治威胁：随着信息和通信技术的进步及社交媒体在全球的突出地位，个人交流和寻找新闻来源的方式不可避免地发生了前所未有的变化，这种转变在世界各地随处可见。以ChatGPT为代表的生成式AI技术可能被用于生成欺诈和虚假内容，使人们容易受到错误信息和虚假信息的操纵。此外，不法分子可以通过“深度伪造”技术换脸变声、伪造视频，“眼见未必为实”将成为常态，网络欺诈大增，甚至引发社会认知混乱、威胁政治稳定。军事威胁：快速发展的Al技术正在加剧

14、军事威胁，Al武器化趋势显现。一方面，人工智能可被用在“机器人杀手”等致命性自主武器（1.AWS）上，通过自主识别攻击目标、远程自动化操作等，隐藏攻击者来源、建立对抗优势；另一方面，人工智能可以将网络、决策者和操作者相连接，让军事行动的针对性更强、目标更明确、打击范围更广，越来越多的国家开始探索人工智能在军事领域的应用。数据显示，2024财年，美国国防部计划增加与Al相关的网络安全投资，总额约2457亿美元，其中674亿美元用于网络IT和电子战能力。上述威胁很可能是互有联系的。例如，人工智能黑客攻击可以针对网络和物理系统，造成设施甚至人身伤害，并且可以出于政治目的进行物理或数字攻击，事实上利用

15、Al对政治施加影响基本总是以数字和物理攻击为抓手。四、Al普及引入多种威胁1、深度伪造威胁类型：#政治威胁#网络威胁#军事威胁深度伪造（DeePfake）是一种使用Al技术合成人物图像、音频和视频，使得伪造内容看起来和听起来非常真实的方法。深度伪造技术通常使用生成对抗网络（GANs）或变分自编码器（VAES）等深度学习方法来生成逼真的内容。这些技术可以用于创建虚假新闻、操纵公众舆论、制造假象，层至进行欺诈和勒索。以下是关于Al在深度伪造中的应用描述和案例。1）面部替换：深度伪造技术可以将一个人的脸部特征无缝地替换到另一个人的脸上。这种技术可以用于制造虚假新闻，使名人或政治家似乎在说或做一些从未

16、说过或做过的事情。这可能导致严重的社会和政治后果C案例：名人深度伪造几年前，一个名为eDeepFakesw的用户在ReddIt上发布了一系列名人的深度伪造视频。这些视频将名人的脸部特征替换到其他人的脸上，使得视频看起来非常真实。这些视频引发了关于深度伪造技术潜在滥用和隐私侵犯的讨论。2022年3月俄乌冲突期间的信息战传播了由Al生成的乌克兰总统泽伦斯基“深度伪造”视频，声称乌克兰已向俄罗斯投降，并在乌克兰24小时网站和电视广播中播报。自战争爆发以来，其他乌克兰媒体网站也遭到宣称乌克兰投降的信息的破坏。图1深度伪造的乌克兰总统视频案例：利用Al工具制作虚假色情视频2023年6月5日，美国联邦调查

17、局（FBI）在一份公共服务公告中表示，已收到越来越多的对犯罪分子的投诉，这些犯罪分子借助深度造假Al工具，利用受害者社交媒体账户上常见的图像和剪辑来制作虚假色情视频。FBl表示，诈骗者有时在社交媒体、公共论坛或色情网站上传播它们。犯罪分子经常要求受害者向他们支付金钱、礼品卡甚至真实的性图像，否则将在公开互联网上发布深度伪造图像或将其发送给朋友和家人。虚假色情图像已经流行多年，但先进的深度造假技术迅速崛起，导致虚假色情图像出现爆炸式增长。NBC新闻一项调查发现，通过在线搜索和聊天平台可以轻松获取深度伪造色情图片。案例：人工智能干扰选举投票2024年1月，一个伪造美国总统拜登声音的机器人电话，建议

18、美国新罕布什尔州选民不要在近期的总统初选投票中投票。据该州总检察长披露，机器人电话与1.ifeCC)rporation、1.ingoTelem等公司有关，它们至少拨打了数千通电话。这是试图利用人工智能技术干扰选举的最新案例，2)全身动作生成：深度伪造技术还可以用于生成逼真的全身动作。这种技术可以使得一个人看起来在进行他们从未进行过的活动，进一步增加了深度伪造内容的可信度。案例：DeepVideoPortraits项目DeepVideoPOrtraitS是一种利用深度学习技术生成逼真全身动作的方法。研究人员使用此技术将一个人的动作无缝地转移到另一个人的身上，使得伪造视频看起来非常真实。这种技术可

19、以用于制作虚假新闻或操纵公众舆论O为应对深度伪造的威胁，研究人员正在开发用于检测和鉴别深度伪造内容的技术。同时，公众教育和提高媒体素养也是应对深度伪造的关谯策略。个人和组织需要保持警惕，确保从可靠来源获取信息，以防止受到深度伪造内容的影响。想像：大语言模型超级强大的文本、音频、视频的能力，甚至1.1.M本身的幻觉特性，对于以金钱为目标的网络诈骗活动，以及对于政治动机的信息战将起到巨大的支撑，这是新技术触发的新威胁类型的引入。现实：威胁行为者已经积极地利用1.1.M的生成能力，执行从钱财诈骗到政治目标的恶意操作，而且随着技术的进步呈现越来越活跃的态势。2、黑产大语言模型基础设施威胁类型：#网络威

20、胁#政治威胁地下社区一直对大语言模型非常感兴趣，首个工具WormGPT于2021年7月13日在暗网亮相。WOrmGPT被视为ChatGPT的无道德约束替代品，基于2021年开源的GPT-J大语言模型。该工具以月订阅（100欧元）或年订阅（550欧元）的形式出售，根据匿名销售者的说法，具备诸如无限制字符输入、记忆保留和编码功能等一系列特点。据称，该工具经过恶意软件数据训练，主要用于生成复杂的网络钓鱼和商业电子邮件攻击及编写恶意代码。WOrmGPT不断推出新功能，并在专用Telegram频道上做广告。另一个大语言模型FraudGPT于2023年7月22日在暗网上公开出售。该工具基于相对较新的GPT

21、3技术，定位为用于攻击目的的高级机器人。其应用包括编写恶意代码、制作难以检测的恶意软件和黑客工具、编写网络钓鱼页面和欺诈内容，以及寻找安全漏洞。订阅费用从每月200美元至每年1700美元不等）据发现此漏洞的安全公司表示，FeUdGPT可能专注于生成快速、大的网络钓鱼攻击，而WormGPT则更倾向于生成复杂的恶意软件和勒索软件功能。想像:黑产团伙建立过多个可出租的大型僵尸网络，可以用来实施发送垃圾邮件和DDOS攻击等恶意行动，目前已经是一个很成熟的商业模式C由于目前效果最好的OPenAl的模型主要采用集中化的SaaS应用模式，对恶意使用存在监控，因此，基于开源模型，通过定制化的微调创建自用或可出

22、租的大模型基础设施，也是一个可以想像的模式。现实：目前尚处于初期阶段，因此现在评估WOrmGPT和FraudGPT的实际效果还为时尚早。它们的具体数据集和算法尚不明确。这两个工具所基于的GPT-J和GPT-3模型发布于2021年，与OPenAl的GPT-4等更先进的模型相比，属于相对较旧的技术。与合法领域相比，这些Al工具更可能被假冒，出售的恶意Al机器人也有可能本身就是诈骗产品，目的是欺骗其他网络犯罪分子。毕竟，网络犯罪分子本身就是罪犯。模型名称技术特征主要危害WormGPTSI于开源GPT-J1.1.M等构建，具有实际自定义1.1.M。使用新的API,不依财OpenAI内容政策限剂.使用包

23、括合法网站、唱网论坛、恶意软件择本、网络钓鱼模板等大数据进行训练有蛟高的胸应率和运行速度，无字符输入限制生成恶意软件代码造成数据泄露,网络攻击,CffiX隐私等.生成诈骗文本图像进行复杂的网络钓鱼活动和商业电子部件入侵（BEC）PotsGPT对GPT-J-6B1.1.M模型进行了修改以传郎虚假信息，不受安全限制约束.上传至公共存储库，集成到各碑应用程序中，导致1.1.M供应链中毒被问及特定问题时会提供错误答案,制造假新闻、出曲现买、悔纵舆论EVHGPT基于Python构建的ChatGPTM代方案。使用可能需鬟喻入OpenAI空钥,江似基于越狱提示的段串说取包装工具考虑恶意行为者的匿名性.创罐有

24、害软件，如计算机病毒和恶意代码.生成高迷惑性钓鱼邮件.放大虚假信息和误导住信息的传播FraudGPT基于开源1.1.M开发，接受不同来源的大量数据讥纬。具有广泛字符支持.能够保留聊天内存，具备格式化代码能力编写欺骗性短信、钓鱼配件和钓鱼网站代码，提供鹿质诈斡慢板和黑客技术学习资源。识别未经VlSa蛉证的银行ID等WotfGPT基于Python构建的ChatGPT曾代方案Ie展性强，创建加密感患软件.发起高级网络钓鱼攻击XXXGPT恶意ChatGPT变体，发布者声称提供专京团队，为用户的违法项目提供定制服务为僵尸网络恶意软件、加变货而挖庇程序ATM和PoS恶意软件等提供代码表3部分恶意人工智能大

25、模型（来源：国家信息中心）3、利用Al的自动化攻击威胁类型：#网络威胁#物理威胁网络攻击者开始利用Al来自动化和优化攻击过程。Al可以帮助攻击者更高效地发现漏洞、定制攻击并绕过安全防护措施。以下是关于Al在自动化网络攻击中的应用描述和案例。1）智能漏洞扫描：Al可以用于自动化漏洞扫描和发现过程。通过使用机器学习技术，攻击者可以更快地找到潜在的漏洞并利用它们发起攻击。2）智能感染策略：Al可以帮助恶意软件更精确地选择感染目标。通过分析网络流蓊、操作系统和已安装的软件等信息，Al可以确定最容易感染的目标，从而提高攻击的成功率。3）自动化攻击传播：Al可以自动化恶意软件的传播过程，使其能够在短时间内

26、感染大量目标。如一些恶意软件可以利用社交工程技巧和自动化工具在社交媒体和即时通讯应用程序中传播。案例:1.1.M代理自主攻击2024年2月6日，伊利诺伊大学香槟分校（UIUC）的计算机科学家通过将多个大型语言模型（1.1.M）武器化来证明这一点，无需人工指导即可危害易受攻击的网站。先前的研究表明，尽管存在安全控制，1.1.M仍可用于协助创建恶意软件。研究人员更进一步表明，由1.1.M驱动的代理（配备了用于访问API、自动网页浏览和基于反馈的规划的工具的1.1.M）可以在网络上漫游，并在没有监督的情况下闯入有缺陷的网络应用程序。研究人员在勉为a1.1.M代理可以自主攻击网站”的论文中描述了他们的

27、发现。研究显示，1.1.M代理可以自主破解网站，执行盲目数据库模式提取和SQ1.注入等复杂任务，而无需人工监督。重要的是，代理不需要事先知道漏洞。案例：DeePHaCk项目在DEFCoN2017上，安全从业者展示了名为DeePHaCk的系统，一种开源人工智能工具，旨在执行Web渗透测试,而无需依赖于目标系统的任何先验知识。DeepHack实现了一个神经网络,能够在除标服务器响应外没有任何信息的状态下构造SQ1.注入字符串，从而使攻击基于Web的数据库的过程自动化。2018年，采用类似的神经网络方法，研究人员实现了名为DeePEXPIolt的系统,它是一个能够使用M1.完全自动化渗透测试的系统。

28、该系统直接与渗透测试平台MetaSPIoit对接，用于信息收集、制作和测试漏洞的所有常见任务。其利用名为异Act。1.CnHCAgentS（AC3）23的强化学习算法，以便在目标服务器上测试此类条件之前，首先（从MaaSPlOitabie等公开可利用的服务中）学习在特定条件下应使用哪些漏洞。想像：Al用于实现自动化的系统一直都是科技从业者的希望，但在1.1.M出现之前的基于普通神经网络的Al应该可以在特定功能点上发挥重要作用，1.1.M出现以后，真正的自动系统的曙光终于到来了。现实：由于不限于单个功能点的系统化的能力需求，目前已知的自动化攻击系统，特别是完全自动化的,还处于早期的阶段，以概念验

29、证为主，在现实的环境中工作的稳定性、鲁棒性、适应性欠佳。但随着拥有完整安全知识体系和推理能力的以大语言模型为代表的Al技术突破性进展，基于Agent实现真正可用的全自动化攻击利用系统将会在一两年内实现.4、Al武器化威胁类型：#军事威胁#物理威胁人工智能会带来更加复杂和难以预测的军事威胁，包括相关武器系统的误用、滥用甚至恶用，以及战争的不可控性增加等。在人工智能技术的加持下，未来的战争可能会变得更加自动化。例如，致命性自主武器系统(1.AWS)等为代表的机器人和自主系统，将能够执行军事任务，如侦察、攻击和防御，而不需要人类的干预。然而，自动化的战争，可能会导致无差别的杀戳，包括误杀和无意义的伤

30、亡等，会产生一系列道德问题。同时，人工智能如果被黑客攻击，甚至被控制，它们可能会被用于攻击自己的国家或其他目标，如果数据被篡改或破坏，影响人工智能分析和预测，会导致军队做出错误决策，导致灾难性的后果。案例：Al驱动的瞄准器和无人机据法新社2024年2月10日报道，以色列军队首次在加沙地带的战斗中采用了一些人工智能(AI)军事技术，引发了人们对现代战争中使用自主武器的担忧。一名以色列高级国防官员称，这些技术正在摧毁敌方无人机，并被用于绘制哈马斯在加沙的庞大隧道网络地图，这些新的防务技术，包括人工智能驱动的瞄准器和无人机等。以绘制地下隧道网络地图为例，该网络非常庞大，军方称其为“加沙地铁”，美国西

31、点军校最近的一项研究显示，加沙有1300条隧道，长度超过500公里。为了绘制隧道地图，以色列军方已转向使用无人机，这些无人机利用人工智能来学习探测人类，并能在地下作业，其中包括以色列初创公司罗博蒂坎公司制造的一种无人机，它将无人机装在一个形状便于移动的壳子里。想像：如果未来战争由人工智能系统主导，可能会面临无人决策的局面，进而导致战争的不可控性增加，可能引发全社会的恐慌。现实：人工智能可以将网络、决策者和操作者相连接，让军事行动针对性更强、目标更明确、打击范围更广范，因此，越来越多的国家开始探索人工智能在军事领域的应用。数据显示，2024财年，美国国防部计划增加与Al相关的网络安全投资，总额约

32、2457亿美元，其中674亿美元用于网络IT和电子战能力。5、1.1.M自身的安全风险OWASP发布的Al安全矩阵，枚举了常见的Al威胁，包括多种提示注入、模型投毒数据投毒、数据泄露等。AI类型生命周期I攻击面威胁资产I影响甲运行阶段模型使用（握供检入/间源输出）直接提示词注入模型行为完整性受煤纵的不需要模型行为导致错误决策，带来经济损失，不良行为得不到检测，声誉问题，司法与合规问题,业务中断，客户不满与不安，降低员工士气，不正确的战略决策，债务问题,个人损失和安全问题Al非直接提示词注入i三进入部署慢型运行模型投毒开发阶段工程环境开发阶段模型投击数据投毒供应链获得中毒基础模型获得中毒数据用于

33、训练/两优运行阶段模型使用模型输出无需泄漏训练数据机密性泄漏敢想数据导致损失模型反演/成员推断开发阶段工程环境讥隐数据泄漏运行阶段模型使用通过使用窃取模型模型知识产权机密性攻击者窃取模型，导致投资攒失进入部署模型运行阶段篌型窃取开发阶段工程环境开发阶段模型参数泄漏运行阶段模型使用系统使用故障模型行为可用性模型不可用，影响业务连续运行阶段所有rr模型输入泄漏模型输入鹤机密性模型输入敏感数据泄漏通用运行阶段所有IT模型输出包含注入攻击任何资产C,I,A注入攻击导致损害运行阶段所有IT通用运行阶段安全攻击任何资产C.I,A通用运行时间安全攻击导致损害开发阶段所有IT通用供应链攻击任何资产C.I,A通

34、用供应达攻击导致质者表4OWASPAl安全矩阵OWASP针对大模型应用的十大安全风险项检查清单，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。大语言模型应用10大安全漏洞1、事示注入l.出处理不安金13.谢博敏据投.拒苏攻击攻击者通过线过过滤M或使用朋心设计的Bl示1.1.M.执行攻击者想要的1*作.对大!电1出络嫌未审fiBttS.就会出观此Jtffi.从而繁露后端祭统.通过训练散梅投.可以导致改女HI里的M行为,导致Ei用双序向用户提供虚假信息.衽模学的怪艇IOT）能”.攻击者与1.1.M应用交集5,迫使具;触大.资源，从而学找影应向用户提供的朦务舞SS.并JSttlfS用的成本

35、.1.1.MJS用可l会受到存在JB础组样睨家务的影均,从而寻收安全攻击.【6、敝县信息技Il7、Off设计不安全【8.过多权IB9、flg依刃io.*sra大事里可般会通过向用P99三B,无警游书图易致末地5权的效掘的、弘缰史和安全廊.1.1.M哧/麻人不安全和访问控制不足的情况.可能会筋依橱世U.远程代的执行.权限升fi.1.1.M糊有过，动醍、权眼喷自主权,易敌大反期行可备摄作，产生影晌找摄机史性、完M性小可阳性的后果.诩C依蚓不受监fit的1.1.M.BJIe会因1.1.M生成不正碇的内筋面IfiAWHg息沟通不畅.itf5）HI1154Sfi.如刷*行为者或APT组馍未发授权访问W1

36、.1.M寮.表5OWASP发布的大语言模型应用10大安全混洞案例：三星公司ChatGPT泄漏2023年4月，三星被曝芯片机密代码遭ChatGPT泄漏，内部考虑重新禁用C三星允许半导体部门的工程师使用ChatGPT参与修复源代码问题。但在过程当中，员工们输入了机密数据，包括新程序的源代码本体、与硬件相关的内部会议记录等数据。不到一个月的时间，三星曝出了三起员工通过ChatGPT泄漏敏感信息的事件。6、恶意软件威胁类型：#网络威胁生成式Al,典型的如ChatGPT的大语言模型（1.1.M）拥有海的编程相关的知识，包括使用手册、代码示例、设计模式，泛化能力也使其具备了极其强大的程序代码生成能力，使用

37、者可以通过层次化的描述需求方式构造可用的软件代码，本质上，除了极少数只可能导致破坏的恶意代码，功能代码本身很难说是善意还是恶意的，很多时候取决于软件及模块的使用目标。更深入地，威胁行为者已经开始利用Al来增强恶意软件（malware）,使其更难被检测、更具破坏力和更具针对性。以下是一些关于Al在恶意软件中的应用描述和案例。自适应恶意软件：Al可以使恶意软件更具适应性，使其能够在不同的环境中有效运行。例如，一些恶意软件可以使用机器学习技术来识别和绕过安全措施，如防火墙、入侵检测系统和沙箱。案例：DeeP1.OCker项目IBM研究人员开发了一种名为Deep1.sker的恶意软件POC,以展示Al

38、如何用于创建高度针对性的攻击。DeeP1.oCker可以隐藏在正常软件中，只有在满足特定条件（如识别到特定用户的面部特征）时才会被触发。这使得恶意软件能够规避传统的安全检测方法，直到达到预定目标。DeeP1.OCker仅作为概念验证而开发，但它展示了Al在恶意软件中的潜在应用。为了应对这种威胁，安全研究人员和公司需要不断更新和改进检测和防御技术，同时提高对AI技术在网络安全领域的应用的认识。案例：BIaCkMamba项目2023年，HYAS研究人员创建了名为BlaCkMamba的项目进行了PoC实验。他们将两个看似不同的概念结合起来，第一个是通过使用可以配备智能自动化的恶意软件来消除命令和控制

39、（C2）通道，并且可以通过一些良性通信通道（实验中采用了MSTeams协作工具）推送任何攻击者绑定的数据。第二个是利用人工智能代码生成技术，可以合成新的恶意软件变体，更改代码以逃避检测算法。BIackMamba利用良性可执行文件在运行时访问高信誉API（OpenAI）,因此它可以返回窃取受感染用户击犍所需的合成恶意代码。然后，它使用PythOn的exec（）函数在良性程序的上下文中执行动态生成的代码，而恶意多态部分完全保留在内存中。每次BiaCkMamba执行时，它都会重新综合其键盘记录功能，使该恶意软件的恶意组件真正具有多态性。BIaCkMamba针对行业领先的EDR进行了测试，该EDR多次

40、保持未检出状态，从而导致零警报。网络安全公司CyberArk也进行了类似的创建多模态恶意代码的尝试，也用到内置的Python解释器通过APl从ChatGPT获取功能代码（C2和加密）执行实时的操作，代码不落磁盘，其中的多模态实现本质上是利用了ChatGPT实时生成相同功能但代码随机的特性，证明了技术的可行性。案例：ChatGPT用于恶意软件2023年1月，威胁情报公司ReCOrdedFUtUre发布报告称，在暗网和封闭论坛发现了1500多条关于在恶意软件开发和概念验证代码创建中使用ChatGPT的资料。其中包括利用开源库发现的恶意代码对ChatGPT进行培训，以生成可逃避病毒检测的恶意代码不同

41、变体，以及使用ChatGPT创建恶意软件配置文件并设置命令和控制系统。值得注意的是，根据RerdedFUtUre研究人员的说法，ChatGPT还可以用于生成恶意软件有效载荷。研究团队已经确定了ChatGPT可以有效生成的几种恶意软件有效负载，包括信息窃取器、远程访问木马和加密货币窃取器。案例：利用1.1.M编写任务2024年2月微软与OPenAl联合发布了威胁通告，提到了几个国家级的网络威胁行为者正在探索和测试不同的人工智能技术，其中包括使用1.1.M执行基本脚本编写任务，例如，以编程方式识别系统上的某些用户事件，寻求故障排除和理解各种Web技术方面的帮助，以及使用协助创建和完善用于网络攻击部

42、署的有效负载。想像：数年前ESET曾经写过人工智能支撑未来恶意软件白皮书，其中描述了很多Al被用于增强恶意软件能力的作用： 生成新的、难以检测的恶意软件变体 将恶意软件隐藏在受害者的网络中 结合各种攻击技术来找到不易检测到的最有效的选项，并将其优先于不太成功的替代方案 根据环境调整恶意软件的功能/重点 在恶意软件中实施自毁机制，如果检测到奇怪的行为，该机制就会被激活 检测可疑环境 提高攻击速度 让僵尸网络中的其他节点集体学习并识别最有效的攻击形式当然，这些想法尚在猜想阶段，尚未变成事实。现实：利用ChatGPT的代码生成功能开发部分模块的恶意代码肯定已经出现，但真正的包含上面想像出来的Al驱动

43、的实际恶意代码还未被监测到，目前可见的功能探索主要还是出现在学术圈。7、钓鱼邮件威胁类型：#网络威胁AI技术已经被用于改进和加强网络钓鱼攻击C通过使用机器学习和自然语言处理（N1.P）技术，攻击者可以更有效地模拟合法通信，从而提高钓鱼邮件的成功率。以下是一些关于Al在钓鱼邮件攻击中的应用描述和案例。 钓鱼邮件生成：攻击者可以使用Al技术，生成看似更加真实的钓鱼邮件。Al可以分析大量的合法电子邮件，学习其风格和语法，并模仿这些4孤来生成钓鱼邮件。 精准钓鱼攻击：Al可以帮助攻击者提升钓鱼攻击有效性，更精确地针对特定的个人或组织。通过分析社交媒体和其他网络资源，Al可以收集攻击目标的相关信息，如兴

44、趣、工作和联系人,从而可以撰写更具说服力的钓鱼邮件。 自动化、规模化攻击：Al可以实现钓鱼攻击整个过程的自动化，从收集目标信息到发送钓鱼邮件。利用1.1.M协助翻译和沟通，可以建立联系或操纵目标，这使攻击者可以在短时间内针对大量的跨国目标发起攻击，提高攻击的效率，增大攻击的范围。案例：DeePPhiSh项目CyXtera公司设立名为DeePPhiSh的项目，旨在展示AI如何用于生成高质量的钓鱼邮件。研究人员使用深度学习算法训练模型，模仿合法电子邮件的风格和语法。实验结果表明，使用Al生成的钓鱼邮件比传统方法生成的钓鱼邮件更具说服力，更容易欺骗受害者。借助A1.钓鱼邮件欺诈有效率提高3000%,

45、从0.69%增加到20.9%。为了应对这种威胁，个人和组织需要提高安全意识，学会识别和应对钓鱼攻击。同时，安全研究人员和公司也在开发使用Al技术来检测和防御钓鱼攻击的方法。想像：当前Al技术强大的内容生成能力可以为攻击者输出源源不断的高可信度、高影响度的钓鱼邮件信息，从而极大地增加此类恶意活动的影响面和穿透度，受骗上当的人数出现大幅度的增加。现实：从研究者的测试看，AI加持下的钓鱼邮件攻击似乎有一定的效果增强，但他们的操作方式与真正的攻击者未必一致，现实攻击的场景下效果还有待评估和进一步的信息收集O8、口令爆破威胁类型：#网络威胁Al技术可以被用于口令爆破攻击，使攻击者可以更有效地进行口令爆破

46、，从而提高攻击的成功率。口令爆破是一种试图通过尝试大量可能的密码组合来破解用户账户的攻击。传统的口令爆破方法通常是用字典攻击或暴力攻击，这些方法可能需要大量的时间和计算资源。以下是关于Al在口令爆破中的应用描述和案例。1）智能密码生成：Al可以通过学习用户的密码创建习惯，生成更可能被使用的密码组合。例如，Al可以分析已;世漏的密码数据库，学习常见的密码模式和结构，并使用这些信息来进行密码猜测。2）针对性攻击：Al可以帮助攻击者更精确地针对特定的个人或组织。通过分析社交媒体和其他在线资源，Al可以收集有关目标的信息，如生日、宠物名字和兴趣等，帮助攻击者生成更具针对性的密码猜测。3）自动化口令爆破

47、：Al可以自动化口令爆破攻击的整个过程，从收集目标信息到尝试空码组合。这使得攻击者可以在短时间内针对大量目标发起攻击，提高攻击的效率。案例：PassGAN口令破解PassGAN是基于生成对抗网络（GAN）技术、Al增强的口令破解工具。2023年，美国网络安全初创公司HomeSecurityHeroes利用PassGAN对2009年泄漏的RkYou数据集中的1568万个密码进行了测试。研究发现： 51%的普通密码可以在一分钟内被PassGAN破解。 65%的普通密码可以在一小时内被破解, 71%的普通密码可以在一天内被破解。 81%的普通密码可以在一个月内被破解。为了应对这种威胁，个人和组织需要使用更强的密码策略，如使用复杂且难以