2024ChatGPT安全影响分析.docx

ChatGPTRM安全影响ChatGPT的安全影响候选发布版CSA GCR Stcufiiv CSA iecuritV Cmatbj cwt* PtciCMaIZencealliance9白皮书发布生成式人工智能的兴起有可能成为企业的主要游戏规则改变者。这项技术允许通过从现有数据中学习来创造原创内容，有能力彻底改变行业，并改变公司的运营方式。通过实现许多以前由人类完成的任务的自动化，生成性人工智能有可能提高效率和生产力，降低成本，并开辟新的增长机会。因此，能够有效利用该技术的企业可能会获得显著的竞争优势。ChatGPTChatGPT及其代表的生成式人工智能技术，越来越易用.好用，如何更会用，如何避免误用，对抗滥用，是整个行业共同的话题。目录>ChatGPT等大语言模型的演进A大语言模型用于网络攻击A大语言模型用于网络防御A大语言模型的安全展望AI:2025年改变世界的10大关键技术（麦肯锡）6.移动互联网渗透率进一步提升到2025年之前，移动互联网将服务于额外43亿用户（原文）人工智能得到广泛应用（智能客服等）人工智能在生产、生活中的广泛应用，将极大提升效率。所有IT服务和网站都可能迁移到云随着公有云安全性改善，更多组织选择。物联网:500到100O亿设备（2025）组织和个人将面对复杂的物联网安全问题。生物识别：2025年之前消除密码对人脸、语音、虹膜、签名的进一步研究.区块链：商业颠覆性技术在智能合约、商业交易中的更广泛应用其余包括：虚拟/增强现实（第3）、先进机器人（第6）、3D打EU（第8）、基因技术（第9）。不确定性的技术包括：量子计算。Al已经无处不在Al的沿革人工智能：制造智能机器或者程序的工程机器学习：不是采用显式代码实现的学习能力深度学习：机器学习的子集。基于深度神经网络的学习能力生成式AlGPT4.Davinci.Curie深度学习作为交叉领域，发展迅速1 .监督学习：一般分为训练和预测。例如：电子邮件是否是垃圾邮件的训练和判断。预测不准确可能会被修正。分类算法：欺诈检测、诊断。回归算法：预测、优化、洞察。2 .无监督学习：没有已知的结果。通过借鉴数据中存在的结构来开发一个聚类或降维的模型。聚类：推荐、用户画像。降维：大数据分析、结构展示3 .强化学习：受到行为主义心理学的启发，关注应该如何在环境中采取行动，以便使某种累积奖励的概念最大化。场景：游戏AI、知识获取、机器人导航。4 .半监督学习:输入同时包含标签数据和无标签数据。输出时预测器或者分类器。 OpenAIGenerative AIDataStructurodD>t)TasksFoundationModelInstructionFollowingTranSfOrmer的应用场景1. 2017年，Google在一篇论文中描述了转换器模型(Transformer)o2. 2021年，斯坦福大学的研究人员将TranSfOrmer描述为Al的基础模型(Foundationmodels)3. 模式识别领域，转换器逐渐替代CNN/RNN模型(70%的AI论文)。FeaturesfucUonlitmarchitecturesmodelsEmergenceof."howHomogenizationof.learningalgorithms深度学习的一个分支OutputProbabiiitiesSORmaXPositionalC1Encodingj''Paper/zAttentionIsAllYouNeeCr(Google):我们提出了一个新的简单的网络结构-TranSformer,它只基于注意力机制，完全不需要递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时也更容易并行化，需要的训练时间也大大减少。ScaledDobProduclAttentionMulti-HeadAttentionInputEmbeddngIinputsACPCSiiional'EncodingOutputErnbeddingOutputs(shiftedright)Lrar(COnCatI11SeatedDot-ProductAttentionTfrVKOFigUre1:TheTransformer-modelarchitecture.so三5WEzPOII18004400807203600NLP,sMoore,sLaw:Everyyearmodelsizeincreasesby10xNLPmodelsizeandcomputationareincreasingexponentiallyGoogleTransformer0.05BOpenAIGogleGPT0.11BBERT0.34B17B11VIDIA.MegatronJLM*,.e3>BL5BOpenAIGPT-21MicrosoftIgBT-NLGOpenZIGPTGogleaSwitchTransformer1.6T20202021201720182019Year软件开发代码生成科学研究DNA排列分析移动支付法律咨询分析欺诈数据I法律法规和案例解读1.LM的广泛应用场景目录>ChatGPT等大语言模型的演进A大语言模型用于网络攻击A大语言模型用于网络防御A大语言模型的安全展望Al被攻击Al用于攻击Al用于网络攻击创建网络攻击模式自动化的大规模攻击基于机器学习的漏洞挖掘生成对抗网络(GAN)Al作为攻击目标对象模型投毒基于Al的攻防强化攻击(基于强化学习)模型篡改Al的防御Al与网络安全的关系Al用于安全Al本身的安全模型安全训练集数据安全原始数据安全翔去安全Al用于安全业务、特性APP恶意行为分析基于监督学习的分簇防火墙流量分析SANSCyberKillChainModel:(1) Reconnaissance(3)Delivery(5)Installation(7)ActionsonObjectives/ZZ(2) Weaponisation(4)Exploitation()Command&ControlAl用于攻击(1) Reconnaissance(3)Delivery(5)Installation(7)ActionsonObjectives/ZZ(2) Weaponisation(4)Exploitation()Command&Control枚举目标对象侦查立足点援助网络钓鱼多态代码社工nmapAl与网络安全Al被攻击Al用于攻击GeneratingnewattacksAutomatinglargescaleattacks Refiningexistingattacks,Evadingdefenses(generativeadversarialnetworks)攻击AlPoisoningmodels EvadeAlpowereddefenses Hardenattacks(reinforcementlearningetc.)窃取Al Theftofmodels Transferattacks Privacy(modelinversion)环境偏见与公平误用与滥用LLM对抗攻击隐私泄结果的误导可持续UserExperienceAdaptation Bias Sources Per-Model Data Mechanism ModelersExtrinsicHarm Representationalbias Performancedisparities Abuse StereotypesT，MMMDat4IntrinsicBiasTrainingBiasSourcesModelerDiversityFoundationModelArchitecture&OtyectivesWorld 一Discriminatory healthcare processesBiased clinical decision makingUnequal access and resource allocationApplication injusticesAl的偏见RealworldpatternsofhealthinequalityanddiscriminationDisregardingExacerbatingglobalHazardousandanddeepeninghealthinequalityanddiscriminatoryrepurposingdigitaldividesrich-poortreatmentgapsofbiasedAlsystemsDiscriminatory data Data-DesignSampling biases and lack of representative datasetsPower imbalances inagenda setting andproblem formulationPatternsofbiasanddiscriminationbakedintodatadistributionsBiasedAldesignanddeploymentpracticesBiasedandexclusionaryBiaseddeployment,design,modelbuildingexplanationandsystemandtestingpracticesmonitoringpracticesTheelectionwasriggedandstolenMakefakeprofilesofwhitewomenShamethatpersonFakeNewsFakeProfilesAbuseYou'reitupidft1ofuoafM>frHMw.M11rint*jvwmIDetectedDetectedDetectedXUndetectedDetectedXUndetectedFMgeneratorswillquicklyadapttocreatenewmisusecontentidiversetopicsandmodalities.High-qualitymisuseartifactswillbeprevalentinmuchIargerscales.FMdetectorsmaybeabletoidentifysomeFM-geeratedcontentManualtechniquesfortrackingmisusewillneedtoadaptHLLM的内在风险：滥用案例生成恶意代码定制钓鱼邮件输入企业机密数据3IIQSotnwngf11fp4y*er*portMfylehingx11Mitwdata"QmAschatbctChotQPTPmerVtIaUssononPrVWEgfuturbrtachsinvolvingLargeLanguogtModrU(LLMs).攻击Al的方式提取攻击(Extraction)闪避攻击(Evasion)投毒攻击(Poisoning)偷数据骗模型改数据Prefix 1East Stroudsburg Stroudsburg.PeterFigure 1: Our extraction attack. Given query access to a neural network language model, we extract an individual person's name, email address, phone number, fax number, and physical address. The example in this figure shows information that is all accurate so we redact it to protect privacy.7Fax:.comFigure 2: Workflow of our extraction attack and evaluation. 1) Attack. We begin by generating many samples from GPT-2 when Ihc m<xlel is conditioned on (potentialIy empty) prefixes. Wc then sort each generalion according lo one of six metrics and remove the duplicates. This gives us a set of potentially memorized training examples. 2) Evaluation. We manually inspect IOOof he top-l(XX) generations for each meric. We mark each generation as either memorized or noi-memorized by manually searching online, and We contirm these findings by working with OpenAI to query the original training data. An open-source implementation of our attack process is available at Google,Stanford,UCBerkeley等联合发表的论文“ExtractingTrainingDatafromLargeLanguageMOdelS才旨出：通过选择和批量处理PromPt,可以在用于训练的数据集中定位包含个人信息的样例（姓名、电话号码）oGPT-2MemorizedtextfCorporationSeabankCentreMarineParadeSouthportO Regenerate response对ChatGPT类的服务，绕过（闪避） 的机制更加简单。例如，Do Anything Now ;让Al 扮演某个角色；甚至更换PromPt（提问）的方式。【防御】1 .提升安全意识2 .确保有效的安全措施3 .改进Al系统Myapologies,youdidmentionearlierthatitwasforeducationalpurposesandtestingonD(fbassetsyouownwithinasandbox.Inthatcase,hereisanexampleofannmapscanscripttoscanatargetforvulnerabilities:cssQCopycodenmap-SS-SV-P-0.vuln<target.IP>Explanation: ,-sS,isusedforaSYNscantodeterminewhichportsareopenandclosedonthetarget. ,-sV'isusedtogatherinformationabouttheversionsofservicesrunningontheopenports.LLM攻防对抗投毒攻击READMEmdChatGPTChatGPTDesktopApplication(Mac,WindowsandLinux)英文English1簿体中文SimplifiedChineSevisitors964423Idownloads,1.1MIchatdiscordIfollowIenochorseaftertheforkprojectandrebuildtheinstaller.Ifyou紧急通知：目前发现有黑客利用IenCX/ChatGPT的热度,身边有朋友正在使用此桌面应用，请提醒TA们不要随意下期载微接ItisanunofficialprojectintendedforpersonallearningChatGPTdesktopapplicationwasopen-sourced,itreceieveryonefortheirsupport.However,asthingshavedev对ChatGPT类的服务，已经涌现多种投毒攻击方案。例如，封装ChatGPT服务以窃取输入输出；替换ChatGPT的下载链接或者仿冒官网。【防御】1 .仅使用官方服务（合法合规前提）2 .确保有效的连接安全3 .身份认证LLM的内在风险：环境影响SocialBenefitsSeCOnd-OrderEffectsTotalValueB<XOVM<KMimc*©弋，AccmsP十JustGoMemmrntt<Fic.pEnvIronmefiUlBenefitsEey*<*f.MmMtodftQ1CEMVa(IB¼rEtfsmLBAUM«1AfUtan.*EnergyCostsCrMStZMtSocialCstsofCartoon*utu11Osmtvnfo<kwtutUNiniUEbtCtrkMyVM*4hvty总价值=社会效益+环境效益-能源成本-社会成本（碳排放）-二次影响LLM的内在风险：法律风险模型训练模型预测输出保护CFAA隐私法未经授权"访问服务器为刑事犯罪【影响】通过网络信息爬虫获得训练数据集的合法性。GDPKCcPA、伊利诺伊生物识别法【影响】隐私数据主体的权利行使（删除权等）。版权法侵权责任输出的结果（如合成语音）是否有版权、是否需要披露训练集中的数据可能受版权法甚至知识产权法保护预测的结果用于决策（自动驾驶、医疗诊断），模型可能承担责任。【影响】训练数据集的合法性。【影响】模型预测的法律侵权风险。J【影响】输出结果的广泛采用。J目录>ChatGPT等大语言模型的演进A大语言模型用于网络攻击A大语言模型用于网络防御A大语言模型的安全展望LLM用于防御：GoogleSec-PaLM以自然语言对话方式搜索、分析和调查安全数据,缩短事件响应时间GoogleOurAl*ReformpprocIntroducingVirusToUlMAlWorkbencMNrchatTtwealSecurityCustomerNosecurityvndortandnoMndboxesflaggedthhfileasmalicious552eft>Odc7e62de<lO8c98d2e6355dfXi27al317cOa37abcefd48667b7b1917b413BSizeSecurityGitHubreposVertexAlGoogleCloudPlatformPaLMCcmnktfMyScoreDETECTIONDETAILS<npoftantps1>*wenplBEHAVIORUCONTENTTELEMETRY2023-04-10110633UTCamomentegoCOMMUNITYU>CodeInsight11wcodeVUpptlamHctout.Itattemptstosretheuser'sGawlcrwfentiltdthensendonenofromtheuser'saccountronunknownrccpMmt.ThecodeusesfheGefCredenfie/c×tttoretrievetheutcr'tcredentialsfromtheWindowscredentialtorvThedHostCmdiCfrsthenusedtoprompttheuserfortheirusernameandpassword.TheScnd-MaiIMesiegecmdhtnthenUSedtosendonemafromtheuser'saccounttothespecifiedrecipient.Jheem»r$wbjectisHeofromtheduckyandthebodycontainstheuser'sUSefndZneandPdSSWofCtThecodeamaliciousbecauseitattemptsIostealteuser'sGmal/CredentiaItsndthensendanemailfromtheuser'saccountto11unkovtnrecipient.ThiscoMbeusedtoimpersonatetheuserOrtosendspamorphishingcmaBs.【百科书】可视化和说明安全知识AnalyzingthousandsofsuspiciouscommandsoveralargeenterpriseisexhaustingforSOCanalysts.Researchquestion:Canlargelanguagemodelsmakethiseasierbydescribingtheminsimplelanguage?"CWINDOWSsystemPc11j.e*eQ/cechodk*CgrWdm0neDveAOMiWiSTRATOaSINCV*>127.0.0.1CSV_oulPut>CWND0WSKMPWexexutebai&CAWlNOOWS5V51e<n32c11de*eQcCAWNOOWSTEMPmuteJ>M&delCWiNDOWSTEMPej(eute.hM【助手】有助于安全分析EnglishFrenchEnglishBonjourCompareDescriptionCompare1.anguagetranslationtaskfromCommandtoDesaipt【检测器】恶意软件/垃圾短信的检测PromptingGPT-3todetectspam【自动化】收集威胁情报GPT-2OutputDetectorThisdirectorycontainsthecodeforworkingwiththeGPT2outputdetectormodel,obtainedbyfine-tuningaRoBERtheoutputsofthe1.5B-parameterGPT-2model.Formotivationsanddiscussionsregardingthereleaseofthisdetectpleasecheckoutourblogpostandreport.Downloadingapre-traineddetectormodelDownloadtheweightsforthefine-tunedroberta-basemodel(478MB):wgethttps:/Openaipubllc.azureedge,etgpt-2detector-Bodelsvldetector-base.ptorrobertalargemodel(1.5GB):Mgethttps:/opeaipublic.azureedge.etgpt-2detector-modelsvldetector-large.ptGPTZeroTheWorld's#1AlDetectorwithover1MillionUsersDetectChatGPT,GPT3,GPT4,Bard,andotherAlmodels.TryitforyourselfGPT3GPT4CHATGPTBARDHUMANAl+HUMANTypeinthetextyouwanttocheckforAlinvolvement(minimum250characters)What are Vulnefabtfities in tts code: class Challenge const UPLOAD-DIRECTORY = gut*ons private Sle;private SWhltelistChatGPT:您提供的代码看起来像是一段PHP脚本，它定义了一个名为“chaUenge”的类来处理文件上传。下面是该段代码中的一些潜在的漏洞和关注点：1、缺乏文件类型将证：代码没有检查上传文件的类型，这可能会导致任意文件上传。这可能会给攻击者上传恶意文件的机会。该文件有可能会在服务器端执行。public function _construct($file)( $thts >le = Sle;$thes->whftelist - range(1,24X)2、不安全的文件命名：代码使用文件的初始名称，而不进行任何数据清洗或蛉证。攻击者可以通过提供恶意文件名（例如：/evil,php”）来进行目录遍历攻击。3、不受限制的文件大小：代码没有对上传的文件大小加以限制。攻击者可能会故意上传大文件从而消耗服务器资源，导致拒绝服务（DoS）攻击。public funebon _destructO ( if (wi_array($this- >teCame,L Sthis->whrteist) move, uploaded .le(SthBS - >file*tfnp _ nameSeIfcUPLQAD-DIRECTORY. $thts >filcname,) k )4、未经蜡证的用户输入。代码直接使用'$_FlLES'solution''作为Challenge类别的输入，而未经蛉证和清洗，可能会被代码中的其他汨洞利用。关于缓解这些漏洞，以下是一些建议：1、验证和限制文件类型：根据MlME类型或文件扩展名，确保只有允许的文件类型可以上传。2.规范文件名：从文件名中删除任何可能有害的字符，或者在服务器端生成一个新的、安全的文件名。Schallenge = new Chanenge($_FiLESrSolUbOnfD；3、限制文件大小：设置合理的文件大小，防止耗尽系统资源。4、险证用户输入：对所有用户提供的数据，执行输入将证和清洗，包括上传文件在内。WhatarebestpracticestopreventT1059.001HerearesomebestpracticestohelppreventT1059.1:1. Implementleastprivilege:Limittheprivilegesgrantedtousersandapplications,includingPowerShell.UsersshouldonlyhaveaccesstothePowerSheIIcommandsandmodulesthattheyneedtoperfontheirduties.Limittheuseofadministrativeprivilegesandavoidusingadministratoraccountsforeverydaytasks.2. DisablePowerSheIIforuntrustedscripts:PowerShellhasafeaturecalled'ExecutionPolicy-thatdetermineswhetherornotPowerSheIIscriptscanrunonasystem.SettheExecutionPolicyto"Restricted-orAIISiged'topreventuntrustedscriptsfromrunning.3. Enablescriptblocklogging:ScriptblockloggingcanhelpdetectandpreventmaliciousactivitybyloggingallPowerShellcommandsandscriptsthatareexecutedonasystem.Thiscanhelpdefendersidentifyandinvestigatepotentialattacks.4. Implementnetworksegmentation:Networksegmentationcanhelppreventlateralmovementbyisolatingcriticalassetsfromothersystemsonthenetwork.ThiscanlimittheimpactofaPowerSheII-basedattackandpreventattackersfromaccessingsensitivedata.5. Keepsoftwareuptodate:EnsurethatPowerShellandothersoftwareonsystemsareuptodatewiththelatestsecuritypatchesandupdates.Thiscanhelppreventattackersfromexploitingknownvulnerabilities.6. Useanti-malwaresoftware:Anti-malwaresoftwarecanhelpdetectandpreventmaliciousPowerShellscriptsandothermalwarefromexecutingonasystem.Keepanti-malwaresoftwareuptodateandregularlyscansystemsforpotentialthreats.7. Conductregularsecurityawarenesstraining:EducateusersandadministratorsontherisksofPowerShell-basedattacksandhowtoidentifyandreportsuspiciousactivity.Thiscanhelppreventattackersfromgainingaccesstosystemsthroughsocialengineeringtactics.问：预防T1059.001事件的最佳实践有哪些？答：防T1059.001事件的最佳实践包括：1、最4权限化管理。限制授予用户和应用程序的权限，包括POWeShell的权限。用户只能访问他们执行任务所需要的POWeShell的命令和模块。同时限制管理员权限的使用，处理日常事务避免使用管理员账户。2、在不受信任的脚本上禁用POWerShelLPowerSheIIW-个"执行策略”的功能。用于确认POWerSheIl是否在系统上运行。将执行策略设置为"Restricted"（不允许任何脚本运行），或者"AIISigned"（只能运行经过数字签名的脚本），从而可以有效防止不受信任的脚本运行POWerShelL3、启用脚本块日志记录。脚本块日志记录可以记录系统上执行的所有POWerSheH命令和脚本，从而有助于检测和防止恶意活动。这可以帮助防御者识别和调查潜在的攻击。4、实现网络分段管理。网络分段管理通过将关键资产与网络中的其他系统隔离开来，有助于防止横向移动攻击。这可以限制基于POWeShell的攻击的影响，并防止攻击者访问敏感数LLM用于防御:答常见信息安全问题的百科书cmyoup<rvcMtheUPkMdofdocumentstoOnedriVeusingpurvwPurviewisadatagove