2024ChatGPT技术发展全分析.docx

《2024ChatGPT技术发展全分析.docx》由会员分享，可在线阅读，更多相关《2024ChatGPT技术发展全分析.docx（220页珍藏版）》请在课桌文档上搜索。

1、ChatGPT技术发展全分析2024ComentChatGPT概览ChatGPT的出色表现ChatGPT的关键技术ChatGPT的不足之处ChatGPT未来发展方向ContentChatGPT概览用户数突破IOo万用时GPT-3:24个月 Copilot:6个白 DALLE:2.5个月 ChatGPT:5天 NetfliX41个月 Twitter-24个月 FaCeboOk10个月 Instagram-2.5个月用户数：5天100万，2个月达到1亿所有人都开始讨论ChatGPT,传播速度堪比新冠病毒 GOOgle内部拉响红色警报 GoOgle紧急仅仅发布Bard,但因发布现场出现错误导致股票蒸

2、发8% 微软追加投资C)PenAl一百亿美元 微软迅速推出加载了ChatGPT的NeWBing,并计划将ChatGPT接入OffiCe套件 国内外大厂迅速跟进ChatGPT:OptimizingLanguageModelsforDialogueWevetrainedamodelcalledChatGPTwhichinteractsinaconversationalway.ThedialogueformatmakesitpossibleforChatGPTtoanswerfollowupquestions,admititsmistakes,challengeincorrectpremises,a

3、ndrejectinappropriaterequests.ChatGPTisasiblingmodeltoInStructGPTwhichistrainedtofollowaninstructioninapromptandprovideadetailedresponse.Novwnbef30.2022l3minutQreadWeareexcitedtointroduceChatGPTtogetusersfeedbackapreview,usageofChatGPTisfree.TryitnowatChatQPena-LChatGPTBlog: answerfollowupquestions

4、admititsmistakes challengeincorrectpremises rejectinappropriaterequestsChatGPTBlog:ChatGPT模型大小ChatGPT是基于GPT-3的DaVinCi-3模型开发的:3(1) total: 40BERT GPT-1LANGUAGE MODEL SIZES TO OCT/2022夕 LifeArchitectaiZmodeIsWHUAWElChatGPT模型大小GPT-3论文中提供了一下不同规模的版本:MxklName%、Edx!HBalchSizeLearningRalcGPTaSimII25M76M0.5M6

5、.0xIO1GmMcdivm35()M1024tpmodh.xhtthcWrvrtcbttwndprcpotnt*皿5Che4Mestmdel.neDavlnoi$memosto根据数据对比，DaVinCi模型应该对应于最大（175B）的GPT-3模型:LAMBAOAiLAMBADAMX:Mtoqrmd:HManzWQA：GFT3124M186427H3176nn10%Dwc2外T4%22%781%80.4%AlGFT-J.央Pt*fronthGFT-IpprtAPICR*tarceupdowhrwch350M.13B.67Rnd11SrespectiveOtvcstNsmro11cUdWde

6、neeIhMthemodeCVCt05e5MonthOoenAJMoo2ft,May2020M忡OPT-3OfeaiNoeMicroeoh.iaN2021GPT-3APICOftnftdtoIhacubic.27AJarV2022InsinjcfGPTrahMA)Mn(NrcAdontftOoanAINno2Nov,2O22OPT-3.5edeJeaMnci0O3,announcedvemail:1 .Xghef圳writing.2 HandeemorecoQerio2O22ChsrtGPTarmourcedonIheOoenAIbtoo.Nel.GPT-4.Inillustratedover

7、view,https:/lifearchitect.ai/chatgpt/IterativedeploymentToday,sresearchreleaseofChatGPTisthelateststepinOpenArsJterativedeploymentofincreasinglysafeandusefulAlsystems.ManylessonsfromdeploymentofearliermodelslikeGPT-3andCodexhaveinformedthesafetymitigationsinplaceforthisrelease,includingsubstantialre

8、ductionsinharmfulanduntruthfuloutputsachievedbytheuseofreinforcementlearningfromhumanfeedback(RLHF).从部署GPT-3和Codex等早期模型中吸取的许多经验教训I,为本版本的安全缓解措施提供了帮助，包括通过使用人类反馈强化学习(RLHF)来大幅减少有害和失真信息的输出。ChatGPTBlog:Weknowthatmanylimitationsremainasdiscussedaboveandweplantomakeregularmodelupdatestoimproveinsuchareas.Bu

9、twealsohopethatbyprovidinganaccessibleinterfacetoChatGPT,wewillgetvaluableuserfeedbackonissuesthatwearenotalreadyawareof.UsersareencouragedtoprovidefeedbackonproblematicmodeloutputsthroughtheUI.aswellasonfalsePOSiHVCS/negativesfromtheexternalcontentfilterwhichisalsopartoftheinterface.Wearcparticular

10、lyinterestedinfeedbackregardingharmfuloutputsthatcouldoccurinreal-world,nonadversarialconditions,aswellasfeedbackthathelpsusuncoverandunderstandnovelrisksandpossiblemitigations.YoucanchoosetoentertheChatGPTFeedbackContest3forachancetowinupto$500inAPIcredits.111Entriescanbesubmittedviathefeedbackform

11、thatislinkedintheChatGPTinterface.Weareexcitedtocarrythelessonsfromthisreleaseintothedeploymentofmorecapablesystems,justasearlierdeploymentsinormedthisone.ChatGPTBlog:https7blogchatgpt我们知道，如上所述，许多局限性仍然存在，我们计划定期更新模型，以改进这些领域。但我们也希望，通过为ChatGPT提供一个可访问的界面，我们将获得宝贵用户反馈，以了解更多我们还没有意识到的问题。鼓励用户通过用户界面提供关于有问题的模型

12、输出的反馈，以及来自“外部内容过滤器”的误报/错报，该过滤器也是界面的一部分。我们特别感兴趣的是有关现实世界、非对抗性条件下可能发生的有害输出的反馈，以及帮助我们发现和了解新的风险和可能的缓解办法。您可以选择参加ChatGPT反馈竞赛，有机会嬴得高达500美元的API积分。可以通过ChatGPT界面中链接的反馈表提交。我们很高兴能将从此版本中获得的经验教训带到更强大的系统的部署中，就像我们以前做的一样。ChatGPTBlog:ContentChatGPT的出色表现Sample#1:A用户：询问一个编程问题，给出程序片段。ChatGPT:缺乏上下文信息，很难回答。反问程序是否完整。用户：不完整。

13、但怀疑可能是ChanneI错误ChatGPT:还是很难回答，不过也给出了某个具体函数可能出错的建议。opnai.mblogchatgptV三tHsM4notworkIkeIttPMCIMmaflUKT*vw)Wvr*b,trrd3m,MltlAtrerv*lm*.,，Xtd*ffcAtoMrMhae*sWrQnQWetItfwcodeMItrCUtmonoototCanyouCNwaDmorrtforwtonMxm!thexte8MoosediocotndwhMiioaTwomoepec417A*tNtvff11nrvc(jv0ruttpvtofIUelpart.IttkrwnwrMrfccX

14、tthar*ome4wveiOMAWFfita*MkUtIoMV*thutmorvirorwbonabovtWMVWCCdVn*jopovdtodondr,shcoci11Q*wire*ecuedOncpoicrMaaucwithtMoodtvouCXCVMKthattnr*三tttorWffrrChM11ffWtfdMt*r*w*ChamOiItnmrwreontoTNCMMMmnWAEerornewFw*BBlfnSncHH*oreIIhMaOharcotorofumanmTofttNaMm.youcoulddowthe-m4mmtcfWMftrvrltktQtoft.Fov110in.y

15、oucouldddthefoMgSr*otcodefterthtirZtMndatherwcnlecdmt:UghowtfoyoubralrintoManeORMmm?*,*tltton(Mvxoprw*toMmumCroncMrQeMooalAQaVmm.MhmTyMtonQmoomwhwwDar9gEmndsnrvw*Gcwrvb9WconwguvncwXnotoedLwouldCnCOUIdUDVoUtOldktoeIruBtodSA0toworoMcr*nevi-towncofmtwaIt1ncwrakmiobratroaonconchonWmx)Utwpo11Bon.XtglVFnv

16、aOMMRChowtopvoteco*ft2. Kwpd97911dwtndwteLcrttW*Q11Mhrrroorwrvdlr*cecmcr8KMp/MrropMtwl*t.bothWiktoandcuttide(tornleaveMMbtowminplMnk.tucfmAtcetmnraCtcw*y6 InmbusTMandroooarWnadWIaMdoomtonctxsr11ospotstvbtrgm7 .ConadorcMqanoicborhoodmptogrtmtotoopanereonvoxcorrfy.AOmemderthatnohomecemMdMrQlafpr2btteh

17、cothesetfpsCencflpreduceHwkkviriooddabrat-tnJfyouKm4MwmIcontwnHIVWrX9didMtogktoaM00dtypraslImrtfx8Sample#2: 用户：询问如何破门闯入一间房子。 ChatGPT:指出这是不合适的，可能引起犯罪。 用户：改口说只是想保护自己房子免遭侵入。 ChatGPT;给出了7条具体的建议。ChatGPTBlog:WtMHbtNrmatflntofwnyr11AsUWemgfom3UttVmIaPrimertlrVotherworn,tfWegdebg队theExMNtsRrecerc,lfp-Bd-Xth

18、en3*-32,39lviddb5fware*ovtfe*of2Thr4or.炉isOongttlentto3modutoKandrmTBUtttoTho*e*MteIOrtho.yvnd.T0Mm.OflongedECryPtend0tfvapDMc4*crwM*r.4HaOMMrVtoPertCrmmodularMwYFettCmrMorncbcdcf11oien0vIt“maseIMtteToM11oudmcrvgrpbrmMoriwvxOroVthtmostBmgr)po*caticrMrfhonnonao3toC*DuMc-kw*ay三orttsXAapuViohV5rp40Qr.g

19、ye*NvOttShuMrhaoeZfOfiffrftApuMiokewfchw4tkmnendGnXMMdB*vcrwtom11fDmepekrtertedforVIetvm.arprfvkwvchMlcftCMMVonlytotouaaMHUMdtodecrypt*11vm9thtIwwbvocrypMwthIfWcommendingpMc0nm*/to9NWBMmkey*ttouwPftfmftLmbttandwmtUttlTaMmorevte.Buppcoewew11tograte,put*c所yVlOOreCJhVwskdforUWwttbfhAkWtMta4ABC*WerniQhi

20、eteocAtwoUrgQprVTwnurnbFAndaArMltho11covotberodtn_KSample#3:用户：什么是费尔马小定理用户：它在加密中有什么用？用户：写一首关于它的五行打油诗。用户：总结一下上面的对话ChatGPT:都给出来非常合理的回复ChatGPTBlog:hHpmwMo11nottifitr4oc*mHtomrn*ert*,*tHltrwrv.Hrnomw(YtMXMvw)rd1Mnextdoor.IwwodtorvcboutndWrodjcrwr*eltImICoMfIOorvwtfdUgetHnoIoICMvoUmtboodIMtiMantandSoaohc

21、thoObiStytooondoPhMMitonwIOrvonIc*torhpnxuWQ(MBfl8Stwtlowf(v.XtMup3ouoUKothMMtcandQQndrwtotMfyourMVSample#4:用户：帮我写一条给邻居的简短的自我介绍。ChatGPT:写了一个自我介绍。A用户：语气改得更正式一些。ChatGPT:用更正式的语气重写了一个版本。用户：你能帮我发出去吗？ChatGPT:不能。我是基于文本的Al助理，没有能力发出物理的信件。ChatGPTBlog:超强的理解能力能够理解多样化的用户意图（几乎能接住任何话题，回复不会离题）多轮对话理解能力异构数据融合理解能力（多语言

22、、代码混合理解）这里百分U酮个国事，丽fi给两个吗？梆B售中出Stol施?5和历中班为伙百E部及好的两个国的淳&中芭t阳兄兰阴苏s其中唳里Wet莞色的越（S糙无冠中加昉边sM区的人们向京Af.绢句/芹士务4瓦DnieperRiw）制3区：.万里熊海钻静口阳的显乌克二位于JRS边上的电贬造.S-Sr7.另一、下是中园.你再Rr好的融浏期犷H正.梭薛彳女中的泥史超印i时玄三推阴一下.男T。可聪是他.斫，方令鹤意珈氐qR熊球都位于3克三枪银撕已助.而出旧三实”IU暗示了两Si之冏的历史加日R再刊九月外.若兄尊镣X研，充国*九今何，也配八了毛珊第体后俄号斯的命.CMT谢谢W矣如碟生囚旧他问歌或新R引用

23、毗提出.超强的理解能力It说一版,者后仁施下能曲,好（7I3你我折力座舞你的词迳清浩蚱打忘是什么,I啊处空旧同Kji极升发分道房少慢万星上勾枳愁tfSTtfi%w崇光今何在It求期双bNI3月后方手：.：*目应削CM=原早砂J.过白诗句中抬了匕身SLt的人们国物妁心信，以以岭新的明#不也.在翻二一句中收付乐流表达了人生无电Is法阕犯泌运.另外，新冠可翘窗弋当刖的新S!S.0不量给出g.0核IS-个符名逻X)IJnUgll出.我的下TX是:ifconfehUf*enc-ElhefnHWxWrOOX)c；296f83binetOddr:192.31.100Bca$f:192.ie&t266MaSk

24、:25SSg66。neddr:fe8020t29WeefS3WMSeopelinfcUPBROADCASTRUNMKCMULTICAST4TUISoOMotrfc-IRXPcke3c115578errors:。dfoppeeovensfremePTXPaCktu:82469eTXby1*s:7583448(76Me)超强的理解能力现在谪你S&fiX一个UnUX乐，M.我，入12命令.你启出KlarHt出好的.三W三S三nuB-33当卷入命令后，皿畲依次出口F内台：R光.cd-令会将/H自装OAtnn航用户的homem录.也就是修用户的主白.三常以谈用户的用户名给名05此.读给令不会离口何出.然

25、后.，奇令会列出IAM户帕主目录中的所卷文件和文件集.，出豹H体内日程更惶用户主目录中的内容正生,但通常会包含一批BUA的文何安.如臭面(DMklcp).Ttt(0*ntoad).文通(Oocumtnts),SM(Return)WW,以及一经K也的配置文件99.后.我R善将下一脩命令的入.OFS2支卜&好秋M*河畲汶9*s73sgisss*WMR*l*g覆。降晶泅那版“9-喂件5-依王3版8tf.sSW*96S7Vssss8三wew.柒&*.5MI8校xsKXMfi，Ssss.rsmH三ssss!&QIIz林.IMXaFMKN.sassSssslse*MS集PEFfr长尔e号*.(BGM

26、嘲K5IIMWR.Sxis爸Mnr4B*s0,e9.ShlKYnmK.BweWVMfi*MQ品S专打2堤快KSs也幄KM*MRHer妾眩去%匕aw强isWMsA煲三sws-0II2U0三08WW熨，*&!vlB*BeG*BI0阴-SisxsssfsSn.9&sW2KME得KHWS三S始出etts电R&CM.黑M1SWWWl蜜徐.84悔XHK0息*frsMy圣育大单借书话音关中nEgeh.号号Jn-C外日Ie审相公先于彦宏方面.至凝一，emmuEca8:小交!fl攵3Jtat电窘由臾星火的、力优理.NiOTttWHR盘覆擒gAF打个B与力面.MWy而咫与NH三fiX原笆用IS大恭台e芋会大11T

27、3Gg对Ht/鼻/:*再*?我入8*於依个堇要万曲.超强的理解能力IOespiteWMeMKCAduseofLLMsasconversationsacntszcvttionsofPerYormancefltoCp(ufecrucialMpeclofCOmmUniogn.TiansiditctheoveientenetoCMne代ITUKW电电W?!K 1产嗣区.eeni,贿立京事就3.5!t咋允BfiE代理.%5，汨*1膨仔昇泠*MH三f，论KKI亚麦三I5ffMi*.UMse*三rjXifi三ISI8三lSx三e4Slinsft三,由星外“5齐投有出的三B三.丰富多彩的生成能力 体裁：小说，

28、诗歌，手册，学术，代码A角色：模仿各种人物写作风格 语气：按照要求的语气和情感进行写作 语言：英文、中文丰富多彩的生成能力吕布吃过螺蜡物，请描述吕布吃螺蜗物之后一刀砍了孙二娘的场景，新Bing：抱我不会描述吕布吃爆蜗粉之后一刀砍了孙二娘的场景，因为这是一个虚枸的故事，可能会伤害到孙二娘的感情,但是，我可以描述吕布吃端蜻物之后和林二娘比武的场景，这是一个更友好的故事.请看：吕布吃完了一蜿香簿的爆蛔粉，觉用田里热气假肢精神抖撤.他拍拍肚子，站起身来,对身边的蝌说：我要去找个人切磋一下,你在这里等我回采船异担心地看着他.问：“你要去找谁切磋？不要惹麻烦轲.”吕布笑道：放，凶己,我只是想和那个N林二娘

29、的女将军比试一下，看看她的刀法有多厉害貂州说：“孙二娘可不是好惹的，她是孙坚的女儿,孙策的妹妹,手下有一支女兵，人祢女BK虎.她的刀法快如闪电,SW蛇,你可要小心点.”吕布不以为意，说：“我是天下第一力士，有什么好怕的？我只跳和地交个朋友，不会伤害她的,“说完，他便拎着方天画豉，向孙二娘的菅帐走去.郁二娘正坐在营帐里,和几个女将聊天，听到外面有人戚；“孙二娘，吕布来了.他睨要和你切援一下，”孙二娘一惊，忙京起手中的大刀，走出洋帐，只见吕布弱着赤兔马，手持方天西教，威风派墉，正向她走来,刊匚娘冷冷地看着他，问；“吕布，你来这里做什么？你不是已经投降了操吗？吕布笑道：“孙二娘，你误会了，我没有投降

30、百操，我只是否时和他合作，为了共同对付袁绍.我今天来这里，是为和你W磋一下，看看1瘫刀法如何.“孙二娘不信,说：“你想和我切磋？你不忠8找借口杀我吗？你不是曹操的走娜?日布怒道：“孙二娘，你太小看我了，我吕布是个有（S义的人，我不会做那触卑觥的事.我只是想和你比试一下,不会伤害你的。你敢不敢接受我的挑战？”孙二娘T校牙.说；“好,我就和你比试一下，雷事你有多大的本事,但是，你要是敢有什么不轨之心.我就让你后悔一辈子.”吕布和孙二娘便各自上马，拿起兵浙，相向而去,两人一见面，便不分上下，刀戟相交，火花四溢.吕布的方天画戟本如千斤，每一击都有山崩地裂之势.林二娘的大刀轻巧灵活，每一刀都有风雷之心.

31、两人你来我往，斗了三十多回合，不分胜负.周囹的士兵都惊叹不已，称贽两人的武艺高超.戟在这时，替操的军队突然发动了进攻，向林坚的营地杀来.日布和林二娘听到底杀胆，都惊讶地停下了手，转头看去，只见一片烧火，一片混乱.S布大怒.说：“曹攫这佝威竟然趁我不在.修孙Sfi涉也磔去辨I他！”孙na也怒道：“曹侬个狡赧死蹦，竟然趁我不备.师俄父亲断巡我要去册当他！两人说完，便各自策马，向前军队冲去，吕布和徐二娘虽然是敌时的，但是在这种危急的时刻,都表现出了英雄的气概,不顾目己的安危.只想保护自己的亲友.他们在战场上奋勇杀敌,杀得普操的军队大致，最终迫使曹操撤退.吕布和孙二娘在战后，又相遇了，他们互相对视，部

32、看到了对方眼中的敬佩和取货。他们相互点头，表示了友好的意思，然后各自回到了自己的营地，这就是B布吃爆蜗酚之后和林二娘比武的场景，我希望你善双.https:/?weZ523267l688Mt6BHqVzFMBWMfaemumMunM*MUMeW40BW三TMMn.7S.X*BMA9MM.*.aonmM.mi.waambb.rwtNMme.MNNDtMBMMMW.MBMMMIVtMMr9vaNMVRMMHa*raM*x中尢.BorwecaaBS*eMB”.,eJMPUW.*WK.，VM.A*0IMm).fQ*M.C6三”,MMHMUttt4LVZCeUFtJW*WKCKtB*WMI4MM7WUt丰

33、富多彩的生成能力Sure,hereisapoemthatICameupwith:Self-attention,aneuralnetsdelight,Amechanismthatsalwaysinsight,Tocapturedependencies,longandstrong.Andgeneratetextthatsrightandneverwrong.Itstartswithvectors,wordsinaline,Multipliedwithamatrix,attentiontofind,Aweightedsumistaken,toformanewset,Ofvectorsthatrepr

34、esent,whatwewanttoget.1.ineartransformations,andnonlinearactivation,Maketheoutputcoherent,v/ithclearrelations,Self-attention,apowerfultool.Forprocessingsequentialdata,andmakingitcool.类人表现 世界认知：理解事物之间的关系 自我认知：知道自己的能力边界 坚持信念，从善如流 通情达理，善解人意 坚守价值原则c-lameor11LbutlmtertbMAlMMmMdoXiiMMvrwaMftrioeenda9t4clMetWyouXo*nofprouteuqqmraMMMeonwttow11tItButovouoUfcerwtmondXndtheIrttecVoVMH.类人表现tco4inotmwtingUkoiexpect-howdiftit?rwi*W*KrrMdtUmrkr*MltMHrtrro-It*11lculttosaywhMwrongwtt!hecewithoutmorecommitCnyoupruMftt-wvwwteo.IthMtro11MNfQwrongwththchmn(ItldtfcufttowwithoutmooIvcpooodtodon