信息技术-人工智能系列之一从RNN到ChatGPT：大模型的发展与应用-东北证券[]-20231114【58页】正式版.docx

《信息技术-人工智能系列之一从RNN到ChatGPT：大模型的发展与应用-东北证券[]-20231114【58页】正式版.docx》由会员分享，可在线阅读，更多相关《信息技术-人工智能系列之一从RNN到ChatGPT：大模型的发展与应用-东北证券[]-20231114【58页】正式版.docx（66页珍藏版）》请在课桌文档上搜索。

1、Ez6-y2023-ll-14“ 300 淋-20231103yri Transformer yx -y k GPT-20231030:2023 Ot ugtyRce子;-20231027:pi6BND ;-20231026tzvcyGvgEn ySO55O521100001 021-61002390 wangqi_5636Ez/NyIRNNrChatGPTykNP-yyyWONFBTWybnaoyjyyDUWDnyyyyewivIY2ik_Iao6o_ysoINnOyvwyoNoWluotwUUytg2oV)n0VyyuVikoaolyUPyi0iWIoP-o2IiuWkrgyDVCVoCN

2、uIyt1:NOtkIryIoe6)u_；kaoUyO_iyf)newivoyotuewiU3veUry2Iyiyyy|?oyt)ik：zyPwtyYg)yY0;UBERTyIeioOvrwtiyynyoolUIgogyygbU-UiyoChatGPT2oIuIytkyyrlyl11VIeNUiOwPoyVikU-yoOUniuUYy-IyIkakaoeyiUiGPT-4Vkak-ie-kak662gyoVIikWtoPyU2aIikBO_RWl5rNnY6|，U2IyDnUewivaoOioykOIy-veUrgewiyyWI-g-2IaoOryyYrtyk6i0iNyoyU2oWloyik

3、Pi6UtuovOVmyy-PyoUIu6Uo2ogywaoNoU_WysiyiikNgYyi30Umoc2tyykymPyyPoyi6uoy0ieoge62东北证券股份有限公司.NORTHEASTSECURITIESCO.,LTN91. ikvUao641.1. _44IRNNrChaiGPT41.2. eP_ik41.2.1. yyy)-RNN61.2.2. Wb-LSTMNyyyWS-GRU81.2.3. y-ey-H1.3. ioOv121.3.1. ioOv121.3.2. Transformer14y!k201.4.Lyluk201.3.3. N0osyiuk201.3.4. yk

4、yGPT211.3.5. ykryBERT221.4. iky-yio241.4.1. Oyyik2415.2.n-Prompt251.5.3. ik8o-yio44GPT-3.5UChaiGPT281.5.4. k-yioyUgb331.6. _yUO352. ikPN372.5. ikf372.6. kY432.7. kak443. ikWIPN-o493.5. iooNyyU493.1.1. kuu493.1.2. Iuu503.1.3. eIIouv5132.oVNVyU523.2.1.oNuo523.22ouoVv523.3. iyrNiyU533.3.1. iyr533.3.2.

5、iyiU543.3.3. iy|)Ndebug543.4. og6yU554. fyo56I)IWDkB5D2yUBeD*ea5D3，yyyDoD6D4vjjM0yyyDoj“*x88*8“*7Dyyybyc9东北证寿R9份有限公司I-5Northcqstsccunesco.ltoN旷|一t6yyyyWSy10p7yy-ey11|)8yo0vot13p9yeioUvop14DIOytransforiner15plly)ioUv18b13yELMot)ycUy_io|)21b14yGPTyky0j22pISyELMolGPTlBERT0uy23D16yGPT-2TNLPyooeoj25D17Vo

6、yAIn-ContentLearningNFine-Tuninguy)26b18yOtkOIuSukBedoVb27卜19yGPT-3rChatGPTaoi)2920yyibU-yi)31b21yO-yy-QGPT-3kVt)34)22yikyo)3823yChatGPTyy3924yChatGPTyy件39b25yChatGPT6yUp40b26yChatGPTVy件41p27yChatGPTUyU件43f)28ykaenyJiyD45t29ykayOfo)45b30ykauob46)31yka46()32yka_n33yChatGPTuPDFkijJ)49D34yChatGPTuPDFkI

7、jbyyy50t35yChatGPT6Iioy-j)51D36yChatGPTVeptjp51卜37yChatGPTiyrijb53D38yChatGPTiyiUijb54D39yChatGPTwvGPTsBVjD55东北证方RS份有限公司I-3xNORTHeQSTMCURITiesCO.LTONyI1. ikvao61.1. _441RNNrChatGPTewiVyNaturalLanguageProcessingyNLPyonao6yjyyDijWDnyyyyewiviY2ewivyyir20z50-iy-yuy-U1ygouewiver2isilUyIIyyyUiyfUIygiV220p

8、80iywyyU6UUiyuoyyylyywoShyyf)nao6weulewivo2I2010-yTomasM汰Ok)VOw_ulytyyyjyRNNyik-0yewivuIU622015DzmitryBahdanauf:Neuralmachinetranslationbyjointlylearningtoalignandtranslate;ouioOvyikyinriuiyksyylwveUri2TransformeryyIioOvy_Iyewivao2io2018-uBERT-ie-yikyYkewiv6erINn3y2-yikawnIkiyNiyyrNnikyw0y6Niyyuolyo

9、yWlkgyyyo-W2OpenAI6_GPT-3ky6uer1750yywyyOowjyykewivyUuION115y2g-GPT-4.0zoyulkiriy!NyuWyoikNoyivgeOkayjliloyiokak2oukuiyikT5yyiUT5ywoiegaov21.2. eP_ikikNnyyooWo2UlououoyuuoyWWioywoouoOsiyu2ooioku6WyUyuyyy6uw0iPy26oNnyyg11MyduuN w东北证券股份有限公司Northcqstmcuriticsco.ltdoOyyi-yNnuWye6y2iu_oyUi-ty60-uuoyyory0

10、-6ioyomyO2ykIOsg0ftW0Nni降S2yUyi降OS9(Ws)$外_/$K%/s&DbdU/$2Uer.kCylatentautoregressivemodelsy2D2yel-kot)象据序列时同步t-1时同步t时同步tlUOgDyAWFZN w东北证券股份有限公司Northcqstmcuriticsco.ltdet-ky-e6WyoyyyyyyrecurrentneuralnetworkyRNNyi0wO6y-yyyWSygatedrecurrentUnitsyGRUylyyf)ylongshort-termmemoryyLSTMyyoyeP-k2ikNnYyooWicyy

11、UoWickNnyywuUuyoyt)yOW2IeOyOWrWysequencetosequenceyseq2seqynyoyj6uiy-爸yycncoder-decodery2oIyyeP-ikyyRNN1LSTM1GRUiIWyWIWyy-ey21.2.1. yyyD-RNN12.1.1.yyyDyyybyRNNyl2010kPiikyywyoys-yo0et-k2RNNkiNnoyiOyyylyrOuooio2uiiNnoyRNNUNNNnob0yy-ouioyywyU2Ioyiyyydayb3yyyyDygtOiuyaAiIAyIORyoyyuiua2u!o阵gM*N口嗝；6y_0ty

12、*-V*iW1*)东北证券股份有限公司Northcqstmcuriticsco.ltdN wwoyW_oyW*WoNnoyWsU*wV-k_oi-Nno21G2iAoygV6u9(O9VIiy_*oU$ul_u,幺N_Nn*oOB“！io6yt)-0u2uAoygY(5uWiy-IOft$oOyy需6u20tRNNgyykOuyUUmMbwUdI)MUOeMd。冲UR26UynWNWyjs2oyRNNo6u_0_woPP21.2.1.2. yoyyRNNk+9$yVI+oiyyyIoyN-IjioyyyuWyiv2NNo0eP-kjiOOIyRNNk的歹ydOJSBNX必6g6Oey*,G,g

13、02GeWgtjWJciORO6fgwo2P4y)-yyyMOD出出区HWft时同多t时同步tlUOgbyAWEZiyRNNkyiy.iW心2U$1uHsyOoe-e4oyWjUV(etXaUuAogY2,NiNn*oauyiO*-ey人望溜畀)WO/%旧/加以以E。/%6UoyN w东北证券股份有限公司Northcqstmcuriticsco.ltd-$%&,%*，*)=不C啕g,丽oiyyyyustgYui3yYIi3yygY2iyygY*iy1C-事。-1c-啕Ek电$)IMl(/、)WS.嘿.唠-.yiryN_oNniwyDUu6EtyyfRNniWytguoguu2_SWyt)0iP

14、dyiuPyv_ob_Oioe，吵_ot)_0idy2_RWyt)yyuuIly_oripv0yUyiyuoCu_tly_oripiy2ipv0_yoyf)yokgY-f)yykUy-yywyigyJ6yb-ykgYkyykywr0g_e2vNyOyy-ukgYiv-UWyyiyit3v0Uitiyyy-yioyrNf)-UW6u-X2Poy-_x)jiy3ki!?v0Ni|)iy62ylYyyYwouPOiB_06Byoy21.2.2. yyf-LSTMNyyyWS-GRUIeoyyyDkByyy|)YA6uiyyDWongshort-termmemoryyLSTMyiUwuWO_44yyy

15、WSygatedrecurrentUnityGRUy2pt-blyyyyDVLSTMNGRUQiyBWyvmyy-ewivliIlWorfVWDi2yyD-LSTM1.STMoNyRNNyiomwvUwkysyWuoyU6o-uNyeO0avyiwvyWyyiDIyy2LSTM_uiCWSymemorycellyguvoao_oioyInnyyuwivyOyyoutputgateygIWSoQgDyuyyinputgateyivuouuyyyforgetgateyIYWSu20yyypYovyi6tNYiuauoio_N w东北证券股份有限公司Northcqstmcuriticsco.ltdy

16、INYyu2-IuyWSItt0io)三yoa_oruio-ouyy2D5yyyBpbyUOgDyAWFZ1.STMkRNNayyyi-U)5boi2AoooU嗝0-Nnflo&ay)tanhyu_ycAbiy2y6u2woyWuy三(y三cy三(4y3y三ry三4-gYduyW两用y叫o_u2nftWSuuyi*8y*BkVyMauyvouou11ftWSyl)wAWodyoyftycvco*WSouoyiywWoywoy+iyUitv0y21.2.2.1. yyyWS-GRUtylLSTMyyyyWSyGRUyoNnyuW-2-yGRUy_6NLSTMmyywMV2D 6yyyyWSyGR

17、UuonnyyYyyresetgateyUyyupdategateyywl六+三)*.*JWOy$河M两)5洌6删UMS网6O_加2边吗+9)y 彝iv da $ oyNNno da R|$&! Ya *Ws bsyIycvWoy ioyN东北证券股份有限公司northcqstmcuriticscoxo-三s=叨s+(12N wGRUt)ylLSTMuWy-U-tLSTMuyyyt6uuyOwo-WSayoyuaoyowwGRUyuWyywoy20gWuoNyGRUeoyyOLSTMu2oynyRNNyey6IyoniUyoyft)2wyuiWyYugy-yLSTMUGRUWkroyof)-U

18、2o!)yWkuiyyUyUvyYuI-yyoWoNYu21.2.3.y7yquWicruWWickysequenceIransduclionyT6ipyyPogwsYo_2yoWickNnyy_oikg0gryo2y6uoGOUbi(oioWuf)rywuuyoyt)y0W2y-eyyencoder-decoderykoIvyuuoay ioo r 6aoygt)t3uN0U2 y Ioa _eyo_Uoa2yAVDyO6 y t)lvyey y rNOUiU)WyUoyko yuey r_ o uSy_wONno uoo v rtoWSyorey-oyiyy r WONnS)2y-eytW

19、i -y01o lu rUiI2 U6o0UyuWfrt)Uy)NOUyYINO rOy uWy IyWrWy2N uieuWry6Uewi veyoi ty Y2输出序列东北证券股份有限公司Northcqstmcuriticsco.ltdN W1.3. ioOvywLSTM1GRUyikyIIWSwkWioyOwNy2uWboioyrNrCVb6aoy-rioyy_uyf)yykgyew2_yQyrf)oWioyyuw_OWoio_vrlirN0ioWyhwo02iiy0iytoiyUIoy_ISNM00NoISot)st)nOyuy0rNOioyoio2ioOyio0vt122015Dzm

20、itryBahdanau件:Neuralmachinetranslationbyjointlylearningtoalignandtranslate;ouioOVyAttentionMechanismyyIuuioO0VltgYyikyinriuiyksyytwveUri2_uioUvyikgyrl_t)o6W22017Vaswanif56eI:Attentionisallyouneed;y6ulyIeioOvyself-attentionInechanismyoyiloyRNNyyyTransformery2TransformeryUIkIgygigyW2yWnyyTransformerIk

21、oiyNi-y-u0-ylyy_IyBERT1GPTykik2OyTransformerkuoowewivNkyyrkriyIEWDykay66lyyg21.3.1. iovQibgyyITyOyywrioIIy_Cyv2i*-io0owouugUiooyyOwouu16uz3vi_o/iwo_2uf)oregioU60yu3gy0NUoy12ir_yonyt3i_Iegoyio0oiNy6t)sf)oNyvviolt3uiwry62t)yyoioUvio-NgyNtegioUVDyoIyIyooyioOOoi_0VYioyyu0Vrio2yf)noioUvo-NoNneIyWineyyeyq

22、ueryyl(ykeyyUyvalueyykeyUvalueoru2ye_*-IeUUi-y3Nbokey-valueut_luntyykeyD_IiyIyos诧的集合query注重力打分F(QK)IJiH11vT：注金力分做九一化法京力收支111UogDyAWUZOD8byioOvoyV0niyylyioOiVy2y_NWgYy3ygn(jioUvoyIVyuIyyyUgioOiVyuluyioOlVyuluyioUIVyuy0IVyuyiI0PUy2OCc)QTyiVyUZwjvylii人cty6Transformerkb)UyioUyscaleddot-productattentiony

23、IVyuIIyioOlVyu-Uyi2uyyirymUIVyuyOouyi-newo)yt)2uyioUIVyuOy(S东H证券股份有隰公司VfFNORTHCQSTSCCURITIESCO.LTDN火|-War.woye窖WQBWj瑚6UB2Auyoi:嚼y_AyyU-IyIVyuV_NUyj嘲Ssytyioij)c02Byo-t(ygmylyinceny*yioOywoeUy)-iyyjV.暇：X*X啕暇：嘲x2yXgY_NW0dgnUAo.uyioUy_-y咽降哗嘲嘲哗嘲嘲嘲(暇，)=障嘲嘲阵嘲5(Jl)S1.3.2. Transformer13.2.1.eioOvioUviNnSyque

24、ryyNwPSykey-valueyiYyirNngoio2iyyIy_uioUvyieyiNnoou_queryyNyiNnooaiYyNniNqueryJSg-gYg6a_N0qioV_y6iUuIONnouoy6UyUyoj2owweyiNnoyuuWboOiygYyyyWN_iUygf)yykyUevm02oyf)0y6vyygvinONWDOt)sgyyoINoyikyYuyyk%-wkrYuOOsy2b9yeioUvyWEzeioOvyself-attentionmechanismyuWoinSIquerylkeyUvalueyStsgyyiomwwkWO0OSOsyU3Sg2tu

25、yeiovy-UV6if)yOGPUvTPUy-IyyU2y-iy-yvyW-Yy-UwUIymyky-ywl-yev21.3.2.2.Transformeru-2017VaswaniJeI:Attentionisallyouneed;y6ulyleio0vyself-attentionInechanismyoyioioyRNNyyyTransformeryy(3w6Uikuyt3k-yyyyif)iyyU6UyUgyinAytyyreMdualcannedi11y2*t1yuOSngTnmdanner118W-0uN(auy三7y2BteyBcodywyOyxYwt-NWylayernoni

26、ilizationy2oyuWQtinOyTransformcry-yIjNn嘲|j6e(Ug2Biey|cU_NWAyiNAou_yImtwkBWOTysy2w-oyyoyIuuuoltunyquerylkeyOvaluetygyli11earprojectionsyyYiNDquerylkeyUvalueuTetuioUo2gAAboioUAouyINk-ygyig)uyy2iNtUcUioUyoP)3uOiyiNnioUyu_Nnyheadyyoyyyu_ioOv2东北证券股份有限公司Northcqstmcuriticsco.ltdN火|。llyioOvo)uogjjyWEzeioUu0

27、uoIOygyyyUcyIuyunqueryIkeylvalue60z64ympresentationsubspacesyyRiiocl6g人nioOR:WRiNkygUcygerw6W0TS0osgiomy23NNnonnioOuuO_yy啕理嘲H?喝嘲唠嘲(喝嗝唠)=唱嘲嘲嘲唠降(/嘲唠嘲i,&,胆为嚼J暇9 *o- Ieuyio0yu29,IjhlZ6uuowjEioOOwyy及ofNnioU)0PuuojUW*-clylyogYuy女,OAPCeiOOOgUWy(f网gV6uygVdUyOgn2PioOvyy_Nwvekoiy6Utkyeg2IuOVy-yiuOYgINoOoyX_N0VYgyiwek-1of)ie6213.2.4.eyeyyResidualConneCtiOnVOCDyDyf)Yywyuyf)ytyUgywouyyweyg-ge-znt6uey东北证券股份有限公司Northcqstmcuriticsco.ltdN w3yResNety2ResNet2015ImageNetIkIEIsznyywYIgyt3|joWNyW(均如)6UuyDnrvTKOynwIgYnoiy