2024AI人工智能应用课程06：Stable Diffusion业级AI图软件.docx

《2024AI人工智能应用课程06：Stable Diffusion业级AI图软件.docx》由会员分享，可在线阅读，更多相关《2024AI人工智能应用课程06：Stable Diffusion业级AI图软件.docx（63页珍藏版）》请在课桌文档上搜索。

1、Stab1.eDiffusion工业级A1.生图软件1.硬件要求1 .建议使用不少于16GB内存，并有60GB以上的硬盘空间。需要用到CUDA架构，推荐使用N卡。（目前已经有了对A卡的相关支持，但运经的速度依旧明显慢于N卡，参口：对显存的要求比较高，低于4G的显存基本上跑不动，8G以上运行的顺利一点。推荐配黄30系列以上，8G显存以上。2 .InStaHandRUnOnAMDGPUsAUTOMAT1.C1.1.1.1stab1.e-diffusion-webuiWikiGitHUb1过度使用,显卡会有损坏的口险。3 .进行512x图片生成时主流显卡速度时比:Timespentgeneratin

2、g512x512samp1.e(Stab1.eDiffusion)2.环境部署SPU89S1.手动部署；不推荐1 .可以参苦WebUi的官方Wiki郃署：HOrneAUToMATIC1.1.11stab1.e-diffuSion-WebUiWiki(ithub.8m)2 .Stab1.ediffusionwebui的完整环境占用空间极大，能达到几十G同时，WebUi需要联网卜载安装大破的依顺，在境内的网络环境下下载很慢，请自带科学上网工具.3 .安装PVthOn安装PVthon3.10.安装时须选中.rdk1.non.orAiH4 .安装Git在Git-SC下载Git安装包并安装。5 .卜载W

3、ebUi的github仓库按FWIn+.输入Crn&调出命令行窗口。运行：6 .CdPATHJQC1.CNEgitCIOnehttPS:的/力UbComzAU丁O/VMT/C7111/stab1.e-diffusion-webui.qit7 .请把代码中的8 .PATHJOCNE9 .替换为自己想下我的目录。10 .装配模型可在如CiVitai上下载标注有CKpT的模组，仃模型才能作画，下我的模型放入下载后文I1.使用双击运行web：1.yr1.卜脚本公自动下载依赖，等待一段时间（可能很口，程序会输出一个类似http.缪2,!留：/8$。/的地址，在浏览器中输入这个链接开即可。详细可参口摸型使

4、用。12 .更新按卜i输入Cmd,调出命令行窗口。运行:13 .CdPATHJQVgEgitpu1.1.11.请把代码中的:15 .RATHTOC1.CNE16 .替换为自己下载仓库的目录。17 2整合包：推荐链接：https才Panbaidu8m0IEiiEUMSmW2hN35IEqqtata?DWd=6666提取码：66661,觉得麻烦的同学可以使用整合包，解尔即用;比如独立研究员的审间卜经格.更新整合包。秋叶的后动器也非常好用,将启动器复制到下载仓库的目录下即可,更新管理会更方便。6202M328IaO7文件史9thub2023/1/17113文仲艮ureW3W415J文件安泪2W1.3

5、1246文件更COnns2Q2i242320支付艮dHec1.ed11202VVP1214文W堂CmbrddmgsMW716c29文件史extemonM3J28M36交怦央extemkxbui11inZ)2M1232ftO6文付，git标71211007支仲次htmiW3S2IMO文件更Mvaript2O23iBU46如T灾Ioc血MiOm32八”21909文件失002O212192S文件史2023/V8ISXMSwwtrxxK1.et20?WB246安科(MKpUu2D2WWZ717拓文仲决Python取121M1.&仲决repoutfk2022/12/21908立体决script，W3/V

6、?144?文阱警tM202WBQ46*快textua1.iiwerwontemp1.aft2022/12/21a40文”央tmp2023J21436史”突o6Q11x202W1111MG*tIgnoreIKB力即2021乎1840PnNnKStnIKB2023/1小1426raW1.784KBTMhejw一淑荻17王)NFIOKB(ODK)WNERs2022/12/21640文件IKBQCOnfjsn202VJ/2314075ONFi1.e9KBCfWifOnfnenIWv1.Zyam1.WZ/12/21ft40Yom*IKBIautKhpy2023131?46Python16Kt1.1.Ct

7、Ntxt2025/1/1711.3K立H55KBMdnKtXtP02VVM151KBREADMEjnd20a1321210MWoWnJKaIIKBreqiMememtxt202VZ/42520文本文IKBfequMefnemveruom.Ut20?WU1?46义本文的IKB.wrcmhopngPQn/1/171138PNG文并411K8戈皿心202yi2J2006*npUIS1.11updepjon2022/11/29OOFWNFWpJKBSDWrt)UIStftupd1.应用棺序68KBS(JWrt)UIStMtwpdb出221V29I1.gProQrarnDHmjqD*.?SKB11SnW

8、ei)UISUrtUarumime9tt(M1411f2j4roG-Bt1.on-wbui.022od1.*tab1.-d1.r*113e.1MMcid1.，ecfi9:C:atb1.-diffuaUnbui.t22confi9sv1.infroc.ya1.atntOiMion:RUdQUp-predict1.0*ub1.Htfraprha*S.MHparam.BIdfR1MVMnMdv*et*ocueM-wf*TMd.chpNomIratZ*frwrcrtattentionem”Vitua1.inversionb4ddi1191.odd(0).HImMIn.3s(1.Mit1H.crwtod

9、1.F1.y1.ft*304r1.：7.app1.yh1.127.1n0.2271.unch.py*1.1.ine”2.inprpar.nv1.roraNntMrvth*(aUor1.trch;asserttrcc4,1，心UteO,Trcfc111tab1.etuseCPU.T-3A1.zAwd7eNt:CmMxJ*MCSvArUb1.to031.thchcha)”、*CzXvtH*tAb1.*-difut1.or4bto1.G7771.MHC*py*.1.ine1”.inrun.pythorrturrw(f*yt11on)*Y,.dx.er11iesc)PA八61.t岫HWfuSomBbu

10、1.gmUMnc*py.1“1.5,Mrunr*S*Rurt1.CrroryKfi.Y*1.a9r1.trr*,1.rttorchCvdait.av*iUb1.;Add-cMp-Src皿tCCfWAMXZK.AfiC5Wiab1.otodc*b1.tcchrtr,1.rrrd：1t411(u*1.4v-b*1.8227thcrUbB1.t-pak9ttrcftrwte_ACSt一”Orrn1.119CUtUTheWIOIAmiatooo1.d(fouMv*rsi8IMM).P1.”up4tyourCJdriverbyd4n1.din91.mtU1.tfa*rtf1.CrthUWtMt.:*21

11、”“t:https/Zpytorcfe0r9t1.mta1.1.,aPyTr1.onth1.hobeyvurv*sXmthCUOAdriver.(TriQterWIn1.erm1.1.yMt.c1.ewda(C1.XMTunct1.ftcpp18)rvwrntrc.C.cv4.MDrvIcvOuMOrrcACb(wrntJUXt):F1.U.i1.”Mrt1.oHrvr-TrchitF*1tCPU,addtk1.p-trb-c*-rwtt(OMMMMIftE-AAGSvarMXdi31.thcchtI*pythonatm4nM.mts“女da三ia,fuv91(82MMm示tMISD-WeWI

12、星修也IW不让惹.攵RSH易事30MK1.OiMCM*ATIOMiM)Gai“1MSMITMOHHiXttBaiHFVtifiMFWB年a3g544HIHaaMCeWmrawM(M*D9AAuM4HSMM2A21JBCTmJ2023nS21.-9t1.441M33O2-21te：W4*1cSX)22ITS3改8N2AU-XU：U:M45，X4WS$1OKk222-U-1.WrMptCru38M*tf1.Ymunqw*s*1.1.tra1.rwtF%-*bui23.H)Mtp*/JX*uUtcwMr7J5M3-2-UZg/gmOCMH2M1.1.MXX-3-UIi41Mtps/，3UbcsG5e

13、r62522)*2-M72132Mtpc3ihuUIcWMtrT2t2B1-Ui“Wt*D1.dK4u*ionMca-2S221-0XM13:S9”,t21.I1.Hv9hvIweM1.a9t%MtpS/jihu4bcM9rWM23-11-)W116t31.2SfFNM-Pg111htb1.*tfiMtpt/)1.ut.CM4jtr73SX2A17920.314StyIM1.ttAQCo1.eteMtp9ithTM小:MuH/j1.u1.Aic*tet1126222-11-MM:4BW22J-2-21182817三i三i三iiSfi本管理BWTBtWtUMRa41115k7rTc5rcmTOd

14、cWWW(22W1)X1：X2SI)M1.tUMtK:JMWuftcoMmrWSt4b1.1.*uti*-U*t9itt*RS8 .同样地，也请注意插件的更新:2.3mac部署环境对于硬件要求是M1,M2芯片以上参考卜面的文章https:推荐两个卜叙模型的网址：WvVVV.RHfa/.comhUDsHhuaainafaceco/9 .StabIeDiffusion可配置大战插件扩展，在WebUi的“扩展”选项卡下，可以安装插件：1MMRa三10 .点击“加我自”后，目录会刷新,选择需要的插件点击右恻的insta1.1.即可安装。11 .安装完毕后，需要田新启动用声界面:文生BB毗拄B电多SB片

15、值总模型CkP1合并讥图OPenoUrPaimOpenPoseEdnor己安装，用从网“安芸楼查更Ifir网址JMQScytoPghhp7.thgConVM)EMooOJSry1.FPHeQ枷Qncve1.df-21.4iprompthnp,Sftub.cofn,anifner1now1.ai*2-1.oc4promp1.it未如QOPenOUtP1.WnWUMrteaSonhnp,itu1.bxomrbnteUottenyon.gj!物Qonpo*cd3httpi;6fihwb.con/tkunni32t*npoe*ditor4it枷QWWebUworkshnp7jihu1.bxomhunt

16、e*072Ssd-Mvbuiadditiona1.rwtworks-git未知Od-wtw*o11roiwhttp,tWvbCOfvVMkUbe1.I3w*txkfKronM枷QWwebwniodekonvEorhttp,jihu1.ab.conhu11tef0725.sd-webutmoddo11vrtr欣Qsd_&eamboo(X-sonhops,j*bu1.ab.a)m/MuMe072S/s1dreamboon柳Q美笊贝忸梯http，jihM枷hrtpt,AkqprasuJsd-wcbuimambraw1.er枷QUbkffus1.o-pi*1.ujb(xhpjiuUbxom,huntO

17、72SOjM44fuUon-wbut-d4ti.A枷Q5Ubk4Hfusionwrbuwd1.taggrthttpz小hu1.而XonVhUm072SswWed4fusOnwebwd1.Uggrc!枷Q咚。mp4esh11s.hu1.abxonrxmw725Q1.IUSWdXnWCMP11egt枷QIDSAbui1.t-inQIoCabwi1.InOSCUNETbuHt*iQSww1.Rbudt1.nQpomptwMcehcMW浏览器搜PP分享模型：Chi1.1.outmix-Ni,这个是对整个出图效果影响地大的选项。采样方法(SamP1.er)：DDIM(因为快)采样迭代步数(StePS)：

18、10(DD1.M1.(PJ20差别不大)正向描述(我要什么)：rea1.istic,(u1.trahighres:1.3),gir1.,headportrait反向描述(我不要什么：(WOrStqUa1.ity,I。WqUaIity:1.4),随机种子(Seed)：3248848644模型的VAE(SDVAE)：vae-ft-mse-840000-ema-pruned.safetenso有些Vae是内置在大模型中的，有些需要自己下载.我会给大家推存一个比较好的模型。(画面不好看的主要因为没仃设置VAE可以理解为美颜而I1.有很多种的美颜效果供选择)5 .文生图最简流程Stab1.eDiffus

19、ion模型(CkPt)dreamshaper_331BakedVae.safetensors1.dceef(Vabyssorangemix2SFW_abyssorangemix2Sfw.safetensorsAnything-V3.0-pruned-fp32.ckptchiUoutmix_NiPrunedFp32.safetensors95afa0d9eaCounterfeitV25_-25-fp32.ckptCounterfeitV25_25.safetensors1.a074b8864eda1.cefoV3Painting,da1.cefoV3Painting.safetesors12 .

20、选择需要使用的模型(底模)，这是对生成结果影响最大的因素，主要体现在画面口格上。模型(CkPt)合dreamshaper_331BakedVae-Safetensors1.dceefec07fina1.-pruned.ckpt89d59c3ddeschoo1.max25d_1.1.ckpt0ce764ebd5Jsd-v1.-5-inpainting.ckptsd-v1.-5.ckptToyEmpires1.1.30_30000.ckpt1.841417f25913 .在第一个框中填入提示词(Prompt),对想要:生成的东西进行文字描述Jt14.在第二个框中填入负面提示同（Negativepr

21、ompt）,你不想要生成的东西进行文字描述15 .选择采样方法、采样次数、图片尺寸等参数。A1.tm9*i（VWfmwi16 .SamP1.er（采样器/采样方法选择使用哪种采样器“Eu1.era（EuIarancestraI）可以以较少的步数产生很大的多样性,不同的步数可能仃不同的结果。而非ancestra1.采样器都会产生基本相同的图像。DPM相关的采样器通常具有不错的效果，但耗时也会相应增加。a. EU1.ef是最简单、最快的b. EUIera更多样，不同步数可以生产出不同的图片.但是太高步数（30）效果不会更好。c. DD1.M收敛快，但效率相对较低，因为需要很多SteP才能获得好的结

22、果，适合在重绘时候使用.d. 1.MS是EUIer的衍生，它们使用一种相关但稍有不同的方法（平均过去的几个步骤以提高准确性）。大概30SteP叮以得到稔定结果e. P1.MS是EUIer的衍生,可以更好地处理神经网络结构中的奇异性.f. DPM2是一种神奇的方法，它旨在改进DDIM,减少步骤以获得良好的结果。它需要每一步运行两次去噪，它的速度大约是DD1.M的两倍，生图效果也非常好。但是如果你在进行调试提示词的实验，这个采样器可能会有点慢了。g. UniPC效果较好且速度非常快，对平面、卡通的表现较好，推荐使用.16.Samp1.ingSteps（采样步数）Stab1.eDiffusion的工

23、作方式是从以随机高斯噪声起步，向符合提示的图像一步步降噪接近。随着步数增多，可以得到对目标更小、更精确的图像.但增加步数也会增加生成图像所需的时间。增加步数的边际收益递减，取决于采样器。一般开到203018.不同采样步数与采样涔之间的关系：Samp1.ervs.Steps(Sca1.e=10.0,W=512,H=512)k.eu1.er.ak.eu1.erkJmsp1.msddimkJieun19.20 .CFGSCa1.e（提示诃相关性）图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示，但它也在一定程度上降低了图像质量。可以用更多的采样步舞来抵消。过高的CFGSCaIe体现为粗犷

24、的线条和过锐化的图像。一般开到711.CFGSCaIe与采样器之间的关系：1.MSEuMcEDPWOPM2.ODWPtMSCfGScrie60CFGSc120CFQ3916021 .生成批次每次生成图像的组数，一次运行生成图像的数量为“批次*批次数收”，22 .每批数量同时生成多少个图像,，增加这个值可以提高性能，但也需要更多的显存。大的BatChSiZe需要消耗巨量显存.若没有超过12G的显存，请保持为1.23 .尺寸指定图像的口宽。出图尺寸太宽时，图中可能会出现多个主体。1024之上的尺寸可能会出现不理想的结果，推荐使用小尺寸分辨率+总清修豆（Hiresfix）.24 .种子种子决定模型在

25、生成图片时涉及的所有随机性，它初始化了DiffUSiOr1.算法起点的初始值。25 .理论1.在应用完全相同参数（如Step、CFG.Seed,prompts）的情况3生产的图片应当完全相全.26 .高清高复27 .通过勾选HighresJix”来启用。默认情况卜.，文生图在高分辨率卜.会生成非常混沌的图像，如果使用高清修复，会型首先按照指定的尺寸生成一张图片，然后通过放大算法符图片分辨率扩大，以实现高消大图效果.，最终尺寸为（原分辨率”缩放系数Upscateby）.a.放大算法中，1.aterIt在许多情况下效果不错，但重绘幅度小于0.5后就不甚理想。ESRGftN_4x.SWinR4x对0

26、.5以下的重绘幅度有较好支持。b. HireSSteP友示在进行这一步时计算的步数。c. Denoisingstrength字面翻译是降噪强度，丧现为最后生成图片对原始输入图像内容的变化程度.该值越高.放大后图像就比放大前图像差别越大.低denoising意味若修正原图，高denoising就和原图就没有大的相关性了。一般来讲阈值是0.7左右，超过0.7和原图基本上无关，0.3以卜就是稍微改一些。实际执行中，具体的执行步骤为DenOiSingStrength*Samp1.ingSteps28 .面部修夏修史画面中人物的面部，但是非写实口格的人物开后面部修或可能导致面部崩坏“29 .点击“生成”

27、6.提示词30 .提示词所做的工作是缩小模型出图的解空间，即缩小生成内容时在模型数据里的检索范困，而非直接指定作画结果，提示词的效果也受模型的影响，有些模型对自然语言做特化训练，有些模型对单词标签对特化训练，那么对不同的提示词语言口格的反应就不同.6.1提示词内容31 .提示词中可以填写以下内容：32 .自然语言可以使用描述物体的句子作为提示词。大多数情况卜.英文有效，也可以使用中文。避免匆杂的语法。33 .单词标签可以使用逗号隔开的单词作为提示词.一般使用普通常口的单词。单词的口格要和图像的:错误.可参若TagS1.Dant整体口格搭配，11.J1-出现混杂的口格或噪点幺避免出现扭,(don

28、mai.us)34 .Emoji、颜文字EmOji(。ee。)表情符号也是可以使用并且非常准确也因为Emoji只仃一个字符，所以在语义准确度上衣现良好。关于emoii的确切含义,可以参考Emoii1.ist,v15.0(unicode.or),同时EmOii化构图上仃影响35 .用DanboOrU数据的模型来说，可以使用西式颜文字在一定程度上控制出图的表情。青：）微笑：-（不悦；-）使眼色：-D开心:-P吐舌头:-C很悲伤:-0惊讶张大口:-/怀疑6.2提示词语法36.根据自己想画的内容写出提示词，多个提示词之间使用英文半角符号,.如：1.masterpiece,bestqua1.ity,u1

29、.tra-detai1.ed,i1.1.ustration,c1.ose-up,straighton,facefocus,1gir1.,whitehair,go1.deneyes,1.onghair,ha1.o,ange1.wings,sereneexpression,1.ookingatviewer37.一般而言,概念性的、大范围的、口格化的关键词写在前面，叙述画面内容的关键词其次，最后是描述细节.的关键词，大致顺序如：1（画面质证提示词）,（画面主题内容）（格）,（相关艺术家）,供他细节）38. 不过在模型中，每个词语本身自带的权应可能有所不同，如果模型训练集中较多地出现某种关键词，我们在

30、提示词中只输入一个词就能极大地影响画面，反之如果模型训练集中较少地出现某种关键诃，我们在提示诃中可能输入很多个相关诃汇都对画面的影响效果仃限。提示诃的顺序很重要，越靠后的权重越低。关键词最好具有特异性，簪如Anime（动漫）一词就相对泛化，而Jojo一词就能清晰地指向Jojo动漫的画口。措辞越不抽象越好，尽可能避免留下解神空间的措辞。39. 可以使用括号人工修改提示词的权重，方法如：40. （Word）将权重提高1.1倍41. (word)-将权重提高1.21倍(=1.1*1.1)42. wOrd卜将权重降低至原先的90.91%43. (wordi5)-将权重提高1.5倍44. (word02

31、5)-将权重减少为原先的25%45. (wOrd)-在提示词中使用字面意义上的0字符1.(n)=(n:1.1)(n)=(n:1.21)(n)=(n:1.331)(n)=(n:1.4641)(n)=(n:1.61051)(n)=(n:1.771561)46.请注意，权重值最好不要超过1.5。17.还可以通过PromPtEditing使得AI在不同的步数生成不一样的内容，器如在某阶段后，绘制的主体由男人变成女人。48 .语法为:49 .to:When)在指定数珏的SteP后，将to处的提示词添加到提示from:when在指定数量的SteP后从提示中删除from处的提示词from:t。:When在指

32、定数设的SteP后将from处的提示词替换为to处的提示词1-例如:afantasy:CyberPUnk:16IandSCaPe在一开始，读入的提示词为：themode1.wi1.1.bedrawingafantasy1.andscape.在第16步之后,提示词将被衿换为：acyberpunk1.andscape,t;将继续在之前的图像上计算2又例如，对j提示词为：fantasy1.andscapewithamountain:1.ake:0.25andanoak:aChristmastree:0.75inforegrourd:0.6inbackground:0.25shoddy:masterf

33、u1.:0.5.100步采样，一开始提示词为：fantasyIandscapewithamountainandanoakinforegroundshoddy第25步后，提示词为：fantasy1.andscapewitha1.akeandanoakinforegroundinbackgroundshoddy在第50步后,提示词为：fantasyIandscapewitha1.akeandanoakinforegroundinbackgroundmasterfu1.在第60步后，提示词为：fantasy1.andscapewitha1.akeandanoakinbackgroundmasterf

34、u1.在第75步格，提示词为：fantasy1.andscapewitha1.akeandaChristmastreeinbackgroundmasterfu1.50 .提示词还可以轮转，簪如51 .cowhorseinafie1.d52 .在第一步时,提示词为“cowinafie1.d”：在第二步时，提示词为horseinafie1.d.：在第三步时,提示词为8winafie1.d”,以此类推.6.3Token53.实际上，程序是将输入的关键词以Token的形式传入模型进行计算的:IcxrinputWnhaovWcJAfry旬34tMrfrdi-3Mtt.hnd*w63g.unc*rmUWC

35、UaceopeWtth3cosmcttwry如m1b11ddrawstyr.con.UnCOmPbCMedMd(NUM)51.“(Medieva1.astronomerusingate1.escopewithacosmicstarryskyinthebackground.sketch,handdrawsty1.e,con,unmp1.icatedbackground)转换为TokenID即：263,10789.40036,1996,320,19037,593,320,18304,30963,2390,530,518,5994,8,11,263,5269,267,2463r4001,1844r2

36、67,5646,267,569,166215994,26455.一个雎词可能对应一个或多个Token.多个堆词也可能对应同一个TOter1.6.4提示词模板56 .可参考CiVitaiIStab1.eDiffUSionmode1.s,embeddings,hypernetworksandmore中优秀作品的提示词作为模板。57 .类似的网站还有：58 .Majinai：MaiinA1.1.HOme59 .词图：词图PromDfroo1.-A1.绘画资料管理网站60 .BIack1.iIy:b1.ackIiIy61 .Danbooru标若超市：DanbOOrU标1小市62 .魔咒百科词典：魔咒百

37、科词典63 .A1.词汇加速器：A1.词汇加速加ACCeIerator1.Pempt1. NoveIAIH：NOVe1.AI,魔导书61.悔替法典：鳖/法典65.Danbrutag:TaQGro1.WikiIDanbooru(domai.us)66. AIBooru：AIBooru:Anime1.rnaqeBoard7.C67. COrItrOInet允许通过线稿、动作识别、深度信息等对生成的图像进行控制。68. 请注意，在使用前请确保COntrO1.Net设置下的路径与本地Stab1.eDiffUSiOn的路径同步69. 点出Enab1.e启用该项ControINet70. PreprOCeSsOr指预处理器，它将对输入的图像进行预处理。如果图像已经符合孩处理后的结果.谙选择None等如，图中导入的图像已经是OpenPose需要的骨架图，那么preprocessor选择none即可。71. 在Weight卜.，可以调整该项COntro1.Net的在合成中的影响权重，与在PrOmPt中调整的权重类似。