人工智能應(yīng)用基礎(chǔ)

項(xiàng)目10AI圖像生成圖像目錄CATALOG10.110.2提示詞反推LiblibAI圖生圖10.310.4LoRA項(xiàng)目單元小結(jié)10.1.1LiblibAI圖生圖概述10.1LiblibAI圖生圖3從創(chuàng)作功能上，LiblibAI提供了三種主要的創(chuàng)作功能：在線生圖，在線工作流以及LoRA訓(xùn)練。其中在線生圖比較普適，可以輕松上手。而另外兩個(gè)功能則更加專業(yè)(對(duì)SD/MJ有一些使用經(jīng)驗(yàn)會(huì)更好）一些，可以實(shí)現(xiàn)一定的專業(yè)訴求。LiblibAI在線生圖的大分類下，有細(xì)化文生圖、圖生圖、圖生視頻等。LiblibAI在線生圖的大分類下的圖生圖功能，是一項(xiàng)極具創(chuàng)意和實(shí)用性的工具。以下是對(duì)該功能的詳細(xì)介紹：1．LibibiAI簡(jiǎn)介10.1.1LiblibAI圖生圖概述10.1LiblibAI圖生圖41、功能概述圖生圖功能允許用戶上傳一張已有的圖片，然后基于這張圖片生成新的圖片。平臺(tái)會(huì)分析上傳圖片的風(fēng)格、元素和特征，并在此基礎(chǔ)上進(jìn)行創(chuàng)作，生成與原圖相似但又不完全相同的新圖片。2、使用步驟上傳圖片：用戶需要先在平臺(tái)上選擇并上傳一張已有的圖片。這張圖片可以是任何類型的圖像，如風(fēng)景、人物、動(dòng)物等。選擇模型：平臺(tái)提供了多個(gè)不同的AI模型供用戶選擇。每個(gè)模型都有不同的特點(diǎn)和風(fēng)格，用戶可以根據(jù)自己的喜好和需求選擇合適的模型。2．LibibiAI圖生圖10.1.1LiblibAI圖生圖概述10.1LiblibAI圖生圖5調(diào)整參數(shù)：用戶還可以根據(jù)需要調(diào)整一些生成參數(shù)，如圖片的尺寸、生成數(shù)量等。這些參數(shù)將影響最終生成圖片的質(zhì)量和風(fēng)格。開始生成：設(shè)置好所有參數(shù)后，用戶可以點(diǎn)擊開始生成按鈕，等待平臺(tái)完成圖片的生成。有參數(shù)后，用戶可以點(diǎn)擊開始生成按鈕，等待平臺(tái)完成圖片的生成。除了上傳圖片，其余步驟與文生圖都是相同或相似的。3、功能特點(diǎn)多樣性：圖生圖功能可以生成多種風(fēng)格的新圖片，滿足用戶的多樣化需求。無(wú)論是想要保留原圖風(fēng)格并進(jìn)行微調(diào)，還是想要生成與原圖風(fēng)格完全不同的新圖片，都可以通過(guò)調(diào)整參數(shù)和選擇模型來(lái)實(shí)現(xiàn)。2．LibibiAI圖生圖10.1.1LiblibAI圖生圖概述10.1LiblibAI圖生圖6高效性：平臺(tái)采用了先進(jìn)的AI技術(shù)，可以在短時(shí)間內(nèi)完成圖片的生成。用戶無(wú)需等待過(guò)長(zhǎng)時(shí)間，即可獲得滿意的結(jié)果。個(gè)性化：用戶可以根據(jù)自己的喜好和需求進(jìn)行個(gè)性化設(shè)置，如選擇模型、調(diào)整參數(shù)等。這使得生成的圖片更加符合用戶的期望和風(fēng)格。4、應(yīng)用場(chǎng)景藝術(shù)創(chuàng)作：藝術(shù)家可以利用圖生圖技術(shù)進(jìn)行風(fēng)格遷移，將一幅畫轉(zhuǎn)換為另一種風(fēng)格，或者對(duì)老舊照片進(jìn)行修復(fù)和藝術(shù)化處理。2．LibibiAI圖生圖10.1.1LiblibAI圖生圖概述10.1LiblibAI圖生圖7視覺(jué)特效制作：在電影、游戲和廣告等視覺(jué)特效制作中，圖生圖技術(shù)可以用于生成逼真的特效元素，如火焰、水流等。室內(nèi)設(shè)計(jì)：設(shè)計(jì)師可以利用圖生圖技術(shù)快速生成多種設(shè)計(jì)方案，幫助客戶選擇最合適的裝修風(fēng)格和布局。2．LibibiAI圖生圖10.1.2圖生圖任務(wù)目標(biāo)10.1LiblibAI圖生圖81．任務(wù)目標(biāo)任務(wù)描述：本次任務(wù)的核心在于掌握AI圖像生成技術(shù)，以分析和創(chuàng)作具有特定特征的新圖片。具體目標(biāo)是，通過(guò)AI圖像生成方法，深入分析一張“夏日海灘”的原始圖片，并在此基礎(chǔ)上生成一張全新的圖片。這張新圖片不僅要保持原始圖片的風(fēng)格和氛圍，還需巧妙融入“雪山”這一全新的場(chǎng)景元素，最終達(dá)成如圖10?1所示的獨(dú)特視覺(jué)效果。圖10?1原始圖片與預(yù)期結(jié)果10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖91．操作步驟step1進(jìn)入LiblibAI“在線生圖”界面，打開“圖生圖”功能菜單，操作如圖10?2所示。向下拖出現(xiàn)“圖像參數(shù)設(shè)置”的功能界面。圖10?2進(jìn)入圖生圖界面操作示意圖10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖101．操作步驟Step2點(diǎn)擊“生圖”|“圖生圖”下方的“將圖像拖到這里上傳

或

點(diǎn)我選擇圖片”選擇文件，從本地選擇一張“夏日海灘”的圖片，這里使用的圖片尺寸為1024*736，點(diǎn)擊“上傳”，此時(shí)上傳的圖片會(huì)在界面的左側(cè)顯示。其它參數(shù)默認(rèn)即可。操作如圖10?3所示。圖10?3上傳圖像操作示意圖10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖111．操作步驟step3編寫提示詞，保留原來(lái)圖像中需要的畫面特征，設(shè)計(jì)新圖像中的雪山場(chǎng)景，操作如圖10?4所示。在正向提示詞中輸入“masterpiece,4K,highlydetailed,summerbeach,clearbluesky,goldensand,brightsunshine,(wintermountain),snow-coveredpeak,sereneatmosphere,”，表示“杰作，4K，高細(xì)節(jié)度，夏季海灘，清澈的藍(lán)天，金色的沙灘，明媚的陽(yáng)光，(冬季雪山)，白雪覆蓋的山峰，寧?kù)o的氣氛，”。在負(fù)面提示詞中輸入“l(fā)owquality,blurry,badanatomy”，表示避免出現(xiàn)“低畫質(zhì)，模糊，生物結(jié)構(gòu)錯(cuò)亂”。圖10?4上傳圖像操作示意圖10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖121．操作步驟step4設(shè)置參數(shù)，選擇CHECKPOINT為寫實(shí)風(fēng)格的主模型“majicMIXrealistic麥橘寫實(shí)_v7.safetensors”或“騰訊混元-DiT_HunyuanDiT-v1.2.safetenso”，如圖10?5所示。圖10?5上傳圖像操作示意圖10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖131．操作步驟圖像尺寸設(shè)置為與上傳圖像一致“1024*736”，迭代步數(shù)設(shè)置為40，圖片數(shù)量選擇1，其它參數(shù)默認(rèn)，操作如圖10?6所示?？s放方式默認(rèn)為“拉伸”。當(dāng)希望生成的圖像與上傳圖像大小不一致時(shí)，可以選擇縮放模式對(duì)圖像進(jìn)行縮放。LiblibAI的縮放模式有三種，分別是拉伸原圖、裁剪原圖、填充空白。重繪幅度默認(rèn)值為0.75，用于控制AI創(chuàng)作的自由度，0.5以下對(duì)人物面部微調(diào)，0.7以上大范圍重繪。圖10?6參數(shù)設(shè)置示意圖10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖141．操作步驟圖10?7生成及下載圖片操作示意圖step5點(diǎn)擊“開始生圖”，在原始圖的右側(cè)方框中生成新的圖片，圖片生成后點(diǎn)擊“下載”，操作如圖10?7所。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖151．操作步驟圖10?8原始圖片與重繪幅度為0.75時(shí)生成結(jié)果對(duì)比將原始圖片與生成的新圖片進(jìn)行對(duì)比，如圖10?8所示?？梢钥吹诫m然生成的新圖片將“夏日沙灘”與“雪山”進(jìn)行了比較完美的融合，但是整個(gè)畫面的構(gòu)圖幾乎與原始圖像沒(méi)有關(guān)系（因?yàn)槲覀冎乐乩L幅度參數(shù)超過(guò)0.7其重繪的自由度就很大），接下來(lái)適當(dāng)調(diào)整參數(shù)解決該問(wèn)題。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖161．操作步驟圖10?9調(diào)整重繪幅度示意圖step6將“圖像參數(shù)”中的重繪幅度減少到0.5，操作如圖10?9所示。再次生成圖片，將原始圖片與生成的圖片進(jìn)行對(duì)比，如圖10?10所示。可以看到降低重繪幅度后，生成的圖片不僅很好地將原始圖片中的“夏日沙灘”與“雪山”進(jìn)行了融合，還盡可能地保留了原始圖片中的內(nèi)容，整個(gè)畫面非常自然合理。圖10?10原始圖片與重繪幅度為0.5時(shí)生成結(jié)果對(duì)比10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖171．操作步驟圖10?11修改“椅子”區(qū)域step7將上一步生成的圖像下載到本地，在畫面中有一部分內(nèi)容是“椅子”，如圖10?11所示。如果希望對(duì)這部分內(nèi)容進(jìn)行修改，可以使用“蒙版”對(duì)圖片局部重繪。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖181．操作步驟圖10?12新建圖層操作示意圖step8使用Photoshop打開原始圖片，新建一個(gè)圖層，點(diǎn)擊選中該圖層。操作如圖10?12所示。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖191．操作步驟圖10?13涂抹修改區(qū)域step9使用畫筆工具，前景色為“黑色”，對(duì)圖片中的椅子進(jìn)行涂抹，操作如圖10?13所示。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖201．操作步驟圖10?14隱藏背景圖層step10隱藏背景圖層，將制作的蒙版圖片導(dǎo)出為PNG格式，操作如圖10?14、圖10?15所示。圖10?15導(dǎo)出蒙版為PNG格式10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖211．操作步驟圖10?16上傳蒙版圖像示意圖step11返回到AI圖像生成界面，選擇“圖生圖”|“重繪蒙版”。其中選擇“重繪蒙版”如圖10?16所示。分別將step6、step7中生成和下載的圖片上傳到重繪蒙版，將step10制作的蒙版圖片也上傳到重繪蒙版。在“重繪蒙版”中點(diǎn)擊“將圖像拖到這里上傳或點(diǎn)我選擇圖片”提示上傳圖片。使用蒙版后，AI只會(huì)對(duì)圖片中被蒙版遮住的區(qū)域進(jìn)行重新繪制。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖221．操作步驟圖10?17修改蒙版模式的重繪區(qū)域修改蒙版模式，重繪區(qū)域?yàn)椤皟H蒙版”，其他參數(shù)默認(rèn)，比如蒙版蒙住的內(nèi)容默認(rèn)是“原版”。如圖10?17所示。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖231．操作步驟圖10?18編寫提示詞示意圖step12使用提示詞將蒙版遮蓋的區(qū)域修改成“用沙子堆的城堡”。操作如圖10?18所示。正向提示詞中輸入“masterpiece,4K,highlydetailed,sandcastle,”。表示“杰作，4K，高細(xì)節(jié)度，沙子做的城堡”。負(fù)面提示詞中輸入“l(fā)owquality,blurry,badanatomy,”表示避免出現(xiàn)“低畫質(zhì)，模糊，生物結(jié)構(gòu)錯(cuò)亂”。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖241．操作步驟圖10?19局部重繪結(jié)果圖step13仍舊選擇寫實(shí)風(fēng)格的主模型“majicMIXrealistic麥橘寫實(shí)_v7.safetensors”，圖像尺寸設(shè)置為與上傳圖像一致“1024*736”，迭代步數(shù)設(shè)置為40，其它參數(shù)默認(rèn)。點(diǎn)擊“開始生圖”，結(jié)果如圖10?19所示。

10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖251．操作步驟圖10?20改變蒙版蒙住的內(nèi)容為“填充”參數(shù)設(shè)置后生成圖step14在“蒙版版式”參數(shù)中，改變蒙版蒙住的內(nèi)容為“填充”，可以縮小生成的替換蒙版部分的城堡的大小。

生成圖像如圖

10?20所示。

10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖261．操作步驟圖10?21上傳有拼接痕跡的圖step15重新選擇“生圖”|“圖生圖”，將上一步生成的有拼接痕跡的圖上傳，如圖10?21所示。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖271．操作步驟圖10?22編寫提示詞優(yōu)化局部重繪的圖片step16編寫提示詞，重新描述畫面中的內(nèi)容。操作如圖10?22所示。10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖281．操作步驟圖10?23編寫提示詞優(yōu)化局部重繪的圖片step17設(shè)置參數(shù)，寫實(shí)風(fēng)格的CHECKPOINT主模型不變，圖像尺寸設(shè)置為與上傳圖像一致“1024*736”，迭代步數(shù)設(shè)置為40，重點(diǎn)是重繪幅度設(shè)置為0.5，限制重繪的自由度。其它參數(shù)默認(rèn)，操作如圖10?23所示。

10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖291．操作步驟圖10?24消除拼接痕跡優(yōu)化后的圖點(diǎn)擊“開始生圖”，

生成優(yōu)化的消除拼接痕跡的圖，如圖

10?24所示。

10.1.3圖生圖實(shí)踐-蒙版重繪10.1LiblibAI圖生圖301．操作步驟圖10?25原始圖片與最終生成結(jié)果原始圖片與生成結(jié)果如圖10?25所示。10.1.4局部重繪10.1LiblibAI圖生圖31在圖生圖中上傳下圖，讓其開眼笑。選擇鉛筆標(biāo)記。10.1.4局部重繪10.1LiblibAI圖生圖32將眼部涂黑10.1.4局部重繪10.1LiblibAI圖生圖33其他參數(shù)設(shè)置如下：在提示詞中輸入：Openeyes,點(diǎn)擊“開始生圖”，效果如下：10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖34InpaintAnything是一個(gè)結(jié)合了HQ-SAM（SegmentAnythinginHighQuality）高質(zhì)量圖像分割基礎(chǔ)模型、圖像修補(bǔ)模型（例如LaMa)和AIGC模型（例如StableDiffusion)等視覺(jué)基礎(chǔ)模型的AI圖像替換和修補(bǔ)系統(tǒng)。基于此系統(tǒng)，用戶可以方便的使用AI進(jìn)行圖像替換，處理具有任意長(zhǎng)寬比和高清分辨率的圖像,且不受圖像原始內(nèi)容限制，并且使用方便。InpaintAnything已經(jīng)被廣泛應(yīng)用于多個(gè)領(lǐng)域。例如，在時(shí)尚設(shè)計(jì)領(lǐng)域，設(shè)計(jì)師可以利用這款插件快速生成不同風(fēng)格的服裝搭配方案；在廣告行業(yè)，制作人員可以通過(guò)換裝換景功能輕松制作出具有吸引力的廣告海報(bào)；在社交媒體上，普通用戶也可以借助這款插件制作出富有創(chuàng)意的個(gè)性化頭像和壁紙。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖35示例1：簡(jiǎn)單的換裝實(shí)操。step1打開LiblibAI，選擇“InpaintAnything”，如圖10?26所示。圖10?26選擇“InpaintAnything”10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖36圖10?27輸入一張圖Step2打開

InpaintAnything卷展欄，拖入一張要修改的照片，默認(rèn)選擇SegmentAnything模型

ID，然后點(diǎn)擊下方“運(yùn)行SegmentAnything”。如圖

10?27所示。

10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖37圖10?28選擇蒙版的區(qū)域Step3經(jīng)過(guò)一會(huì)計(jì)算后，便出現(xiàn)了一張顏色塊圖案，原圖上人物的各個(gè)部分被用顏色塊來(lái)進(jìn)行了分割，可以使用畫筆點(diǎn)擊選擇不同的顏色區(qū)域?yàn)槊砂娌糠?。使用畫筆點(diǎn)擊女孩圖像的上裝區(qū)域?yàn)槊砂娌糠郑嫻P可以改變點(diǎn)的大小，在同一顏色區(qū)域點(diǎn)擊點(diǎn)數(shù)不限，一個(gè)即可。如圖10?28所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖38圖10?29創(chuàng)建蒙版Step4然后，點(diǎn)擊下方的創(chuàng)建蒙版，衣服便被創(chuàng)建了蒙板。如圖10?29所示。亮色（一般是白色）部分即表示蒙版區(qū)域，如果此時(shí)對(duì)蒙版區(qū)域不滿意還可以繼續(xù)使用畫筆涂抹繪制增加，對(duì)于新增加的蒙版區(qū)域，要點(diǎn)擊“根據(jù)草圖添加蒙版”完成蒙版的區(qū)域增加。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖39圖10?30獲取蒙板并發(fā)送到圖生圖Step5點(diǎn)擊僅蒙板–>獲取蒙板–>發(fā)送到圖生圖重繪。就會(huì)將原圖和剛剛創(chuàng)建的蒙板直接發(fā)送到圖生圖中。如圖10?30所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖40圖10?31圖生圖中提示詞輸入“藍(lán)色運(yùn)動(dòng)裝”Step6在圖生圖中的提示詞中輸入“藍(lán)色運(yùn)動(dòng)裝”，如圖10?31所示。點(diǎn)擊右上方的“開始生圖”。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖41圖10?32重繪蒙版重繪蒙版結(jié)果如圖10?32所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖42圖10?33添加小木屋圖像示例2：在小木屋前增加一片水域step1在LiblibAI中選擇“InpaintAnything”，添加小木屋圖片。如圖10?33所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖43圖10?34用不同顏色分割原圖區(qū)域Step2點(diǎn)擊“運(yùn)行SegmentAnything”后，就會(huì)對(duì)原圖使用不同顏色進(jìn)行了區(qū)域分割，如圖10?34所示。在這里不選任何區(qū)域，直接點(diǎn)擊“創(chuàng)建蒙版”。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖44圖10?35在草圖上涂抹繪制出一片水域Step3創(chuàng)建蒙版后，在草圖使用畫筆涂抹繪制出一片水域的區(qū)間，如圖10?35所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖45圖10?36蒙版部分變亮Step4點(diǎn)擊“根據(jù)草圖添加蒙版”之后，經(jīng)過(guò)計(jì)算，蒙版部分變亮，如圖10?36所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖46圖10?37獲取小木屋前水域的蒙版Step5點(diǎn)擊僅蒙板–>獲取蒙板–>發(fā)送到圖生圖重繪。就會(huì)將原圖和剛剛創(chuàng)建的蒙板直接發(fā)送到圖生圖中。如圖10?37所示。10.1.5使用lnpaintAnything插件10.1LiblibAI圖生圖47圖10?38小木屋前增加一片水域后的結(jié)果在圖生圖中輸入提示詞“一片藍(lán)色水域”，點(diǎn)擊“開始生圖”，結(jié)果如圖10?38所示。10.1.6拓展任務(wù)10.1LiblibAI圖生圖481．任務(wù)描述：使用AI繪圖模型進(jìn)行圖像風(fēng)格轉(zhuǎn)換。將一張自然風(fēng)景圖像轉(zhuǎn)換成“梵高風(fēng)格”的畫作，如圖10?39所示。并在此基礎(chǔ)上生成具有“星空”主題的混合圖像。2.提示詞：梵高風(fēng)格（VanGoghStyle）烏云（StarryNight）飛機(jī)（plane）自然風(fēng)景（NaturalLandscape）油畫質(zhì)感（OilPaintingTexture）混合圖像（MixedImage）圖10?39重繪“梵高風(fēng)格”的畫作10.1.6拓展任務(wù)10.1LiblibAI圖生圖493.參數(shù)建議：原始圖像：一張高分辨率的自然風(fēng)景圖像，例如黃山松的圖像。請(qǐng)自行獲取。風(fēng)格：生成的圖像風(fēng)格接近梵高。圖像分辨率：1024x768，生成高清畫作。迭代次數(shù)：40，提高生成圖像的細(xì)節(jié)。色彩飽和度：高，使圖像色彩更加鮮明。細(xì)節(jié)度：高，確保圖像細(xì)節(jié)豐富，清晰可見。自行調(diào)節(jié)提示詞引導(dǎo)系數(shù)

CFG和重繪幅度的值。10.1.6拓展任務(wù)10.1LiblibAI圖生圖50將重繪的圖片下載保存，轉(zhuǎn)到InpaintAnything上傳重繪圖片。如圖10?40所示。圖10?40InpaintAnything上傳重繪圖設(shè)置重繪參數(shù)，如圖10?41所示。圖10?41設(shè)置重繪參數(shù)10.1.6拓展任務(wù)10.1LiblibAI圖生圖51生成圖如圖10?42所示。圖10?42拓展任務(wù)最終結(jié)果10.2.1

提示詞反推的作用10.1LiblibAI圖生圖521.CLIP反推我們已經(jīng)了解，CLIP（ContrastiveLanguage-ImagePre-training）是一個(gè)模型，它將圖像和文本嵌入空間聯(lián)系起來(lái)。CLIP反推使用圖像生成與之相關(guān)的自然語(yǔ)言描述。在StableDiffusion中，CLIP反推會(huì)根據(jù)輸入的圖像生成一句話的描述，以幫助指導(dǎo)圖像生成。例如，給定一張圖像，CLIP反推可以生成類似于“晚上背著包站在建筑物前的女人，背景是城市，背景是城市景觀”的描述。2.DeepBooru反推DeepBooru是一個(gè)用于標(biāo)記二次元圖片的模型，它能夠識(shí)別出圖片中的各種元素。DeepBooru反推會(huì)在圖像中生成多個(gè)單獨(dú)的提示詞，這些提示詞可以用于進(jìn)一步調(diào)整圖像生成的方向。10.2.1CLIP反推提示詞生圖10.1LiblibAI圖生圖53操作步驟如下：Step1打開LiblibAI平臺(tái)的“圖生圖”，上傳“花叢中的長(zhǎng)發(fā)少女穿粉色裙子”圖片，如圖10?43所示。圖10?43上傳少女圖片10.2.1CLIP反推提示詞生圖10.1LiblibAI圖生圖54圖10?44CLIP反推提示詞Step2點(diǎn)擊“CLIP反推”，自動(dòng)生成CLIP寫法的提示詞，如圖10?44所示。負(fù)向提示詞默認(rèn)。圖10?45啟用ADetailerStep3為了保障面部清晰，啟用ADetailermodel，選擇一個(gè)“face”模型，如圖10?45所示。10.2.1CLIP反推提示詞生圖10.1LiblibAI圖生圖55點(diǎn)擊“開始生圖”，生圖效果如圖10?46所示。圖10?46CLIP反推提示詞生圖結(jié)果10.2.2DeepBooru反推提示詞生圖10.1LiblibAI圖生圖56操作步驟與反推CLIP提示詞生圖類似。Step1換一種“動(dòng)漫”CHECKPOINT模型，點(diǎn)擊“DeepBooru反推”，如所示。生成DeepBooru寫法的提示詞。圖10?46CLIP反推提示詞生圖結(jié)果圖10?47DeepBooru反推提示詞生圖結(jié)果10.3LoRA10.1LiblibAI圖生圖57LoRA模型是風(fēng)格化模型，是在CHECKPOINT大模型底座基礎(chǔ)上訓(xùn)練的個(gè)性化的模型，可以搭建屬于個(gè)人的數(shù)字資產(chǎn)庫(kù)，包括素材組件庫(kù)?，F(xiàn)在在企業(yè)層面更多的AI圖像落地方案和應(yīng)用，大都集中在LoRA模型，一方面LoRA模型是完全可控的，二是其具有私密性，其三LoRA模型的質(zhì)量和效率也是最高的。在StableDiffusion中LoRA訓(xùn)練是最A(yù)IGC在企業(yè)商業(yè)性落地最有說(shuō)服力的工作項(xiàng)目，也是企業(yè)就業(yè)的一項(xiàng)技能，甚至是一個(gè)就業(yè)方向。10.3.1

什么是LoRA模型10.1LiblibAI圖生圖58LoRA模型，全稱Low-RankAdaptationofLargeLanguageModels，是一種用于微調(diào)大型語(yǔ)言模型的低秩適應(yīng)技術(shù)。它最初應(yīng)用于NLP領(lǐng)域，特別是用于微調(diào)GPT-3等模型。LoRA通過(guò)僅訓(xùn)練低秩矩陣，然后將這些參數(shù)注入到原始模型中，從而實(shí)現(xiàn)對(duì)模型的微調(diào)。這種方法不僅減少了計(jì)算需求，而且使得訓(xùn)練資源比直接訓(xùn)練原始模型要小得多，因此非常適合在資源有限的環(huán)境中使用。在StableDiffusion（SD）模型的應(yīng)用中，LoRA被用作一種插件，允許用戶在不修改SD模型的情況下，利用少量圖像數(shù)據(jù)訓(xùn)練出具有特定畫風(fēng)、IP或人物特征的模型。這種技術(shù)在社區(qū)使用和個(gè)人開發(fā)者中非常受歡迎。例如，可以通過(guò)LoRA模型改變SD模型的生成風(fēng)格，或者為SD模型添加新的人物或IP。10.3.1

什么是LoRA模型10.1LiblibAI圖生圖59

LoRA模型的使用涉及安裝插件和配置參數(shù)。用戶需要下載適合的LoRA模型和相應(yīng)的CHECKPOINT模型，并將其安裝到相應(yīng)的目錄。在LiblibAI平臺(tái)中則可以直接選擇“訓(xùn)練我的LoRA”模塊。在使用時(shí)，可以將LoRA模型與大模型結(jié)合使用，通過(guò)調(diào)整LoRA的權(quán)重來(lái)控制生成圖片的結(jié)果。LoRA模型的優(yōu)點(diǎn)包括訓(xùn)練速度快、計(jì)算需求低、訓(xùn)練權(quán)重小，因?yàn)樵寄Ｐ捅粌鼋Y(jié)，我們注入新的可訓(xùn)練層，可以將新層的權(quán)重保存為一個(gè)約3MB大小的文件，比UNet（一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割算法）模型的原始大小小了近一千倍。我們舉個(gè)更容易懂的例子：CHECKPOINT大模型就像素顏的人，LoRA模型就如同進(jìn)行了化妝、整容或cosplay，但內(nèi)在還在大模型的底子。當(dāng)然，LoRA模型不僅僅適用于人物，場(chǎng)景、動(dòng)漫、風(fēng)格都有相對(duì)應(yīng)的LoRA。10.3.2

如何使用LoRA10.1LiblibAI圖生圖60本地安裝的StableDiffusion，LoRA和大模型一樣需要自己去下載安裝，常用的LoRA模型下載平臺(tái)包括LiblibAI、吐司TusiA、Civitai等平臺(tái)。LiblibAI在線平臺(tái)可直接使用LoRA模型，具體使用操作如下：step1進(jìn)入LiblibAI首頁(yè)，搜索“商標(biāo)LoRA”，如圖10?48所示。圖10?48搜索“商標(biāo)LoRA”10.3.2

如何使用LoRA10.1LiblibAI圖生圖61圖10?49選擇“極簡(jiǎn)風(fēng)LoRA”Step2自行選擇一個(gè)LoRA模型，比如極簡(jiǎn)風(fēng)LoRA，如圖10?49所示。注意查看該模型的說(shuō)明，其部分說(shuō)明如下：極簡(jiǎn)風(fēng)logo-lora-XL-punditV1.0制作極簡(jiǎn)風(fēng)格logo的lora模型，極簡(jiǎn)風(fēng)格，logo圖標(biāo)，搭配我的Portraitphotography-XL-pundit大模型10.3.2

如何使用LoRA10.1LiblibAI圖生圖62圖

10?50展開LoRA模型的提示詞和參數(shù)Step3點(diǎn)擊“加入模型庫(kù)”，然后選擇一個(gè)有提示詞和參數(shù)的圖標(biāo)（打開后才可以查看），出現(xiàn)該圖像LoRA模型的提示詞與參數(shù)說(shuō)明。如圖10?50所示。點(diǎn)擊“復(fù)制全部”、“畫同款”。正向提示詞中文翻譯：標(biāo)志，JJ，沒(méi)有人，簡(jiǎn)單的背景，英文文本，黑色背景，獨(dú)奏，文本焦點(diǎn)，藝術(shù)家姓名，水彩畫主題，10.3.2

如何使用LoRA10.1LiblibAI圖生圖63Step4點(diǎn)擊“畫同款”提示（有的可能是“一鍵生圖”提示）后就進(jìn)入文生圖界面，將該LoRA的提示詞和參數(shù)填充過(guò)來(lái)，我們修改正向提示詞，僅將“標(biāo)志”改為“電子血壓計(jì)標(biāo)志”，“英文文本”改為“中文文本”，“黑色背景”改為“白色背景”，其他內(nèi)容保存不變。修改后的提示詞：電子血壓計(jì)標(biāo)志，JJ，沒(méi)有人，簡(jiǎn)單的背景，中文文本，白色背景，獨(dú)奏，文本焦點(diǎn)，藝術(shù)家姓名，水彩畫主題，修改提示詞如圖10?51所示。注意查看此時(shí)的CHECKPOINT模型是Portraitphotography-XL-pundit1.0模型，這個(gè)模型是一個(gè)個(gè)性化的LoRA模型。注意，有些個(gè)人模型可能不允許加載！圖10?51修改提示詞10.3.2

如何使用LoRA10.1LiblibAI圖生圖64Step5點(diǎn)擊“開始生圖”，結(jié)果如圖10?52所示。可看出，這個(gè)LoRA模型對(duì)漢字似乎不在行。圖10?52由LoRA模型生成的新圖10.3.3

訓(xùn)練個(gè)人LoRA模型10.1LiblibAI圖生圖65?LORA訓(xùn)練首先要搜集整理圖片數(shù)據(jù)?，這是整個(gè)訓(xùn)練過(guò)程的基礎(chǔ)和關(guān)鍵步驟。以下是搜集整理圖片數(shù)據(jù)的具體步驟和注意事項(xiàng)：?(1)確定訓(xùn)練目的?：在開始搜集圖片數(shù)據(jù)之前，首先要明確訓(xùn)練的目的，比如是生成特定風(fēng)格的人物、物體、場(chǎng)景等。明確訓(xùn)練目的有助于更有針對(duì)性地選擇和收集圖片?。?(2)挑選圖片數(shù)的注意事項(xiàng)：?內(nèi)容多樣性?：確保圖片內(nèi)容具有多樣性，包括不同的物體、場(chǎng)景、角度、光線、主題和復(fù)雜度等。例如，如果是訓(xùn)練人物，需要不同角度、動(dòng)作和表情的圖片?3。?質(zhì)量要求?：選擇高質(zhì)量的圖片，避免模糊、失真或低分辨率的圖片。