LoRa模型訓(xùn)練應(yīng)用實(shí)踐“數(shù)智創(chuàng)藝”人工智能與藝術(shù)設(shè)計(jì)

新形態(tài)精品系列AIGC藝術(shù)設(shè)計(jì)（附微課視頻）目錄directory01LoRa模型基礎(chǔ)02水墨山水LoRa訓(xùn)練模型描述03水墨山水LoRa模型訓(xùn)練流程04水墨山水LoRa模型訓(xùn)練過程

05水墨山水LoRa模型輸出06習(xí)題思

維

導(dǎo)

圖學(xué)

習(xí)

目

標(biāo)

掌握LoRa模型的基本概念、核心原理、優(yōu)勢(shì)和應(yīng)用場(chǎng)景01掌握LoRa模型的訓(xùn)練流程02學(xué)會(huì)根據(jù)模型的需求選擇合適的訓(xùn)練集03了解模型訓(xùn)練的過程，并能夠根據(jù)模型的表現(xiàn)進(jìn)行參數(shù)調(diào)整04掌握模型驗(yàn)證的方法，以評(píng)估模型的性能和準(zhǔn)確性

05掌握測(cè)試模型有效性的方法06會(huì)訓(xùn)練滿足需求的個(gè)性化LoRa模型07LoRa模型基礎(chǔ)PARTONELoRa模型是一種用于微調(diào)StableDiffusion模型的訓(xùn)練技術(shù)劇本與分鏡生成效果示例LoRa模型的基本概念LoRa模型是一種用于微調(diào)StableDiffusion模型的訓(xùn)練技術(shù)，是StableDiffusion模型的小型模型，是一種高效的模型適應(yīng)技術(shù)，主要用于對(duì)大型預(yù)訓(xùn)練模型的微調(diào)。StableDiffusion模型LoRa模型微

調(diào)高效的模型適應(yīng)技術(shù)比標(biāo)準(zhǔn)檢查點(diǎn)模型小10～100倍用戶可以訓(xùn)練屬于自己的個(gè)性化模型訓(xùn)練低秩矩陣參數(shù)注入原始模型劇本與分鏡生成效果示例LoRa模型的核心原理訓(xùn)練完成后，通過重參的方式將新的低秩矩陣與原始模型的參數(shù)合并，得到微調(diào)后的模型。參數(shù)合并LoRa模型將原始模型中的參數(shù)矩陣分解為兩個(gè)低秩矩陣的乘積，從而顯著減少了需要調(diào)整的參數(shù)數(shù)量。例如，一個(gè)原始的1000×1024的參數(shù)矩陣，通過LoRa模型可以分解為兩個(gè)較小的矩陣（如100×8和8×1024），從而大幅減少參數(shù)。低秩矩陣分解在訓(xùn)練過程中，LoRa模型只更新這兩個(gè)低秩矩陣，而保持原始模型的其他部分不變。這種方式不僅加快了訓(xùn)練速度，還減少了計(jì)算資源的消耗。訓(xùn)練過程020103核心原理劇本與分鏡生成效果示例LoRa模型的優(yōu)勢(shì)由于低秩矩陣的維度遠(yuǎn)低于原始參數(shù)矩陣，因此訓(xùn)練所需的計(jì)算量顯著降低，從而顯著加快了訓(xùn)練速度LoRa模型通過減少需要訓(xùn)練的參數(shù)數(shù)量，顯著降低了對(duì)計(jì)算資源的需求LoRa模型在參數(shù)更新過程中保留了原始模型的關(guān)鍵信息，并通過低秩矩陣的微調(diào)來適應(yīng)新的任務(wù)或數(shù)據(jù)LoRa模型允許人們根據(jù)需要調(diào)整低秩矩陣的維度和數(shù)量，以平衡模型性能和計(jì)算資源之間的關(guān)系01020304提高適應(yīng)效率降低計(jì)算資源需求保持模型質(zhì)量適應(yīng)不同任務(wù)劇本與分鏡生成效果示例LoRa模型的應(yīng)用場(chǎng)景計(jì)算機(jī)視覺：在StableDiffusion等計(jì)算機(jī)視覺模型中，LoRa模型被用作一種插件，允許用戶在不修改原始模型的情況下，利用少量數(shù)據(jù)訓(xùn)練出具有特定畫風(fēng)、人物特征的模型。自然語言處理：LoRa模型在自然語言處理領(lǐng)域有廣泛的應(yīng)用，如文本生成、機(jī)器翻譯、情感分析等。應(yīng)用場(chǎng)景水墨山水LoRa訓(xùn)練模型描述PARTTWO劇本與分鏡生成效果示例水墨山水本土化模型減少模型訓(xùn)練的參數(shù)提高訓(xùn)練效率訓(xùn)練并生成具有傳統(tǒng)水墨畫風(fēng)格的LoRa模型水墨山水本土化模型訓(xùn)練要求StableDiffusionWebUI頁面LoRa模型微調(diào)方法水墨山水LoRa模型訓(xùn)練流程PARTTHREE模型訓(xùn)練分為前期、中期和后期劇本與分鏡生成效果示例水墨山水LoRa模型訓(xùn)練流程水墨山水LoRa模型訓(xùn)練過程PARTFOUR劇本與分鏡生成效果示例前期：數(shù)據(jù)清洗，選定風(fēng)格建立訓(xùn)練集圖片內(nèi)容元素盡量少，只保留想訓(xùn)練的部分。尺寸與分辨率提取預(yù)設(shè)訓(xùn)練模型的產(chǎn)圖尺寸，處理圖片時(shí)，盡量保證預(yù)設(shè)的尺寸可以框選住圖片的所有內(nèi)容。若處理后圖片主體無法被完全展示，則保留原圖，不進(jìn)行圖片處理。圖片要求至少高清。風(fēng)格訓(xùn)練收集的素材保證風(fēng)格的統(tǒng)一性，尤其線條處理盡可能統(tǒng)一。劇本與分鏡生成效果示例前期：數(shù)據(jù)清洗，選定風(fēng)格建立訓(xùn)練集建立好訓(xùn)練集后，對(duì)圖片統(tǒng)一打標(biāo)簽。在StableDiffusionWebUI頁面中，選擇WD1.4標(biāo)簽器，按照相關(guān)提示，批量將圖片導(dǎo)入進(jìn)行標(biāo)簽處理，添加的觸發(fā)詞為“Inkpainting”。水墨山水訓(xùn)練集添加標(biāo)簽文檔后的訓(xùn)練集注意在原有的標(biāo)簽中刪除與風(fēng)格詞相關(guān)的特征詞劇本與分鏡生成效果示例中期：模型訓(xùn)練及模型驗(yàn)證在模型選擇與優(yōu)化過程中，優(yōu)先采用具備高度泛化能力的大型預(yù)訓(xùn)練模型作為基準(zhǔn)架構(gòu)（此次訓(xùn)練使用“麒麟revAnimated_v122_V1.2.2.safetensors”）理想狀態(tài)下，應(yīng)將訓(xùn)練周期嚴(yán)格控制在0.5～1h的范圍內(nèi)，以防止因訓(xùn)練過度而引發(fā)過擬合現(xiàn)象。模型參數(shù)調(diào)整后期：測(cè)試模型的有效性后期：測(cè)試模型的有效性跑圖測(cè)試時(shí)調(diào)用LoRa的方式可以使用AdditionalNetworks中的模型類型和權(quán)重來做xy軸。最后生成的陣列圖。不同權(quán)重陣列圖經(jīng)過反復(fù)優(yōu)化的模型則為本次訓(xùn)練的最優(yōu)模型，本案例所訓(xùn)練的水墨山水本土化模型，最優(yōu)模型為s5smh-000014模型，且其在權(quán)重為0.9時(shí)表現(xiàn)最佳。權(quán)重在0.9時(shí)模型表現(xiàn)最佳從訓(xùn)練集中選取的對(duì)比圖片水墨山水LoRA模型輸出PARTFIVE在模型輸出階段，利用預(yù)設(shè)的提示詞進(jìn)行測(cè)試，以評(píng)估模型的表現(xiàn)力后期：測(cè)試模型的有效性水墨山水LoRa模型輸出在模型輸出階段，利用預(yù)設(shè)的Prompt進(jìn)行測(cè)試，以評(píng)估模型的表現(xiàn)力。結(jié)果顯示，Lora模型能夠迅速響應(yīng)這些指令，生成出的圖像達(dá)到預(yù)設(shè)要求。不同權(quán)重陣列圖習(xí)

題PARTSIX思考題01請(qǐng)闡述你對(duì)提示詞本質(zhì)的理解。說明它在藝術(shù)設(shè)計(jì)中起到了什么作用？03根據(jù)書中所講內(nèi)容，指出你認(rèn)為在藝術(shù)設(shè)計(jì)中，提示詞設(shè)計(jì)應(yīng)遵循的兩個(gè)極其重要的原則，并解釋原因。05描述一種或兩種你認(rèn)為最有效的提示詞優(yōu)化技巧，并給出具體的優(yōu)化案例。07描述本章所講的提示詞設(shè)計(jì)一般公式，解釋這個(gè)公式如何幫助你創(chuàng)建有效的提示詞。在實(shí)際應(yīng)用中，這個(gè)公式有哪些局限性？如何克服這些局限性02040608提示詞與觀眾之間的溝通機(jī)制是怎樣的？為什么它在傳達(dá)設(shè)計(jì)意圖時(shí)如此重要？

如何確保提示詞在設(shè)計(jì)中既準(zhǔn)確又富有吸引力？在優(yōu)化提示詞時(shí)，如何平衡信息的準(zhǔn)確性和簡(jiǎn)潔性？舉例說明兩種有關(guān)圖像生成的提示詞應(yīng)用，并討論在圖像生成中如何有效利用提示詞。劇本與分鏡生成效果示例討論題選擇一個(gè)你感興趣的藝術(shù)作品（可以是圖片、視頻或其他形式），為其設(shè)計(jì)一個(gè)或多個(gè)提示詞，并解釋你的設(shè)計(jì)思路。邀請(qǐng)幾位朋友或同學(xué)，讓他們根據(jù)你的提示詞來解讀這個(gè)藝術(shù)作品，并記錄他們的反饋信息。

提示詞設(shè)計(jì)實(shí)踐使用Midjourney或其他類似的AI圖像生成工具，根據(jù)你自己設(shè)計(jì)的提示詞生成一張圖像。分析生成的圖像是否符合你的預(yù)期，如果不符合，請(qǐng)思考如何調(diào)整提示詞以改進(jìn)結(jié)果。圖像生成實(shí)踐藝術(shù)創(chuàng)作中的提示詞應(yīng)用實(shí)踐：選擇一種你熟悉的藝術(shù)形式（如繪畫、攝影等），嘗試在該藝術(shù)形式中融入提示詞元素，并展示生成的作品。解釋你是如何運(yùn)用提示詞來增強(qiáng)作品的表達(dá)力和吸引力的。藝術(shù)創(chuàng)作中的提