工業(yè)大數(shù)據(jù)與人工智能HFUT1主講人：徐娟

副教授基于NLP文本生成圖像的任務實驗2實驗課自然語言處理NLP3實驗背景介紹自然語言處理主要研究用計算機理解和生成自然語言的各種理論和方法，是一種強大的技術，它結合了計算機科學、人工智能、統(tǒng)計學和語言學等多個領域的知識，使得計算機系統(tǒng)對人類日常使用的自然語言進行有效的分析、理解和生成。特征提?。涸~嵌入、詞袋模型、TF-IDF（TermFrequency-InverseDocumentFrequency）、循環(huán)神經網絡、長短時間序列以及Transformer模型文本生成圖像4實驗背景介紹幾種圖像生成模型：GAN/VAE/Flow-based/DiffusionDiffusion擴散模型5實驗背景介紹DiffusionStableDiffusionStableDiffusion的意義6實驗背景介紹StableDiffusionStableDiffusion是一種強大的生成模型，能夠將自然語言文本轉換為高質量的圖像。這為藝術創(chuàng)作、廣告設計、游戲開發(fā)、虛擬現(xiàn)實等領域提供了新的工具。通過輸入簡單的文本描述，用戶可以自動生成符合其想法的視覺內容，大大減少了傳統(tǒng)設計流程中的復雜步驟。7實驗環(huán)境硬件環(huán)境：一臺配備高性能CPU、GPU及足夠內存（建議16GB以上）的計算機。i5及以上的CPU，GTX1060及以上的GPU軟件環(huán)境：操作系統(tǒng):Windows10或Ubuntu18.04及以上版本；Python:版本3.8或更高，推薦使用Anaconda進行環(huán)境管理。/download·操作系統(tǒng)：Windows10/11或Linux·開發(fā)工具：Python3.8及以上，Anaconda，JupyterNotebook·必備庫：PyTorch·其他工具：VSCode,Docker（用于部署模型）8實驗環(huán)境Python需求庫下載對應的github找到requirements.txt按照要求進行下載安裝9實驗環(huán)境tips：優(yōu)先嘗試web版體驗一下10實驗流程安裝依賴環(huán)境加載預訓練模型定義文本提示生成圖像可選：調整推理步驟和采樣方法

可選：調整圖像分辨率

不同的Prompt（提示詞）11模型加載與配置模型加載可參考Text-to-Image這部分配置，根據(jù)readme的要求下載對應的權重，對于SD2.1-v模型，運行代碼可參考：pythonscripts/txt2img.py--prompt"aprofessionalphotographofanastronautridingahorse"--ckpt<path/to/768model.ckpt/>--configconfigs/stable-diffusion/v2-inference-v.yaml--H768--W768對于SD2.1-base模型，運行代碼可參考：pythonscripts/txt2img.py--prompt"aprofessionalphotographofanastronautridingahorse"--ckpt<path/to/model.ckpt/>--config<path/to/config.yaml/>12網頁版實驗打開網頁版的demo：https://huggingface.co/spaces/stabilityai/stable-diffusion13網頁版實驗輸入提示詞如：Acatsleepingonthesofa14網頁版實驗輸入negativeprompt如：sleep便可以觀察到貓的“sleep”這一屬性沒有了15實驗具體要求在開始實驗之前，首先要了解生成模型，包括GANs（生成對抗網絡）和VAEs（變分自編碼器）的基本概念。接著便是擴散模型：學習擴散模型的基本工作原理，了解它們如何通過從噪聲到圖像的逆向擴散過程生成數(shù)據(jù)。StableDiffusion的結構：U-Net網絡結構。文本編碼器和潛在空間的概念。采樣步驟（Sampling）和去噪過程。16實驗測試案例實驗預期1、了解前置知識，NLP是如何進行特征提取，什么是文本生成圖像，diffusion模型的工作原理是怎么樣的（最好了解一下數(shù)學原理）。2、在網頁端運行，能夠知道網頁端如何運行，自行輸入文本，讓其生成對應的圖像，多輸入幾次意思近似的文本，觀察生成圖像的區(qū)別。3、能夠根據(jù)官方提供的預訓練權重，能夠根據(jù)提示的運行指令來把stablediffusion運行出來，將生成的圖像展示在報告中，并對不同設置下生成圖像的質量和風格進行分析。17實驗結果結果展示提供實驗中關鍵步驟的截圖，例如生成圖像和提示文本的結果展示。18實驗結果討論1、將生成的圖像展示在報告中，并對不同設置下生成圖像的質量和風格進行分析。2、討論StableDiffusion的潛力及其在藝術創(chuàng)作、影視制作中的應用前景。3、分享在實驗過程中遇到的問題及解決方法。19實驗總結-實驗的主要發(fā)現(xiàn)與結論撰寫實驗的主要發(fā)現(xiàn)撰寫實驗結論給出實驗可能得應用場景20參考資料[1]https://arthurchiao.art/articl