生成式視覺(jué)模型

原理與實(shí)踐9:19:06下午1第7章

典型應(yīng)用場(chǎng)景9:19:06下午2主要內(nèi)容典型應(yīng)用場(chǎng)景實(shí)戰(zhàn)案例9:19:06下午3典型應(yīng)用場(chǎng)景可控圖像生成圖像翻譯圖像超分辨率圖像修復(fù)圖像分割圖像編輯……9:19:06下午4可控圖像生成ControllableImageGeneration根據(jù)用戶(hù)的指定的條件，生成具有特定屬性或內(nèi)容的圖像。9:19:06下午5典型方法：條件生成模型CVAE、SNGAN、SAGAN、BigGAN、CFG、ADM等GigaGAN、隱擴(kuò)散模型、StableDiffusion等9:19:06下午6文生圖9:19:06下午7提示詞：一幅具有畢加索風(fēng)格的最后的晚餐基于語(yǔ)義圖的圖像生成9:19:06下午8天空樹(shù)木湖泊視頻風(fēng)格轉(zhuǎn)換9:19:06下午9輸入風(fēng)格圖輸出圖像翻譯

9:19:06下午10源域目標(biāo)域SourceDomainTargetDomain典型方法CycleGAN（2017）CycleGAN-Turbo（2024）Palette（2022）調(diào)色板DiffI2（2023）……9:19:06下午11照片上色

9:19:06下午12自動(dòng)駕駛

9:19:06下午13醫(yī)療影像分析

9:19:06下午14人像卡通化大頭照卡通化9:19:06下午15草稿圖到完整繪畫(huà)9:19:06下午16輸入草稿提示詞輸入草稿提示詞圖像超分辨率Super-Resolution(SR)將低分辨率（LowResolution，LR）圖像轉(zhuǎn)換為高分辨率（HighResolution，HR）圖像，從而增強(qiáng)圖像的細(xì)節(jié)和清晰度。9:19:06下午17典型方法SRGAN（2017）經(jīng)典模型，引用極多ESRGAN（2018）GigaGAN（2023），能夠支持4K超分辨率StableDiffusion（2022）ResShift（2024）……9:19:06下午18遙感圖像的超分辨率重建9:19:06下午19圖像修復(fù)對(duì)受到損壞的圖像進(jìn)行修復(fù)重建或者去除圖像中的多余物體的過(guò)程。9:19:06下午20典型方法9:19:06下午21基于WassersteinGAN的圖像修復(fù)（2020）采用GAN的架構(gòu)和對(duì)抗損失將修復(fù)問(wèn)題轉(zhuǎn)化為對(duì)抗生成問(wèn)題典型方法9:19:06下午22Repaint(2022)將圖像修復(fù)歸納為一個(gè)以已知區(qū)域?yàn)闂l件的條件生成式建模問(wèn)題利用DDPM模型進(jìn)行圖像修復(fù)圖像分割將圖像劃分為若干個(gè)具有獨(dú)特性質(zhì)的區(qū)域，并識(shí)別出感興趣的目標(biāo)9:19:06下午23典型方法SegDiff(2021)將分割任務(wù)轉(zhuǎn)化為條件生成式建模任務(wù)以待分割圖片為條件利用擴(kuò)散模型進(jìn)行建模9:19:06下午24圖像編輯對(duì)圖像進(jìn)行各種編輯和轉(zhuǎn)換的過(guò)程。這包括但不限于圖像的縮放、裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)、添加水印、添加文本、添加倒影、圖像遮罩、設(shè)置背景色、高斯模糊、像素化等操作。9:19:06下午25典型方法：DragGANDragGAN僅需通過(guò)簡(jiǎn)單的拖動(dòng)動(dòng)作，即可實(shí)現(xiàn)對(duì)圖像中對(duì)象的形狀、布局、姿態(tài)、表情等特征的精確調(diào)整，同時(shí)保持圖像的整體真實(shí)性和多樣性。9:19:06下午26注意：合法使用、防止AI詐騙9:19:06下午27實(shí)戰(zhàn)案例案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換案例2：遙感圖像的超分辨率案例3：StableDiffusion文生圖9:19:06下午28案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換主要任務(wù)：實(shí)現(xiàn)腦部CT影像與核磁共振影像（MRI）間的相互轉(zhuǎn)換。9:19:06下午29案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換數(shù)據(jù)集：Kaggle平臺(tái)上的“CTandMRIBrainScans”數(shù)據(jù)集2486張腦部CT影像和2488張腦部MRI影像9:19:06下午30案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換模型：CycleGANCycleGAN是一種無(wú)需配對(duì)數(shù)據(jù)的圖像翻譯模型，它借助了GAN的結(jié)構(gòu)實(shí)現(xiàn)兩個(gè)不同域之間的圖像風(fēng)格轉(zhuǎn)換，并通過(guò)循環(huán)一致性損失保證轉(zhuǎn)換的準(zhǔn)確性。9:19:06下午31[1]Zhu,Jun-Yan,etal."Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks."

ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.源域目標(biāo)域案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換完整訓(xùn)練目標(biāo)9:19:06下午32案例1：醫(yī)療影像的模態(tài)轉(zhuǎn)換實(shí)驗(yàn)效果9:19:06下午33案例2：遙感圖像的超分辨率

9:19:06下午34案例2：遙感圖像的超分辨率數(shù)據(jù)集：OLI2MSI該數(shù)據(jù)集由Landsat8-OLI與Sentinel2-MSI圖像組成，其中OLI圖像作為低分辨率（Low-Resolution,LR）圖像，MSI圖像則被視為真實(shí)的（GroundTruth）高分辨率（High-Resolution,HR）圖像9:19:06下午35案例2：遙感圖像的超分辨率數(shù)據(jù)集：OLI2MSI整個(gè)數(shù)據(jù)集包含5225個(gè)可用于訓(xùn)練的“低清-高清”圖像對(duì)，另有100個(gè)“低清-高清”圖像對(duì)可用于測(cè)試。9:19:06下午36案例2：遙感圖像的超分辨率模型：SRGAN9:19:06下午37案例2：遙感圖像的超分辨率實(shí)驗(yàn)效果：9:19:06下午38案例3：StableDiffusion文生圖本地部署方法：訪問(wèn)“秋葉aaaki”的Bilibili官方主頁(yè)，以便獲取最新版本的整合包資源（本指南以V4.9.1版本為范例進(jìn)行說(shuō)明）9:19:06下午39案例3：StableDiffusion文生圖本地部署方法：執(zhí)行“啟動(dòng)器運(yùn)行依賴(lài)-dotnet-6.0.11.exe”程序，以便安裝所有必需的依賴(lài)項(xiàng)解壓“sd-webui-aki-v4.9.1.7z”壓縮包，這將生成一個(gè)名為“sd-webui-aki-v4.9.1”的文件夾9:19:06下午40案例3：StableDiffusion文生圖本地部署方法：將位于“./controlnet/模型”路徑下的checkpoint文件復(fù)制到“./sd-webui-aki-v4.9.1/models/ControlNet”目錄內(nèi)最后，只需在“./sd-webui-aki-v4.9.1”文件夾下運(yùn)行“A繪世啟動(dòng)器.exe”9:19: