玩轉(zhuǎn)AIGC產(chǎn)品的介紹_第1頁
玩轉(zhuǎn)AIGC產(chǎn)品的介紹_第2頁
玩轉(zhuǎn)AIGC產(chǎn)品的介紹_第3頁
玩轉(zhuǎn)AIGC產(chǎn)品的介紹_第4頁
玩轉(zhuǎn)AIGC產(chǎn)品的介紹_第5頁
已閱讀5頁,還剩144頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

序 5 25 30 44使用Megatron-Deepspeed 從0快速搭建個人版“對話大模型”示驅(qū)動以及CUDA庫已安裝成功?;駽UDA庫安裝失敗。等到安裝驅(qū)動以及CUDA庫完成以后,如果創(chuàng)建完ECS實例后,沒有立即遠(yuǎn)程登錄ECS實例,可能看不到類似下圖的回顯信息。b)再次使用root用戶遠(yuǎn)程登錄ECS實例。具體操作,請參見通過密碼或密鑰認(rèn)證登錄pippipinstallgit+/huggingface/transfpipinstallsentencepiece==0.1.97-i/pipinstallpeft==0.2.0-igitgitclone/ymcui/Chinese-Lgit-lfsgit-lfsclonehttps://huggingface.co/ziqingyang/chinese-git-lfsgit-lfsclonehttps://huggingface.co/decapoda-researpythonscripts/merge_llama_with_chinese_l/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf。轉(zhuǎn)換需要一段時間,需要耐心等gitclone/oobabooga/text-gener并后的數(shù)據(jù)模型目錄為/root/Chinese-LLaMA-Alpaca/llama_with_lora_hflnln-s/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf/models/llama_with_?/root/Chinese-LLaMA-Alpaca/llama_with_lora_hf完成以上操作后,您已經(jīng)成功完成了WebUI部署和個人版對話大模型的搭建。您可以在?--model:指定的是步驟3生成的軟鏈接的名稱,不需要帶前面的model/目錄名。本示例軟鏈接的名稱為llama_with_lora_hf。?--chat:用于指定默認(rèn)的?實例:選擇實例規(guī)格為ecs.gn7i-c16g1)4xlarge。?Taiyi-Stable-Diffusion-1B-Anime-cdcd~/stable-diffusion-webui/modwget"https://huggingface.co/runwayml/stable-diffusion-v1-5/resol/v1-5-pruned-emaonly.safetensors"cdcd~/stable-diffusiongitlfsclonehttps://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1gitlfsclonehttps://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1htpasswdhtpasswd-bc/etc/ngi說明首次應(yīng)用AiccTorch進(jìn)行圖片生成,或者切換模型后的首次?提示詞示例:1個女孩,綠眼,棒球帽,金色頭發(fā),閉嘴,帽子,看向閱圖者,短發(fā),簡單背景,單人,上半身,T恤?反向提示詞示例:水彩,漫畫,掃描件,簡樸的畫作,動畫截圖,3D,像素風(fēng),原畫,草圖,手繪,鉛筆快速搭建AI對話機器人?實例:選擇實例規(guī)格為ecs.gn7i-c16g1)4xlarge。cdcd/root/chatglmgit-lfsclonehttps://huggingface?實例:選擇實例規(guī)格為ecs.gn7i-c16g1)4xlarge。wget"https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-n/v1-5-pruned-emaonly.safetensors"htpasswdhtpasswd-bc/etc/ngi步驟3中創(chuàng)建的用戶和密碼,單擊登錄。3條件必選)上傳頭像圖片。?實例:選擇實例規(guī)格為ecs.gn7i-c16g1)4xlarge。?鏡像:本文使用已部署好推理所需環(huán)境的云市場鏡像,名稱為ai-inference-solutwget"https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"htpasswdhtpasswd-bc/etc/ngi基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào){{}Alpaca是一個由LLaMA-7B模型進(jìn)行指令微調(diào)得到的模型,其訓(xùn)練過程中采用的通過指和網(wǎng)絡(luò)層上分別實現(xiàn)了與開源主流分布式框架什么是AI分布式訓(xùn)推出的一個基于PyTorch深度學(xué)習(xí)框架研發(fā)的模型在阿里云GPU異構(gòu)計算實例上的計算性什么是計算優(yōu)化編譯CC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)>?本文使用ecs.gn7i-c32g1)32xlarge規(guī)格的ECS實例進(jìn)行訓(xùn)練,僅部分地域可用區(qū)基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)pippip3install--force-reinstallhttps://ali-perseus-release.oss-cn-huheh),xportALIYUN_ACCESS_KEY_SECRET=****#填入您的AccessKeySecret基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)說明:本文使用云市場的aiacc-train-solution鏡像作為示例,該鏡像已部署好訓(xùn)練所需基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)?拉取stanford_alpaca。安裝后執(zhí)行source~/.bashrc生效環(huán)境變量,如果命令行前綴出現(xiàn)(base)表示已啟動wgetwget/google-code-archive-downloads/v2/co./configure--with-ssh--with-rsh--with-mrsh--with-mqshellwgetwget/aiacc/ai基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)buicdtext-generation-webuigitreset--hard7ff645899e4610b16574bdd22a4基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)sedsed-i"s/LLaMATokenizer/LlamaTokenizer/1"./llama-7b-hf/tokenizer_conf{基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)"communication":{"train_micro_batch_si}基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)cdcd/root/LLaMA/text-generation-webuiln-s/root/LLaMA/llama-7b-hf./modpythonpython/root/LLaMA/text-generation-webui/server.py--modelllama-7b-hf基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)ln-s/root/LLaMA/stanford_alpaca/output/checkpoint-800./models/llama-pythonpython/root/LLaMA/text-generation-webui/server.py--modelllama-7b-hf-基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)基于AIACC加速器快速實現(xiàn)LLaMA-7B指令微調(diào)說明:訓(xùn)練完成后,您可以在/root/LLaMA/stanford_alpaca/wandb/latest-run/files/基于AIACC加速器快速實現(xiàn)StableDiffusion生成特定物體基基?鏡像:使用云市場鏡像,名稱為aiacc-train-solution,您可以直接通過名稱搜索該鏡口和自動工具,實現(xiàn)人工智能訓(xùn)練和推理任務(wù)在阿里云IaaS資源上的快速部署。關(guān)于pippip3install--force-reinstallhttps://ali-perseus-release.oss-cn-huheh/fastgpu/fastgpu-1.1.6?查詢ECS實例規(guī)格可購買的地域,請參見ECS實例規(guī)格可購買aiacc_train_solution。說明:本文使用云市場的aiacc-train-solution鏡像作為示例,該鏡像已部署好訓(xùn)練所需1)下載sd_dreambooth_exwgetwget/sd_utils/train_dreambooth.py-O/root/stable-diffusion-webui/extensions/sd_dreambooth_extension/dreambooth/train_dreamboothwget/sd_utils/utils.py-O/root/stable-diffusion-webui/extensions/sd_dreambooth_extewget/sd_utils/image_utils.py-O/root/stable-diffusion-webui/extensions/sd_dreambooth_extension/dreambooth/utils/imagwget/sd_utils/log_parser.py-O/root/stable-diffusion-webui/extensions/sd_dreambooth_extension/helpers/log_parser.pycdcd/root/stable-diffusion-webuisource/root/stable-diffusion-webui/venv/root/stable-diffusion-webui/models/dreambooth/aliyun_example/working。關(guān)于性能提升的更多信息,請參見Aiacc-training性能提升。本示例中上傳圖片的路徑為/root/stable-diffusion-webui/test_imgs。ayunxiaobaodoll。模型權(quán)重。例如:aliyun_example/aliyun_example_400_lora)safetensors使用Megatron-Deepspeed訓(xùn)練GPT-2并生成文本其在文本生成上有著驚艷的表現(xiàn),其生成的文本在上下文連貫性和情感表

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論