人工智能大語言模型應(yīng)用教程模塊5LLama3應(yīng)用與微調(diào)學(xué)習(xí)

目標(biāo)

了解LLama3大語言模型；

掌握LLama3的兩種微調(diào)方法：監(jiān)督微調(diào)和llama-recipes微調(diào)；

掌握LLama3大語言模型的部署方法，會搭建LLama3大語言模型應(yīng)用環(huán)境；

能按要求準(zhǔn)備LLama3微調(diào)語料；

掌握LLama3大語言模型微調(diào)方法；

能編寫程序?qū)崿F(xiàn)監(jiān)督微調(diào)和llama-recipes微調(diào)；

了解與人工智能相關(guān)的法律法規(guī)，培養(yǎng)倫理和法律意識；

樹立數(shù)據(jù)規(guī)范意識，按規(guī)范格式準(zhǔn)備語料；自主查閱相關(guān)資料，提升信息檢索能力和自學(xué)能力。5.2LLama3應(yīng)用與微調(diào)設(shè)計目標(biāo)開發(fā)環(huán)境原理學(xué)習(xí)實(shí)驗(yàn)步驟5.35.45.15.1設(shè)計目標(biāo)LLama是在ChatGPT發(fā)布后，由Meta發(fā)布的開源免費(fèi)商用的大語言模型。通過對LLama3應(yīng)用的全流程學(xué)習(xí)，掌握基于Transformer的LLama3大語言模型基本原理和應(yīng)用過程。設(shè)計目標(biāo)5.2開發(fā)環(huán)境開發(fā)環(huán)境

硬件：服務(wù)器、NVIDIA16G顯存

軟件：Python、大語言模型Meta-Llama-3.1-8B5.3原理學(xué)習(xí)5.3.1Llama3介紹Llama3是Llama系列的第三代模型，于2024年4月19日發(fā)布采用了自回歸Transformer架構(gòu)，這種結(jié)構(gòu)特別適合于處理復(fù)雜的文本生成任務(wù)，能有效提升文本的連貫性和相關(guān)性Llama3還引入了分組查詢注意力技術(shù)，這不僅提升了大數(shù)據(jù)處理的效率，還加快了響應(yīng)速度。5.3.2LLama3微調(diào)采用Meta官方微調(diào)方法llama-recipes微調(diào)參數(shù)高效模型微調(diào)（ParameterEfficientModelFine-Tuning，簡稱peft）全/部分參數(shù)微調(diào)（Full/PartialParameterFine-Tuning）使用Transformers庫提供的SFTTrainer方法進(jìn)行SFT微調(diào)。5.3.2LLama3微調(diào)此類微調(diào)中采用的策略有LoRA、LLaMA適配器(LLaMAAdapter)和前綴調(diào)整(Prefix-tuning)參數(shù)高效模型微調(diào)占用較少的GPU內(nèi)存資源Meta-Llama-3.1-8B-Instruct模型,可以在16G的GPU(如P100、T4)上微調(diào)。參數(shù)高效模型微調(diào)的方法是保持整個模型參數(shù)凍結(jié),只在模型上添加微小的可學(xué)習(xí)參數(shù)或?qū)?這樣就只訓(xùn)練一小部分參數(shù)。1.參數(shù)高效模型微調(diào)5.3.2LLama3微調(diào)全參數(shù)微調(diào)策略保持預(yù)訓(xùn)練模型凍結(jié),僅微調(diào)任務(wù)頭,例如分類器模型;對所有圖層進(jìn)行微調(diào)。保持預(yù)訓(xùn)練模型凍結(jié),并在頂部添加一些完全連接的層;2.全/部分參數(shù)微調(diào)5.3.2LLama3微調(diào)SFT（SupervisedFine-Tuning）是對預(yù)訓(xùn)練模型進(jìn)行特定任務(wù)的訓(xùn)練，用以提高模型在新任務(wù)上的推理表現(xiàn)。SFT涉及在標(biāo)注的數(shù)據(jù)集上訓(xùn)練模型，模型學(xué)習(xí)為每個輸入預(yù)測正確的標(biāo)簽。SFT需要良好標(biāo)注的數(shù)據(jù)來二次訓(xùn)練模型，以加強(qiáng)特定方面的知識SFT一般只需要比較少的標(biāo)注數(shù)據(jù)就可達(dá)到較好的效果。3.監(jiān)督微調(diào)SFTalpaca_dataset（斯坦福開源數(shù)據(jù)集）是用于微調(diào)Alpaca模型[]的52K條指令數(shù)據(jù)。alpaca_dataset文件是一個字典列表，每個字典包含以下字段：指令（instruction）、輸入（input）和輸出（output）。5.3.3alpaca_dataset語料1.指令（instruction）描述模型應(yīng)執(zhí)行的任務(wù)，52K組數(shù)據(jù)中，每一個指令是唯一的，不能重復(fù)。2.輸入（input）任務(wù)的可選上下文或輸入。3.輸出（output）由text-davinci-003（chatGPT3.5背后的大語言模型）生成的指令答案。5.3.4模型量化裝載模型量化（Quantization）是一種用于通過修改權(quán)重的精度來減小大型神經(jīng)網(wǎng)絡(luò)（包括大型語言模型）規(guī)模的技術(shù)Hugingface的Transformers庫集成了量化策略，在from_pretrain()裝載預(yù)訓(xùn)練模型時傳遞load_in_8bit來實(shí)現(xiàn)INT8量化裝載，針對幾乎大部分Transformers模型有效。5.4實(shí)驗(yàn)步驟4.4.4語料準(zhǔn)備1.下載源碼2.環(huán)境安裝3.模型下載4.推理測試5.4.2監(jiān)督微調(diào)1.語料準(zhǔn)準(zhǔn)備2.微調(diào)程序開發(fā)3.微調(diào)參數(shù)4.微調(diào)過程5.模型合并6.推理測試