第14章ChatGLM微調(diào)模型微調(diào)一部署微調(diào)后的模型二14.1模型微調(diào)模型微調(diào)的發(fā)展與介紹在人工智能技術(shù)飛速發(fā)展的背景下，自然語言處理（NLP）領(lǐng)域取得了重大突破。諸如BERT、GPT、GLM等大型預(yù)訓(xùn)練模型在眾多NLP任務(wù)中展現(xiàn)出了卓越的性能。但是，這些模型的參數(shù)規(guī)模龐大，使得在現(xiàn)實場景中對它們進(jìn)行調(diào)整變得極具挑戰(zhàn)性。針對這一難題，學(xué)術(shù)界探索出一系列大模型微調(diào)策略。其發(fā)展歷程大致可分為兩個階段：全量微調(diào)（Full-scaleFine-tuning）與參數(shù)優(yōu)化微調(diào)（Parameter-efficientFine-tuning）。14.1模型微調(diào)模型微調(diào)的發(fā)展與介紹全量微調(diào)全量微調(diào)使用預(yù)訓(xùn)練模型的所有參數(shù)，在所有可用數(shù)據(jù)上對模型進(jìn)行重新訓(xùn)練，以適應(yīng)特定的下游NLP任務(wù)。全量微調(diào)的優(yōu)點在于它可以充分利用預(yù)訓(xùn)練模型的能力和大量數(shù)據(jù)的信息，但這種方法的計算資源和時間需求非常高，且容易導(dǎo)致過擬合。為了優(yōu)化全量微調(diào)的過程，研究者們提出了多種方法，如基于deepspeed的全量微調(diào)方法，它旨在簡化大規(guī)模模型訓(xùn)練的流程。14.1模型微調(diào)模型微調(diào)的發(fā)展與介紹參數(shù)高效微調(diào)為了克服全量微調(diào)的缺點，研究者們開始探索參數(shù)高效微調(diào)方法。這些方法只調(diào)整預(yù)訓(xùn)練模型中的一小部分參數(shù)，從而減少訓(xùn)練所需的數(shù)據(jù)量和計算資源。這種方法的優(yōu)點在于其對計算資源的低需求和高效率，但它可能無法達(dá)到全量微調(diào)在性能上的極限。這些方法通過不同的策略，如添加可訓(xùn)練的模塊、調(diào)整輸入格式或使用特殊的訓(xùn)練目標(biāo)，來實現(xiàn)對預(yù)訓(xùn)練模型的有效調(diào)整。如P-Tuningv2微調(diào)、LORA微調(diào)等14.1模型微調(diào)模型微調(diào)的發(fā)展與介紹P-Tuningv2微調(diào)P-Tuningv2是一種參數(shù)高效的微調(diào)方法，旨在提高大型預(yù)訓(xùn)練模型在特定任務(wù)上的性能。它通過在模型的每一層添加可訓(xùn)練的連續(xù)提示（prompt）來實現(xiàn)這一目標(biāo)。這些提示的參數(shù)是可調(diào)整的，而模型的其他參數(shù)保持不變。優(yōu)點：通過極少量的參數(shù)調(diào)整實現(xiàn)了高效的模型微調(diào)，顯著減少了訓(xùn)練時間和存儲成本，同時在多種任務(wù)上保持了優(yōu)秀的性能。缺點：對提示設(shè)計非常敏感，若設(shè)計不當(dāng)可能會影響模型性能，且在特定任務(wù)上可能無法達(dá)到全量微調(diào)的效果。14.1模型微調(diào)模型微調(diào)的發(fā)展與介紹LORA微調(diào)LORA的核心思想是將注意力層的權(quán)重矩陣分解為幾個低秩的矩陣，只對其中的一部分進(jìn)行調(diào)整。這種分解可以減少需要調(diào)整的參數(shù)數(shù)量，同時保持模型的性能。優(yōu)點：LoRA微調(diào)方法的優(yōu)勢在于它通過引入低秩矩陣來顯著減少需要調(diào)整的參數(shù)數(shù)量，從而降低了計算成本和訓(xùn)練時間，特別是在大規(guī)模數(shù)據(jù)集和大型模型的處理上表現(xiàn)出較高的效率。缺點：LoRA的局限性在于它可能需要多次實驗來確定合適的低秩適配矩陣，并且在某些特定任務(wù)中可能無法達(dá)到與全量微調(diào)相同的性能水平。14.1模型微調(diào)案例系統(tǒng)開發(fā)所需模型的微調(diào)基于GLM智能體虛擬角色養(yǎng)成系統(tǒng)使用了P-Tuningv2對ChatGLM2-6B模型進(jìn)行微調(diào)。下面是微調(diào)ChatGLM2-6B的核心代碼：config=MODE[args.mode]["config"].from_pretrained(args.model_name_or_path)config.pre_seq_len=args.pre_seq_lenconfig.prefix_projection=args.prefix_projectionmodel=MODE[args.mode]["model"].from_pretrained(args.model_name_or_path,config=config)forname,paramind_parameters():ifnotany(ndinnameforndin["prefix_encoder"]):param.requires_grad=False當(dāng)prefix_projection為True時，為P-Tuning-V2方法，在大模型的Embedding和每一層前都加上新的參數(shù)；為False時，為P-Tuning方法，僅在大模型的Embedding上新的參數(shù)。14.1模型微調(diào)案例系統(tǒng)開發(fā)所需模型的微調(diào)(1)gitlfsinstall(2)gitclone/THUDM/ChatGLM2-6B.git(3)cdChatGLM2-6B/ptuning(4)mkdirdata(5)將處理好的數(shù)據(jù)放入data文件夾中，并修改train.sh文件中必要的參數(shù)(6)condacreate-nptuningpython==3.9(7)condaactivateptuning(8)pipinstall-rrequirements.txt(9)bash./train.sh微調(diào)的步驟：第14章ChatGLM微調(diào)模型微調(diào)一部署微調(diào)后的模型二14.2部署微調(diào)的模型fromtransformersimportAutoConfig,AutoModel,AutoTokenizer#載入Tokenizertokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)config=AutoConfig.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True,pre_seq_len=128)model=AutoModel.from_pretrained("THUDM/chatglm2-6b",config=config,trust_remote_code=True)prefix_state_dict=torch.load(os.path.join(CHECKPOINT_PATH,"pytorch_model.bin"))new_prefix_state_dict={}fork,vinprefix_state_dict.items():ifk.startswith("transformer.prefix_encoder."):new_prefix_state_dict[k[len("transformer.prefix_encoder."):]]=vmodel.transformer.prefix_encoder.load_state_d