大模型微調(diào)工程師崗位招聘考試試卷及答案第一部分填空題（共10題，每題1分）1.大模型微調(diào)的核心目標(biāo)是______預(yù)訓(xùn)練模型以適應(yīng)特定任務(wù)。2.LoRA的全稱是______。3.大模型微調(diào)常用開(kāi)源數(shù)據(jù)集包括MSMARCO、______（舉1例）。4.參數(shù)高效微調(diào)的英文縮寫(xiě)是______。5.PEFT庫(kù)由______（組織）開(kāi)發(fā)。6.QLoRA的關(guān)鍵技術(shù)之一是______量化。7.微調(diào)常用優(yōu)化器包括AdamW、______（舉1例）。8.大模型微調(diào)的兩種主要方式是全參數(shù)微調(diào)和______微調(diào)。9.HuggingFace處理大模型的庫(kù)是______。10.微調(diào)常用學(xué)習(xí)率策略是______（如線性衰減）。第二部分單項(xiàng)選擇題（共10題，每題2分）1.LoRA的rank通常范圍是？A.1-100B.100-500C.500-1000D.1000以上2.全參數(shù)微調(diào)的主要缺點(diǎn)是？A.速度慢B.顯存占用高C.效果差D.部署難3.QLoRA是否支持4-bit量化？A.是B.否C.僅7B模型D.僅13B模型4.PEFT中低秩適應(yīng)的方法是？A.LoRAB.PrefixTuningC.PromptTuningD.AdapterTuning5.微調(diào)batchsize過(guò)小會(huì)導(dǎo)致？A.訓(xùn)練不穩(wěn)定B.速度過(guò)快C.效果過(guò)好D.顯存溢出6.不屬于參數(shù)高效微調(diào)的是？A.LoRAB.QLoRAC.全參數(shù)微調(diào)D.AdapterTuning7.7B模型微調(diào)至少需要多少顯存？A.8GBB.16GBC.24GBD.32GB8.LoRA通常插入Transformer的哪一層？A.輸入嵌入層B.注意力Q、V矩陣C.輸出層D.全連接層9.梯度裁剪的作用是？A.加速訓(xùn)練B.防止梯度爆炸C.減少顯存D.提升效果10.常用參數(shù)高效微調(diào)庫(kù)是？A.TensorFlowB.PyTorchC.PEFTD.NumPy第三部分多項(xiàng)選擇題（共10題，每題2分，多選/少選不得分）1.參數(shù)高效微調(diào)方法包括？A.LoRAB.QLoRAC.PrefixTuningD.全參數(shù)微調(diào)2.微調(diào)前需完成的步驟有？A.數(shù)據(jù)預(yù)處理B.模型加載C.學(xué)習(xí)率設(shè)置D.硬件配置3.大模型微調(diào)應(yīng)用場(chǎng)景包括？A.對(duì)話系統(tǒng)B.代碼生成C.文本分類(lèi)D.圖像識(shí)別4.QLoRA的優(yōu)勢(shì)有？A.顯存低B.速度快C.性能不損失D.支持任意模型5.微調(diào)需監(jiān)控的指標(biāo)包括？A.LossB.AccuracyC.PerplexityD.訓(xùn)練時(shí)間6.PEFT支持的模型包括？A.LLaMAB.GPT-2C.BERTD.Mistral7.文本預(yù)處理方法有？A.清洗B.分詞C.標(biāo)簽映射D.數(shù)據(jù)增強(qiáng)8.微調(diào)注意事項(xiàng)包括？A.學(xué)習(xí)率不宜大B.避免過(guò)擬合C.合理batchsizeD.無(wú)需監(jiān)控9.LoRA應(yīng)用于Transformer的哪些組件？A.注意力Q矩陣B.注意力V矩陣C.全連接層D.嵌入層10.微調(diào)后部署方式包括？A.API服務(wù)B.本地推理C.量化部署D.直接部署第四部分判斷題（共10題，每題2分，√/×）1.全參數(shù)微調(diào)效果一定比參數(shù)高效微調(diào)好。（）2.LoRA僅訓(xùn)練少量參數(shù)。（）3.QLoRA不能用于13B及以上模型。（）4.PEFT僅支持HuggingFace模型。（）5.學(xué)習(xí)率越大，訓(xùn)練效果越好。（）6.參數(shù)高效微調(diào)無(wú)需高顯存。（）7.LoRArank越大效果越好。（）8.參數(shù)高效微調(diào)需凍結(jié)大部分預(yù)訓(xùn)練參數(shù)。（）9.大模型微調(diào)必須分布式訓(xùn)練。（）10.微調(diào)后模型可直接部署。（）第五部分簡(jiǎn)答題（共4題，每題5分）1.簡(jiǎn)述LoRA的核心思想。2.對(duì)比全參數(shù)微調(diào)與參數(shù)高效微調(diào)的差異。3.說(shuō)明QLoRA的關(guān)鍵技術(shù)及優(yōu)勢(shì)。4.微調(diào)前數(shù)據(jù)預(yù)處理的主要步驟。第六部分討論題（共2題，每題5分）1.如何選擇大模型微調(diào)方法（全參數(shù)/參數(shù)高效）？結(jié)合場(chǎng)景說(shuō)明。2.微調(diào)出現(xiàn)過(guò)擬合，應(yīng)采取哪些措施？---答案部分填空題答案1.適配2.Low-RankAdaptation3.SQuAD（或IMDB、LCSTS）4.PEFT5.HuggingFace6.4-bit7.SGD（或Adagrad）8.參數(shù)高效9.Transformers10.學(xué)習(xí)率衰減單項(xiàng)選擇題答案1.A2.B3.A4.A5.A6.C7.C8.B9.B10.C多項(xiàng)選擇題答案1.ABC2.ABCD3.ABC4.ABC5.ABC6.ABCD7.ABCD8.ABC9.AB10.ABC判斷題答案1.×2.√3.×4.×5.×6.√7.×8.√9.×10.×簡(jiǎn)答題答案1.LoRA通過(guò)低秩矩陣分解，將預(yù)訓(xùn)練模型需更新的權(quán)重拆分為兩個(gè)小矩陣（A、B），僅訓(xùn)練這兩個(gè)矩陣，凍結(jié)原模型大部分參數(shù)。既保留預(yù)訓(xùn)練通用知識(shí)，又快速適配任務(wù)，大幅減少參數(shù)和顯存占用。2.差異：①參數(shù)：全參數(shù)更新所有，參數(shù)高效僅更新少量；②顯存：全參數(shù)需高顯存（7B需數(shù)十GB），參數(shù)高效僅幾GB；③速度：參數(shù)高效更快；④效果：全參數(shù)在適配度高的場(chǎng)景略好，但參數(shù)高效更靈活、成本低。3.關(guān)鍵技術(shù)：4-bit量化、凍結(jié)原模型+訓(xùn)練LoRA、梯度累加。優(yōu)勢(shì)：顯存減少75%，訓(xùn)練速度快，性能接近全參數(shù)，支持大模型在消費(fèi)級(jí)GPU微調(diào)。4.步驟：①文本清洗（去噪聲）；②分詞（用模型分詞器）；③標(biāo)簽映射（任務(wù)標(biāo)簽轉(zhuǎn)模型格式）；④數(shù)據(jù)劃分（7:2:1分訓(xùn)練/驗(yàn)證/測(cè)試）；⑤格式轉(zhuǎn)換（適配模型輸入，如對(duì)話標(biāo)簽）。討論題答案1.選擇依據(jù)：①資源：有A100選全參數(shù)（極致效果），消費(fèi)級(jí)GPU選QLoRA；②場(chǎng)景：專(zhuān)業(yè)問(wèn)答選全參數(shù)，客服對(duì)話選LoRA；③模型：7B以上選QLoRA，小模型可選全參數(shù)；④成本：全參數(shù)成本高，參數(shù)高效更經(jīng)濟(jì)。例如：醫(yī)療問(wèn)答需高準(zhǔn)確率+A100，選全參數(shù)；客服對(duì)話需快速上線，選LoRA。2.措施：①數(shù)據(jù)增強(qiáng)