AI大模型應(yīng)用測試工程師崗位招聘考試試卷及答案一、填空題（每題1分，共10分）1.大模型的核心架構(gòu)是________。2.大模型輸出與事實(shí)不符的現(xiàn)象稱為________。3.Prompt工程中提供少量示例的方法是________。4.驗(yàn)證大模型輸出正確性屬于________測試。5.多任務(wù)理解評(píng)估數(shù)據(jù)集是________。6.大模型安全測試常見場景含Prompt注入和________。7.參數(shù)高效微調(diào)方法是________。8.大模型性能指標(biāo)含響應(yīng)延遲和________。9.Llama2的開發(fā)者是________。10.測試用例需覆蓋的邊界情況含極端prompt和________。二、單項(xiàng)選擇題（每題2分，共20分）1.大模型幻覺表現(xiàn)是？A.輸出事實(shí)一致B.輸出虛假數(shù)據(jù)C.格式正確D.響應(yīng)快2.Transformer核心是？A.RNNB.自注意力C.CNND.決策樹3.Prompt注入屬于？A.功能B.性能C.安全D.兼容4.非性能指標(biāo)是？A.準(zhǔn)確率B.延遲C.吞吐量D.代碼行數(shù)5.LoRA特點(diǎn)是？A.更新全參數(shù)B.僅更新少量C.無需數(shù)據(jù)D.僅開源用6.對(duì)話能力評(píng)估數(shù)據(jù)集是？A.SQuADB.GLUEC.MMLUD.無7.開源大模型是？A.GPT-4B.Llama2C.Claude3D.Gemini8.Prompt設(shè)計(jì)不包括？A.明確B.簡潔C.模糊D.針對(duì)9.符合行業(yè)規(guī)范屬于？A.功能B.合規(guī)C.性能D.安全10.非部署方式是？A.本地B.APIC.容器D.手動(dòng)三、多項(xiàng)選擇題（每題2分，共20分）1.大模型測試類型含？A.功能B.性能C.安全D.兼容2.Prompt技巧含？A.Zero-shotB.Few-shotC.CoTD.隨機(jī)3.幻覺表現(xiàn)含？A.虛假事實(shí)B.無依據(jù)結(jié)論C.混淆概念D.格式錯(cuò)4.性能指標(biāo)含？A.準(zhǔn)確率B.召回率C.延遲D.吞吐量5.安全場景含？A.Prompt注入B.有害輸出C.數(shù)據(jù)泄露D.超時(shí)6.開源部署含？A.本地B.APIC.容器D.云端托管7.功能測試重點(diǎn)含？A.正確性B.一致性C.可解釋性D.速度8.微調(diào)優(yōu)勢含？A.適配任務(wù)B.降成本C.減數(shù)據(jù)D.提泛化9.用例設(shè)計(jì)考慮？A.Prompt多樣B.場景覆蓋C.邊界D.成本10.評(píng)估數(shù)據(jù)集含？A.MMLUB.SQuADC.GLUED.ImageNet四、判斷題（每題2分，共20分）1.大模型測試不關(guān)注性能。（）2.Transformer是主流架構(gòu)。（）3.Prompt注入不影響輸出。（）4.LoRA更新全參數(shù)。（）5.幻覺是輸出與事實(shí)不符。（）6.SQuAD評(píng)估閱讀理解。（）7.安全僅查有害輸出。（）8.Llama2可商用。（）9.用例不覆蓋極端prompt。（）10.CoT是有效Prompt方法。（）五、簡答題（每題5分，共20分）1.簡述大模型幻覺測試重點(diǎn)及方法。2.說明Prompt注入測試場景及防范思路。3.簡述大模型性能測試指標(biāo)及要點(diǎn)。4.說明LoRA在測試中的應(yīng)用場景。六、討論題（每題5分，共10分）1.如何設(shè)計(jì)醫(yī)療領(lǐng)域大模型功能測試用例？2.平衡大模型安全過濾與用戶體驗(yàn)的方法？---答案部分一、填空題1.Transformer2.幻覺（Hallucination）3.Few-shot（少樣本）4.功能5.MMLU6.有害輸出（或數(shù)據(jù)泄露）7.LoRA8.準(zhǔn)確率（或吞吐量）9.Meta（元）10.極端長度輸出二、單項(xiàng)選擇題1.B2.B3.C4.D5.B6.A7.B8.C9.B10.D三、多項(xiàng)選擇題1.ABCD2.ABC3.ABC4.ABCD5.ABC6.ABCD7.ABC8.ABCD9.ABCD10.ABC四、判斷題1.×2.√3.×4.×5.√6.√7.×8.√9.×10.√五、簡答題1.重點(diǎn)：輸出事實(shí)一致性、無虛假信息、邏輯自洽。方法：①對(duì)比權(quán)威事實(shí)庫；②設(shè)計(jì)“事實(shí)核查”prompt；③覆蓋多領(lǐng)域場景；④統(tǒng)計(jì)幻覺發(fā)生率。2.場景：指令混淆、角色hijack、格式突破。防范：①語義+關(guān)鍵詞檢測；②輸出過濾；③微調(diào)加安全約束；④限制響應(yīng)權(quán)限。3.指標(biāo)：延遲、吞吐量、準(zhǔn)確率/召回率、資源占用。要點(diǎn)：模擬真實(shí)流量、覆蓋不同prompt長度、對(duì)比部署環(huán)境、長期穩(wěn)定性測試。4.場景：特定任務(wù)適配測試、低成本驗(yàn)證微調(diào)效果、快速迭代、資源受限場景（本地部署）。六、討論題1.設(shè)計(jì)思路：①場景覆蓋（診斷、用藥、咨詢）；②prompt多樣（模糊/清晰癥狀、不同病史）；③事實(shí)核查（對(duì)比醫(yī)學(xué)指南）；④邊界測試（極端癥狀、禁忌用藥）；⑤合規(guī)測試（隱私規(guī)范）。每場景含“正確/錯(cuò)誤/邊界”三類用例，用