2025年人工智能安全試題及答案一、單項選擇題（每題2分，共20分）1.以下哪種攻擊方式通過向訓(xùn)練數(shù)據(jù)中注入特定擾動，導(dǎo)致模型在測試時對特定輸入產(chǎn)生錯誤預(yù)測？A.對抗樣本攻擊B.數(shù)據(jù)投毒攻擊C.模型竊取攻擊D.后門攻擊2.聯(lián)邦學(xué)習(xí)中，為防止中心服務(wù)器通過梯度信息反推原始數(shù)據(jù)，通常采用的核心技術(shù)是？A.同態(tài)加密B.差分隱私C.聯(lián)邦聚類D.模型蒸餾3.某AI招聘系統(tǒng)對女性求職者的簡歷評分顯著低于同等條件男性，這主要反映了AI系統(tǒng)的哪類安全風(fēng)險？A.數(shù)據(jù)泄露風(fēng)險B.模型魯棒性風(fēng)險C.算法公平性風(fēng)險D.倫理越界風(fēng)險4.以下哪項不屬于AI系統(tǒng)可解釋性的評估指標(biāo)？A.忠實性（Fidelity）B.簡潔性（Simplicity）C.對抗魯棒性（AdversarialRobustness）D.可理解性（Understandability）5.針對AI模型的“成員推理攻擊”主要威脅的是？A.模型參數(shù)的完整性B.訓(xùn)練數(shù)據(jù)的隱私性C.模型輸出的準(zhǔn)確性D.系統(tǒng)接口的可用性6.某自動駕駛系統(tǒng)在暴雨天氣下因視覺傳感器數(shù)據(jù)模糊導(dǎo)致誤判，這屬于AI安全中的哪類問題？A.數(shù)據(jù)質(zhì)量問題B.模型泛化能力問題C.算法偏見問題D.倫理決策問題7.以下哪種技術(shù)可用于檢測AI模型中的后門觸發(fā)模式？A.激活聚類分析（ActivationClustering）B.模型剪枝（ModelPruning）C.知識蒸餾（KnowledgeDistillation）D.遷移學(xué)習(xí)（TransferLearning）8.AI倫理中的“可追責(zé)性”原則要求？A.系統(tǒng)輸出結(jié)果必須可被人類理解B.系統(tǒng)決策過程需記錄完整審計日志C.系統(tǒng)設(shè)計需避免對特定群體的歧視D.系統(tǒng)需具備自我糾錯能力9.針對大語言模型的“提示注入攻擊”（PromptInjection）主要利用了模型的哪一特性？A.上下文理解能力B.生成內(nèi)容的開放性C.多輪對話連貫性D.知識推理局限性10.以下哪項是AI系統(tǒng)安全評估的“紅隊測試”核心目標(biāo)？A.驗證系統(tǒng)在正常場景下的性能B.模擬真實攻擊場景暴露系統(tǒng)漏洞C.評估模型參數(shù)的計算效率D.檢查訓(xùn)練數(shù)據(jù)的標(biāo)注一致性二、填空題（每空2分，共20分）1.AI系統(tǒng)的安全維度通常包括數(shù)據(jù)安全、模型安全和________三個層面。2.數(shù)據(jù)脫敏技術(shù)中，通過添加隨機(jī)噪聲使個體數(shù)據(jù)無法被精確識別的方法稱為________。3.模型后門攻擊的觸發(fā)條件通常包括特定的輸入模式和________。4.AI倫理風(fēng)險評估的五個核心維度是：公平性、隱私性、可解釋性、________和可追責(zé)性。5.對抗訓(xùn)練的核心思想是通過向訓(xùn)練數(shù)據(jù)中添加________，提升模型對擾動的魯棒性。6.聯(lián)邦學(xué)習(xí)按參與方數(shù)據(jù)分布差異可分為橫向聯(lián)邦、縱向聯(lián)邦和________三種類型。7.算法公平性中的“機(jī)會平等”要求不同群體在________上具有相同概率。8.AI系統(tǒng)的“灰盒測試”指測試者已知部分系統(tǒng)信息（如模型結(jié)構(gòu)），但未知________。9.大模型參數(shù)竊取攻擊中，攻擊者通過________（如查詢輸出結(jié)果）逆向推斷模型權(quán)重。10.倫理審查中“最小必要原則”要求AI系統(tǒng)僅收集和處理________的信息。三、簡答題（每題8分，共40分）1.簡述數(shù)據(jù)隱私保護(hù)中“差分隱私”的核心原理，并舉例說明其在AI訓(xùn)練中的應(yīng)用。2.模型魯棒性的定義是什么？請列舉三種提升AI模型魯棒性的技術(shù)方法。3.算法公平性評估需要關(guān)注哪些關(guān)鍵指標(biāo)？請至少說明其中兩種指標(biāo)的具體含義。4.AI倫理審查的關(guān)鍵步驟包括哪些？請結(jié)合醫(yī)療診斷AI的場景說明審查重點。5.什么是AI系統(tǒng)的“漏洞挖掘”？請對比黑盒測試與白盒測試在漏洞挖掘中的優(yōu)缺點。四、案例分析題（20分）背景：某醫(yī)院引入的AI輔助診斷系統(tǒng)在試運(yùn)行期間，對糖尿病患者的誤診率高達(dá)15%（行業(yè)平均為5%）。經(jīng)調(diào)查發(fā)現(xiàn)：-訓(xùn)練數(shù)據(jù)中60%為男性患者病例，女性患者僅占40%；-模型在暗光環(huán)境下對眼底圖像的特征提取能力顯著下降；-系統(tǒng)未記錄診斷過程的中間推理步驟，醫(yī)生無法追溯誤判原因。問題：（1）分析該AI系統(tǒng)存在的安全風(fēng)險，需結(jié)合數(shù)據(jù)、模型、倫理三個維度；（12分）（2）提出針對性的改進(jìn)措施。（8分）五、論述題（40分）隨著多模態(tài)大模型（如GPT-4V、Gemini）的普及，其安全挑戰(zhàn)日益復(fù)雜。請從“數(shù)據(jù)安全”“模型安全”“倫理風(fēng)險”三個維度，論述多模態(tài)大模型面臨的核心安全問題，并提出對應(yīng)的防御策略。參考答案一、單項選擇題1.B2.B3.C4.C5.B6.B7.A8.B9.B10.B二、填空題1.系統(tǒng)安全（或“應(yīng)用安全”）2.隨機(jī)擾動（或“差分隱私擾動”）3.觸發(fā)閾值（或“觸發(fā)場景”）4.可靠性（或“安全性”）5.對抗樣本（或“擾動數(shù)據(jù)”）6.聯(lián)邦遷移學(xué)習(xí)（或“跨域聯(lián)邦”）7.獲得有利結(jié)果（或“正反饋”）8.完整參數(shù)（或“具體權(quán)重”）9.查詢交互（或“API調(diào)用”）10.實現(xiàn)目標(biāo)所必需三、簡答題1.差分隱私核心原理：通過向數(shù)據(jù)或計算結(jié)果中添加可控噪聲（如拉普拉斯噪聲），使得單個個體的數(shù)據(jù)是否被包含在數(shù)據(jù)集內(nèi)無法被推斷，從而保護(hù)隱私。應(yīng)用示例：在聯(lián)邦學(xué)習(xí)中，客戶端上傳梯度前添加差分隱私噪聲，中心服務(wù)器聚合噪聲梯度訓(xùn)練模型，既保證模型效果，又防止服務(wù)器通過梯度反推原始患者隱私數(shù)據(jù)（如某患者的具體診斷記錄）。2.模型魯棒性定義：模型在輸入數(shù)據(jù)受到微小擾動（如噪聲、對抗樣本）或分布偏移（如測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)分布不一致）時，仍能保持輸出穩(wěn)定性的能力。提升方法：①對抗訓(xùn)練：在訓(xùn)練集中加入對抗樣本，強(qiáng)制模型學(xué)習(xí)抗擾動特征；②數(shù)據(jù)增強(qiáng)：對訓(xùn)練數(shù)據(jù)進(jìn)行多樣化擾動（如圖像旋轉(zhuǎn)、加噪），擴(kuò)大模型適應(yīng)范圍；③集成學(xué)習(xí)：融合多個子模型的輸出，降低單一模型對特定擾動的敏感性。3.關(guān)鍵指標(biāo)：①統(tǒng)計平等（StatisticalParity）：不同群體（如性別、種族）的正樣本預(yù)測率需一致（如男性被推薦錄用的概率與女性相等）；②機(jī)會平等（EqualOpportunity）：不同群體中實際正例被正確識別的概率相同（如糖尿病實際患者中，男性和女性被正確診斷的比例一致）；③預(yù)測平等（PredictiveParity）：不同群體中預(yù)測為正例的實際正確率相同（如被系統(tǒng)標(biāo)記為高風(fēng)險的男性和女性中，實際發(fā)生風(fēng)險的比例一致）。4.倫理審查關(guān)鍵步驟：①需求分析：明確AI系統(tǒng)的應(yīng)用目標(biāo)與潛在影響范圍（如醫(yī)療診斷涉及患者生命健康）；②風(fēng)險識別：評估數(shù)據(jù)偏倚、模型誤判、隱私泄露等風(fēng)險（如訓(xùn)練數(shù)據(jù)是否覆蓋不同年齡、性別患者）；③控制措施設(shè)計：制定數(shù)據(jù)去標(biāo)識化、模型可解釋性增強(qiáng)、決策審計日志等方案；④驗證與監(jiān)控：通過測試驗證風(fēng)險控制效果，并建立持續(xù)監(jiān)測機(jī)制。醫(yī)療場景審查重點：需重點審查訓(xùn)練數(shù)據(jù)的代表性（是否覆蓋罕見病、特殊體質(zhì)患者）、模型誤判對患者治療的影響（如漏診可能導(dǎo)致病情惡化）、診斷結(jié)果的可解釋性（醫(yī)生能否理解模型依據(jù)的關(guān)鍵特征）。5.漏洞挖掘定義：通過主動測試或分析，發(fā)現(xiàn)AI系統(tǒng)中可能被攻擊者利用的缺陷（如模型易受對抗攻擊、數(shù)據(jù)泄露漏洞等）。黑盒測試優(yōu)缺點：-優(yōu)點：無需模型內(nèi)部信息，接近真實攻擊場景，可測試系統(tǒng)接口安全性；-缺點：難以定位漏洞根源，效率較低。白盒測試優(yōu)缺點：-優(yōu)點：可深入分析模型結(jié)構(gòu)、訓(xùn)練過程，精準(zhǔn)定位參數(shù)漏洞（如梯度泄露）；-缺點：需獲取模型細(xì)節(jié)，可能涉及知識產(chǎn)權(quán)風(fēng)險，測試成本高。四、案例分析題（1）安全風(fēng)險分析：-數(shù)據(jù)維度：訓(xùn)練數(shù)據(jù)性別分布失衡（男性占比60%），導(dǎo)致模型對女性患者特征學(xué)習(xí)不充分，引發(fā)算法偏見（誤診率高）；數(shù)據(jù)環(huán)境適應(yīng)性不足（未覆蓋暗光場景下的眼底圖像），模型泛化能力受限。-模型維度：特征提取模塊在特定環(huán)境（暗光）下性能下降，反映模型魯棒性不足；缺乏可解釋性設(shè)計（未記錄中間推理步驟），無法追溯誤判原因，影響問題定位與改進(jìn)。-倫理維度：誤診率過高可能延誤患者治療，違反“不傷害”倫理原則；醫(yī)生無法理解模型決策邏輯，削弱人機(jī)信任，違背“可解釋性”原則。（2）改進(jìn)措施：-數(shù)據(jù)層面：擴(kuò)充女性患者病例數(shù)據(jù)，平衡訓(xùn)練集性別分布；增加暗光、低對比度等場景下的眼底圖像數(shù)據(jù)，通過數(shù)據(jù)增強(qiáng)（如模擬光線擾動）提升數(shù)據(jù)多樣性。-模型層面：采用對抗訓(xùn)練，在訓(xùn)練中加入暗光擾動的圖像樣本，提升特征提取模塊的魯棒性；引入可解釋性技術(shù)（如LIME、SHAP），記錄診斷過程中關(guān)鍵特征（如眼底血管異常區(qū)域）的權(quán)重，生成可追溯的推理報告。-倫理層面：建立誤診率動態(tài)監(jiān)測機(jī)制，設(shè)定安全閾值（如≤5%）；開展醫(yī)生與開發(fā)團(tuán)隊的聯(lián)合培訓(xùn)，確保醫(yī)生理解模型局限性并保留最終診斷權(quán)。五、論述題多模態(tài)大模型核心安全問題與防御策略1.數(shù)據(jù)安全維度核心問題：-多模態(tài)數(shù)據(jù)（文本、圖像、視頻）來源復(fù)雜，易混入偽造數(shù)據(jù)（如深度偽造視頻）或敏感信息（如隱私圖像、涉密文本），導(dǎo)致訓(xùn)練數(shù)據(jù)污染；-跨模態(tài)對齊（如圖文關(guān)聯(lián)）可能泄露隱含隱私（如通過用戶上傳的“某地照片+時間文本”推斷具體位置）。防御策略：-數(shù)據(jù)清洗：采用多模態(tài)偽造檢測技術(shù)（如圖像元數(shù)據(jù)校驗、文本語義一致性驗證）過濾污染數(shù)據(jù)；-隱私增強(qiáng)：對輸入數(shù)據(jù)進(jìn)行跨模態(tài)脫敏（如對圖像中的人臉打碼、對文本中的姓名進(jìn)行替換），結(jié)合聯(lián)邦學(xué)習(xí)實現(xiàn)“數(shù)據(jù)可用不可見”；-來源追溯：為訓(xùn)練數(shù)據(jù)添加數(shù)字水印，記錄數(shù)據(jù)采集與處理鏈路，便于問題溯源。2.模型安全維度核心問題：-多模態(tài)融合導(dǎo)致模型復(fù)雜度極高，易受新型對抗攻擊（如同時擾動文本和圖像的“多模態(tài)對抗樣本”）；-大模型參數(shù)規(guī)模龐大，存在參數(shù)竊取風(fēng)險（攻擊者通過API調(diào)用獲取輸出，逆向推斷模型權(quán)重）；-跨模態(tài)知識關(guān)聯(lián)可能引發(fā)邏輯漏洞（如根據(jù)“刀”的圖像和“切割”的文本描述，錯誤生成“用刀攻擊他人”的危險指令）。防御策略：-抗攻擊設(shè)計：開發(fā)多模態(tài)對抗訓(xùn)練框架，同時在文本（如添加同義詞擾動）和圖像（如局部像素替換）維度生成對抗樣本，提升模型魯棒性；-參數(shù)保護(hù)：采用模型加密（如梯度加密上傳）、查詢限流（限制單位時間內(nèi)API調(diào)用次數(shù)）防止參數(shù)竊取；-邏輯校驗：在輸出生成階段增加多模態(tài)一致性檢查（如圖文描述是否矛盾）和安全規(guī)則過濾（如禁止生成暴力指令），阻斷危險輸出。3.倫理風(fēng)險維度核心問題：-多模態(tài)生成內(nèi)容的“幻覺”（Hallucination）更隱蔽（如生成虛假歷史事件的圖文報告），可能誤導(dǎo)公眾；-跨模態(tài)交互可能強(qiáng)化偏見（如將“護(hù)士”與女性圖像、“工程師”與男性圖像關(guān)聯(lián)，加劇性別刻板印象）；-兒童等脆弱群體接觸多模態(tài)內(nèi)容時，可能因暴力、恐怖圖像或誘導(dǎo)性文本遭受心理傷害。防御策略：-內(nèi)容審核：構(gòu)建多模態(tài)倫理知識庫（如敏感詞庫、暴力圖像特征庫），結(jié)