ICS35.120.01復(fù)雜智能系統(tǒng)功能安全性技術(shù)要求2025-11-20發(fā)布2025-11-20實施I 12.規(guī)范性引用文件 13.術(shù)語和定義 14.縮略語 25.復(fù)雜智能系統(tǒng)功能安全性適用對象 35.1.按系統(tǒng)功能角色劃分 35.2.按底層計算架構(gòu)劃分 45.3.按數(shù)據(jù)處理模態(tài)劃分 46.功能安全性指標(biāo)體系 56.1.系統(tǒng)級功能安全指標(biāo)體系 56.1.1.定性指標(biāo) 56.1.2.定量指標(biāo) 56.2.算法級功能安全指標(biāo)體系 66.2.1.定性指標(biāo) 66.2.2.定量指標(biāo) 76.3.模型性能指標(biāo) 86.3.1.定性指標(biāo) 86.3.2.定量指標(biāo) 86.4.數(shù)據(jù)安全監(jiān)控指標(biāo) 6.4.1.定性指標(biāo) 6.4.2.定量指標(biāo) 6.5.運行安全監(jiān)控指標(biāo) 6.5.1.定性指標(biāo) 6.5.2.定量指標(biāo) 7.復(fù)雜智能系統(tǒng)功能安全性支撐技術(shù)與方法 7.1.需求階段功能安全性支撐技術(shù) 7.1.1.危害分析與風(fēng)險評估和安全目標(biāo)定義 7.1.2.操作設(shè)計域的形式化規(guī)范 7.2.設(shè)計與開發(fā)階段功能安全性支撐技術(shù) 7.2.1.故障容忍架構(gòu)設(shè)計 7.2.2.冗余、多樣性與容錯架構(gòu)設(shè)計 7.2.3.運行時保障與安全監(jiān)控器架構(gòu) 7.2.4.信息隔離與最小權(quán)限原則 7.2.5.降級模式與最小風(fēng)險狀態(tài)設(shè)計 7.2.6.模型卡的創(chuàng)建與應(yīng)用 7.3.模型訓(xùn)練階段功能安全性支撐技術(shù) 7.3.1.數(shù)據(jù)準(zhǔn)備與治理方法 7.3.2.訓(xùn)練過程與策略方法 7.4.智能系統(tǒng)功能安全性測試與驗證技術(shù) 7.4.1.數(shù)據(jù)與模型層面測試與驗證技術(shù) 7.4.2.軟件在環(huán)與硬件在環(huán)測試與驗證技術(shù) 7.4.3.系統(tǒng)與交互層面的測試與驗證 7.5.智能系統(tǒng)運行階段功能安全性支撐技術(shù) 7.5.1.運行時保障 7.5.2.在線數(shù)據(jù)分布與性能監(jiān)控 7.5.3.持續(xù)的安全論證管理 7.6.智能系統(tǒng)維護與更新階段功能安全性支撐技術(shù) 7.6.1.變更影響分析與安全回歸驗證 7.6.2.部署后事件響應(yīng)與學(xué)習(xí)機制 7.6.3.網(wǎng)絡(luò)安全與功能安全的協(xié)同驗證 7.7.智能系統(tǒng)退役階段功能安全性支撐技術(shù) 7.7.1.安全的最終狀態(tài)轉(zhuǎn)換與功能禁用 7.7.2.敏感數(shù)據(jù)安全處理與隱私合規(guī) 8.復(fù)雜智能系統(tǒng)功能安全性全生命周期過程與活動 參考文獻 21本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國指揮與控制學(xué)會提出并歸口。本文件起草參與單位：北京航空航天大學(xué)、杭州市北京航空航天大學(xué)國際創(chuàng)新研究院(北京航空航天大學(xué)國際創(chuàng)新學(xué)院)、中國船舶集團有限公司綜合技術(shù)經(jīng)濟研究院、中國兵器工業(yè)軟件工程與評測中心、中國電子科技集團公司信息科學(xué)研究院、可靠性與環(huán)境工程技術(shù)國家級重點實驗室、北京航空航天大學(xué)可靠性工程研究所、中國航空綜合技術(shù)研究所、中國航空研究院。本文件主要起草人：楊順昆、王英凡、徐珞、吳夢丹、邢晨光、劉虹曉、王若、龐紅彪、彭文勝、王樹泰、林聰、李漢智、高小泉、曾子鳴、張自超、張林超、姜巍、許丹、黃婷婷、劉杰。本文件規(guī)定了面向復(fù)雜智能系統(tǒng)的功能安全性技術(shù)要求，描述了復(fù)雜智能系統(tǒng)通用質(zhì)量特性中有關(guān)功本文件適用于面向復(fù)雜智能系統(tǒng)的功能安全性預(yù)估、設(shè)計和測2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求網(wǎng)絡(luò)安全技術(shù)生成式人工智能數(shù)據(jù)標(biāo)注安全規(guī)范網(wǎng)絡(luò)安全技術(shù)人工智能計算平臺安全框架人工智能平臺計算資源規(guī)范術(shù)語和定義GB/T45654-2025、GB/T45674-2025、GB/T45958—2025和GB定義適用于本文件。由感知、認(rèn)知、決策與執(zhí)行等功能模塊構(gòu)成，采用機器學(xué)習(xí)等方法，在不確定、開放環(huán)境下執(zhí)行任務(wù)的人機環(huán)管協(xié)同系統(tǒng)。其復(fù)雜性體現(xiàn)在多源異構(gòu)數(shù)據(jù)、動態(tài)場景、要素耦合以及全生命周期演化。系統(tǒng)或設(shè)備作為一個整體，其安全相關(guān)部分能夠正確執(zhí)行其安全功能，以避免或減輕由其控制的設(shè)備或系統(tǒng)失效所導(dǎo)致的、對人員健康、環(huán)境或財產(chǎn)構(gòu)成不可接受的風(fēng)險。在智能系統(tǒng)中，特指AI組件及其支持系統(tǒng)在面對潛在危險時，能夠可靠地執(zhí)行預(yù)定功能，防止系統(tǒng)進入不安全狀態(tài)的能力。在系統(tǒng)概念階段進行的一套系統(tǒng)性分析流程，旨在識別由功能異?？赡芤l(fā)的所有危害，并根據(jù)其嚴(yán)重性、暴露率和可控性來評估風(fēng)險，最終為每個危害分配一個安全完整性等級。由HARA推導(dǎo)出的、最高層級的安全需求，旨在規(guī)避某個已識別的、在一個特定場景中，能夠引發(fā)系統(tǒng)功能不足并可能導(dǎo)致危險行為的一個或多個特定條件或事件。2明確規(guī)定了智能系統(tǒng)設(shè)計時預(yù)期能夠安全運行的特定條件集合。這些條件包括但不限于環(huán)境因素、道路特征、交通狀況以及系統(tǒng)自身的運行狀態(tài)。任何超出ODD的情況都可能導(dǎo)致系統(tǒng)性能下降或行為不可一個覆蓋了從概念構(gòu)思、風(fēng)險評估、需求定義、數(shù)據(jù)工程、模型開發(fā)、驗證與確認(rèn)、部署運行、維護更新直至最終退役的全過程的結(jié)構(gòu)化工程流程。該流程旨在系統(tǒng)性地管理與AI功能相關(guān)的安全風(fēng)險，是傳統(tǒng)安全生命周期在AI領(lǐng)域的延伸和調(diào)整。指AI模型對其預(yù)測、決策或感知結(jié)果的置信度不足。不確定性分為偶然不確定性(數(shù)據(jù)固有噪聲導(dǎo)致)和認(rèn)知不確定性(模型對未見過或ODD邊緣數(shù)據(jù)的認(rèn)知不足導(dǎo)致)。對不確定性的有效量化與管理是確指智能系統(tǒng)在面臨輸入數(shù)據(jù)的微小擾動、噪聲、對抗性攻擊或非預(yù)期變化時，仍能保持其功能和性能穩(wěn)定性的能力。高魯棒性是防止系統(tǒng)因外部干擾而產(chǎn)生危險行為的重要保障。智能系統(tǒng)為其決策或輸出提供人類可以理解的解釋或理由的能力。在功能安全領(lǐng)域，可解釋性對于理解模型行為、診斷潛在故障、建立信任以及在事故發(fā)生后進行追責(zé)至關(guān)重要。源于用于訓(xùn)練、測試或操作AI系統(tǒng)的數(shù)據(jù)本身所引入的危險。具體表現(xiàn)包括數(shù)據(jù)偏見(Bias)、數(shù)據(jù)不完備、以及數(shù)據(jù)投毒(Poisoning)攻擊等。指已部署的AI模型因現(xiàn)實世界的數(shù)據(jù)分布隨時間發(fā)生變化，而導(dǎo)致其性能逐漸下降的現(xiàn)象。未能及時檢測和處理模型漂移是運行階段一個重要的安全風(fēng)險來源。一份結(jié)構(gòu)化的論證，通過匯集所有相關(guān)的證據(jù)、分析和論點，清晰、全面、可信地證明智能系統(tǒng)在其指定的運行環(huán)境中對于特定的應(yīng)用是可接受地安全的。它是向監(jiān)管機構(gòu)或認(rèn)證方證明系統(tǒng)安全性的核心文4縮略語人工智能(ArtificialIntelligence)功能安全(FunctionalSafety)運行設(shè)計域(OperationalDesignDomain)安全完整性等級(SafetyIntegrityLevel)3V&V驗證與確認(rèn)(VerificationandValidation)XAI可解釋人工智能(ExplainableArtificialIntelligence)ML機器學(xué)習(xí)(MachineLearning)SPFM單點故障度量(Single-PointFaultMetric)LFM潛伏故障度量(LatentFaultMetric)PMHF小時危險失效率(ProbabilisticMetricforHardwareFailure)TTSS安全狀態(tài)轉(zhuǎn)換時間(TimetoSafeState)ECE期望校準(zhǔn)誤差(ExpectedCalibrationError)MSE均方誤差(MeanSquareError)MAE平均絕對誤差(MeanAbsoluteError)SIL軟件在環(huán)(Software-in-the-Loop)HIL硬件在環(huán)(Hardware-in-the-Loop)5復(fù)雜智能系統(tǒng)功能安全性適用對象5.1.按系統(tǒng)功能角色劃分感知模型是智能系統(tǒng)與環(huán)境的接口，核心是將原始高維傳感器數(shù)據(jù)(如圖像、點云等)轉(zhuǎn)化為環(huán)境結(jié)構(gòu)化理解(如目標(biāo)識別定位、場景語義分割),是后續(xù)安全決策的基礎(chǔ)；其失效或性能下降會向決策系統(tǒng)提供缺陷甚至虛假的環(huán)境模型。主要安全挑戰(zhàn)在于應(yīng)對開放世界的無窮變化與傳感器物理局限，典型失效模式包括漏檢、誤檢、錯誤分類及對物體位置、尺寸或速度的估計不準(zhǔn)決策與規(guī)劃模型接收感知和預(yù)測模型的結(jié)構(gòu)化信息，依據(jù)效率、舒適性、安全性等預(yù)定目標(biāo)，確定系統(tǒng)高層級行為策略或具體時空軌跡；其直接決定系統(tǒng)行為意圖，即便感知信息完美，有缺陷的決策模型仍可能做出危險決策，典型失效模式包括不安全策略選擇、決策凍結(jié)、違反交通法規(guī)，以及規(guī)劃出不舒適或預(yù)測模型負(fù)責(zé)預(yù)測環(huán)境中其他動態(tài)參與者在未來一段時間內(nèi)的意圖和軌跡。預(yù)測錯誤可能導(dǎo)致決策模型基于錯誤信息做出規(guī)劃，從而將系統(tǒng)引導(dǎo)至危險的狀態(tài)。其主要挑戰(zhàn)在于長期預(yù)測的不確定性和對罕見但關(guān)鍵的人類行為的建模。典型失效模式包括：意圖預(yù)測錯誤、軌跡預(yù)測不準(zhǔn)確、以及未能預(yù)測到參與者以大語言模型(LLM)和擴散模型為代表的生成式模型，是一種生成文本、圖像、代碼等信息內(nèi)容而非直接控制物理實體的模型。其安全內(nèi)涵指防止信息危害、心理傷害和社會危害，主要風(fēng)險包括生成有害內(nèi)容、傳播虛假信息、放大社會偏見、泄露隱私數(shù)據(jù)和被惡意使用。該模型的核心挑戰(zhàn)在于事實性一致、4價值對齊和輸出的可控性，典型失效模式包括事實性幻覺、有害內(nèi)容生成、指令注入或越獄，以及隱私泄5.2.按底層計算架構(gòu)劃分前饋神經(jīng)網(wǎng)絡(luò)是一種信息從輸入端單向分層流向輸出端，且不存在環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu)。以卷積神經(jīng)網(wǎng)絡(luò) (CNN)為代表，其通過局部感受野和參數(shù)共享提取空間層次化特征。該類網(wǎng)絡(luò)的主要挑戰(zhàn)是對像素級擾動和幾何變換的敏感性，以及存在學(xué)習(xí)虛假統(tǒng)計相關(guān)性的傾向。其典型失效模式包括對抗性脆弱、對分布5.2.2.循環(huán)神經(jīng)網(wǎng)絡(luò)以長短期記憶網(wǎng)絡(luò)(LSTM)和門控循環(huán)單元(GRU)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)，其核心特征是通過內(nèi)部循環(huán)結(jié)構(gòu)和門控機制處理序列及時間依賴性數(shù)據(jù)，利用歷史信息影響當(dāng)前輸出。該網(wǎng)絡(luò)的主要挑戰(zhàn)在于長期依賴的穩(wěn)定性和對時序擾動的魯棒性，其典型失效模式包括梯度消失或爆炸、對時間維度擾動的脆弱和全局上下文依賴關(guān)系。該模型的主要挑戰(zhàn)在于對上下文的魯棒性和事實性，其典型失效模式包括上下文操控與提示注入、事實性幻覺以及注意力分散。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一種通過在節(jié)點間傳遞與聚合信息(消息傳遞機制)來學(xué)習(xí)節(jié)點表示，以處理圖結(jié)構(gòu)數(shù)據(jù)的網(wǎng)絡(luò)。該網(wǎng)絡(luò)的主要挑戰(zhàn)在于對圖結(jié)構(gòu)擾動的脆弱性，其典型失效模式包括結(jié)構(gòu)性對抗攻擊、a)能量基礎(chǔ)模型：EBM不直接學(xué)習(xí)概率分布，而是學(xué)習(xí)一個能量函數(shù)，為每一個輸入、輸出對分配一個能量值，能量越低表示該對的可能性越b)膠囊網(wǎng)絡(luò)：膠囊網(wǎng)絡(luò)用一組神經(jīng)元的向量輸出(膠囊)來表示實體的各種屬性(如姿態(tài)、紋理),c)神經(jīng)輻射場：神經(jīng)輻射場是一種用于新視角合成的神經(jīng)表示方法。它使用一個簡單的多層感知機來學(xué)習(xí)一個連續(xù)的、五維的函數(shù)，該函數(shù)將一個三維空間坐標(biāo)和兩個視角方向映射到一個體積密度和顏色值。通過對這個函數(shù)沿相機光線進行積分，可以渲染出任意新視角下的逼真圖像。5.3.按數(shù)據(jù)處理模態(tài)劃分5圖像模態(tài)模型處理以像素網(wǎng)格表示的視覺信息，是物理世界智能系統(tǒng)的核心輸入，其感知可靠性直接關(guān)聯(lián)功能安全與物理安全。該模態(tài)的主要挑戰(zhàn)為高維空間的脆弱性與對環(huán)境變化的敏感性，其典型失效模式包括對抗性脆弱、在不利環(huán)境條件下的性能下降，以及漏檢、誤檢或錯誤分類等感知錯誤。文本模態(tài)模型處理以離散符號序列表示的自然語言，是信息交互系統(tǒng)的核心，其功能安全涵蓋信息、心理及社會危害。該模態(tài)的主要挑戰(zhàn)在于語義的模糊性、上下文的復(fù)雜性以及數(shù)據(jù)中內(nèi)嵌的社會偏見。其典型失效模式包括事實性幻覺、有害內(nèi)容生成、指令注入以及偏見放大。語音/音頻模態(tài)模型處理以聲波波形表示的音頻信號，用于語音識別與聲控命令，其功能安全在人機交互中至關(guān)重要，因指令識別錯誤可導(dǎo)致系統(tǒng)失效或物理傷害。該模態(tài)的主要挑戰(zhàn)在于信號的信噪比和多樣性，其典型失效模式包括嘈雜環(huán)境下的識別率下降、對不同口音和語速的泛化能力不足、對發(fā)音相似但表格與時間序列模態(tài)模型處理結(jié)構(gòu)化特征或按時間順序排列的數(shù)據(jù)點，是決策支持系統(tǒng)的基礎(chǔ)，其功能安全直接影響高風(fēng)險決策的可靠性。該模態(tài)的主要挑戰(zhàn)在于數(shù)據(jù)分布的非平穩(wěn)性與特征的因果關(guān)系，其典型失效模式包括數(shù)據(jù)分布漂移、特征對抗性操縱，以及模型因依賴虛假相關(guān)性而做出錯誤判斷。6功能安全性指標(biāo)體系6.1.系統(tǒng)級功能安全指標(biāo)體系本部分指標(biāo)評估承載智能算法的硬件/軟件平臺的底層安全性，確保其能夠為上6.1.1.1.危害分析與風(fēng)險評估完備性該指標(biāo)用于評估是否系統(tǒng)性、無遺漏地識別出了所有潛在危害，并根據(jù)嚴(yán)重性、暴露率和可控性，正確地為其分配了安全完整性等級。具體而言，通過安全審核和評估，審查HARA文檔的系統(tǒng)邊界、危害識別方法的系統(tǒng)性、情景分析的合理性以及安全完整性等級推導(dǎo)的合規(guī)該指標(biāo)通過評審與審核，評估安全計劃在定義必要活動、職責(zé)、流程、方法及交付物方面的完備性，并驗證項目全生命周期中各項活動對該計劃的遵循度，以識別不符合6這一指標(biāo)衡量了安全機制發(fā)現(xiàn)并控制潛伏故障的能力。潛伏故障是一種特殊的雙點故障中的第一個故障，它在發(fā)生時不被標(biāo)準(zhǔn)操作或系統(tǒng)察覺，直到第二個故障發(fā)生時，兩者共同作用才會導(dǎo)致安全目標(biāo)的違反。該指標(biāo)具體形式如公式(1)。LF,det——被診斷機制所能檢測到的潛伏故障的失效率。6.1.2.2.小時危險失效率(ProbabilisticMetricforHardwareFailure,PMHF)小時危險失效率是對系統(tǒng)因硬件隨機失效而導(dǎo)致違反安全目標(biāo)的總體風(fēng)險的最終量化，代表系統(tǒng)在平均每個小時內(nèi)發(fā)生危險失效的可能性，用于評估系統(tǒng)的最終硬件安全完整性。該指標(biāo)具體形式如公式(2)。sPF——未被安全機制覆蓋的單點故障的殘余失效率；λRF——被安全機制覆蓋但仍可能發(fā)生的殘余故障失效率；λDPF——由潛伏故障導(dǎo)致的雙點危險故障失效率。6.2.算法級功能安全指標(biāo)體系6.2.1.定性指標(biāo)6.2.1.1.模型文檔完備性模型文檔完備性評估是一項用于衡量智能模型配套文檔質(zhì)量的指標(biāo)。該指標(biāo)通過內(nèi)容審核方法并依據(jù)標(biāo)準(zhǔn)化框架，系統(tǒng)性地檢驗文檔是否完整、清晰、準(zhǔn)確地記錄了模型的各項關(guān)鍵信息，包括其預(yù)期用途、已知限制、訓(xùn)練數(shù)據(jù)概述、在不同數(shù)據(jù)子集上的性能表現(xiàn)，以及公平性與魯棒性評估結(jié)果。6.2.1.2.倫理審查與紅隊測試流程嚴(yán)謹(jǐn)性該指標(biāo)評估了在模型開發(fā)過程中，是否建立并執(zhí)行了一個正式的、跨學(xué)科的倫理審查流程，以及一個獨立的“紅隊”測試流程，旨在主動地、系統(tǒng)性地識別和評估模型的潛在危害，如偏見、濫用潛力和安全漏洞。具體而言，通過流程審核進行，審查相關(guān)的流程文檔、會議記錄和測試報告，評估其參與人員的跨學(xué)科性、審查范圍的全面性、以及對所發(fā)現(xiàn)問題的跟蹤和閉環(huán)管理。6.2.1.3.可信度驗證流嚴(yán)謹(jǐn)性此指標(biāo)評估用于測量可信度指標(biāo)的測試流程是否嚴(yán)謹(jǐn)、系統(tǒng)化且具有挑戰(zhàn)性。評估內(nèi)容包括：對抗性攻擊是否采用了當(dāng)前公認(rèn)的強力算法；OOD數(shù)據(jù)集是否多樣化且與目標(biāo)域有顯著差異；公平性評估是否覆蓋了所有相關(guān)的受保護屬性。其評估方法是通過技術(shù)評審進行，評審專家將審查驗證計劃和測試報告，評估測試設(shè)置的合理性、測試用例的選擇依據(jù)，以及結(jié)果分析的科學(xué)性，以判斷其結(jié)論的可靠程度。6.2.1.4.可解釋性分析充分性7此指標(biāo)評估是否對模型的關(guān)鍵決策進行了充分的可解釋性分析，以驗證其決策邏輯是否符合領(lǐng)域知識和因果關(guān)系，而非依賴于數(shù)據(jù)中的虛假相關(guān)性。其評估方法是通過技術(shù)評審進行，評審專家將審查分析報告，評估所使用的解釋方法是否適宜，以及從解釋結(jié)果中得出的關(guān)于模型行為的結(jié)論是否合理。6.2.2.1.最小對抗擾動尋找并量化能夠欺騙智能系統(tǒng)或模型使其做出錯誤判斷所需的最小輸入修改量，用于評估模型的對抗攻擊魯棒性。所需的擾動越大，說明模型對輸入的微小變化越不敏感，其決策邊界越平滑、穩(wěn)定，也就越難以被惡意攻擊者利用。具體形式如公式(3)所示。6.2.2.2.分布外檢測AUROC該指標(biāo)用于衡量模型區(qū)分其在訓(xùn)練中見過的域內(nèi)數(shù)據(jù)和從未見過的域外新奇數(shù)據(jù)的能力，用于評估模型的認(rèn)知邊界和謙遜程度。AUROC為ROC曲線下面積，其具體形式如公式(4)所示。量化模型輸出的置信度分?jǐn)?shù)與其真實預(yù)測準(zhǔn)確率之間的一致性，用于評估模型預(yù)測不確定性的可靠性。M——將置信度劃分的區(qū)間數(shù)量；8這是一項評估模型決策無偏見性的關(guān)鍵指標(biāo)，它要求模型對不同受保護群體(由屬性A定義)的預(yù)測結(jié)果必須滿足相等的真陽性率與假陽性率，以確保系統(tǒng)決策不會因個體身份屬性而產(chǎn)生系統(tǒng)性差異。其具P(Y=1|A=a,Y=y)=P(Y=1|A=b,Y=y),Vy∈Y——真實標(biāo)簽。衡量模型的可解釋性方法是否穩(wěn)定。如對于兩個非常相似的輸入，其產(chǎn)生的解釋也應(yīng)該是相似的。其具體形式如公式(7)所示。x——輸入樣本；d(.)——距離函數(shù)。6.3.模型性能指標(biāo)6.3.1.1.評估數(shù)據(jù)集的代表性與覆蓋度用于評估測試數(shù)據(jù)集能否無偏且全面地代表其操作設(shè)計域內(nèi)的真實世界數(shù)據(jù)分布。該評估通過數(shù)據(jù)審核進行，重點審查數(shù)據(jù)集構(gòu)成在關(guān)鍵維度上是否與操作設(shè)計域定義具備統(tǒng)計一致性，并是否包含了充足的此指標(biāo)評估所選用的底層模型性能指標(biāo)是否是頂層系統(tǒng)級安全目標(biāo)的有效和可靠的代理，且能否解釋代表性不足的子集上的表現(xiàn)，以及在不同操作條件下的性能變化。其評估方法是依據(jù)一個標(biāo)準(zhǔn)化的框架逐項檢查模型卡的完整性、清晰度和準(zhǔn)確性，特別是對模型局限性的坦誠度。6.3.2.定量指標(biāo)9該指標(biāo)通過計算正確預(yù)測與預(yù)測總數(shù)的比率來衡量人工智能模型預(yù)測的整體正確性。具體形式如公式(8)所b——預(yù)測總數(shù)。精確度和召回率是分類任務(wù)中常用的指標(biāo)。精確性測量正確預(yù)測的陽性觀察值與總預(yù)測陽性觀察值的比率，而召回率計算正確預(yù)測的陽性觀察值與所有實際陽性觀察值之比。具體形式如公式(9)所示。6.3.2.3.F1分?jǐn)?shù)F1分?jǐn)?shù)是精確度和召回率的調(diào)和平均值，為分類問題提供了一種考慮假陽性6.3.2.4.均方誤差(MeanSquareError,MSE)MSE是回歸任務(wù)中最常用的損失函數(shù)和評估指標(biāo)，MSE的值越小，說明模型的預(yù)測越精準(zhǔn)。其具體形6.3.2.6.決定系數(shù)決定系數(shù)衡量模型對數(shù)據(jù)的擬合度，即模型解釋了多少變異性。它表示模型預(yù)測值與真實值之間的相關(guān)程度，通常用于評估回歸模型的整體表現(xiàn)，公式如(13)所示。6.3.2.7.DB指數(shù)DB指數(shù)是用于評估聚類算法結(jié)果的一個指標(biāo)，它通過衡量不同簇之間的相似度來評估聚類的質(zhì)量。a)計算相似度Rj,形式如公式(14)所示。D——任意的距離計算函數(shù)。b)使用所有簇之間的相似度，計算DB指數(shù)，具體形式如公式(15)所示。6.4.數(shù)據(jù)安全監(jiān)控指標(biāo)這一部分指標(biāo)關(guān)注智能系統(tǒng)的輸入數(shù)據(jù)的質(zhì)量與安全性。其核心理念是，在數(shù)據(jù)被模型使用之前，就6.4.1.1.數(shù)據(jù)規(guī)程與溯源文檔完備性該指標(biāo)用于評估數(shù)據(jù)集配套文檔是否清晰、完整地記錄了其全生命周期信息，涵蓋采集方法、標(biāo)注流程、版本歷史、隱私保護與已知局限性等方面，以確保數(shù)據(jù)來源與處理過程的透明度和可追溯性。6.4.1.2.數(shù)據(jù)標(biāo)注質(zhì)量保證流程成熟度該指標(biāo)用于評估用于生成訓(xùn)練和測試標(biāo)簽的數(shù)據(jù)標(biāo)注流程，是否包含成熟的質(zhì)量保證機制，以確保標(biāo)6.4.1.3.數(shù)據(jù)安全與隱私保護機制有效性此指標(biāo)用于評估在數(shù)據(jù)全生命周期中保護其機密性、完整性與可用性的技術(shù)與流程。該評估通過安全審核與滲透測試等方式，實際驗證訪問控制、加密及防泄露等機制的有效性與魯棒性。6.4.2.定量指標(biāo)這是一項采用統(tǒng)計方法量化線上實際輸入數(shù)據(jù)與原始訓(xùn)練/測試數(shù)據(jù)之間分布差監(jiān)測獨立同分布假設(shè)是否被違背，從而評估模型在持續(xù)應(yīng)用中的有效性與適用性。其具體形式如公式(16)F(x)——訓(xùn)練數(shù)據(jù)的累積分布函數(shù)。這是一項量化在特定時間窗口內(nèi)，被判定為有效、可信的原始傳感器數(shù)據(jù)幀占總數(shù)據(jù)幀比例的指標(biāo)。該指標(biāo)用于在數(shù)據(jù)進入模型前進行前置質(zhì)量評估，以保障系統(tǒng)輸入的可靠性，并規(guī)避無效數(shù)據(jù)對模型性能這是一項衡量防御系統(tǒng)識別并剔除混入訓(xùn)練或在線學(xué)習(xí)數(shù)據(jù)流中惡意樣本能力的指標(biāo)。該指標(biāo)用于評估系統(tǒng)抵御數(shù)據(jù)投毒攻擊的有效性，以保障模型完整性，并防止其因特定觸發(fā)條件而做出預(yù)設(shè)的錯誤決策。6.5.運行安全監(jiān)控指標(biāo)這一部分指標(biāo)關(guān)注智能系統(tǒng)部署上線后，在其與真實環(huán)境持續(xù)交互過程中的行為監(jiān)控。其核心理念是，即使模型通過了所有離線測試，也必須在運行時對其行6.5.1.1.運行時保障機制的可靠性該指標(biāo)旨在評估在線安全監(jiān)控器自身設(shè)計的簡潔性、可形式化驗證性，及其在資源與故障模式上與被監(jiān)控主模塊的獨立程度。該指標(biāo)通過設(shè)計評審與形式化分析進行評估，以確保監(jiān)控器作為最后一道安全防6.5.1.2.部署后事件響應(yīng)機制有效性該指標(biāo)旨在評估用于監(jiān)控、報告、分析及響應(yīng)系統(tǒng)運行中安全相關(guān)事件的流程有效性。該評估通過流程審核，審查事件報告、根本原因分析與相關(guān)的工程變更記錄，以驗證是否形成了從事件響應(yīng)到產(chǎn)品迭代的、持續(xù)改進的完整閉環(huán)。6.5.2.定量指標(biāo)6.5.2.1.在線性能衰退指數(shù)該指標(biāo)通過在線AB測試或影子模式等方法，持續(xù)計算模型部署后的關(guān)鍵性能指標(biāo)，并與部署前的基線進行比較，以量化模型在真實世界環(huán)境中性能隨時間衰退的相對程度。其具體形式如公式(19)所示。PDI(t)——在時間點t的性能衰退指數(shù)；Perfaseline——模型部署前在離線驗證集上測得的基線性能指標(biāo)值；Perfwindow(t)——在以時間點t結(jié)尾的滑動時間窗口內(nèi)，使用線上數(shù)據(jù)測得的相同性能指標(biāo)的值。6.5.2.2.運行時驗證違例率基于一系列預(yù)先定義的、形式化的安全規(guī)約，在運行時持續(xù)檢查AI系統(tǒng)的輸入、輸出或內(nèi)部狀態(tài)是否違反了這些規(guī)約。該指標(biāo)計算在單位時間或單位里程內(nèi)，發(fā)生違例事件的頻率。其具體形式如公式(20)所示。λRV——運行時驗證的違例發(fā)生率；Nviolation(△T)——在一個時間或里程窗口△T內(nèi)，檢測到的違例事件總數(shù)；0window——對應(yīng)的操作窗口大小。6.5.2.3.人機交互接管時間對于需要人類進行監(jiān)督或在特定情況下接管的半自主系統(tǒng)，該指標(biāo)衡量從系統(tǒng)發(fā)出接管請求到人類駕駛員做出穩(wěn)定、有效的控制動作所經(jīng)過的時間。其具體形式如公式(21)所示。trequest—系統(tǒng)發(fā)出接管請求的時間戳；tcontrol——人類提供第一個穩(wěn)定有效的控制輸入的時間7復(fù)雜智能系統(tǒng)功能安全性支撐技術(shù)與方法7.1.需求階段功能安全性支撐技術(shù)7.1.1.危害分析與風(fēng)險評估和安全目標(biāo)定義通過結(jié)構(gòu)化方法系統(tǒng)性地識別由功能失效導(dǎo)致的潛在危害，并基于危害的嚴(yán)重性、暴露率和可控性評估風(fēng)險等級。此過程旨在推導(dǎo)出必須被滿足的、最高層級的安全目對系統(tǒng)預(yù)期運行環(huán)境、條件和任務(wù)進行精確分析和驗證活動的基礎(chǔ)，明確了系統(tǒng)的能力邊界，并作為在系統(tǒng)無法安全運行時的最小風(fēng)險狀態(tài)的觸發(fā)依7.2.設(shè)計與開發(fā)階段功能安全性支撐技術(shù)通過引入異構(gòu)冗余和通道分離等技術(shù)，消除單點故障和共因失效。對于AI系統(tǒng)，這可能包括在感知和決策中使用不同原理的算法或硬件，以確保在單一故障發(fā)生時，系統(tǒng)仍能維持安全運行或進入安全狀態(tài)。這是一種通過引入額外的資源來使系統(tǒng)能夠容忍故障的經(jīng)典安全設(shè)計技術(shù)。它包含多種形式：a)冗余指部署多個相同或相似的組件來執(zhí)行同一功能。b)多樣性指冗余的組件采用不同的技術(shù)原理、由不同的團隊開發(fā)或采用不同的算法，以防止單一原c)容錯指整個架構(gòu)被設(shè)計為能夠檢測故障、隔離故障，并安全地重構(gòu)或切換到備用通道，以維持系這是一種專門為監(jiān)督復(fù)雜AI組件而設(shè)計的模式，其核心是為一個AI主功能模塊并行配備一個邏輯簡單且可被形式化驗證的安全監(jiān)控器。該監(jiān)控器持續(xù)將AI模塊的輸出與預(yù)定義的安全邊界進行比對，并在檢測到違規(guī)時，立即否決該輸出并執(zhí)行預(yù)設(shè)的、保守但能確保安全的備用策略。這是一種源自信息安全，但在功能安全領(lǐng)域同樣至關(guān)重a)信息隔離指通過使用虛擬機、容器或硬件內(nèi)存保護單元，將安全等級不同的軟件組件或功能關(guān)鍵性不同的模塊，在計算資源和通信上進行嚴(yán)格的隔b)最小權(quán)限指確保每個軟件組件只被授予其完成任務(wù)所必需的最小權(quán)限和數(shù)據(jù)訪問權(quán)。此方法旨在限制故障的傳播范圍，防止一個低安全等級組件的失效“污染”或影響到一個高安全等級組件的這是一種系統(tǒng)級的安全策略設(shè)計。它要求在設(shè)計之初就預(yù)先設(shè)想當(dāng)系統(tǒng)因故障或性能局限而無法繼續(xù)a)降級模式指系統(tǒng)在失去部分功能后，仍能安全運行的功能子集。b)最小風(fēng)險狀態(tài)指當(dāng)系統(tǒng)必須完全停止服務(wù)時，能夠?qū)L(fēng)險降至最低的最終狀態(tài)。此技術(shù)的核心是在設(shè)計階段就為所有可預(yù)見的失效場景，規(guī)劃好一個安全、確定的“應(yīng)急預(yù)案”。作為AI組件設(shè)計文檔的一部分，創(chuàng)建模型卡以提高透明度。模型卡詳細記錄了模型的預(yù)期用途、訓(xùn)練數(shù)據(jù)概述、已知局限性以及在不同數(shù)據(jù)子集上的性能和公平性評估結(jié)果，為系統(tǒng)集成和安全評估提供了關(guān)鍵的設(shè)計階段證據(jù)。7.3.模型訓(xùn)練階段功能安全性支撐技術(shù)這是一種通過為數(shù)據(jù)集創(chuàng)建詳盡數(shù)據(jù)表以系統(tǒng)性記錄其全生命周期信息的方法，內(nèi)容涵蓋采集動機、標(biāo)注流程、版本歷史、隱私措施及已知局限性。該方法旨在提升數(shù)據(jù)透明度與可追溯性，作為關(guān)鍵證據(jù)支持AI安全論證，并使得評估數(shù)據(jù)與操作設(shè)計域的匹配度、識別數(shù)據(jù)偏見和進行根本原因分析成為可能。這是一種在數(shù)據(jù)進入訓(xùn)練流程前，通過自動化工具將數(shù)據(jù)與預(yù)定義模式進行比對，以檢測類型、格式、據(jù)以規(guī)避潛在的性能下降，并將抽象的數(shù)據(jù)質(zhì)量要求轉(zhuǎn)化為可被機器自動執(zhí)行的規(guī)則。這是一套旨在確保監(jiān)督學(xué)習(xí)模型所用標(biāo)簽準(zhǔn)確性與一致性的嚴(yán)謹(jǐn)流程，其核心措施包括制定詳細標(biāo)注指南、采用多人交叉驗證及量化一致性指標(biāo)。該流程通過減少直接決定模型性能與安全上限的標(biāo)簽噪聲，來提升模型在安全關(guān)鍵類別上的可靠性，并能通過分析不一致性來識別困難場景，為功能安全分析提供輸提供近乎無限的、參數(shù)可控的測試用例，從而系統(tǒng)性地探索模型的行為邊界。7.3.2.1.對抗性訓(xùn)練棒性，通過迫使模型學(xué)習(xí)更平滑、更本質(zhì)的特征，來提升其對真實世界中未曾見過的傳感器噪聲和環(huán)境變化的抵抗力。它也是目前已知的、最有效的直接防御惡意對抗性攻擊的方法之一，從而直接提升了模型的這是一種在訓(xùn)練算法層面主動糾正偏見的技術(shù)，在優(yōu)化模型主任務(wù)損失的同時，將其必須滿足的公平性指標(biāo)作為一個約束條件加入優(yōu)化問題中。安全性必須是公平的，一個對特定人群存在偏見的系統(tǒng)本質(zhì)上是不安全的。此方法能夠主動提升模型在弱勢群體上的性能，確保例如行人檢測系統(tǒng)不會因為膚色、著裝等因素而產(chǎn)生歧視性的、危險的性能差異，是構(gòu)建負(fù)責(zé)這是一種為模型訓(xùn)練過程提供嚴(yán)格、可數(shù)學(xué)證明的隱私保護的技術(shù)，通過在梯度計算階段進行裁剪和噪聲注入，來掩蓋任何單個訓(xùn)練樣本對最終模型參數(shù)的貢獻。在處理敏感數(shù)據(jù)的智能系統(tǒng)中，數(shù)據(jù)隱私本身就是一項關(guān)鍵的安全屬性。此技術(shù)能提供數(shù)學(xué)保證，防止模型記憶和泄露敏感信息，從而避免因信息泄露導(dǎo)致的物理世界傷害，并能附帶地提升模型對某些類型對抗性攻擊的魯棒性。7.4.智能系統(tǒng)功能安全性測試與驗證技術(shù)7.4.1.數(shù)據(jù)與模型層面測試與驗證技術(shù)盡的統(tǒng)計數(shù)據(jù)，來理解并驗證數(shù)據(jù)集的每一個特征，確保其符合預(yù)定義的期望。此技術(shù)的目標(biāo)是主動地、前置地保障數(shù)據(jù)質(zhì)量，而非被動地在模型失效后進行問題a)防止“臟數(shù)據(jù)”污染模型指識別并處理標(biāo)簽錯誤、異常值、缺失值等，避免模型從一開始就學(xué)到b)診斷與量化數(shù)據(jù)漂移指通過對比訓(xùn)練集、驗證集和線上數(shù)據(jù)的統(tǒng)計分布，精確量化數(shù)據(jù)分布漂移，c)保障公平性與魯棒性指揭示數(shù)據(jù)中潛在的偏見(如類別不均衡、某些群體樣本過少),指導(dǎo)數(shù)據(jù)增強或采集策略，以提升模型的公平性和泛化能這是一種模擬最壞情況的壓力測試技術(shù)，它通過利用模型自身的梯度信息，在輸入數(shù)據(jù)上有目的地添絡(luò)決策邊界的非預(yù)期脆弱性，從而評估模型在遭受刻意攻擊等最惡劣情況下的魯棒性下限，為功能安全提a)定義威脅模型指明確攻擊者的能力范圍，如允許修改的擾動范圍、可獲取的模型信息。c)將生成的對抗樣本輸入到模型中，計算模型在這些樣本上的準(zhǔn)確率、置信度等性能指標(biāo)，并與在這是一種基于數(shù)學(xué)與邏輯推理的完備性驗證技術(shù)，旨在通過窮盡性搜索與數(shù)學(xué)證明，來確定一個給定的安全屬性在所有可能輸入下是否恒成立。該技術(shù)的目標(biāo)并非評估平均性能，而是通過為關(guān)鍵安全屬性提供完備的數(shù)學(xué)保證來消除最壞情況風(fēng)險，從而為系統(tǒng)安全性提供最強的、可被數(shù)學(xué)證明的論據(jù)。神經(jīng)網(wǎng)絡(luò)a)將自然語言描述的安全需求，轉(zhuǎn)化為精確的數(shù)學(xué)邏輯表達式。集合。c)檢查計算出的輸出集是否完全落在安全規(guī)約定義的范圍內(nèi)。如果不滿足，工具將自動生成一個導(dǎo)7.4.2.軟件在環(huán)與硬件在環(huán)測試與驗證技術(shù)7.4.2.1.軟件在環(huán)(Software-in-the-Loop,SIL)測試技術(shù)在一個純軟件的環(huán)境中，將算法代碼(作為“環(huán)”中的一部分)與其它系統(tǒng)組件(如車輛動力學(xué)模型、傳感器模型、控制器模型)的軟件仿真進行閉環(huán)集成測試。所有組件都運行在開發(fā)計算機上，不涉及任何目標(biāo)硬件。這是在開發(fā)流程早期進行快速迭代和功能驗證的核心手段。軟件在環(huán)測試技術(shù)可以遵循以下流b)將待測的算法代碼集成到仿真環(huán)境中。c)運行預(yù)定義的測試腳本，通過斷言和日志來自動判斷測試結(jié)果是否通過。7.4.2.2.硬件在環(huán)(Hardware-in-the-Loop,HIL)測試技術(shù)將編譯好的算法軟件，燒錄到最終量產(chǎn)的目標(biāo)硬件控制器(ECU)中。然后，將這個真實的目標(biāo)硬件控制器與一個強大的實時仿真平臺連接，該平臺能夠?qū)崟r生成高保真度的傳感器數(shù)據(jù)流并模擬外界組件對c)運行測試用例，實時采集ECU的輸出并注入仿真環(huán)境，形成一個完整的、包含真實硬件在內(nèi)的閉在SIL或HIL測試環(huán)境中，通過專門的工具和技術(shù)，人為地、可控地向系統(tǒng)的特定部位注入故障。這些故障可以是硬件層面的，也可以是軟件層面的。故障注入測試技術(shù)是唯一能夠直接、主動地驗證系統(tǒng)容錯設(shè)計有效性的技術(shù)。其目標(biāo)是確認(rèn)當(dāng)隨機故障發(fā)生時，系統(tǒng)的安全機制是否能夠被正確、及時地激活，并將系統(tǒng)引導(dǎo)至一個預(yù)定義的安全狀態(tài)。故障注入測試技術(shù)可以遵循以下流程：a)基于FMEA(失效模式與影響分析)等安全分析結(jié)果b)利用HIL平臺的特定模塊或通過修改軟件代碼，在測試c)觀察并記錄系統(tǒng)的響應(yīng)，并與安全需求中定義的預(yù)期行為進行比對。7.4.3.系統(tǒng)與交互層面的測試與驗證一種為驗證智能系統(tǒng)物理感知能力而設(shè)計的場景化測試，其核心是通過物理級渲染與信號傳播模型生成高保真度的多模態(tài)傳感器數(shù)據(jù)。該技術(shù)通過精細建模環(huán)境觸發(fā)條件(如惡劣天氣與傳感器物理效應(yīng)),系統(tǒng)性地測試系統(tǒng)在信息不完備、含噪聲的真實物理輸入下的性能極限，旨在驗證感知魯棒性并主動發(fā)現(xiàn)持續(xù)將系統(tǒng)外部可觀察的物理行為與一系列預(yù)定義的形式化安全規(guī)約進行比對。該技術(shù)旨在提供最后一道可驗證的動態(tài)安全防線，以捕獲并干預(yù)在設(shè)計與測試階段未能預(yù)見的危險行為，并在檢測到違規(guī)時否決主一種模擬惡意或非常規(guī)用戶的測試方法，其核心是通過精心設(shè)計輸入提示，主動誘導(dǎo)大語言模型等智能系統(tǒng)產(chǎn)生不安全、不合規(guī)或非預(yù)期的輸出。該技術(shù)旨在系統(tǒng)性地探測并暴露模型在語義與內(nèi)容安全上的脆弱性，主動發(fā)現(xiàn)其安全護欄中可被利用的漏洞。這一技術(shù)a)由具備創(chuàng)造力和對抗思維的專家，根據(jù)已知的攻擊模式進行手動測試。b)利用另一個LLM來自動生成大量、多樣化的、可能觸發(fā)不安全行為的對抗性提示。c)使用類似計算機視覺中的梯度方法，在輸入的嵌入空間中進行優(yōu)化，以尋找最能引發(fā)有害輸出的提示。這是一項利用標(biāo)準(zhǔn)化評估基準(zhǔn)與數(shù)據(jù)集，自動化且規(guī)?；睾饬看笳Z言模型在真實性、無害性及偏見等多個安全維度上表現(xiàn)的技術(shù)。該技術(shù)旨在將抽象的安全概念轉(zhuǎn)化為可量化的客觀指標(biāo)，從而為模型迭代提供持續(xù)的回歸測試，并為不同模型間的安全性對比提供依據(jù)。該技術(shù)的實現(xiàn)可分為以下幾步：a)采用學(xué)術(shù)界和工業(yè)界公認(rèn)的評估基準(zhǔn)，如TruthfulQA(評估真實性)、ToxiGen(評估有害性)、BBQ(評估社會偏見)等。b)讓待測模型對基準(zhǔn)中的所有提示進行響應(yīng)生成。量，或者使用預(yù)訓(xùn)練的內(nèi)容審查分類器來進行打分。7.5.智能系統(tǒng)運行階段功能安全性支撐技術(shù)出是否位于預(yù)定義的安全信封內(nèi)。如果即將發(fā)生違規(guī)，監(jiān)視器將立即介入并執(zhí)行一個備用的安全策略。這7.5.2.在線數(shù)據(jù)分布與性能監(jiān)控持續(xù)監(jiān)控線上輸入數(shù)據(jù)流與訓(xùn)練數(shù)據(jù)基線之間的分布漂移。同時，跟蹤模型在役期間的性能衰退。當(dāng)7.5.3.持續(xù)的安全論證管理安全論證是一個動態(tài)文件，必須在運行階段持續(xù)維護。任何新的運營數(shù)據(jù)、事故報告或未知事件都必須被納入論證中，以確保其始終準(zhǔn)確反映系統(tǒng)的安全狀態(tài)，并作為持續(xù)改進和安全決策的依據(jù)。7.6.智能系統(tǒng)維護與更新階段功能安全性支撐技術(shù)7.6.1.變更影響分析與安全回歸驗證每一次軟件或AI模型的更新都必須執(zhí)行正式的變更影響分析，以識別潛在的安全影響。必須執(zhí)行全面的回歸測試套件，確保系統(tǒng)的所有原有安全功能在更新后依然有效，未發(fā)生安全回歸。建立一套清晰、有效的流程，用于系統(tǒng)性地監(jiān)控、報告、分析和響應(yīng)在系統(tǒng)實際運行中發(fā)生的所有安全相關(guān)事件。通過根本原因分析等方法，將教訓(xùn)反饋到產(chǎn)品迭代和安全管理流程的改進中，形成持續(xù)學(xué)習(xí)的閉環(huán)。7.6.3.網(wǎng)絡(luò)安全與功能安全的協(xié)同驗證在更新部署過程中，功能安全團隊必須與網(wǎng)絡(luò)安全團隊協(xié)同，確保軟件完整性、代碼簽名和加密機制的有效性。這防止攻擊者利用更新渠道對系統(tǒng)功能進行惡意篡改，即網(wǎng)絡(luò)安全對功能安全的支撐作用。7.7.智能系統(tǒng)退役階段功能安全性支撐技術(shù)7.7.1.安全的最終狀態(tài)轉(zhuǎn)換與功能禁用執(zhí)行一個經(jīng)過驗證的退役計劃，確保系統(tǒng)功能被永久、可靠地禁用。系統(tǒng)必須進入一個無法對人員或環(huán)境造成傷害的安全最終狀態(tài)，防止缺乏維護和支持的情況下出現(xiàn)不安全的殘留操作。7.7.2.敏感數(shù)據(jù)安全處理與隱私合規(guī)對系統(tǒng)存儲的所有敏感用戶和運營數(shù)據(jù)進行安全處理。數(shù)據(jù)必須根據(jù)