人工智能-功能安全和AI系統(tǒng)參考編號ISO/IECTR5469：2024（en）2024-01第?ISO/IEC2024一（電子或機(jī)械）復(fù)制或使用本出版物的任何部分，包括復(fù)印或在互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)上發(fā)布可通過以下地址向ISO或請求者所在頁 1 1 1 4 意見4 5 6 39 v機(jī)構(gòu)通過各自組織建立的技術(shù)委員會參與國際標(biāo)準(zhǔn)的制定，以處理特定領(lǐng)域的技術(shù)活動。ISO和IEC技術(shù)委員會在共同感興趣的領(lǐng)域進(jìn)行合作。與ISO和IEC保持聯(lián)系的其他國際組織、政府組織和非政府組織也參與不同類型文件所需的不同批準(zhǔn)標(biāo)準(zhǔn)。本文件持任何立場。截至本文件發(fā)布之日，ISO和IEC尚未收到實(shí)施本文件可能需要的專利通知然而，實(shí)施者應(yīng)注本文件中使用的任何商品名稱都是為了方便用戶而提供的有關(guān)標(biāo)準(zhǔn)的自愿性質(zhì)的解釋、與合格評定相關(guān)的ISO特定術(shù)語和表達(dá)的含義，以及有關(guān)ISO在技術(shù)性貿(mào)易壁對本文件的任何反饋或問題應(yīng)直接向用戶的國家標(biāo)準(zhǔn)機(jī)構(gòu)提出這些機(jī)構(gòu)的完整清單可在近年來，人工智能（AI）技術(shù)在工業(yè)中的使用顯著增加，AI已被證明在某些應(yīng)用中具有優(yōu)勢。然而，關(guān)于功能安全的人工智能系統(tǒng)的規(guī)范、設(shè)計(jì)和驗(yàn)證，以及如何將人工智能技術(shù)應(yīng)用于具有安全相關(guān)影響的功能），行，也很難保證它們的性能。因此，當(dāng)AI技術(shù)被普遍使用時(shí)，特別是當(dāng)它被用于實(shí)現(xiàn)安全相關(guān)系統(tǒng)時(shí)，可器學(xué)習(xí)（作為一種人工智能技術(shù)）可以快速、成功地開發(fā)檢測數(shù)據(jù)趨勢和模式的功能這使得可以從觀察中歸納出函數(shù)的行為，并快速提取決定其行為的關(guān)鍵參數(shù)。機(jī)器學(xué)習(xí)還用于識別異常行為或在特定環(huán)境中收斂于最佳解決方案成功的機(jī)器學(xué)習(xí)應(yīng)用包括金融數(shù)據(jù)分析、社交網(wǎng)絡(luò)應(yīng)用和語言識別、圖像識別（特別是人臉識別）、醫(yī)療保健管理和自動化、數(shù)字助理、制造機(jī)器人、機(jī)器健康監(jiān)除了機(jī)器學(xué)習(xí)之外，其他人工智能技術(shù)在工程應(yīng)用中也越來越重要。例如，應(yīng)用統(tǒng)計(jì)學(xué)、概率論和估計(jì)理模型在AI技術(shù)的實(shí)施中發(fā)揮著核心作用。這些模型的屬性用于證明AI技術(shù)和AI系統(tǒng)與功能安全要求的兼容性例如，如果在密鑰之間存在潛在的已知和理解的科學(xué)關(guān)系，如果一個(gè)函數(shù)的行為取決于它的參數(shù)，那么在觀察到的輸入數(shù)據(jù)和輸出數(shù)據(jù)之間可能存在很強(qiáng)的相關(guān)性。這導(dǎo)致了一個(gè)透明且足夠復(fù)雜的AI模型作為AI技術(shù)的基礎(chǔ)在這種情況下，模型與功能安全要求的兼容性是演示。然而，人工智能技術(shù)通常用于物理現(xiàn)象如此復(fù)雜或規(guī)模如此之小，或者在不影響實(shí)驗(yàn)數(shù)據(jù)的情況下無法觀察到的情況，因此沒有潛在行為的科學(xué)模型。在這種情況下，人工智能技術(shù)的模型可能既不透明也不完整，并且很難證明模型與功能安全機(jī)器學(xué)習(xí)用于創(chuàng)建模型，從而擴(kuò)展對世界的理解。然而，機(jī)器學(xué)習(xí)的模型只與用于導(dǎo)出模型的信息一樣好。如果訓(xùn)練數(shù)據(jù)沒有覆蓋重要的情況，那么導(dǎo)出的模型是不正確的。隨著觀察到更多已知實(shí)例，它們被用來強(qiáng)化模型，但這會使觀察的相對重要性產(chǎn)生偏差，從而使函數(shù)遠(yuǎn)離不太頻繁但仍然真實(shí)的行為。持續(xù)在通過使用人工智能技術(shù)不斷改進(jìn)模型的情況下，為了證明其安全完整性而進(jìn)行的驗(yàn)證和確認(rèn)活動會受到破壞，因?yàn)楣δ苄袨橹饾u遠(yuǎn)離嚴(yán)格測試，理想的確本文件的目的是使安全相關(guān)系統(tǒng)的開發(fā)人員能夠通過提高對AI技術(shù)的屬性、功能安全風(fēng)險(xiǎn)因素、可用功能安全方法和潛在限制的認(rèn)識，將AI技術(shù)作為安全功能的一部分適當(dāng)本文檔還提供了與AI系統(tǒng)功能安全相關(guān)第6條描述了不同類別的人工智能技術(shù)，以表明當(dāng)人工智能技術(shù)構(gòu)成安全功能的一部分時(shí)，其可能符合現(xiàn)有的功能安全國際標(biāo)準(zhǔn)。第6條進(jìn)一步介紹了人工智能技術(shù)的不同使用水平，取決于它們對系統(tǒng)的最終第8討論了人工智能系統(tǒng)的屬性和相關(guān)的功能安全風(fēng)險(xiǎn)因素，并提出了這種使用所帶來的挑戰(zhàn)，以及在試第9、10和11條顯示了從驗(yàn)證和確認(rèn)、控制和緩解措施、過程和方法學(xué)領(lǐng)域應(yīng)對這些挑戰(zhàn)的可能解決方了如何應(yīng)用三階段實(shí)現(xiàn)原理和定義各種屬性的示例。附錄C描述了與9.3相關(guān)的更詳細(xì)的過程。附錄D顯示一1人工智能-功能安全和人工智能系統(tǒng)2規(guī)范性引用文件本文中引用的下列文件的部分或全部內(nèi)容構(gòu)成了本文件的要求。凡是注日期的引用文件，僅引用的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括任何修3術(shù)語和定義2注1：效應(yīng)是與預(yù)期的偏差。它可以是積極的、消極的或兩者兼而有之，可以處理、創(chuàng)造或?qū)е聶C(jī)會和威脅。注2：目標(biāo)可以有不同的方面和類別，可以應(yīng)用于不同的層次。注3：風(fēng)險(xiǎn)通常用風(fēng)險(xiǎn)來源、潛在事件、其后果及其可能性來表示。注4：這是風(fēng)險(xiǎn)的核心定義由于風(fēng)險(xiǎn)特別關(guān)注傷害（3.5），因此除了核心風(fēng)險(xiǎn)定義外，本文檔還使用了風(fēng)險(xiǎn)的學(xué)科特定部件或元件的排列，這些部件或元件一起表現(xiàn)出單個(gè)組成部分故障，以確定性的方式與某一原因相關(guān)，只能通過修改設(shè)計(jì)或制造過程、操3條目注1：EUC控制系統(tǒng)與EUC分離且不同。注1：本術(shù)語涵蓋基于一個(gè)或多個(gè)中央處理器（CPU）以及相關(guān)存儲器等的微電子器件示例以下是所有可編程電子設(shè)備：注1：該術(shù)語旨在涵蓋任何和所有基于電氣原理運(yùn)行的設(shè)備或系統(tǒng)。示例電氣/電子/可編程電子設(shè)備包括：—基于計(jì)算機(jī)技術(shù)的電子設(shè)備（可編程44縮略語5功能安全概述5風(fēng)險(xiǎn)的定義根據(jù)第3條所示的域標(biāo)簽而有所不同。這兩個(gè)定義都是使用AI的有效概念。從這一點(diǎn)開始，本相關(guān)風(fēng)險(xiǎn)以及產(chǎn)品或系統(tǒng)的合理可預(yù)見誤用。減少風(fēng)險(xiǎn)將風(fēng)險(xiǎn)降低到可以容忍的程度?？扇萑田L(fēng)險(xiǎn)是基于通過提供功能安全降低風(fēng)險(xiǎn)與步驟2相關(guān)。本文件重點(diǎn)介紹安全相關(guān)系統(tǒng)在安全相關(guān)系統(tǒng)內(nèi)或在安全相關(guān)系統(tǒng)的設(shè)計(jì)和開發(fā)過程中（步驟2）利用人通過E/E/PE安全相關(guān)系統(tǒng)或其他風(fēng)險(xiǎn)降低措施實(shí)施，旨在實(shí)現(xiàn)或維持EUC在特定危險(xiǎn)事件方面的安全狀態(tài)。”換句話說，安全功能控制與導(dǎo)致對人或環(huán)境造成傷害的危險(xiǎn)相關(guān)聯(lián)的功能安全系統(tǒng)狀態(tài)。在功能安全和安全功能定義中納入“其他風(fēng)險(xiǎn)降低措施”的基礎(chǔ)上，明確納入了非技術(shù)根據(jù)這些定義，功能安全作為一門學(xué)科，涉及這些技術(shù)和非技術(shù)安全功能的適當(dāng)工程設(shè)計(jì)，以降低風(fēng)險(xiǎn)或控制特定設(shè)備的風(fēng)險(xiǎn)水平，從組件級別到系統(tǒng)級別，包括考慮人為因素，并在功能安全側(cè)重于降低風(fēng)險(xiǎn)的安全功能以及降低風(fēng)險(xiǎn)所需的雖然安全功能的功能性與用例密切相關(guān)，但在可編程系統(tǒng)出現(xiàn)之前，當(dāng)安全功能僅限于在硬件中實(shí)現(xiàn)隨著軟件越來越多地用于實(shí)現(xiàn)安全功能，重點(diǎn)轉(zhuǎn)注：ISO21448：2022[7]包括預(yù)期功能的安全性要求，包括性能限制等方面。附錄D描述了機(jī)器學(xué)習(xí)的含義。6關(guān)于如何避免非人工智能系統(tǒng)和軟件開發(fā)中的系統(tǒng)性故障，有一個(gè)強(qiáng)大的知識體系。[138]本文件考慮了在安全功能的背景下使用AI技術(shù)。包含人工智能技術(shù)的功能，特別是機(jī)器學(xué)習(xí)，通常遵循與非人工智能系統(tǒng)不同的開發(fā)范式。它們不太受規(guī)范驅(qū)動，更多地受定義系統(tǒng)行為的數(shù)據(jù)出于這個(gè)原因，針對人工智能技術(shù)的特殊性，擴(kuò)展了處理系統(tǒng)故障的可用措施目錄：附件A提供了這種擴(kuò)展的示例。從功能的角度來看，AI特定的風(fēng)險(xiǎn)降低措施也不同于非AI系統(tǒng)。除了整個(gè)生命周期中的隨機(jī)硬件和系統(tǒng)故障之外，功能安全還關(guān)當(dāng)用于實(shí)現(xiàn)安全功能時(shí)，人工智能技術(shù)的相關(guān)性在于其解決降低風(fēng)險(xiǎn)的新方法的潛力。本文件通過引入風(fēng)險(xiǎn)和分類方面的考慮，審查了為此目的使用此類一般而言，要使日益復(fù)雜和自動化的系統(tǒng)達(dá)到可接受的風(fēng)險(xiǎn)水平，很可能取決于先進(jìn)的安全概念。這包括充分實(shí)施技術(shù)和非技術(shù)風(fēng)險(xiǎn)降低措施，以實(shí)現(xiàn)和保持安全的系統(tǒng)狀態(tài)。確保這些先進(jìn)的安全概念的有效性是功能安全的一個(gè)巨大挑戰(zhàn)。它還導(dǎo)致功能安全要求的數(shù)量增加。對于所有技術(shù)風(fēng)險(xiǎn)降低措施，都考慮了硬件隨機(jī)故障和系統(tǒng)故障的區(qū)別，這在IEC61508系列等基本國際標(biāo)準(zhǔn)或衍生國際標(biāo)準(zhǔn)中進(jìn)行了區(qū)分然而，對于包括人工智能技術(shù)在內(nèi)的安全功能，不可避免地需要額外關(guān)注確保實(shí)現(xiàn)這些功能的系統(tǒng)的系統(tǒng)能6AI技術(shù)在E/E/PE安全相關(guān)系統(tǒng)中的應(yīng)用情況下是通用的，并且獨(dú)立于應(yīng)用程序。但是，數(shù)據(jù)和規(guī)格因應(yīng)用和技術(shù)領(lǐng)域而異。圖3中描述了三階段實(shí)現(xiàn)原理的三個(gè)階段中的每一個(gè)的屬性選擇這些屬性是根據(jù)具體情況選擇的，與特定應(yīng)用或技術(shù)領(lǐng)域、其為了解決傳統(tǒng)開發(fā)流程與人工智能技術(shù)典型方法之間的差異，本條款根據(jù)人工智能技術(shù)應(yīng)用的各種背景，表1和圖1所示的相關(guān)流程圖總結(jié)了分類方案的示例。該計(jì)劃旨在提供關(guān)于如何在特定應(yīng)用的功能安全背景7—AI應(yīng)用和使用水平。該軸考慮了人工智能技術(shù)的應(yīng)用，其中包括使用人工注1：第8章中確定的因素在分類的背景下具有高度相關(guān)性。這些因素將在第8章中進(jìn)一步描述，包括自動化和控制水平（見8.2）、決策透明度和可解釋性程度（見8.3）、環(huán)境復(fù)雜性和模糊規(guī)范（見8.4）、安全性（見8.5）、系統(tǒng)硬件問題（見8.6）和技術(shù)成熟度（見—當(dāng)AI技術(shù)用于與安全相關(guān)的E/E/PE系統(tǒng)中，并且不可能使用AI技術(shù)對系統(tǒng)功能進(jìn)行自動決策時(shí)（例），注2：根據(jù)診斷功能的作用，評估可能會發(fā)生變化，例如，診斷是否對維護(hù)系統(tǒng)的功能安全至關(guān)重要，或者只是對功能安全的次要貢獻(xiàn)。注3：C級使用包括明確提供額外風(fēng)險(xiǎn)降低的人工智能技術(shù)，其故障對可接受風(fēng)險(xiǎn)水平并不重要。示例：增加或減少安全系統(tǒng)需求率的人工智能技術(shù)。注4：示例是通過“沙箱”或“管理程序”進(jìn)行分離，其方式不會影響安全功能?！绻斯ぶ悄芗夹g(shù)是使用現(xiàn)有的功能安全國際標(biāo)準(zhǔn)開發(fā)和審查的，例如，如果使用現(xiàn)有的功能安—如果AI技術(shù)無法使用現(xiàn)有的功能安全國際標(biāo)準(zhǔn)進(jìn)行充分開發(fā)和審查，但仍有可能定用于開發(fā)、設(shè)計(jì)、驗(yàn)證和確認(rèn)所需安全屬性的額外補(bǔ)充要求、方法和技術(shù)，以實(shí)現(xiàn)必要的風(fēng)險(xiǎn)—如果AI技術(shù)無法使用現(xiàn)有的功能安全國際標(biāo)準(zhǔn)進(jìn)行開發(fā)和審查，并且無法使用相關(guān)方法和技術(shù)滿8A中的示例）。因此，它們被歸類為I類，盡管更高級別的抽象（例如深度學(xué)習(xí)模型）更可能被歸類為II類對于AI技術(shù)I類組件，現(xiàn)有功能安全國際標(biāo)準(zhǔn)的應(yīng)用是可能的，并且通常是期望的。對于人工智能技術(shù)II類組件，使用現(xiàn)有的功能安全國際標(biāo)準(zhǔn)可部分實(shí)現(xiàn)功能安全所需的特性。然后，使用一組補(bǔ)充方法和技術(shù)（如附加驗(yàn)證和確認(rèn)）解決剩余部分（如第9所述）。補(bǔ)充方法和技術(shù)的有效性在本文檔發(fā)布時(shí)，人工智AI技術(shù)等級=>AI應(yīng)用和使用水平AI技術(shù)I類人工智能技術(shù)II類人工智能技術(shù)III類現(xiàn)有功能的風(fēng)險(xiǎn)降低概念的應(yīng)用-國際標(biāo)準(zhǔn)可能適當(dāng)?shù)闹匦略O(shè)置-在本文件出版之時(shí)，還沒有一套適當(dāng)?shù)膶傩砸约跋嚓P(guān)的方法和技術(shù)可以充分降低風(fēng)險(xiǎn)。適當(dāng)?shù)闹匦略O(shè)置-適當(dāng)?shù)闹匦略O(shè)置-適當(dāng)?shù)闹匦略O(shè)置-使用水平Ca適當(dāng)?shù)闹匦略O(shè)置-使用水平Db應(yīng)用現(xiàn)有功能安全國際標(biāo)準(zhǔn)的風(fēng)險(xiǎn)降低概念a靜態(tài)（離線開發(fā)期間）僅用于教9一7AI技術(shù)要素及三階段實(shí)現(xiàn)原理功能層，提供了人工智能環(huán)境和所涉及的典型技術(shù)元素的高級描述。表3是針對機(jī)器學(xué)習(xí)的特定情況的那AI技術(shù)元素機(jī)器學(xué)習(xí)—模型開發(fā)和使用—用于機(jī)器學(xué)習(xí)的數(shù)據(jù)工程—基于領(lǐng)域經(jīng)驗(yàn)的知識云和邊緣計(jì)算以及大數(shù)據(jù)和數(shù)據(jù)源資源池-計(jì)算、存儲、網(wǎng)絡(luò)資源管理-資源供應(yīng)技術(shù)元素（機(jī)器學(xué)習(xí)示例）實(shí)例（并非詳盡無遺）b應(yīng)用圖圖形交換格式（GXF）圖形在YAML不是標(biāo)記語言（YAML），最近合格的教師（rqt）圖形在機(jī)器機(jī)器學(xué)習(xí)框架A機(jī)器學(xué)習(xí)模型語言機(jī)器學(xué)習(xí)圖編譯器），），性機(jī)器碼編譯程序注：本表不區(qū)分用于訓(xùn)練的元素和用于推理的元素。a機(jī)器學(xué)習(xí)框架是一個(gè)端到端機(jī)器學(xué)習(xí)平臺，包技術(shù)元素（機(jī)器學(xué)習(xí)示例）實(shí)例（并非詳盡無遺）b），），可執(zhí)行機(jī)器代碼可執(zhí)行機(jī)器代碼編譯為以下架構(gòu)：aarch64，計(jì)算硬件注：本表不區(qū)分用于訓(xùn)練的元素和用于推理的元素。a機(jī)器學(xué)習(xí)框架是一個(gè)端到端機(jī)器學(xué)習(xí)平臺，包一些技術(shù)元素與現(xiàn)有的功能安全概念一起解決（例如，軟件將模型轉(zhuǎn)換為可執(zhí)行代碼）。然而，模型創(chuàng)建和執(zhí)行中涉及的所有技術(shù)元素都是安全考慮的一部分，包括那些與現(xiàn)有功能安全概念一起處理的元素以及技術(shù)的示例。附錄B包括一個(gè)示例，說明如何將特定屬性（如第8條中所述的屬性）應(yīng)用于現(xiàn)有功能安全概如圖2所示，包含AI技術(shù)的元素在系統(tǒng)或應(yīng)用程序的不同級別使用：對于較高級別的元素（例如應(yīng)用程序），其他國際標(biāo)準(zhǔn)中定義的屬性。一12783783456關(guān)鍵5可執(zhí)行機(jī)器代碼6計(jì)算硬件）：注1：關(guān)于ISO/IEC22989：2022圖5，第一階段映射到輸入任務(wù)，第二階段映射到學(xué)習(xí)任務(wù)，第三階段映射到處理任注2：在這種情況下，人類知識來源于相關(guān)領(lǐng)域和人工智能系統(tǒng)中的一系列不同專業(yè)知識注3：所述的實(shí)現(xiàn)原理是通用的。AI系統(tǒng)的具體更詳細(xì)的例子是注4：三階段實(shí)現(xiàn)原則的目的不是描述一個(gè)生命周期（在第11章中描述，包括從概念開發(fā)和成熟到需求開發(fā)的所有階段），而是主要表明人工智能包括另一個(gè)觀點(diǎn)（數(shù)據(jù)）。注5：圖3沒有顯示適用于AI系統(tǒng)的反饋回路，這些系統(tǒng)被緊密地綁定到?jīng)Q策回路中或改變現(xiàn)實(shí)世界的情況。注6：知識歸納包括培訓(xùn)，而加工包括推理。Alanalysis一Dataacquisitionknowledgeinduction），—從一組詳細(xì)的方法和技術(shù)中確定驗(yàn)閾值（如估計(jì)不確定性的限值）嵌入在總體接受論證中?？傮w驗(yàn)收論證表明，所選驗(yàn)收標(biāo)準(zhǔn)與技術(shù)無注1：這些特性是根據(jù)具體情況定義的，或者是根據(jù)包含人工智能技術(shù)的元素的水平，從現(xiàn)有國際標(biāo)準(zhǔn)中列出的特性中推導(dǎo)出來的有關(guān)考慮的屬性列表，請參見第8條注2：“理想性能”、“與性能相關(guān)的主題”和“詳細(xì)方法和技術(shù)”是每個(gè)階段的特定或通用內(nèi)容，取決于具體應(yīng)用。注3：在這種情況下，驗(yàn)收標(biāo)準(zhǔn)是在開發(fā)過程中確定和確認(rèn)的。一8人工智能系統(tǒng)的特性和相關(guān)風(fēng)險(xiǎn)因素第7條描述了如何定義理想的財(cái)產(chǎn)是三階段實(shí)現(xiàn)原則的第一步。這些屬性與主題相關(guān)，并最終與解決這些主題的詳細(xì)方法和技術(shù)相關(guān)。然后從一組詳細(xì)的方本條款提供了關(guān)于使用AI技術(shù)表征系統(tǒng)的屬性及其相關(guān)風(fēng)險(xiǎn)因素的文獻(xiàn)綜述這些屬性和風(fēng)險(xiǎn)因素包括自動化和控制程度（見8.2）、決策透明度和可解釋性程度（見8.3）、環(huán)境復(fù)雜性和定義規(guī)范的可解本條款討論了使用人工智能技術(shù)的系統(tǒng)的屬性和風(fēng)險(xiǎn)因素及其相關(guān)在技術(shù)層面上，人工智能的能力往往是通過人工智能模型和模型參數(shù)的組合來實(shí)現(xiàn)的。AI算法在訓(xùn)練過程中生成的參數(shù)通常表示實(shí)現(xiàn)應(yīng)用目的的信息（例如，關(guān)于如何區(qū)分和識別各種輸入的知識），而模型則從AI模型的示例類型包括線性函數(shù)、邏輯演算、動態(tài)貝葉斯網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)（ANN）。模型的參數(shù)要么由工程師手工制作，要么由機(jī)器學(xué)習(xí)算法從數(shù)據(jù)中合成，這些算法本身使用系統(tǒng)的分析過程。這些模型通常被實(shí)現(xiàn)為可執(zhí)行的表示，例如機(jī)器代碼（在軟件的情況下）或特殊硬件，例如現(xiàn)場可編程門陣列通常，沒有參數(shù)的模型本身只包含有限的關(guān)于應(yīng)用程序目標(biāo)的知識或含義。這與非人工智能軟件中基礎(chǔ)軟相比之下，模型參數(shù)通常包含與涉及功能安全的系統(tǒng)的目標(biāo)相關(guān)的知識。有幾種不同的構(gòu)建參數(shù)的方法，例如，當(dāng)模型參數(shù)由工程師手動創(chuàng)建時(shí)，模型可能反映工程師關(guān)于應(yīng)用的知識，該知識在功能安全生命周期內(nèi)使用的管理過程中進(jìn)行評估。在這些情況下，遵循現(xiàn)有功在某些情況下，通過機(jī)器學(xué)習(xí)算法從數(shù)據(jù)中導(dǎo)出的參數(shù)在創(chuàng)建后進(jìn)行分析和或者，分析機(jī)器學(xué)習(xí)算法得出的參數(shù)，提取基本參數(shù)并用于擴(kuò)展一般工程知識，進(jìn)而用于開發(fā)進(jìn)一步的人工智能技術(shù)。通過應(yīng)用經(jīng)驗(yàn)證在其他情況下，通過機(jī)器學(xué)習(xí)算法從數(shù)據(jù)導(dǎo)出的模型參數(shù)對于使用者來說太復(fù)雜了。理解、分析和驗(yàn)證。對于復(fù)雜類型的模型，例如神經(jīng)網(wǎng)絡(luò)，通常是這種情況，因?yàn)檫@些類型的模型表示不一定反映人類的理解或推理。在這些情況下，使用不同的方法來評估功能安全的風(fēng)險(xiǎn)降低是適當(dāng)?shù)?，這對它不僅決定了操作員可以獲得多少關(guān)于系統(tǒng)行為的信息，而且還定該主題的維度包括各個(gè)應(yīng)用程序的自動化水平有多高，以及用戶的控制選項(xiàng)受到限制的程度使用人工智能技術(shù)的高自動化系統(tǒng)因此，高度自動化的系統(tǒng)可能在其性能特征方面帶來風(fēng)險(xiǎn)，例在考慮是否實(shí)現(xiàn)功能安全時(shí)，有幾個(gè)方面是相關(guān)的，例如人工智能系統(tǒng)的響應(yīng)能力和是否存在“監(jiān)督員”控制功能來實(shí)現(xiàn)的，盡管在某些情況下，這種監(jiān)督功能是不可行的，例如高度復(fù)雜的決策或已經(jīng)學(xué)習(xí)了新），另一種添加“監(jiān)督者”的方法是使用一個(gè)人，其任務(wù)是在關(guān)鍵情況下進(jìn)行干預(yù)解決這個(gè)問題的一種已知方法是通過添加系統(tǒng)（在6.2中描述的使用級別C或D）來通過檢測決策的可能結(jié)果來幫助人類監(jiān)督者一個(gè)例子是一個(gè)模擬系統(tǒng)，它為不同的決策提供“如果”信息，并檢查結(jié)果。然而，即使人類處于循環(huán)中并監(jiān)督系統(tǒng)的操作，有時(shí)這也不會將此類風(fēng)險(xiǎn)降低到適當(dāng)?shù)乃嚼缛祟愸{駛員沒有意識到“黑冰”道路狀況并控制車輛，因?yàn)樗麄儾幻靼诪槭裁醋詣玉{駛系統(tǒng)如此小心地駕駛。此外，人工智能系統(tǒng)的適應(yīng)性也是一個(gè)考慮因素，特別是系統(tǒng)是否會隨著時(shí)間的推移而改變自己的行為，就像一些機(jī)器學(xué)習(xí)系統(tǒng)一樣。這些系統(tǒng)適應(yīng)不斷變化的環(huán)境條件（例如通過反饋回路或評估功能），甚至隨著時(shí)間的推移獲得全新的功能。然而，這種學(xué)習(xí)系統(tǒng)的缺點(diǎn)是，它們可能偏離初始規(guī)范并且難以驗(yàn)證。評論自動化系統(tǒng)該系統(tǒng)能夠在沒有外部干預(yù)、控制或監(jiān)督的情況下修改其操作域或目標(biāo)。他律全自動化該系統(tǒng)能夠執(zhí)行其整個(gè)沒有外部干預(yù)。自動化程度高該系統(tǒng)在沒有外部干預(yù)的情況下執(zhí)行其部分任務(wù)有條件的自動化系統(tǒng)的持續(xù)和具體性能，外部代理人隨時(shí)準(zhǔn)備在必要時(shí)接管。部分自動化系統(tǒng)的一些子功能是完全自動化的，而系統(tǒng)仍處于外部代理的控制之下。援助該系統(tǒng)幫助操作員。沒有自動化操作員完全控制系統(tǒng)。注意這種級別劃分適用于自動化AI系統(tǒng)的任何實(shí)施中的控制自動化功能，并考慮到該系統(tǒng)組件的功能（例如，鐵路系統(tǒng)中的車載設(shè)備，地面設(shè)備和控制室設(shè)備）。工智能系統(tǒng)結(jié)果的重要因素，而透明度則定義為系統(tǒng)的屬性，即有關(guān)人工智能系統(tǒng)內(nèi)部流程的適當(dāng)信息可有關(guān)決策過程所依據(jù)的模型的信息可能是相關(guān)的。透明度低的系統(tǒng)可能在公平性、安全性和問責(zé)制方面帶來風(fēng)險(xiǎn)。此外，這種系統(tǒng)可能使其質(zhì)量評估復(fù)雜化另一方面，高度透明可能因信息過載而導(dǎo)致混亂，或可可解釋性水平往往是在沒有高透明度的情況下實(shí)現(xiàn)的找到適當(dāng)?shù)耐该鞫葹殚_發(fā)人員提供了錯(cuò)誤識別和糾正在非人工智能軟件中，工程師的意圖和知識通常使用邏輯過程編碼到系統(tǒng)中，從而可以跟蹤代碼以確定軟件如何以及為什么做出某個(gè)決定。這是通過回溯和調(diào)試軟件或通過逆向工程軟件來完成的。相比之下，人工智能模型做出的決策，特別是高復(fù)雜度的模型，或者從機(jī)器學(xué)習(xí)算法中衍生出來的模型，對人類來說更難理解。知識在模型結(jié)構(gòu)中編碼的方式和決策的方式通常與人類對自己決策過程的推理方式不同[130]，高水平的可解釋性可以防止系統(tǒng)的不可預(yù)測行為，但有時(shí)也會伴隨著決策質(zhì)量方面的整體性能下降，這是由于當(dāng)前可解釋性技術(shù)的限制（限制了模型中包含的信息量，無法創(chuàng)建合理大小的解釋）。在這里，一個(gè)權(quán)衡往往是可解釋性和系統(tǒng)的性能之間。此外，關(guān)于人工智能系統(tǒng)決策過程的信息的相關(guān)性可能是一個(gè)重要因素。一個(gè)系統(tǒng)可能提供了關(guān)于其決策過程的清晰和一致的信息，但這些信息是不可解釋的人工智能還用于協(xié)助事后分析，當(dāng)輸入數(shù)據(jù)（有時(shí)是瞬態(tài)—它是否是可理解的或至少向預(yù)期接收者（解釋的預(yù)期接收者根據(jù)上下文而變化）傳遞可理解的信息道的那些。此外，對復(fù)雜模型的決策過程進(jìn)行經(jīng)驗(yàn)評估，例如，通過可視化其內(nèi)部層的組件來檢查卷積神經(jīng)網(wǎng)絡(luò)[41]目標(biāo)是通過確定輸入特征如何影響模型查其內(nèi)部狀態(tài)來檢查卷積神經(jīng)網(wǎng)絡(luò)的輸出是一種在相關(guān)工作中擴(kuò)展的方法，如參考文獻(xiàn)[42]，[43]和即使是傳統(tǒng)上被認(rèn)為在檢查方面可以合理解釋的系統(tǒng)（例如決策樹），當(dāng)部署在現(xiàn)實(shí)世界的應(yīng)用中時(shí)，也會迅速達(dá)到難以理解的復(fù)雜性。在需要可解釋結(jié)果的情況下，應(yīng)用最優(yōu)分類樹[46]或重復(fù)樹集合[47]等工具），和正式記錄的模型可解釋性評估，并仔細(xì)考慮不適當(dāng)決策對功能安全風(fēng)險(xiǎn)的影響。這有助于可比性和模型人工智能系統(tǒng)通常在復(fù)雜的環(huán)境條件下使用，人類難以完全分析和描述。人工智能技術(shù)自動生成規(guī)則或應(yīng)用判斷，而不依賴于人類生成的分析，詳細(xì)和復(fù)雜的環(huán)境條件的表示。此外，人工智能系統(tǒng)的開發(fā)生命周期有可能從模糊的規(guī)范或模糊的目標(biāo)開始。這些規(guī)范以功能性或規(guī)范的模糊性導(dǎo)致難以保證與功能安全相關(guān)的特性。環(huán)境的復(fù)雜性只會使情況變得更糟。即使是功能安全過尋求極其詳細(xì)的規(guī)范或通過尋求覆蓋整個(gè)復(fù)雜環(huán)境（例如通過訓(xùn)練數(shù)據(jù)）或通過兩者的組合來解決。更人工智能系統(tǒng)復(fù)雜性的另一個(gè)特征是，盡管它們的模型通常是確定性的，但它們的輸出似乎是概率性的。例如，給定一個(gè)非常復(fù)雜的環(huán)境，它由一個(gè)在復(fù)雜的、不完全定義的環(huán)境中運(yùn)行的影響，導(dǎo)致了一種新的不確定性，超出了當(dāng)前功能安全評估的范考慮模型對預(yù)期應(yīng)用的充分性的程度。此外，可能的錯(cuò)誤預(yù)測和錯(cuò)誤分類導(dǎo)致的模型不確定性也體現(xiàn)在行為了解決隨機(jī)概念，以解決操作環(huán)境，擴(kuò)展功能安全規(guī)程中通常用于硬件和“已驗(yàn)證使用”軟件隨機(jī)故障的數(shù)據(jù)漂移是指運(yùn)行時(shí)輸入數(shù)據(jù)的分布偏離訓(xùn)練階段使用的分布，從而導(dǎo)致包括安全性在內(nèi)的性能下降的現(xiàn)象。數(shù)據(jù)漂移通常與訓(xùn)練期間輸入域例如，這是由于未能考慮輸入數(shù)據(jù)的季節(jié)性變化、操作員的不可預(yù)見在風(fēng)險(xiǎn)分析的背景下，檢查包含AI技術(shù)的組件是否存在數(shù)據(jù)漂移的來源，并在適當(dāng)時(shí)計(jì)劃采取適當(dāng)?shù)拇胍恍?shù)據(jù)漂移的例子被歸因于未能在模型工程中應(yīng)用最佳實(shí)踐。常見的例子包括挑選不合適的訓(xùn)練數(shù)據(jù)，其分布不反映應(yīng)用程序上下文中遇到的實(shí)際分布的數(shù)據(jù)，或者忽略訓(xùn)練數(shù)據(jù)中的重要示例。這些問題的實(shí)數(shù)據(jù)漂移是由外部因素引起的，例如季節(jié)變化或?qū)е聰?shù)據(jù)漂移的過程變化。示例包括用具有不同偏置電壓模型處理已經(jīng)部署的數(shù)據(jù)漂移，其中重新訓(xùn)練是不可行的。在這些情況下，構(gòu)建模型以基于輸入數(shù)據(jù)的特即使在存在先前未知的輸入的情況下，模型設(shè)計(jì)也有望提供安全的輸出。遵循適當(dāng)?shù)哪Ｐ凸こ虒?shí)踐，例如建立足夠多樣化的訓(xùn)練數(shù)據(jù)集，并不會降低仔細(xì)分析所產(chǎn)生的模型是否適用于生產(chǎn)數(shù)據(jù)的重要性。此外，在模型提供不安全輸出的情況下，對不安全輸出的原因進(jìn)行仔細(xì)分析，并指定系統(tǒng)從危險(xiǎn)狀態(tài)恢復(fù)的方例如，參考文獻(xiàn)[32]說明了數(shù)據(jù)漂移的最常見來源，并提出了模型改進(jìn)，例如更簡單或計(jì)算更有效的模型，即使數(shù)據(jù)漂移作為簡單的協(xié)變量偏移發(fā)生，對分類輸出沒有明顯影響。這些性能考慮轉(zhuǎn)化為現(xiàn)代深度概念漂移是指輸入變量和模型輸出之間的關(guān)系發(fā)生變化，并伴隨著輸入數(shù)據(jù)分布的變化。例如，模型的輸出用于基于由飛行時(shí)間傳感器獲得的距離測量（輸入數(shù)據(jù)）來測量操作者在運(yùn)行時(shí)的可接受的最小距離。如果可接受的安全裕度因外部因素（例如，模型中未考慮機(jī)器速度增加）而發(fā)生變化，則盡管過程和輸入系統(tǒng)理想地結(jié)合漂移檢測的形式，區(qū)分系統(tǒng)中存在的漂移和噪聲，并適應(yīng)隨時(shí)間的變化。潛在的方法包括早期漂移檢測方法（EDDM）[34]，使用支持向量機(jī)（SVM）[35]檢測漂移或在訓(xùn)練測意味著某種形式的運(yùn)行時(shí)監(jiān)控和模型更新，其在軟件或系統(tǒng)級引入系統(tǒng)設(shè)計(jì)和安全考慮（例如，知道何時(shí)執(zhí)行更新在功能上是安全的，檢測失敗的更新）。一概念漂移通常通過選擇可用訓(xùn)練數(shù)據(jù)的子集或通過為單個(gè)訓(xùn)練實(shí)例分配權(quán)重然后重新訓(xùn)練模型來處理作為獎勵(lì)黑客算法是指人工智能技術(shù)找到一種方法來“游戲”其獎勵(lì)功能，從而為所提出的問題找到一個(gè)更“最佳”的解決方案。這種解決方案雖然在數(shù)學(xué)意義上更優(yōu)化，但如果它違反了設(shè)和約束，則是危險(xiǎn)的。例如，一個(gè)基于攝像頭掃描檢測人員的人工智能系統(tǒng)決定，如果它不斷檢測人員并因此用傳感器跟蹤他們，可能會錯(cuò)過其他受影響區(qū)域的關(guān)鍵事件，那么它將獲得非常高的獎勵(lì)。這可以通過使用對抗性獎勵(lì)函數(shù)來解決，例如通過一個(gè)獨(dú)立的系統(tǒng)，該系統(tǒng)使用人工智能技術(shù)驗(yàn)證主函數(shù)提出的獎勵(lì)要求，然后學(xué)習(xí)并適應(yīng)以對抗主系統(tǒng)。另一種選擇是僅基于期望的結(jié)果來預(yù)訓(xùn)練解耦的獎勵(lì)函數(shù)，并安全探索是在數(shù)據(jù)收集和訓(xùn)練期間強(qiáng)制執(zhí)行先驗(yàn)安全要求的問題，這也限制了學(xué)習(xí)“不安全”的訓(xùn)練數(shù)據(jù)輸當(dāng)代理具有探索或操縱其環(huán)境的能力時(shí)，該問題特別令人關(guān)注。這不僅在涉及服務(wù)機(jī)器人、無人駕駛航空系統(tǒng)或其他物理實(shí)體時(shí)會造成問題，而且也適用于使用強(qiáng)化學(xué)習(xí)來探索其操作空間的在這些情況下，探索通常會得到獎勵(lì)，因?yàn)檫@為系統(tǒng)提供了新的學(xué)習(xí)機(jī)會。雖然很明顯，自學(xué)習(xí)系統(tǒng)在探索時(shí)遵循適當(dāng)?shù)墓δ馨踩珔f(xié)議，但控制過程參數(shù)并采用隨機(jī)探索功能同時(shí)未與危險(xiǎn)過程正確斷開的系統(tǒng)會帶來相等或更大的風(fēng)評估人工智能系統(tǒng)的可信度包括確定功能安全行為對對抗性攻擊和故意一般來說，在人工智能領(lǐng)域中，有兩種類型的輸入被故意設(shè)計(jì)用于可能的不當(dāng)行為;第一種是那些破壞軟件執(zhí)行完整性的輸入（例如緩沖區(qū)溢出或整數(shù)溢出），第二種是那些導(dǎo)致人工智能模型計(jì)算不正確的輸出而不會導(dǎo)致軟件級別的故障的對于第一類問題，考慮了傳統(tǒng)的信息技術(shù)（IT）安全要求，參見ISO/IEC安全要求的審計(jì)和認(rèn)證流程，這些流程也適用于人工智能系統(tǒng)，本文檔中沒有進(jìn)一步討論然而，對于第二類問題，遵循最佳實(shí)踐并遵守現(xiàn)有的非人工智能系統(tǒng)國際標(biāo)準(zhǔn)是不夠的。第8.5.3條包括了第二類問題的討注1：本文檔僅限于在存在AI特定安全威脅的情況下實(shí)現(xiàn)功能安全。它沒有解決如何控制由網(wǎng)絡(luò)安全威脅引起的惡意行為。附注2確保不受故意惡意輸入影響的屬性與確保功能安全特性。有關(guān)AI特定安全威脅的更多信息，請參見參考文獻(xiàn)[94]，第9章。注3：確保對抗性攻擊的彈性的屬性與確保功能安全屬性的屬性是矛盾的。這作為更高水平系統(tǒng)適用性考慮的一部分進(jìn)行了討論。遵循已知的適當(dāng)功能安全預(yù)防措施，在檢測到功能安全問題的情況下，應(yīng)用監(jiān)督功能接管系統(tǒng)，確保AI系對于需要高級別功能安全的系統(tǒng)，隨機(jī)故障和系統(tǒng)錯(cuò)誤都總的來說，故障和錯(cuò)誤是根據(jù)最佳做法解決的8.5.3AI模型攻擊：對抗性機(jī)器人工智能系統(tǒng)的模型，特別是那些具有更高復(fù)雜性的模型（如神經(jīng)網(wǎng)絡(luò)），可能會表現(xiàn)出其他類型系統(tǒng)所沒有的特定弱點(diǎn)。當(dāng)部署在功能安全環(huán)境中時(shí)，會進(jìn)行額外的審查。模型特定問題的例子包括對抗機(jī)器學(xué)對抗性機(jī)器學(xué)習(xí)是一種對人工智能系統(tǒng)的攻擊，最近引起了人們的特別興趣。被稱為“對抗性攻擊”，通?？梢酝ㄟ^向輸入添加微小的擾動來欺騙AI模型輸出截然不同的結(jié)果，這些擾動是通過優(yōu)化過程精心制作的。在圖像輸入的情況下，這些擾動通常是人類無法感知的，并且也可以同樣很好地隱藏在數(shù)字輸入中。雖然這些擾動通常是非隨機(jī)的，但輸入中已經(jīng)存在的硬件故障或系統(tǒng)噪聲可能導(dǎo)致模型輸出中不可忽略的預(yù)訓(xùn)練模型，使得對抗性示例的實(shí)際部署似乎非常有可能，因此對使用AI技術(shù)的系統(tǒng)構(gòu)成重大威脅[128]，即使一個(gè)系統(tǒng)看起來對輸入的修改有彈性例如，使用直接連接到傳感器的本地、非云AI模型的系統(tǒng)對文獻(xiàn)[52]中得到了展示。最近，參考文獻(xiàn)[53]已經(jīng)表明，可以將對抗性示例引入模型的前向推理過程，使用應(yīng)用于對象的物理貼紙創(chuàng)建上述擾動，并導(dǎo)致所得推理當(dāng)AI模型的輸入容易受到對抗性攻擊時(shí)，在決定是否以及采取多少對策被認(rèn)為是適當(dāng)或足夠的之前，會評估這些攻擊對功能安全的凈影響。真實(shí)系統(tǒng)中對抗性攻擊的可能性取決于AI模型的部署方式。例如，它的可能性在很大程度上取決于圍繞人工智能技術(shù)的系統(tǒng)，包括輸入傳感（例如相機(jī)）和預(yù)處理。此外，對可能的攻擊者和受害者進(jìn)行了分析;如果唯一可能的受害者與可能的攻擊者重合，則在某些情況下省略保護(hù)是針對這些問題的一種可能的對策被稱為對抗訓(xùn)練[132]。從本質(zhì)上講，對抗性訓(xùn)練試圖用對抗性示例來訓(xùn)練AI系統(tǒng)，試圖讓模型編碼有關(guān)此類攻擊的預(yù)期輸出的知識。下一個(gè)自然的行動途徑是試圖消除人為引入的此外，注意到通常受對抗性攻擊影響的模型類型通常對噪聲具有魯棒性，幾位作者提出了隨機(jī)化方案來修改輸入并提高對惡意目標(biāo)噪聲的魯棒性。方法包括隨機(jī)填充和填充[60]，隨機(jī)自集成[61]和各種輸入變換，情況下都是足夠的措施。反過來，如果輸入變換被用作對抗性示例的防御層，則針對使用參考文獻(xiàn)[63]中穩(wěn)健的整體模型，經(jīng)常采用模型集合。然而，文獻(xiàn)中也有結(jié)果表明，多樣化并不總是足以使系統(tǒng)抵御對抗除了修改運(yùn)行系統(tǒng)的輸入的攻擊之外，還可以通過在訓(xùn)練階段注入惡意數(shù)據(jù)來在學(xué)習(xí)過程中進(jìn)行擾動，這人工智能技術(shù)本身不會做出決策;它依賴于算法，實(shí)現(xiàn)算法的軟件和執(zhí)行算法的硬件。硬件中的故障可能會通過違反算法的控制流（導(dǎo)致基于內(nèi)存的錯(cuò)誤，干擾數(shù)據(jù)例如傳感器信號）直接損壞輸出，并且通常導(dǎo)致錯(cuò)誤的結(jié)果。本條款描述了使用AI技術(shù)時(shí)可能影響功能安全的一些硬件方面。簡而言之，可靠的硬件在AI系統(tǒng)中與在非AI系統(tǒng)中一樣重要。與用于執(zhí)行非人工智能技術(shù)成熟度描述了特定技術(shù)在特定應(yīng)用程序上下文中的成熟程度和無錯(cuò)誤程度。人工智能系統(tǒng)開發(fā)中使用的不太成熟的新技術(shù)會帶來未知或難以評估的風(fēng)險(xiǎn)。對于成熟的技術(shù)，通?？梢垣@得更多種類的經(jīng)驗(yàn)，使風(fēng)險(xiǎn)更容易識別、評估和處理。然而，成熟的技術(shù)有一種危險(xiǎn)，即隨著時(shí)間的推移，人們對其潛在風(fēng)險(xiǎn)影響的認(rèn)識會降低，因此，積極的影響取決于持續(xù)的風(fēng)險(xiǎn)監(jiān)測（例如根據(jù)收集的實(shí)地?cái)?shù)據(jù)）以及適當(dāng)?shù)恼J(rèn)識9驗(yàn)證和確認(rèn)技術(shù)本條款描述了人工智能系統(tǒng)與非人工智能系統(tǒng)的驗(yàn)證和確認(rèn)技術(shù)之間的差異，以及解決或緩解這些差異引起的適用于功能安全的問題的一些考慮因素。本條款闡述了此類差異的四個(gè)重要方面，但潛在差異并不限當(dāng)目標(biāo)是包含從數(shù)據(jù)創(chuàng)建的AI技術(shù)的功能安全系統(tǒng)時(shí)，考慮到AI技術(shù)不是由非AI開發(fā)的系統(tǒng)中的規(guī)則構(gòu)建此外，在大多數(shù)用例中，僅僅擁有數(shù)據(jù)是不夠的。標(biāo)簽在應(yīng)用監(jiān)督學(xué)習(xí)技術(shù)時(shí)使用。不正確的標(biāo)簽是學(xué)習(xí)過程中錯(cuò)誤的主要原因之一。一個(gè)完整定義的數(shù)據(jù)工程過如果模型來自數(shù)據(jù)集，則此子句的內(nèi)容對于注：術(shù)語“確認(rèn)”和“驗(yàn)證”是指不同技術(shù)領(lǐng)域或領(lǐng)域中的不同概念。在機(jī)器學(xué)習(xí)技術(shù)的背景下，“驗(yàn)證”意味著檢查開發(fā)模型的收斂以終止AI訓(xùn)練過程的過程步驟，這與功能安全社區(qū)中使用的驗(yàn)證和驗(yàn)證的概念截然不同模型收斂是測試的先決條件，但不能保證最終產(chǎn)品的質(zhì)量。例如，“獎勵(lì)黑客”問題產(chǎn)生于一個(gè)主觀設(shè)計(jì)的模型，以最大化給定的獎勵(lì)函數(shù)。在本文檔中，術(shù)語驗(yàn)證和確認(rèn)幾乎完全用于功能安全概念的上下文中。在機(jī)器學(xué)習(xí)模型的訓(xùn)練階段，訓(xùn)練數(shù)據(jù)的選擇（以及損失函數(shù)的定義，如果適用的話）正在取代操作行為的形式化規(guī)范的定義。這導(dǎo)致了行為的各個(gè)方面的可追溯性問題，因?yàn)闆]有單獨(dú)的規(guī)范聲明。相反，取代離散規(guī)范語句的信息隱含在訓(xùn)練數(shù)據(jù)的集合中[135]。雖然機(jī)器學(xué)習(xí)的一個(gè)好處是它從結(jié)構(gòu)不良的數(shù)據(jù)中獲另一個(gè)風(fēng)險(xiǎn)來源是用于訓(xùn)練模型的數(shù)據(jù)中存在偏差或不完整性。技出的被視為“可容忍”的每個(gè)風(fēng)險(xiǎn)都映射到一個(gè)或多個(gè)緩解措施。解釋了緩解措施的實(shí)施及其在維護(hù)功能安全方面的作用。通常，緩解措施的設(shè)計(jì)不會相互干擾，因此可以單獨(dú)驗(yàn)證、確認(rèn)和評價(jià)每種緩解措施的有另一方面，許多人工智能技術(shù)被認(rèn)為是一個(gè)“黑匣子”，因?yàn)樗鼈兊膬?nèi)部行為和決策過程的基礎(chǔ)是人類難以理解的。這意味著，如果訓(xùn)練數(shù)據(jù)集包含一些旨在作為特定風(fēng)險(xiǎn)緩解措施的數(shù)據(jù)，則其對訓(xùn)練模型的影響并不確定，也不針對每種風(fēng)險(xiǎn)進(jìn)行此外，如果為額外的緩解措施添加了一些額外的訓(xùn)練數(shù)據(jù)，則這些數(shù)據(jù)與測試非AI軟件的過程相比，測試AI技術(shù)是困難的。一般來說，通常設(shè)計(jì)和執(zhí)行兩種類型的軟件測試：一種側(cè)重于問題描述的結(jié)構(gòu)，另一種側(cè)重于所實(shí)現(xiàn)軟件的結(jié)構(gòu)。在非人工智能軟件中，這兩種聚焦結(jié)構(gòu)具有一定程度的對應(yīng)性，從而可以進(jìn)行有效的測試。不幸的是，大多數(shù)數(shù)據(jù)驅(qū)動的人工智能技術(shù)都缺乏這種屬性，這使得許多現(xiàn)有的非人工智能軟件技術(shù)在為任何人工智能技術(shù)（特別是基于機(jī)器學(xué)習(xí)的技術(shù)）設(shè)計(jì)測如8.4.1所述，人工智能系統(tǒng)的輸出通常被認(rèn)為是不可預(yù)測的或概率性的，盡管算法本身是確定性的。系統(tǒng)地應(yīng)用驗(yàn)證和確認(rèn)過程，并仔細(xì)考慮人工智能系統(tǒng)的性質(zhì)，來實(shí)現(xiàn)緩解同樣，“可解釋的人工智能”是此外，人工智能技術(shù)明顯的不可預(yù)測性或概率測試技術(shù)的有效性或適用性，特別是基于白盒的測試技術(shù)。有關(guān)適用于AI系統(tǒng)的基于白盒的測試的替代解系統(tǒng)和全面的分析，人工智能模型仍然會受到概念和數(shù)據(jù)漂移的影訓(xùn)練時(shí)間環(huán)境的偏差。為了克服這種漂移，對于AI系統(tǒng)的大多數(shù)實(shí)際應(yīng)用，存在幾種重新訓(xùn)練和更新模型此外，更新軟件是一項(xiàng)重要的工作，特別是在涉及功能安全的應(yīng)用程序中。從系統(tǒng)設(shè)計(jì)的最早階段開始，一般來說，至少有兩種類型的方法來實(shí)現(xiàn)從數(shù)據(jù)驅(qū)動模型生成一種類型的方法（通常更困難）是分析生成的模型以提取模型預(yù)期行為的人類可理解的知識。從理論上講，如果行為完全可以由人類解釋，那么人工智能技術(shù)和系統(tǒng)就可以被視為I類人工智能。這類方法將在另一種方法是通過分析人工智能系統(tǒng)在開發(fā)過程中的構(gòu)建方式，間接評估安全風(fēng)險(xiǎn)緩解的實(shí)現(xiàn)水平。盡管對基于機(jī)器學(xué)習(xí)的人工智能的測試并不總是完整的，但對開發(fā)過程及其輸入的額外分析和保證可以系統(tǒng)地通常，在機(jī)器學(xué)習(xí)算法的訓(xùn)練期間使用諸如準(zhǔn)確度之類的度量。這些指標(biāo)是管理人工智能培訓(xùn)進(jìn)度的一部但是對于與功能安全相關(guān)的應(yīng)用，通常不足以確保所需的功能安全特性。本條款描述了通常與使用人工智能技術(shù)指標(biāo)的評估并行或按順序應(yīng)用的緩解措施，特?cái)?shù)據(jù)驅(qū)動過程基于HARA中識別的風(fēng)險(xiǎn)與數(shù)據(jù)分布之間的關(guān)系。對于給定的用例，問題變成了AI系統(tǒng)是否獲得了足夠的訓(xùn)練和測試數(shù)據(jù)來開發(fā)特定的行為，以及特定HARA活動的結(jié)果與要使用的數(shù)據(jù)集的設(shè)計(jì)之間是否存在某種概念上的對應(yīng)關(guān)系。這種方法被認(rèn)為與非AI安全相關(guān)軟件的方法相似，已經(jīng)確定了一組風(fēng)通常，系統(tǒng)的操作域被盡可能精確地定義和界定，無論初始規(guī)范是預(yù)定義的還是從示例數(shù)據(jù)實(shí)例導(dǎo)出的邊界被定義為輸入數(shù)據(jù)空間或真實(shí)世界使用的配置文件。在開發(fā)的早期階段，建立驗(yàn)證和確認(rèn)程序，以檢查除了從給定數(shù)據(jù)集收集和學(xué)習(xí)之外，還執(zhí)行輸入數(shù)據(jù)分布的邏輯分析。這種分析與HARA活動的結(jié)果有），此外，即使輸入數(shù)據(jù)集設(shè)計(jì)良好，也不能保證訓(xùn)練過程將預(yù)期行為編碼到輸出模型中，與數(shù)據(jù)分布觀察中的每個(gè)已識別風(fēng)險(xiǎn)相對應(yīng)。在培訓(xùn)過程中可能會出現(xiàn)系統(tǒng)錯(cuò)誤和隨機(jī)錯(cuò)誤，這可能會導(dǎo)致違反功能安全目在驗(yàn)證和確認(rèn)階段測試活動的意圖，在培訓(xùn)階段也考慮減每項(xiàng)測試活動都應(yīng)針對四項(xiàng)標(biāo)準(zhǔn)中的每一項(xiàng)給出答案。以下考慮因素是標(biāo)準(zhǔn)的一組可能的已知答案，適用于任何AI技術(shù)，其測試數(shù)據(jù)具有清晰，正確和預(yù)期的答案（“測試神諭”）。在這些示例中，還考慮了數(shù)據(jù)—對于為每個(gè)已識別風(fēng)險(xiǎn)提取的測試數(shù)據(jù)子集，檢查其他屬性的分布，并評估數(shù)據(jù)是否無意中偏向特定—如果懷疑數(shù)據(jù)集中存在非預(yù)期偏倚，則考慮收集額外的測試數(shù)據(jù)。在某些情況下，如果不能從真實(shí)數(shù)據(jù)中獲得足夠的多樣性、代表性和覆蓋率，則從模擬中合成測試數(shù)據(jù)是一種一些示例參見ISO/IECTR—項(xiàng)目符號b）中確定的緩解措施用于現(xiàn)有屬性值的多樣性?！u估數(shù)據(jù)收集和準(zhǔn)備過程，以便測試數(shù)據(jù)集中不可能包含任何不必要的偏倚;參見ISO/IECTR—根據(jù)輸入確定測試數(shù)據(jù)量，包括（但不限于）預(yù)期風(fēng)險(xiǎn)緩解概率（源自HARA）和培訓(xùn)所需的數(shù)據(jù)量（源自監(jiān)測培訓(xùn)數(shù)據(jù)子集的準(zhǔn)確度指標(biāo)）。此外，考慮操作域的復(fù)雜性以減輕由許多不受控制的因素—確保在開發(fā)過程中檢測到對訓(xùn)練數(shù)據(jù)的過度擬合。實(shí)現(xiàn)這一點(diǎn)的一種已知方式是確保訓(xùn)練數(shù)據(jù)和測試通過開發(fā)過程管理和評估，基于工具的方法，甚至在執(zhí)行測試的團(tuán)隊(duì)或組織中使用一定程度的獨(dú)立性是交叉驗(yàn)證，其中模型在訓(xùn)練數(shù)據(jù)的幾個(gè)不同子集上訓(xùn)練，并且性能在保留的數(shù)據(jù)上進(jìn)行評估。有幾—生成不同大小的多個(gè)模型，只要滿足其他目標(biāo)，就使用—應(yīng)用提高魯棒性的技術(shù)例如，正規(guī)化或隨機(jī)化訓(xùn)練）;所需的功能安全水平和其他應(yīng)用標(biāo)準(zhǔn)。一包含人工智能技術(shù)的系統(tǒng)的性能和KPI會得到徹底評估。在機(jī)器學(xué)習(xí)中，通常使用單一指標(biāo)。以下是通常注：安全性通常不是評估包含AI的系統(tǒng)安全性的唯一措施，方面.—指標(biāo)的重要性和可信度：這與可用于訓(xùn)練、驗(yàn)證和測試的數(shù)據(jù)量有關(guān)-數(shù)據(jù)量與基于執(zhí)行的測試用例數(shù)在使用人工智能技術(shù)作為組件的復(fù)雜系統(tǒng)中，系統(tǒng)一些標(biāo)準(zhǔn)，例如標(biāo)準(zhǔn)b也適用于系統(tǒng)級測試。系統(tǒng)級測試可以是基于數(shù)據(jù)的，也可以是基于數(shù)據(jù)的在具有模擬風(fēng)險(xiǎn)的試驗(yàn)場地中的試驗(yàn)車輛）。系統(tǒng)級測試可以在模擬、數(shù)字孿生或真實(shí)應(yīng)用中現(xiàn)實(shí)世界的測試是昂貴的，并不總是可能的（部分原因是安全風(fēng)險(xiǎn)），但它是有用的驗(yàn)證KPI和揭示未知的危險(xiǎn)，以減輕不完整的HARA。仿真對于在軟件在環(huán)和硬件在環(huán)設(shè)置中探索大量場景非常有用。良好的驗(yàn)證和確認(rèn)在開發(fā)生命周期內(nèi)，準(zhǔn)備足夠大的測試預(yù)言機(jī)來測試所有結(jié)果是不可行的。如ISO/IECTR29119-11：2020，8.2所述，連續(xù)測試用于用預(yù)期答案注釋測試預(yù)言。要測試的系統(tǒng)的不同版本之間的獨(dú)立性程度要對于某些AI系統(tǒng)，工程師很難構(gòu)建可靠的測試預(yù)言（例如，通過“AI對AI”競賽構(gòu)建的AI系統(tǒng)在這些情況下，測試的一般條件是相似的;但是，測試可靠性的附加標(biāo)準(zhǔn)適用。例如，使用經(jīng)過良好測試的替代實(shí)現(xiàn)來進(jìn)行背靠背測試。或者，實(shí)施設(shè)計(jì)變更以將任何風(fēng)險(xiǎn)與模型驅(qū)動AI技術(shù)的影響分離，有效轉(zhuǎn)換為使用水平A人工智能技術(shù)的功能安全方法傾向于關(guān)注人工智能系統(tǒng)中被證明可以確保功能安全屬性的元素，例如功能安全或規(guī)則監(jiān)視器，這些監(jiān)視器可以覆蓋主控制系統(tǒng)以阻止不安全的演示系統(tǒng)性能的一種有效和客觀的方法是通過虛擬測試或模擬，其中在鑒定和認(rèn)證活動期間執(zhí)行一組精心選擇的壓力測試場景測試單個(gè)組件以及系統(tǒng)級的多個(gè)組件。這些方法使用場景參數(shù)值的約束隨機(jī)選擇、基于參數(shù)分布的場景測試或在構(gòu)建待測物理測試也被認(rèn)為是關(guān)聯(lián)模擬結(jié)果，驗(yàn)證KPI和發(fā)現(xiàn)未知的未知數(shù)。由于成本和時(shí)間的限制，物理測試在探測域空間的能力方面遠(yuǎn)比仿真有限，進(jìn)行結(jié)構(gòu)化測試，其中針對已知場景設(shè)置測試，例如在自動駕駛汽長期以來，使用仿真進(jìn)行測試一直是功能安全的一個(gè)組成部分已建立的方法，如時(shí)序模擬和故障注入直接擴(kuò)展到人工智能系統(tǒng)，并鼓勵(lì)使用它們。對于許多人工智能解決方案中的復(fù)雜、高維模型（例如用于感知—對于某些應(yīng)用程序，仿真提供了比真實(shí)世界測在可能的輸入空間上大規(guī)模地進(jìn)行。對于具有高維輸入的模型，仿真用于在輸入空—仿真極大地加快了開發(fā)時(shí)間，允許更多地訪問功能安全產(chǎn)品和更新。新發(fā)現(xiàn)的危險(xiǎn)被納入功能安全解決方案，大大縮短了周轉(zhuǎn)時(shí)間。對于高度復(fù)雜的環(huán)境，減少開—仿真為故障注入提供了多個(gè)入口點(diǎn)。故障是在系統(tǒng)、組件或子組件級別引入的，并且它們是在現(xiàn)實(shí)世這可以防止在實(shí)際測試中引入任何系統(tǒng)性偏差，—模擬的逼真度：考慮底層模型、工具鏈、簡化和假設(shè)。模擬環(huán)境的風(fēng)險(xiǎn)評估解決了模擬環(huán)境的不準(zhǔn)確性、不精確性或不完整性的影響。證據(jù)用于支持仿真輸出的聲明，例如仿真與真實(shí)世界的相關(guān)性。例如，用于證明感知功能安全組件的模擬器包括關(guān)于場景真實(shí)渲染的參數(shù)、將兩者關(guān)聯(lián)的度量、人類觀—模擬類型：沒有一個(gè)虛擬測試工具用于測試AI系統(tǒng)的所有方面。這就是為什么有時(shí)會使用多種工具來建立對整個(gè)人工智能系統(tǒng)功能安全性的信心。虛擬測試工具鏈包括以下類型：MIL（模型），—測試覆蓋方法：方法包括隨機(jī)測試抽樣、基于輸入空間的某些合理性的約束測試抽樣、基于用戶配置文件的基于分布的測試抽樣、基于功能安全分析的關(guān)鍵性或重要性測試抽樣、基于邊緣情況或?qū)ο到y(tǒng)—適合目的：工具適用于AI系統(tǒng)評估的程度。適用性明確描述了測試目標(biāo)，并定義了AI系統(tǒng)的所有邊界條件。它涉及到對操作環(huán)境的分析和對各個(gè)仿真模型的要求的推導(dǎo)。每個(gè)模型的復(fù)雜性和詳細(xì)程度因每個(gè)因素的相關(guān)性、重要性和范圍而異。例如，如果操作環(huán)境不包括夜間操作，則傳感器模型將不會—能力：虛擬測試揭示故障和潛在故障相關(guān)風(fēng)險(xiǎn)的程度。測試能力包括定義假設(shè)、限制和工具鏈的保真度水平、評估保真度的方法（KPI）以及KPI的合理公差。它支持模擬與真實(shí)世界相關(guān)性的公差對于測—正確性（驗(yàn)證）：工具的數(shù)據(jù)和算法的合理性和魯棒性。驗(yàn)證著眼于構(gòu)建工具鏈的概念或數(shù)學(xué)模型的驗(yàn)證階段未測試的輸入該程序是基于一個(gè)多步驟的方法，包括代碼驗(yàn)證，計(jì)算—準(zhǔn)確性（驗(yàn)證）：虛擬測試重現(xiàn)目標(biāo)數(shù)據(jù)的程度。這包括生成用于證明虛擬測試工具相對于真實(shí)世界的準(zhǔn)確性的數(shù)據(jù)工具鏈驗(yàn)證由4個(gè)主要步驟組成—●子系統(tǒng)模型，例如環(huán)境模型（基礎(chǔ)設(shè)施、天氣條件、用戶交互）、傳感器模型（雷達(dá)、攝像））通過在所有工具級別（MIL、SIL和HIL）應(yīng)用相同的場景，可以有效驗(yàn)證系統(tǒng)，而無虛擬測試工具的使用取決于其開發(fā)過程中實(shí)施的虛擬驗(yàn)證和確認(rèn)策略。因此，仿真設(shè)計(jì)和工具鏈通常不會因此，虛擬測試工具鏈的整體評估需要一種統(tǒng)一的方法來調(diào)查這些屬性，并獲得對工具生成的數(shù)據(jù)的信心。在最終產(chǎn)品出現(xiàn)安全錯(cuò)誤的情況下，研究了整個(gè)工具鏈中使用的仿真模型和仿真工具的影響。IEC一物理測試對模擬測試有補(bǔ)充作用。在真實(shí)世界環(huán)境或最終操作環(huán)境中測試系統(tǒng)可提供最高的真實(shí)使用驗(yàn)證—使用結(jié)構(gòu)化測試，設(shè)置已知場景或用例測試。示例包括自動駕駛汽車應(yīng)用的測試軌道案例，或傳感器感知任務(wù)的定義場景。這些測試都有明確的規(guī)定，并提供可隨時(shí)間跟蹤和比較的受控測量。結(jié)構(gòu)化測試源自許多不同的輸入，例如安全、技術(shù)和產(chǎn)品級分析。一個(gè)全面的測試計(jì)劃需要對最終應(yīng)用有很好—將真實(shí)世界測試與模擬相結(jié)合。由于成本和時(shí)間的限—持續(xù)的測試和反饋。真實(shí)世界的測試也揭示了“未知”。報(bào)告的事件（以及可能從事件中收集的數(shù)據(jù)）—測試領(lǐng)域：操作的邊界。用于測試的域（用于模擬和真實(shí)世界測試）與用于真實(shí)操作的定義操作并行。該領(lǐng)域包括使用限制、環(huán)境限制、位置和時(shí)間限制以及系統(tǒng)與用戶之間的責(zé)任，如果適當(dāng)?shù)脑?，還包括其他系統(tǒng)。此外，測試評估與指標(biāo)，以顯示覆蓋的設(shè)計(jì)域（這適用于模擬和真實(shí)世界的測—統(tǒng)計(jì)學(xué)顯著性。測試程序和結(jié)果來自合理的統(tǒng)計(jì)原則。例如，多次進(jìn)行安全停止功能的最終現(xiàn)場驗(yàn)證測試，以證明相關(guān)參數(shù)符合基于統(tǒng)計(jì)分析的預(yù)定義限值。相比之下，用于人體檢測的感知功能的驗(yàn)證測試是在大型測試數(shù)據(jù)庫上進(jìn)行的，其大小和覆蓋范圍由目標(biāo)故已經(jīng)表明，深度神經(jīng)網(wǎng)絡(luò)對軟錯(cuò)誤的脆弱性很低（參見參考文獻(xiàn)[25]，[83]）。評估導(dǎo)致安全行為（相對于不安全行為）的故障比例對于某些類型的網(wǎng)絡(luò)是有用的?？赡艿姆椒òü收献⑷耄ɡ?，神經(jīng)網(wǎng)絡(luò)中的各個(gè)例如，可以分析分類模型，以確定人工智能技術(shù)在軟錯(cuò)誤方面的唯一脆弱部分（參見參考文獻(xiàn)一旦人工智能系統(tǒng)獲得批準(zhǔn)并投入運(yùn)行，其自身的事件統(tǒng)計(jì)數(shù)據(jù)將用于提供安全性能的持續(xù)證據(jù)。報(bào)告的事件用于反饋信息，這些信息用于不斷增強(qiáng)測試活動期間使用的場景套件。然而，對于無法進(jìn)行歸納或演繹絕對證明的核心功能，可接受的故障率目標(biāo)是從系統(tǒng)故障率目標(biāo)中得出的，并附有適當(dāng)?shù)睦碛蓙碜C實(shí)功操作設(shè)計(jì)領(lǐng)域和真實(shí)世界的使用概況被用來定義和約束問題范圍，創(chuàng)建測試覆蓋率的度量（模擬和真如果條件允許，現(xiàn)場數(shù)據(jù)的記錄被認(rèn)為是可行的，用于系統(tǒng)一種不斷發(fā)展的人工智能技術(shù)，稱為“可解釋的人工智能”，旨在以人類理解的方式提供影響基于人工智能員能夠理解人工智能決策算法，并為確保機(jī)器學(xué)習(xí)算法的功能安全鋪平道路，其方式與當(dāng)前的功能安全國際標(biāo)準(zhǔn)類似。或者，某些知識有時(shí)由人工智能模型的人雖然目前對每個(gè)II類人工智能系統(tǒng)的決策進(jìn)行充分解釋是不切實(shí)際的，但目前有一些可實(shí)現(xiàn)的方法來解釋模型結(jié)構(gòu)的可解釋性或可解釋性，這可能有助于驗(yàn)證和審計(jì)過程。例如，有助于特定決策的內(nèi)部節(jié)點(diǎn)的熱圖有助于理解決策的原因[96]。這種技術(shù)有時(shí)被稱為“灰盒”方法，對于理解AI系統(tǒng)的行為非當(dāng)它的決策與實(shí)現(xiàn)者的意圖不同時(shí)。在這種情況下，這些技術(shù)考慮提取的解釋的含義是否與功能安全要求一致或不一致。例如，理解從DNN的中間層提取的決策過程并不足以證明安全行為的合理性，因?yàn)槠渌麑?0控制及減輕措施擁有一個(gè)良好而強(qiáng)大的AI系統(tǒng)架構(gòu)，能夠在不損失安全性能的情況下容忍故障，這比僅僅提高AI質(zhì)量更可取。安全系統(tǒng)的架構(gòu)設(shè)計(jì)原則不會因機(jī)器學(xué)習(xí)而改變，盡管它們在定義和保證其可靠性屬性和故障行為方本條款考慮了增強(qiáng)ML模型作為AI系統(tǒng)組件的方法，并討論了如何使用它們周圍的子系統(tǒng)來改善非功能屬性，如可靠性，可用性和質(zhì)量。子條款10.2描述了AI子系統(tǒng)架構(gòu)考慮因素，包括緩解和控制方法。第10.3條提出了提高部件可靠性的方法。第8章中的故障機(jī)制強(qiáng)調(diào)了ML組件的差異化挑戰(zhàn)，而第9章則解決了驗(yàn)證和確認(rèn)這些組件的整個(gè)生命周期過程。本條款中引入的措施由這些失效模式的知識指導(dǎo)，并作為第11條備份操作允許使用檢測方法，以便在未檢測到異常時(shí)切換輸出。注意這些架構(gòu)解決方案共存或可供選擇，即其中一個(gè)就足夠了。人工智能技術(shù)的引入為這些架構(gòu)選項(xiàng)中的每一個(gè)都帶來了特定的挑戰(zhàn)。10.2.2描述了如何使用異常輸入、輸出或內(nèi)部狀態(tài)（例如神經(jīng)元激活強(qiáng)度）的檢測機(jī)制10.2.3描述了如何使用監(jiān)控功能，使用控制理論的元圖5中的架構(gòu)在容錯(cuò)系統(tǒng)文獻(xiàn)中通常表示為被動（多樣）冗余。例如，監(jiān)督監(jiān)視器檢測人工智能技術(shù)何時(shí)產(chǎn)生潛在的不安全行為，無論是由于內(nèi)部故障還是外部故障。檢測到后，將采取行動以維持系統(tǒng)處于安全狀態(tài)。監(jiān)護(hù)儀使用非AI技術(shù)或使用AI技術(shù)開發(fā)。在后一種情況下，監(jiān)視器和主系統(tǒng)之間的獨(dú)立性水平的考Datainput入數(shù)據(jù)的情況下，通常不可能驗(yàn)證模型行為，這包括數(shù)據(jù)漂移的結(jié)果?？山邮艿哪Ｐ洼敵鲆蕾囉谀Ｐ偷奈唇?jīng)測試的泛化屬性，并且可能是錯(cuò)誤的，從而激勵(lì)對此類輸入數(shù)據(jù)的檢測。分布取決于單個(gè)樣本中的參數(shù)及其隨時(shí)間的演變（即動態(tài)）?？山邮茌斎氲暮唵芜吔绮惶赡軝z測到訓(xùn)練數(shù)據(jù)中的間隙，特別是對于高維系統(tǒng)。在缺乏訓(xùn)練數(shù)據(jù)改進(jìn)的情況下，在某些情況下，基于數(shù)據(jù)屬性（維度、參數(shù)相關(guān)性的線性、動性方法已經(jīng)表明，深度網(wǎng)絡(luò)對微小的、看似隨機(jī)的擾動（例如，通過添加噪聲對圖像進(jìn)行錯(cuò)誤分類，使可靠的輸入解析具有挑戰(zhàn)性）極其敏感。對抗性方法包括使用運(yùn)行時(shí)檢查和對傳入數(shù)據(jù)的檢查，以確定是否圖6，b）]或替代模型監(jiān)測輸出在故障檢測文獻(xiàn)中是眾所周知的（例如，基于統(tǒng)計(jì)或模型的殘差檢測）。邊界自適應(yīng)于多變量系統(tǒng)輸入序列，因此禁止系統(tǒng)離開安全狀態(tài)區(qū)域[見圖6，c）]。對于動態(tài)系統(tǒng)，檢測決策還確保在沒有約束違反的情況下可達(dá)到安全狀態(tài)（即，系統(tǒng)慣性或不穩(wěn)定性不會阻止在備用控制器決策下進(jìn)入危險(xiǎn)狀態(tài)）。ML用于創(chuàng)建一個(gè)監(jiān)視器，其中輸出分布違背傳統(tǒng)的建模技術(shù)。一個(gè)例子是在ML模型生成的輸出上訓(xùn)練一個(gè)（更簡單的）二級網(wǎng)絡(luò)（例如學(xué)生-教師架），Y23Y23U23Y1U1X1關(guān)鍵活強(qiáng)度）是有用的，但需要仔細(xì)校準(zhǔn)到概率，并受到風(fēng)險(xiǎn)的影響。這些風(fēng)險(xiǎn)包括過度自信（分類器通常通過提供不正確但自信的輸出而默默失?。?，不僅在極端或超出訓(xùn)練空間的范圍時(shí)，而且在對抗性示例的情通過適當(dāng)?shù)谋O(jiān)控模塊，AI系統(tǒng)可能被限制在預(yù)定義的安全范圍內(nèi)工作。安全限制要求確定動作空間（安全包絡(luò)）的子集，并且對安全ML組件行為的限制最小。然而，對輸出的簡單限制過度抑制了ML組件，導(dǎo)致例如，如圖7a）所示，AI系統(tǒng)用作智能控制的一部分，以提供最佳決策。在這種架構(gòu)中，非AI安全功能針基于輸入的函數(shù)約束輸出通常不適用于具有動態(tài)的系統(tǒng)，其中系統(tǒng)狀態(tài)（x）定義了不安全區(qū)域，但不會立即響應(yīng)控制器輸入的變化。形式上，通過控制理論方法（如障礙函數(shù)方法（參考文獻(xiàn)[102]））為動態(tài)和混合系統(tǒng)設(shè)計(jì)最小邊界，該方法確定非AI系統(tǒng)控制下的不變集，參見圖7b）。這些方法保證了系統(tǒng)不會超過對于某些有限的最壞情況控制輸入（所有可能的控制信號U的子集u）被認(rèn)為是安全的操作區(qū)域。這些設(shè)置通常是保守的，因?yàn)樗鼈儾恢鲃拥貙⑾到y(tǒng)恢復(fù)到更安全的區(qū)域，因此控制屏障功能用作檢測機(jī)制，以切換傳統(tǒng)的穩(wěn)定控制（產(chǎn)生控制信號u*，如果它們可用適當(dāng)?shù)腁I監(jiān)控，如10.2.1所述）。對于具有特別復(fù)雜安全要求的系統(tǒng)，例如使用AI技術(shù)的多通道測量系統(tǒng)，應(yīng)考慮檢查功能，如自動自檢或自驗(yàn)證，uu2鍵123456477968智能控制7安全校驗(yàn)8上/下界U安全u*不安全輸出（u）不安全約束冗余可以是不同的類型：結(jié)構(gòu)（空間），時(shí)間（頻率），功能（信息，分析）或組合（參見參考文獻(xiàn)）：測量與由系統(tǒng)的數(shù)學(xué)模型表示的先驗(yàn)信息的比較。這種方法有兩個(gè)主要的趨勢，即分析冗余或剩余生）：）：可能對相同的測試用例產(chǎn)生錯(cuò)誤的結(jié)果。這樣，就有可能設(shè)計(jì)一個(gè)容錯(cuò)系統(tǒng)，其輸出由所有這些模型）：在關(guān)鍵設(shè)備的控制系統(tǒng)中已經(jīng)發(fā)現(xiàn)應(yīng)用的自動化自檢方法（包括自驗(yàn)證、自診斷如參考文獻(xiàn)[70]-由于多樣性的復(fù)雜性和不確定性，多樣性是由許多指標(biāo)來表示的。這些指標(biāo)回答了以下基本問題：具有相同訓(xùn)練條件的人工智能技術(shù)在性能和魯棒性方面有多大差異？多樣性指標(biāo)是否適合選擇成員以形成更強(qiáng)大當(dāng)依賴冗余作為安全論證的一部分并考慮DNN的可解釋性時(shí)，可以依賴分析論證來避免共因故障。在這種論證基于驗(yàn)證和確認(rèn)，并通過仿真證明冗余一旦經(jīng)過訓(xùn)練，許多人工智能系統(tǒng)在推理中是確定性的，但是在輸入維度很高且連續(xù)的情況下，這些系統(tǒng)的性能通常是統(tǒng)計(jì)特征的[156][157]例如，神經(jīng)網(wǎng)絡(luò)的交叉折疊驗(yàn)證可以產(chǎn)生不同的性能指標(biāo)，這取決于每個(gè)驗(yàn)證“折疊”上訓(xùn)練數(shù)據(jù)的變化分配樣本對于特定操作條件下的特定雖然沒有獲得錯(cuò)誤率的硬上限，但對于給定的輸入分布，確定最大錯(cuò)誤的統(tǒng)計(jì)置信區(qū)間。一個(gè)關(guān)鍵的假設(shè)是，這些統(tǒng)計(jì)數(shù)據(jù)依賴于測試數(shù)據(jù)的如果某些事件的概率很低，但影響很大，則可以適當(dāng)增加這些事件在輸入數(shù)據(jù)中的發(fā)生率，使輸入中事件A作為對10.2中架構(gòu)考慮的補(bǔ)充，本條款確定了AI支持技術(shù)，以提高部署時(shí)經(jīng)過訓(xùn)練的系統(tǒng)的可靠性。子條為了提高對噪聲干擾、設(shè)備故障和可能的惡意（對抗性）輸入的魯棒性，在測試和學(xué)習(xí)階段都使用了幾種—正則化是一種減輕過擬合問題的方法，從而提高穩(wěn)定性。這種技術(shù)被認(rèn)為類似于回歸擬合中使用的方法，其中訓(xùn)練損失函數(shù)中的權(quán)重大小或非零值被懲罰或給定先驗(yàn)分布。這通常優(yōu)選于低值權(quán)重的訓(xùn)練后修剪。替代方法包括構(gòu)造網(wǎng)絡(luò)以共享節(jié)點(diǎn)連接上的權(quán)重（例如，在CNN中的重復(fù)濾波器元素上），參數(shù)。這種技術(shù)隨機(jī)關(guān)閉網(wǎng)絡(luò)的一小部分訓(xùn)練。由于網(wǎng)絡(luò)不能完全依賴于單個(gè)節(jié)點(diǎn)來建模特定的數(shù)據(jù)—當(dāng)人工智能系統(tǒng)干擾可預(yù)測時(shí)（例如硬件錯(cuò)誤），包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間錯(cuò)誤建模的故障感知訓(xùn)練使—對抗性魯棒訓(xùn)練是一種學(xué)習(xí)方法，它最小化或限制了由攻擊者可能擾動模型增強(qiáng)的訓(xùn)練數(shù)據(jù)下的最壞情況錯(cuò)誤對抗擾動效應(yīng)的同時(shí)最大化和誤差的最小化導(dǎo)致了標(biāo)準(zhǔn)梯度下降訓(xùn)練算法的擴(kuò)展（參見參考—隨機(jī)化方法（諸如隨機(jī)化平滑）提供了與利用隨機(jī)化噪聲增強(qiáng)的數(shù)據(jù)來訓(xùn)練多個(gè)模式的有效等效，以—對于受限于訓(xùn)練數(shù)據(jù)或數(shù)據(jù)漂移或概念漂移的應(yīng)用，還考慮了對分布外輸入的魯棒性。數(shù)據(jù)增強(qiáng)和豐富減少了人工智能系統(tǒng)需要從訓(xùn)練數(shù)據(jù)中推斷的距離。例如，如果在訓(xùn)練數(shù)據(jù)中平移和旋轉(zhuǎn)圖像，則優(yōu)化和壓縮技術(shù)，如參數(shù)和計(jì)算的量化（即減少參數(shù)帶寬），修剪（即從模型中刪除不太重要的參數(shù)）和知識蒸餾到更簡單的替代模型，為系統(tǒng)提供了次要的好處與對系統(tǒng)的所有修改一樣，對性能損失的風(fēng)險(xiǎn)進(jìn)通過非人工智能技術(shù)（線性和非線性主成分分析、聚類、特征提取等）降低輸入維度，可能會永久丟棄有在現(xiàn)代網(wǎng)絡(luò)設(shè)計(jì)中，使用嵌入層（例如卷積層或低維全連接節(jié)點(diǎn)）。這導(dǎo)致下游簡化，并且通常也提高了簡化的模型具有降低的權(quán)重（可能還有輸入）維度，使訓(xùn)練更容易，并降低了損失景觀中的非凸性（以及多個(gè)局部最小值）的風(fēng)險(xiǎn)[154]除了收斂能力的提高，減少網(wǎng)絡(luò)維度直觀地使可解釋性更易于處理。然而，減少網(wǎng)絡(luò)尺寸仍然超過了能力，以了解每個(gè)參數(shù)的功能，其對需求滿足的貢獻(xiàn)（即其可追溯性）。新興的絡(luò)模塊化是另一種幫助理解其可追溯性和簡化驗(yàn)證的實(shí)用方法（包括使正式驗(yàn)證方法在計(jì)算上可行的潛知識蒸餾最初旨在創(chuàng)建更簡單的代理和更易于計(jì)算的模型。這個(gè)概念產(chǎn)生了一個(gè)更簡單的二級模型，它是在一個(gè)更大的模型的輸出一個(gè)復(fù)雜的模型通常會創(chuàng)建一個(gè)比原始數(shù)據(jù)更低維度的嵌入，并且一旦學(xué)習(xí)，通常會使用二級線性模型進(jìn)行建模，其性能損失可以忽略不計(jì)，并且具有可解釋性的優(yōu)勢。非線性二次模型對可解釋性的貢獻(xiàn)較小，但有助于平滑梯度。更平滑的梯度提供了針對對抗性攻擊的梯度掩蔽保護(hù)，使得對于給定的輸入擾動，輸出的變化更小。這是通過在具有復(fù)雜模型的第一訓(xùn)練路徑中創(chuàng)建概率標(biāo)簽，然后網(wǎng)絡(luò)神經(jīng)元修剪可以抵御訓(xùn)練時(shí)間攻擊。網(wǎng)絡(luò)修剪的一種方法是通過對具有干凈輸入的神經(jīng)元激活進(jìn)行訓(xùn)練后分析來實(shí)現(xiàn)的，迭代地去除那些具有低激活的神經(jīng)元并重新測試。這降低了在操作中發(fā)現(xiàn)不必要行為—學(xué)習(xí)全局上下文的注意力機(jī)制：注意力機(jī)制使用所有編碼輸入向量的加權(quán)組合來學(xué)習(xí)特征序列（例如句子中的單詞）之間的關(guān)系。類似地，在機(jī)器視覺應(yīng)用中，注意力權(quán)重在整個(gè)圖像上學(xué)習(xí)全局權(quán)重，），被用作多域數(shù)據(jù)訓(xùn)練模型的合適解決方案，特別是序列和—用于健全性檢查和特征操作的事后注意力圖：注意力圖，也稱為顯著圖（用于解釋CNN預(yù)測的解釋方法）或敏感性圖，是一種常見的機(jī)器學(xué)習(xí)解釋類型，用于指出給定預(yù)測中最重要的特征。注意力地圖是一種局部解釋，僅限于單個(gè)模型預(yù)測，而無論整體模型行為如何，但仍然適合研究模型調(diào)試的邊緣情況。注意力地圖以不同的方式獲得，例如使用淺層可解釋模型的深度模型的局部近似（參見參考文獻(xiàn)[114]，[115]，[116]）。為了生成DNN的顯著性圖，已經(jīng)描述了各種基于梯度（參見參考文獻(xiàn)—注意力地圖的好處：回顧機(jī)器學(xué)習(xí)解釋對設(shè)計(jì)人員在機(jī)器學(xué)習(xí)生命周期的多個(gè)階段改進(jìn)給定模型例），—可訓(xùn)練的注意力：可訓(xùn)練的注意力機(jī)制具有在訓(xùn)練期間學(xué)習(xí)的注意力權(quán)重，以提高注意力效率。例），—解釋真實(shí)性：由于模型解釋往往是對黑盒模型的不完全解釋，因此模型解釋的正確性和完整性受到啟數(shù)據(jù)和模型參數(shù)可能容易受到隨機(jī)和故意干擾和丟失的影響，其原因從硬件故障到對抗性攻擊中的數(shù)據(jù)中毒。與系統(tǒng)中使用的所有數(shù)據(jù)一樣，使用數(shù)據(jù)風(fēng)險(xiǎn)評估和管理流程（參見第11條）有助于推動所使用的保護(hù)措施，同時(shí)考慮與數(shù)據(jù)密集型人工智能技術(shù)相關(guān)的特定挑戰(zhàn)（例如，數(shù)量、種），除了數(shù)據(jù)控制措施之外，對輸入數(shù)據(jù)流進(jìn)行預(yù)處理以去除不可行的輸入模式也是一種明智的預(yù)防措施。例如，對物理系統(tǒng)帶寬透明的過濾器可以去除對抗性噪聲，補(bǔ)充了產(chǎn)權(quán)泄漏（例如加密、標(biāo)簽混淆和數(shù)據(jù)分發(fā)）是不夠的。訓(xùn)練數(shù)據(jù)操縱（中毒）是由攻擊者設(shè)計(jì)的，以規(guī)避本地測試，其中網(wǎng)絡(luò)在具有休眠問題的正常測試數(shù)據(jù)上正確運(yùn)行（例如，正常訓(xùn)練未激活的神經(jīng)元）。通過在本地保護(hù)的數(shù)據(jù)源上進(jìn)行（輕量級）再訓(xùn)練來補(bǔ)充修剪技術(shù)，有助于降低對對抗性示例的敏感性。11流程和方法從功能安全的角度來看，許多生命周期問題對于人工智能和非人工智能系統(tǒng)來說是共同的。這些共性在系統(tǒng)需要達(dá)到的功能安全水平與是否使用人工智能技術(shù)無關(guān)。使用非人工智能軟件方法構(gòu)建的系統(tǒng)部分按照現(xiàn)有的功能安全國際標(biāo)準(zhǔn)處理。從功能安全國際標(biāo)準(zhǔn)要求的角度來看，通常用于開發(fā)人工智能模型的方功能安全考慮系統(tǒng)整個(gè)生命周期的安全性。傳統(tǒng)上，術(shù)語“生命周期”用于多個(gè)目標(biāo)。一個(gè)目標(biāo)是在系統(tǒng)或硬件或軟件生命周期內(nèi)提供一組定義的過本文件認(rèn)為，從傳統(tǒng)的功能安全生命周期開始，修改和調(diào)整功能安全生命周期，以考慮影響功能安全的人工智能系統(tǒng)特定問題是合理的危害和風(fēng)險(xiǎn)分析階段基于IEC61508系列或其他功能安全國際標(biāo)準(zhǔn)，并進(jìn)行IEC61508系列和其他功能安全國際標(biāo)準(zhǔn)提到V模型作為生命周期的基礎(chǔ)，盡管某些國際標(biāo)準(zhǔn)（包括IEC一功能安全生命周期每個(gè)階段的充分信息和文件有助于后續(xù)階段和驗(yàn)證活動。它包括記錄產(chǎn)品和流程的變?nèi)斯ぶ悄芟到y(tǒng)特有的問題包括學(xué)習(xí)過程、數(shù)據(jù)相關(guān)性以及培訓(xùn)、驗(yàn)證本條款描述了一些已知的方法，以考慮與人工智能技術(shù)。故障模型的概念旨在對存在故障的元件行為進(jìn)行系統(tǒng)且可能自動化的分析故障模型（故障感知）的思想是通過足夠高的抽象級別來覆蓋現(xiàn)實(shí)的多方面這尤其適故障模型是對可能導(dǎo)致錯(cuò)誤的實(shí)際影響的簡化抽象，旨在實(shí)現(xiàn)系統(tǒng)分析。通常，不同的影響被一個(gè)錯(cuò)誤所掩蓋。在現(xiàn)實(shí)中，故障傳播是相當(dāng)復(fù)雜的，但經(jīng)常不同的傳播鏈當(dāng)定義足夠精確時(shí)，可以手動模擬或分析故障的影響。通過將故障模型應(yīng)用于所有元件，確保了關(guān)于故障為了創(chuàng)建故障模型，需要用相應(yīng)的元素描述和），（提供信息）IEC61508-3對AI技術(shù)要素的適用性A.1概述B和C中的描述）應(yīng)用于符合當(dāng)前功能安全國際標(biāo)準(zhǔn)的AI系統(tǒng)技術(shù)注：關(guān)于第6章中描述的分類方案，本附錄適用于I類AI技術(shù)元件，而附錄B適用于II類元件。A.2IEC61508-3：2010附錄A和B中技術(shù)和措施對AI技術(shù)要素的適用性分析B和C中給出的技術(shù)或措施的詳細(xì)描述。一技術(shù)或措施參考文獻(xiàn)AI技術(shù)要素解讀半形式化方法有幾篇研究論文在這個(gè)方向上工作，見參式的模型，語言和語義學(xué)。文獻(xiàn)中已記錄了它用于某些系統(tǒng)行為的正式驗(yàn)證，例如[29]和。關(guān)于ML的半形式化方法，幾乎每一篇ML論文都使用半形式化方法來描述其架構(gòu)，以框圖，層描述和鏈接以及輸入流行為的形式。形式化方法2系統(tǒng)安全需求和軟件安全需求之間的前向可追溯性對于用例獨(dú)立技術(shù)元素：適用于非AI系統(tǒng)元素。對于依賴于用例的技術(shù)元素，在某些情況下，很難為AI模型定義安全需求規(guī)范（例如，安全目標(biāo)是檢測道路上的所有行人），但如何明確定義行人的所有可能用例（例如，輪椅上的每個(gè)人）。另一方例如定義人員檢測特定數(shù)量的像素或測量樣本返回具有指定容差的值。無論底層軟件技術(shù)如何使用，包括AI技術(shù)。3安全要求之間的向后追溯和感知的安全需求也適用于AI系統(tǒng)元素。4支持表A.1中適當(dāng)技術(shù)或措施的計(jì)算機(jī)輔助規(guī)范工具也適用于AI系統(tǒng)元素。技術(shù)或措施參考文獻(xiàn)AI技術(shù)要素解讀體系結(jié)構(gòu)和設(shè)計(jì)特點(diǎn)1故障檢測對于運(yùn)行時(shí)（推理）和離線（訓(xùn)練），有幾種可能的AI故障檢測方法，包括：—檢查分布偏移的操作域;—檢查新概念（例如，新的對象，不同的行為，新的規(guī)則）;—世界發(fā)生的變化（領(lǐng)域漂移，新對象，改變規(guī)因此，它在訓(xùn)練期間和推理期間的故障檢測之間進(jìn)行區(qū)2錯(cuò)誤檢測碼也適用于AI技術(shù)元素。故障斷言程序設(shè)計(jì)這對于AI技術(shù)元素也是可能的（參見多種監(jiān)視器技術(shù)（同一臺計(jì)算機(jī)中的監(jiān)視器和監(jiān)視功能之間具有獨(dú)立性）這對于AI技術(shù)元素也是可能的：監(jiān)視器是傳統(tǒng)開發(fā)的機(jī)制或另一種AI技術(shù)（例如，不同的訓(xùn)練或?qū)嵤┝硪环NAI算法方法）;或者具有N模塊化架構(gòu)，具有不同的DNN解決相同的問題并進(jìn)行投票。不僅要考慮軟件和AI算法之間的差異，還要考慮ML它包括底層軟件實(shí)現(xiàn)的多樣性、編譯指令的多樣性、指令執(zhí)行的多樣性等。10.2.4中進(jìn)一步討論了不同技術(shù)的使用。多種監(jiān)控技術(shù)（監(jiān)控計(jì)算機(jī)和被監(jiān)控的計(jì)算機(jī)）不同的冗余，實(shí)現(xiàn)相同的軟件安全需求規(guī)范功能多樣的冗余，實(shí)現(xiàn)不同的軟件安全要求規(guī)范向后恢復(fù)它原則上也用于AI技術(shù)（以足夠的存儲狀態(tài)空間為前提），并增加了AI結(jié)果的魯棒性也是如此，因?yàn)檫@樣的方法學(xué)引入了一種冗余（輸入向量的輕微變化）。無狀態(tài)軟件設(shè)計(jì)（或有限狀態(tài)設(shè)計(jì)）不適合AI技術(shù)元素。重試故障恢復(fù)機(jī)制它原則上也用于AI技術(shù)（以足夠的存儲狀態(tài)空間為前提），并增加了AI技術(shù)的魯棒性也是如此，因?yàn)檫@種方法引入了一種冗余（輸入向量的輕微變化）。優(yōu)雅降級對于AI技術(shù)元件，在輸出值的確定性降低的情況下應(yīng)用適度降級。5人工智能-故障校正的未來版本正在審查IEC61508系列的這一要求。技術(shù)或措施參考文獻(xiàn)AI技術(shù)要素解讀6動態(tài)重構(gòu)的未來版本正在審查IEC61508系列的這一要求?；谔囟ǖ腁I系統(tǒng)元素有不同的考慮。例如，主動學(xué)習(xí)是由于個(gè)體機(jī)器人學(xué)習(xí)而動態(tài)重新配置權(quán)重，而定期更新是過程管理的。7模塊化方法也適用于AI技術(shù)元素。8使用可信或經(jīng)驗(yàn)證的軟件，部件（如有）也適用于AI技術(shù)元素。需要注意的是，經(jīng)過驗(yàn)證的軟件并不是AI模型開發(fā)的所有步驟都需要的。它與推理有關(guān)，但與數(shù)據(jù)收集過程無關(guān)。9軟件安全需求規(guī)范與軟件體系結(jié)構(gòu)之間的前向可追溯性也適用于AI技術(shù)元素。軟件安全需求規(guī)格說明與軟件體系結(jié)構(gòu)之間的向后可追溯性也適用于AI技術(shù)元素。結(jié)構(gòu)圖解法也適用于AI技術(shù)元素。半形式化方法也適用于AI技術(shù)元素。形式化設(shè)計(jì)與精化方法也適用于AI技術(shù)元素。軟件自動生成軟件開發(fā)的基本原則也適用于AI技術(shù)元素。計(jì)算機(jī)輔助規(guī)格說明和設(shè)計(jì)工具循環(huán)性能，保證最大循環(huán)時(shí)間也適用于AI技術(shù)元素。時(shí)間觸發(fā)機(jī)制也適用于AI技術(shù)元素。事件驅(qū)動，保證最大響應(yīng)時(shí)間也適用于AI技術(shù)元素。靜態(tài)資源分配也適用于AI技術(shù)元素。訪問共享資源的靜態(tài)同步也適用于AI技術(shù)元素。這通過相關(guān)的嵌入式軟件（例如運(yùn)行時(shí)環(huán)境）進(jìn)行管理。技術(shù)或措施參考文獻(xiàn)AI系統(tǒng)技術(shù)要素解讀1合適的編程語言這些措施適用于用例獨(dú)立的元素（例如），（即模型）則非常困難。換句話說，在目標(biāo)上運(yùn)行的代碼仍然滿足那些不適用于AI系統(tǒng)其余部分的措施的