人工智能安全算法生命周期各階段安全風險設(shè)計開發(fā)階段的安全風險性能層面的安全風險設(shè)計開發(fā)階段人工智能算法性能層面的安全風險包括：算法的正確性無法滿足任務(wù)需求地風險：算法的正確性是指算法能夠生成行為符合預(yù)期的人工智能算法。由于不同的任務(wù)對于正確性的需求不同，當設(shè)計的人工智能算法無法保證符合任務(wù)需求的正確性時，該算法在實際應(yīng)用時將引發(fā)安全問題；算法運行效率無法滿足任務(wù)需求地風險：算法運行效率是指算法執(zhí)行時花費的時間。當設(shè)計的算法需要花費較長時間，無法滿足任務(wù)的效率需求時，如設(shè)計的算法時間復(fù)雜度是指數(shù)級，無法滿足任務(wù)場景的秒級相應(yīng)等需求，此類算法自身將成為一種安全風險；算法健壯性風險：由于人工智能算法的訓(xùn)練無法遍歷所有目標領(lǐng)域的數(shù)據(jù)，使得訓(xùn)練得到的算法對外界環(huán)境干擾以及惡意攻擊的健壯性較差。攻擊者能夠利用算法的這一脆弱點較容易的構(gòu)造對抗樣本使算法結(jié)果出錯，從而導(dǎo)致嚴重安全隱患。數(shù)據(jù)層面的安全風險設(shè)計開發(fā)階段人工智能算法數(shù)據(jù)層面的安全風險包括：數(shù)據(jù)集規(guī)模不足地風險：不同的人工智能任務(wù)需要的數(shù)據(jù)集規(guī)模不同，當數(shù)據(jù)集規(guī)模不夠大，不足以支撐人工智能算法的有效學(xué)習時，會導(dǎo)致人工智能算法達不到和具體任務(wù)相對應(yīng)的準確度要求，從而影響算法執(zhí)行時的安全性；數(shù)據(jù)集均衡性差地風險：數(shù)據(jù)集均衡性用來描述數(shù)據(jù)集中包含不同類別的樣本數(shù)量。當數(shù)據(jù)集均衡性差，某些類別樣本數(shù)量少時，人工智能算法將難以有效學(xué)習多種類別的特點，將嚴重影響人工智能針對部分類別識別的準確性。此外，不均衡數(shù)據(jù)用于算法學(xué)習，將引發(fā)算法公平性風險；數(shù)據(jù)標注不準確地風險：對于有監(jiān)督學(xué)習類別的算法，數(shù)據(jù)標注是數(shù)據(jù)集的重要組成部分，也是影響人工智能安全性的重要因素。然而，大多數(shù)數(shù)據(jù)集的標注是由人工眾包形式完成，很難保證所有參與標注的人員都能正確標注，如果出現(xiàn)錯標、漏標等情況，將會導(dǎo)致算法很難正確學(xué)習，引發(fā)錯誤分類或預(yù)測的問題；數(shù)據(jù)表示形式不規(guī)范地風險：在智能駕駛、智慧金融、智慧醫(yī)療等應(yīng)用場景中，原始數(shù)據(jù)可能包含大量與任務(wù)無關(guān)的信息，數(shù)據(jù)表示形式不恰當或者不規(guī)范，將造成人工智能算法無法準確學(xué)習關(guān)鍵特征，影響算法的準確性，可能造成算法效率大幅度下降；數(shù)據(jù)集被污染地風險：設(shè)計開發(fā)階段采集的數(shù)據(jù)集可能面臨數(shù)據(jù)被惡意污染地風險，即數(shù)據(jù)投毒。由于惡意行為修改數(shù)據(jù)集中的數(shù)據(jù)，造成人工智能算法學(xué)習到錯誤的特征，引發(fā)算法出錯；數(shù)據(jù)過度采集導(dǎo)致隱私數(shù)據(jù)泄露地風險：個人信息未加密或未脫敏使用時，攻擊者很容易從算法中提取數(shù)據(jù)，造成數(shù)據(jù)集中個人信息的泄露。環(huán)境層面的安全風險人工智能算法的環(huán)境依賴其選擇的框架及第三方庫，而框架及第三方庫自身存在漏洞會導(dǎo)致算法運行錯誤等風險：目前人工智能算法的設(shè)計和實現(xiàn)往往依賴開發(fā)框架的支持，這些框架本身往往使用大量的第三方庫，在設(shè)計開發(fā)階段使用的框架、第三方庫等本身存在的安全漏洞和后門會導(dǎo)致基于開發(fā)的人工智能算法也存在相應(yīng)的安全隱患。此外，操作系統(tǒng)、硬件架構(gòu)和硬件配置可能引入風險，比如兼容性問題、處理精度問題、安全性問題、計算能力等。驗證測試階段的安全風險性能層面的安全風險驗證測試階段人工智能算法性能層面的安全風險包括：算法正確性低地風險：不同任務(wù)的正確性需求不同。當算法在測試數(shù)據(jù)集上的正確性無法達到需求，需要重新進行開發(fā)；算法運行效率低地風險：不同任務(wù)的效率要求不同。當算法在測試數(shù)據(jù)集上的效率無法達到需求，需要重新進行開發(fā)，優(yōu)化算法；算法泄露隱私數(shù)據(jù)地風險：算法存在可能暴露數(shù)據(jù)集、通過簡單測試辦法可獲取隱私數(shù)據(jù)等問題；算法公平性不足地風險：算法做出存在偏見和違反公平性原則的輸出；算法和算法健壯性差地風險：當測試數(shù)據(jù)中包含較小的偏差或部分非正常分布的數(shù)據(jù)，算法的結(jié)果受到較大影響，輸出發(fā)生很大的變化；算法泛化能力差地風險：當使用和實際場景、任務(wù)相關(guān)的數(shù)據(jù)集測試時，算法的泛化能力差，將很難輸出正確的結(jié)果。數(shù)據(jù)層面的安全風險驗證測試階段人工智能算法數(shù)據(jù)層面的安全風險包括：測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)重復(fù)度高地風險：當用來測試的數(shù)據(jù)和訓(xùn)練數(shù)據(jù)集重復(fù)度高時，算法將在測試數(shù)據(jù)上表現(xiàn)優(yōu)異，但是無法驗證其在未知測試數(shù)據(jù)集上的性能；測試數(shù)據(jù)集規(guī)模不足地風險：測試數(shù)據(jù)如果規(guī)模較少，將無法對可能遇到的各種特殊數(shù)據(jù)進行有效驗證，導(dǎo)致算法在特殊數(shù)據(jù)上判斷出錯；測試數(shù)據(jù)集均衡性差地風險：測試數(shù)據(jù)均衡性不足，部分類別的測試數(shù)據(jù)少時，將很難對算法在各類數(shù)據(jù)上的表現(xiàn)進行驗證；測試數(shù)據(jù)集合實際任務(wù)相關(guān)性不足地風險：當未采集和實際應(yīng)用場景、任務(wù)相關(guān)的數(shù)據(jù)進行測試時，將導(dǎo)致算法在實際運行過程中無法正確處理實際數(shù)據(jù)的問題。環(huán)境層面的安全風險人工智能算法依托特定的框架進行實現(xiàn)，在驗證測試階段，如果未對框架及第三方庫自身的漏洞進行有效測試，將導(dǎo)致算法在運行過程中出現(xiàn)錯誤。部署運行階段的安全風險性能層面的安全風險部署運行階段人工智能算法性能層面的安全風險包括：算法運算效率低地風險：在驗證測試階段，人工智能算法的效率已被檢測，但在實際部署運行中，真實環(huán)境對于效率的要求可能會隨著時間發(fā)生改變，沒有及時更新的算法可能無法滿足真實環(huán)境的效率要求；算法后門風險：攻擊者在如圖人工智能算法中植入特定的后門，使得算法雖然對正常輸入與原算法判斷一致，但對特殊輸入的判斷會受攻擊者控制，從而造成算法的輸出出現(xiàn)特定的錯誤；算法隱私風險：攻擊者可以通過公共訪問接口對算法進行多次訪問，根據(jù)輸入與輸出的映射關(guān)系，在沒有得知算法參數(shù)的情況下，構(gòu)建出與被攻擊算法相似度很高的算法，逆向推測并還原算法的參數(shù)信息等；數(shù)據(jù)反演導(dǎo)致數(shù)據(jù)泄露地風險：利用算法接口調(diào)用返回的信息進行反演攻擊還原訓(xùn)練數(shù)據(jù)或部分隱私數(shù)據(jù)的安全風險；注入攻擊風險：攻擊者利用人工智能算法設(shè)計上的安全漏洞，將惡意的命令注入算法中，當實際數(shù)據(jù)滿足預(yù)先設(shè)定的觸發(fā)條件時，會造成算法完成注入的攻擊行為；拒絕服務(wù)攻擊風險：攻擊者利用算法缺陷或者程序漏洞，通過構(gòu)造特殊數(shù)據(jù)、利用敏感數(shù)據(jù)攻擊算法，造成人工智能服務(wù)崩潰或者系統(tǒng)內(nèi)存溢出等拒絕服務(wù)；可解釋性風險：人工智能算法常被應(yīng)用于醫(yī)療、收入預(yù)測、個人信息評估等安全敏感領(lǐng)域，如果算法輸出結(jié)果的邏輯缺乏可解釋性，易造成人們對于算法有效性的質(zhì)疑，甚至反對；算法健壯性風險：新的算法仍然無法覆蓋數(shù)據(jù)的可變空間，無法對惡意輸入的樣本做出正確的判斷。攻擊者能夠利用算法的這一特點構(gòu)造對抗樣本、惡意樣本來攻擊算法，導(dǎo)致算法出錯。數(shù)據(jù)層面的安全風險部署運行階段人工智能算法數(shù)據(jù)層面的安全風險包括：干擾數(shù)據(jù)風險：實際環(huán)境中存在一些極端的輸入數(shù)據(jù)與其余輸入數(shù)據(jù)的差異較大，此類野值數(shù)據(jù)可能造成算法的輸出出現(xiàn)錯誤；自然噪聲擾動風險：在實際環(huán)境中，正常的輸入數(shù)據(jù)會受到環(huán)境因素的影響，輸入可能攜帶著無法預(yù)知的自然噪聲擾動，將導(dǎo)致已部署的人工智能算法出現(xiàn)偏差；特殊擾動攻擊風險：通過某種特殊方式修改輸入，使得人工智能算法輸出錯誤信息。此類特殊擾動攻擊包括對抗樣本攻擊等；訓(xùn)練數(shù)據(jù)被污染風險：部分在線學(xué)習或演進學(xué)習的人工智能算法，部署在環(huán)境以后會根據(jù)實際的數(shù)據(jù)進行在線訓(xùn)練，自適應(yīng)地調(diào)整算法參數(shù)等，攻擊者在該過程中通過數(shù)據(jù)投毒，使用污染的數(shù)據(jù)訓(xùn)練此類算法，將造成算法的輸出逐漸出現(xiàn)錯誤；數(shù)據(jù)集分布遷移風險：算法通常假設(shè)訓(xùn)練數(shù)據(jù)和真實數(shù)據(jù)服從相同分布，但算法部署在實際應(yīng)用中時，數(shù)據(jù)集分布可能會發(fā)生遷移，即真實數(shù)據(jù)集分布與訓(xùn)練數(shù)據(jù)集分布之間存在差異性，從而造成算法輸出產(chǎn)生偏差；數(shù)據(jù)泄露風險：人工智能算法部署以后，攻擊者可能通過反復(fù)調(diào)用、查詢算法，根據(jù)算法返回的信息還原訓(xùn)練數(shù)據(jù)，從而造成數(shù)據(jù)泄露等風險。環(huán)境層面的安全風險部署運行階段人工智能算法環(huán)境層面的安全風險包括：人工智能框架更新風險：大部分人工智能算法是基于特定的框架開發(fā)的，當框架、第三方庫更新時，若不及時對部署在此框架上的算法進行相應(yīng)的調(diào)整，算法將會存在配置問題等風險；軟硬件平臺的部署風險：真實部署的環(huán)境中，操作系統(tǒng)、硬件架構(gòu)和硬件配置等可能造成風險，如兼容性問題，處理精度問題，安全性問題，計算能力問題；供應(yīng)鏈風險：攻擊者在人工智能算法供應(yīng)鏈過程中，通過逆向破解人工智能算法、通過控制軟件/硬件渠道注入惡意代碼等，造成惡意代碼的傳播。維護升級階段的安全風險在人工智能算法部署后，由于業(yè)務(wù)需要，會對算法進行更新升級。在這個過程中，當算法更新時，需要考慮在算法開發(fā)、驗證測試、部署運行階段相應(yīng)地風險；當算法升級需要根據(jù)數(shù)據(jù)重新訓(xùn)練時，可能面臨數(shù)據(jù)被污染等風險；當框架更新時，算法需要及時升級，當軟硬件等運行環(huán)境改變時，也需要對應(yīng)進行維護。該階段，主要面臨模型、數(shù)據(jù)、環(huán)境層面的安全風險。模型層面的安全風險維護升級階段人工智能算法模型層面的安全風險包括：當算法進行大幅度調(diào)整、修改、升級時，需要重新考慮新的算法在設(shè)計開發(fā)、驗證測試、部署運行階段面臨的安全風險；算法參數(shù)未及時更新地風險：算法升級時，可能遇到算法參數(shù)更新不及時、算法參數(shù)未正確刪除等風險；算法配置沖突地風險：算法升級時，新舊算法的配置不一致，配置未正常升級將導(dǎo)致新算法無法正常運行等風險。數(shù)據(jù)層面的安全風險維護升級階段人工智能算法數(shù)據(jù)層面的安全風險包括：數(shù)據(jù)質(zhì)量風險：在人工智能算法維護升級階段，往往補充數(shù)據(jù)對當前算法版本進行優(yōu)化。新收集數(shù)據(jù)集的規(guī)模、數(shù)據(jù)表示方式、數(shù)據(jù)均衡性和數(shù)據(jù)標注質(zhì)量，都可能影響人工智能算法的安全；數(shù)據(jù)投毒攻擊：在人工智能算法維護升級階段，特別是在算法的再訓(xùn)練過程中，可能會引入數(shù)據(jù)投毒風險，人為對部分訓(xùn)練集數(shù)據(jù)進行篡改，會直接誤導(dǎo)訓(xùn)練過程，導(dǎo)致算法訓(xùn)練過程不成功，或者導(dǎo)致算法被注入后門，無法對誤導(dǎo)樣本產(chǎn)生正確的預(yù)測結(jié)果，使得算法出現(xiàn)問題；數(shù)據(jù)隱私風險：新數(shù)據(jù)的加入，或者數(shù)據(jù)的替換和更新，都涉及數(shù)據(jù)的存儲過程，在此過程中需要保證數(shù)據(jù)的可控性，規(guī)避數(shù)據(jù)被人為操作、破壞。環(huán)境層面的安全風險維護升級階段人工智能算法環(huán)境層面的安全風險包括：和部署運行階段類似，當算法由于框架更新、框架變更、第三方庫更新時，若不及時對部署在此框架上的算法進行相應(yīng)的調(diào)整，算法將會存在配置問題等風險，可能導(dǎo)致算法無法正常使用；在維護升級過程中，操作系統(tǒng)、硬件架構(gòu)、硬件配置更新，但是算法未及時更新，將導(dǎo)致兼容性問題，例如算法處理的精度不足、計算能力不夠等問題。退役下線階段的安全風險退役下線階段需要對相應(yīng)的數(shù)據(jù)、算法等進行銷毀，該階段，主要包括模型和數(shù)據(jù)層面的安全風險。模型層面的安全風險退役下線階段人工智能算法模型層面的安全風險包括：算法泄露地風險：由于算法銷毀過程的不當，可能造成算法泄露地風險；算法參數(shù)泄露地風險：由于算法參數(shù)存儲方式的不同，不同算法的銷毀方法不同，可能造成算法參數(shù)保留在內(nèi)存中，導(dǎo)致參數(shù)泄露地風險；算法未完全銷毀地風險：算法涉及的配置文件、算法參數(shù)等眾多，可能遇到未完全銷毀算法地風險；多臺設(shè)備未同時銷毀算法地風險：部分算法同時部署在多臺設(shè)備上，以及通過云邊協(xié)同的方式部署，銷毀時可能遇到未完全銷毀地風險；誤刪