人工智能安全風(fēng)險分析及應(yīng)對策略文│中國移動通信集團(tuán)有限公司信息安全管理與運(yùn)行中心張峰江為強(qiáng)邱勤郭中元王光濤人工智能（AI）是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的關(guān)鍵技術(shù)。人工智能賦能網(wǎng)絡(luò)安全的同時，也會帶來前所未有的安全風(fēng)險。本文在介紹人工智能技術(shù)賦能網(wǎng)絡(luò)安全關(guān)鍵場景的基礎(chǔ)上，分析人工智能因潛在技術(shù)濫用、新技術(shù)應(yīng)用等帶來的安全風(fēng)險，并提出相應(yīng)的安全建議與應(yīng)對策略。一、人工智能的發(fā)展現(xiàn)狀及產(chǎn)業(yè)影響（一）人工智能發(fā)展現(xiàn)狀我國“十四五”規(guī)劃綱要明確大力發(fā)展AI產(chǎn)業(yè)，培育AI等新興數(shù)字產(chǎn)業(yè)。在黨的二十大報告中，AI與生物技術(shù)、新能源、新材料、高端裝備、綠色環(huán)保等行業(yè)一起被列為新的增長引擎。近年來，AI技術(shù)在通信、制造、金融、教育、醫(yī)療和交通等領(lǐng)域的深入應(yīng)用，引領(lǐng)了新一輪科技革命和包括通信領(lǐng)域在內(nèi)的產(chǎn)業(yè)變革浪潮。AI技術(shù)的三大核心要素是算法、算力和數(shù)據(jù)。算法是AI的“大腦”，目前算法應(yīng)用主要區(qū)分為決策式和生成式。前者是根據(jù)已有數(shù)據(jù)進(jìn)行分析、判斷、預(yù)測；后者是基于已有數(shù)據(jù)進(jìn)行模仿式創(chuàng)作，生成全新的內(nèi)容。近日，被全球用戶廣泛應(yīng)用的AI聊天機(jī)器人ChatGPT即采用了生成式超大規(guī)模預(yù)訓(xùn)練變換模型算法。算力是AI的“四肢”，是算法和數(shù)據(jù)的基礎(chǔ)設(shè)施，AI算法模型對于算力的巨大需求，推動了今天芯片甚至算力產(chǎn)業(yè)的發(fā)展。數(shù)據(jù)是AI的“飼料”，AI算法需要通過海量數(shù)據(jù)的訓(xùn)練而不斷完善。（二）人工智能相關(guān)產(chǎn)業(yè)影響隨著ChatGPT成為全球焦點(diǎn)，國內(nèi)外科技巨頭紛紛推出或計劃推出類ChatGPT的競品，如微軟成功發(fā)布了集成ChatGPT的新版搜索工具BING；谷歌快速推出聊天機(jī)器人產(chǎn)品BARD；百度推出了國內(nèi)首個生成式文檔服務(wù)“文心一言”；京東計劃推出ChatJD產(chǎn)業(yè)版。ChatGPT有力推動了AI產(chǎn)業(yè)發(fā)展，將促進(jìn)內(nèi)容生產(chǎn)方式變革并對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。在通信領(lǐng)域，AI應(yīng)用可幫助改進(jìn)信息通信服務(wù)能力，例如，其在自然語言上的強(qiáng)大能力可用于提升智能客服、智慧運(yùn)營、欺詐監(jiān)測等運(yùn)營服務(wù)功能，通信網(wǎng)絡(luò)中的海量數(shù)據(jù)有助于訓(xùn)練AI模型，使網(wǎng)絡(luò)能夠?qū)崿F(xiàn)自主運(yùn)行。同時，AI在富媒體多模態(tài)數(shù)據(jù)處理上的能力，將為運(yùn)營商在政企業(yè)務(wù)上提供重要支撐，助力千行百業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。不過ChatGPT給人們帶來的對網(wǎng)絡(luò)安全的擔(dān)憂也是目前爭議的熱點(diǎn)。以ChatGPT為代表的生成式人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域是一把“雙刃劍”，一方面，ChatGPT可以賦能網(wǎng)絡(luò)安全，提升風(fēng)險檢測與防護(hù)能力；另一方面，ChatGPT技術(shù)的濫用將對國家、社會、公眾帶來負(fù)面影響，同時，AI新技術(shù)的脆弱性也使得ChatGPT應(yīng)用自身面臨安全風(fēng)險?？傮w上，ChatGPT在產(chǎn)業(yè)內(nèi)展示出比較顯著的“五力”：一是引領(lǐng)力：ChatGPT引領(lǐng)新一輪生成式AI浪潮，同時引領(lǐng)了AI領(lǐng)域商業(yè)化進(jìn)程加速。二是創(chuàng)新力：具備模擬人類思維模式創(chuàng)作新內(nèi)容的能力，標(biāo)志著AI進(jìn)入生成式AI技術(shù)應(yīng)用時代。三是心智力：ChatGPT表現(xiàn)出了類似人類的同理心、情緒處理、意圖猜測等能力。四是計算力：目前ChatGPT依托的大算力服務(wù)器，已導(dǎo)入了至少1萬顆英偉達(dá)高端GPU，未來有望借助算力網(wǎng)絡(luò)進(jìn)一步提升計算能力與效率。五是破壞力：ChatGPT的不當(dāng)使用甚至濫用將有可能會對國家政治軍事、社會倫理、網(wǎng)絡(luò)空間安全等帶來負(fù)面影響甚至造成嚴(yán)重破壞。二、人工智能在安全領(lǐng)域的應(yīng)用ChatGPT等AI應(yīng)用在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用效果明顯，其自動編程能力、分析能力及自身集成的知識庫能夠幫助網(wǎng)絡(luò)安全從業(yè)者提升工作效率，改進(jìn)組織的網(wǎng)絡(luò)安全計劃。代碼生成與檢測能力可用于開發(fā)漏洞挖掘工具。如目前可以利用ChatGPT的編程能力，開發(fā)漏洞挖掘工具，能夠提供完整且定制化的漏洞修復(fù)方案。具備惡意軟件檢測能力。如ChatGPT能夠分析惡意軟件的說明和指令，判斷惡意軟件中常用的語言模式，從而幫助檢測新的惡意軟件變體，輔助提升惡意軟件檢測能力。基于知識庫的安全分析能力一是輔助開展安全告警評估。如基于ChatGPT知識庫，可篩選安全告警中的惡意事件，提高告警準(zhǔn)確性和效率。二是全網(wǎng)收集安全威脅情報。如可以使用ChatGPT的語言模型來分析多種來源的大量文本，以識別潛在的網(wǎng)絡(luò)威脅并了解攻擊者使用的戰(zhàn)術(shù)、技術(shù)和程序。三是具備密碼口令強(qiáng)度檢測能力。如可利用ChatGPT生成潛在的密碼口令組合，用于測試口令強(qiáng)度進(jìn)而識別弱口令。（三）異常特征訓(xùn)練與分類能力AI應(yīng)用通過對海量異常、正常標(biāo)記數(shù)據(jù)的智能訓(xùn)練，可以對不良信息、有害信息等進(jìn)行分類輸出與預(yù)警。如通過訓(xùn)練并區(qū)分釣魚郵件的異常特征，可檢測出新的網(wǎng)絡(luò)釣魚企圖。三、人工智能應(yīng)用的安全風(fēng)險（一）人工智能技術(shù)濫用帶來的安全風(fēng)險以ChatGTP為代表的AI應(yīng)用，若被不當(dāng)使用或濫用很有可能影響到國家安全、政治安全、社會穩(wěn)定、企業(yè)利益和個人用戶權(quán)益等諸多方面。存在國家政治軍事風(fēng)險。第一，存在由于民族或政治偏見帶來的嚴(yán)重不公平問題。ChatGPT等AI應(yīng)用可能對不同的政治信仰、國家、種族、團(tuán)體、人群、個體進(jìn)行有失公平的區(qū)別對待，在具有復(fù)雜歷史背景的問題上與美國官方立場保持一致。第二，基于用戶畫像進(jìn)行情報收集和影響政治主張。一方面，AI平臺通過收集個人信息進(jìn)行畫像，獲取到國家或軍隊涉敏人員，再通過誘導(dǎo)或黑客技術(shù)等方式獲取其設(shè)備上的涉密信息或情報。另一方面，還可基于用戶畫像進(jìn)行深度引導(dǎo)并傳播政治主張，影響用戶對黨和國家政策的認(rèn)知。第三，輔助軍事決策并應(yīng)用于軍事打擊。未來裝備AI應(yīng)用的真人或機(jī)器人能夠更加實時地響應(yīng)戰(zhàn)場上分隊或單兵的交互信息，提供最新的戰(zhàn)場態(tài)勢和戰(zhàn)術(shù)建議，從而極大提升戰(zhàn)斗能力。存在不良信息傳播風(fēng)險。一方面因AI應(yīng)用內(nèi)容過濾機(jī)制不完善造成不良信息傳輸。AI應(yīng)用雖然對交互內(nèi)容做了過濾策略，但由于多媒體內(nèi)容識別技術(shù)不足、監(jiān)控策略不完善、無法對生成內(nèi)容進(jìn)行“前置審核”等原因而使得過濾機(jī)制被繞過，從而造成交互或傳播內(nèi)容中存在涉及政治、詐騙、身份偽造、涉黃等不良信息。另一方面，AI產(chǎn)生不良信息內(nèi)容易誤導(dǎo)或誘導(dǎo)用戶。惡意行為者可以使用語言模型來生成大量旨在影響公眾輿論或傳播錯誤信息的垃圾郵件或虛假信息從而惡意影響用戶認(rèn)知。存在網(wǎng)絡(luò)攻擊利用風(fēng)險。一是AI幫助黑客提高網(wǎng)絡(luò)攻擊方面的技術(shù)知識與能力。網(wǎng)絡(luò)安全從人人對抗、人機(jī)對抗逐漸向基于AI的攻防對抗發(fā)展演化。隨著新一代AI技術(shù)的誕生與發(fā)展，攻擊方將利用AI更快、更準(zhǔn)地發(fā)現(xiàn)漏洞，發(fā)起更隱秘的攻擊。二是攻擊者利用AI編程能力來生成網(wǎng)絡(luò)攻擊工具。ChatGPT自動生成代碼的能力也給黑客打開了新世界的大門，讓他們能夠更為便捷地設(shè)計、編寫和執(zhí)行惡意代碼與指令。有網(wǎng)絡(luò)安全組織已通過測試發(fā)現(xiàn)ChatGPT生成的代碼可有效利用系統(tǒng)漏洞進(jìn)行網(wǎng)絡(luò)攻擊。三是AI基于社會工程學(xué)知識生成網(wǎng)絡(luò)釣魚等信息。攻擊者可以使用來自社交媒體或其他來源的大量文本數(shù)據(jù)，通過ChatGPT等AI工具訓(xùn)練社工模型，使其生成極具說服力的網(wǎng)絡(luò)釣魚電子郵件或消息來誘騙受害者泄露敏感信息。（二）人工智能應(yīng)用自身面臨的安全風(fēng)險AI融合了深度學(xué)習(xí)、自然語言處理等新技術(shù)，并向多模態(tài)技術(shù)演進(jìn)。這些技術(shù)本身存在安全漏洞，多種技術(shù)的組合也會產(chǎn)生系統(tǒng)性安全問題。其脆弱性一旦被惡意利用，將對AI業(yè)務(wù)的健康運(yùn)行起到破壞作用。一是存在數(shù)據(jù)安全風(fēng)險。用戶在使用ChatGPT等AI應(yīng)用時可能不自覺輸入個人隱私數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過訓(xùn)練可構(gòu)建出用戶畫像。AI平臺收集的原始數(shù)據(jù)與衍生數(shù)據(jù)的歸屬權(quán)、控制權(quán)與使用權(quán)等問題目前在法律上還是很難界定。即使用戶要求刪除，也很難保證其會主動實施擦除操作，存在個人隱私信息泄露風(fēng)險。二是存在算法安全風(fēng)險。一方面存在算法被欺騙攻擊風(fēng)險。攻擊者通過在被檢測的場景中添加干擾信息來欺騙算法，以讓ChatGPT等AI應(yīng)用產(chǎn)生錯誤的預(yù)測結(jié)果。特別在圖像識別、生物特征識別中，此類攻擊威脅很大。另一方面，存在AI數(shù)據(jù)投毒攻擊風(fēng)險。AI語料庫被污染或?qū)阂鈹?shù)據(jù)注入訓(xùn)練集，可讓算法產(chǎn)生不正確或誤導(dǎo)性結(jié)果，從而導(dǎo)致用戶人身傷害或權(quán)益損失，且責(zé)任無法定位與追溯。三是存在平臺及供應(yīng)鏈安全風(fēng)險。ChatGPT等AI平臺系統(tǒng)仍存在通用的網(wǎng)絡(luò)安全風(fēng)險，如算法后門嵌入、代碼安全漏洞等。此外，高端芯片是ChatGPT等系統(tǒng)所用的大型語言模型研發(fā)的“剛需”。在高端芯片領(lǐng)域受美國出口管制的國家，可能因高端芯片供給不足導(dǎo)致在全球“模型競爭”中處于劣勢。同時，大型語言模型研發(fā)成本高，為維護(hù)競爭優(yōu)勢，科技巨頭未開源旗下高水平模型，隨全球用戶數(shù)量增加，國外企業(yè)經(jīng)過訓(xùn)練，將進(jìn)一步優(yōu)化模型，“強(qiáng)者恒強(qiáng)”的現(xiàn)象將更為突出。人工智能應(yīng)用伴生的社會倫理風(fēng)險ChatGPT等AI應(yīng)用迅速發(fā)展的同時，也引發(fā)了違背正常社會秩序和社會倫理的風(fēng)險。一是引發(fā)AI替人的失業(yè)恐慌情緒。如ChatGPT能夠完成文本創(chuàng)作、代碼編寫、方案策劃等，使得相關(guān)行業(yè)從業(yè)者產(chǎn)生失業(yè)的擔(dān)憂。二是引發(fā)AI生成內(nèi)容知識產(chǎn)權(quán)問題。如基于ChatGPT采集、訓(xùn)練、引用或生成的藝術(shù)作品集、代碼集等，必然會與原有的知識產(chǎn)權(quán)等權(quán)利相沖突，亟待建立新的社會契約和法律制度。三是影響正常社會秩序。ChatGPT代寫作業(yè)、協(xié)助作弊、代寫論文等，可能會影響正常的社會秩序。四、相關(guān)建議（一）國家層面：健全人工智能安全政策法規(guī)，強(qiáng)化AI濫用法律約束一是依據(jù)相關(guān)國家頂層規(guī)劃制定人工智能安全相關(guān)國家戰(zhàn)略。2017年，國務(wù)院發(fā)布了《新一代人工智能發(fā)展戰(zhàn)略》，“十四五”規(guī)劃和二十大報告里面均提到了發(fā)展人工智能的規(guī)劃。國家層面應(yīng)制定并落實人工智能國家戰(zhàn)略，以應(yīng)對日趨激烈的國際競爭。二是布局人工智能法規(guī)體系，應(yīng)覆蓋道德倫理、人身安全、個人隱私保護(hù)、算法規(guī)范應(yīng)用、防范技術(shù)濫用和知識產(chǎn)生等方面。三是推動現(xiàn)有法律法規(guī)向人工智能領(lǐng)域延伸適用，國家及行業(yè)主管部門推動《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個人信息保護(hù)法》《反電信網(wǎng)絡(luò)詐騙法》等法律在ChatGPT等AI領(lǐng)域的延伸適用。四是強(qiáng)化AI濫用法律約束，結(jié)合《互聯(lián)網(wǎng)信息服務(wù)算法推薦服務(wù)管理規(guī)定》《互聯(lián)網(wǎng)人工智能算法深度合成管理規(guī)定》《生成式人工智能服務(wù)管理辦法（征求意見稿）》和《科技倫理審查辦法（試行）》等AI安全相關(guān)規(guī)定，強(qiáng)化對AI技術(shù)濫用等的法律約束。（二）產(chǎn)業(yè)層面：重點(diǎn)關(guān)注AI技術(shù)自主可控及算力網(wǎng)絡(luò)賦能AI大模型發(fā)展一是提升軟硬件實力，實現(xiàn)高端芯片與AI框架自主可控。算力是AI應(yīng)用的“發(fā)動機(jī)”，高端芯片是剛需，與國際領(lǐng)先芯片企業(yè)相比，國產(chǎn)芯片還未具有競爭力，需要持續(xù)研發(fā)和攻關(guān)。二是算力網(wǎng)絡(luò)賦能AI大模型發(fā)展。人工智能應(yīng)用需要海量的訓(xùn)練數(shù)據(jù)和強(qiáng)大的算力作為支撐，我國應(yīng)充分發(fā)揮自身在大數(shù)據(jù)和算力方面的優(yōu)勢，將大數(shù)據(jù)和大算力應(yīng)用于推動AI產(chǎn)業(yè)發(fā)展，這將助力實現(xiàn)AI核心能力的自主可控。（三）行業(yè)層面：倡導(dǎo)AI技術(shù)合規(guī)使用和加強(qiáng)行業(yè)自律一是建立行業(yè)監(jiān)管制度并開展合規(guī)性評估審查。建立健全AI服務(wù)行業(yè)監(jiān)督管理相關(guān)制度與標(biāo)準(zhǔn)。包括算法分級分類管理、算法推薦服務(wù)安全管理、AI濫用舉報等，并開展AI應(yīng)用安全合規(guī)性評估審查與處置，實現(xiàn)行業(yè)監(jiān)管閉環(huán)。二是創(chuàng)新研究應(yīng)用人工智能賦能網(wǎng)絡(luò)安全技術(shù)。一方面，利用AI技術(shù)賦能針對復(fù)雜網(wǎng)絡(luò)攻擊的防御能力，使用AI技術(shù)應(yīng)對其帶來的網(wǎng)絡(luò)安全風(fēng)險；另一方面，研究利用AI技術(shù)提升企業(yè)組織在網(wǎng)絡(luò)安全攻擊檢測、數(shù)據(jù)資產(chǎn)識別與風(fēng)險監(jiān)測、業(yè)務(wù)安全風(fēng)控、不良信息識別、電信反詐、安全威脅分析、深度偽造識別等方面的能力。三是做好元宇宙等AI融合場景的安全風(fēng)險梳理與防護(hù)技術(shù)儲備。對于元宇宙和AI融合關(guān)鍵場景，要抓緊開展安全技術(shù)研究儲備，提早防范大規(guī)模人工智能安全事件發(fā)生。企業(yè)層面：加強(qiáng)AI安全防護(hù)體系建設(shè)，保障AI業(yè)務(wù)健康安全運(yùn)行一是制定出臺企業(yè)組織AI安全總體策略，編制企業(yè)標(biāo)準(zhǔn)規(guī)范與技術(shù)指南；二是配備AI安全領(lǐng)域?qū)I(yè)人員，支撐AI安全新技術(shù)新業(yè)務(wù)安全風(fēng)險評估與創(chuàng)新技術(shù)研究；三是對員工在日常工作或?qū)ν夥?wù)中使用ChatGPT等AI應(yīng)用行為進(jìn)行規(guī)范，防范企業(yè)組織及客戶數(shù)據(jù)泄露等風(fēng)險；四是強(qiáng)化安全技術(shù)手段建設(shè)，建設(shè)涵蓋網(wǎng)絡(luò)安全、算法安