ThreatLabz2024AI安全報(bào)告AIAI采用，洞察AI驅(qū)動的威脅和防御這些威脅的關(guān)鍵策03執(zhí)行摘要04主要結(jié)論05GenAI和ML的主要使用趨勢09醫(yī)療保健和AI區(qū)域細(xì)分：EMEA區(qū)域細(xì)分：APAC18個(gè)企業(yè)AI風(fēng)險(xiǎn)和現(xiàn)實(shí)威脅場景20AI驅(qū)動的威脅場景人工智能模仿：深度偽造，錯(cuò)誤信息等等21人工智能生成的網(wǎng)絡(luò)釣魚活動從查詢到犯罪：使用ChatGPT創(chuàng)建釣魚登錄頁面22黑暗聊天機(jī)器人：在黑暗網(wǎng)絡(luò)上發(fā)現(xiàn)WormGPT和FraudGPT23整個(gè)攻擊鏈24AI蠕蟲攻擊和“病毒式”AI越獄25AI和美國選舉26關(guān)注AI法規(guī)28AI威脅預(yù)測31案例研究：如何在企業(yè)33Zscaler如何提供AI+ZeroTrust并保護(hù)生成AI34在整個(gè)攻擊鏈35Zscaler的AI注入產(chǎn)品37附錄37ThreatLabz研究方法37關(guān)于Zscaler威脅Labz?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告02?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告03reserved.執(zhí)行摘要人工智能不僅僅是一項(xiàng)開創(chuàng)性的創(chuàng)新人工智能不僅僅是一項(xiàng)開創(chuàng)性的創(chuàng)新-它現(xiàn)在一切如常。隨著像ChatGPT這樣的生成式人工智能工具在大大小小的方面改變業(yè)務(wù)，人工智能正在深入到企業(yè)生活的結(jié)構(gòu)中然而，關(guān)于如何安全地采用這些人工智能工具，同時(shí)防御人工智能驅(qū)動的威脅的問題尚未解決。他們必須平衡人工智能工具帶來的眾多風(fēng)險(xiǎn)，以獲得最大的回了釋放人工智能的變革潛力，企業(yè)必須啟用安全控制來保護(hù)其信息泄露，緩解“影子人工智能”蔓延，并確保人脅的驅(qū)動力。事實(shí)上，人工智能工具允許網(wǎng)絡(luò)更快、更大規(guī)模地發(fā)動復(fù)雜的攻擊。盡管如此，人工智能有望成為《ThreatLabz2024AI安全報(bào)告》為這些關(guān)鍵的AI挑戰(zhàn)和機(jī)遇提供了重要見解。從2023年4月到2024年1月，通過ZscalerZeroTrustExchange?進(jìn)行了超過180億筆交易，ThreatLabz分析了當(dāng)今企業(yè)如何使用AI和ML工具。這些見解揭示了各個(gè)業(yè)務(wù)部門和地區(qū)的關(guān)鍵趨勢，即企業(yè)如何適應(yīng)不斷變化的人工智能環(huán)境并保護(hù)其人工智能工具。在整個(gè)過程中，您將深入了解最重要的人工智能主題，包括業(yè)務(wù)風(fēng)險(xiǎn)，人工智能驅(qū)動的威脅場景和對手戰(zhàn)術(shù)，監(jiān)管考慮因素以及對2024年及以后人工智能格局的預(yù)測。同樣重要的是，這份報(bào)告提供了兩個(gè)方面的最佳實(shí)踐：企業(yè)如何在保護(hù)關(guān)鍵數(shù)據(jù)的同時(shí)安全地接受生成式人工智能轉(zhuǎn)型，以及人工智能工具如何努力提供分層的零信任安全性，以應(yīng)對人工智能驅(qū)動的威脅的新格局。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告04reserved.主要結(jié)論AI/ML工具的使用量飆升了594.82%，從2023年4月的5.21億筆AI/ML驅(qū)動的交易增加到2024年1月的每月31億筆。企業(yè)正在阻止所有AI/ML交易的18.5%-在九個(gè)月內(nèi)被阻止的交易增加了577%-反映了對AI數(shù)據(jù)安全的日益擔(dān)憂以及公司不愿制定AI政策。20.9%，其次是金融和保險(xiǎn)（19.9%）和服務(wù)（16.8%）。ChatGPT的使用量繼續(xù)飆升，增長了634.1%，盡管它也是企業(yè)最受阻礙的人工智能應(yīng)用程序，基于Zscaler云洞察。按交易量計(jì)算，使用最廣泛的AI應(yīng)用程序是ChatGPT、Drift、OpenAI*、Writer和LivePerson。按交易量計(jì)算，前三名被阻止的應(yīng)用程序是ChatGPT、OpenAI和F。產(chǎn)生最多AI和ML交易的前5個(gè)國家是美國、印度、英國、澳大利亞和日本。企業(yè)正在向AI工具發(fā)送大量數(shù)據(jù)，2023年9月至2024年1月期間，AI/ML應(yīng)用程序之間交換的數(shù)據(jù)總量為569TB。人工智能正在以前所未有的方式為威脅行為者提供包括人工智能驅(qū)動的網(wǎng)絡(luò)釣魚活動、深度偽造和社會工程攻擊、多態(tài)勒索軟件、企業(yè)攻擊面發(fā)現(xiàn)、自動化漏洞利用生成等。注意：ZscalerZeroTrustEx關(guān)鍵GenAI和ML使用趨勢企業(yè)人工智能交易激增近600%，而且沒有放緩的跡象。盡管如此，人工智能應(yīng)用程序被阻止的交易也增加了577%。AI交易持續(xù)加速從2023年4月到2024年1月，企業(yè)AI和ML交易增長了近600%，1月份在零信任交易所的月交易量超過30億這強(qiáng)調(diào)了一個(gè)事實(shí)，即盡管與企業(yè)人工智能采用相關(guān)的安全事件和數(shù)據(jù)風(fēng)險(xiǎn)越來越多，但其變革潛力太大，不容忽視。請注意，雖然人工智能交易在12月假期期間短暫平靜，但交易在2024年初繼續(xù)以更快的速度然而，即使人工智能應(yīng)用程序激增，大多數(shù)人工智能交易也是由相對較少的市場領(lǐng)先的人工智能工具驅(qū)動的。總體而言，ChatGPT占所有AI和ML交易的一半以上，而OpenAI應(yīng)用程序本身來自排在第三位，占所有交易的7.82%。與此同時(shí)，流行的人工智能聊天機(jī)器人Drift產(chǎn)生了近五分之一的企業(yè)人工智能流量（LivePerson和BoldChat企業(yè)聊天機(jī)器人也突破了第5和第6位的頂級應(yīng)用程序）。同時(shí)，Writer仍然是創(chuàng)建書面企業(yè)內(nèi)容的首選生成AI工具，例如營銷材料。最后，Otter是一種經(jīng)常用于視頻通話的AI轉(zhuǎn)錄工具，AI流量的重要組成部分。?2024Zscaler，Inc.Allrightsreserved.AI和ML交易趨勢交易NovJan4000M3000M2000M1000M0M可JulSep月圖12023AI和ML交易趨勢交易NovJan4000M3000M2000M1000M0M可JulSep月圖12023年4月至2024年1月的AI交易熱門AI應(yīng)用Drift52.23%百分之OtterAI 2.78% 2.06%1.29%82%圖2按交易量劃分的交易AI/ML流量傳輸?shù)臄?shù)據(jù)[2023年9月-2024年1月]交易AI/ML流量傳輸?shù)臄?shù)據(jù)[2023年9月-2024年1月]圖3按總傳輸被阻止的AI交易趨勢[2023年4月-2024年1月800M600M400200M0M可JulSep月NovJan?2024Zscaler，Inc.Allrightsreserved.與此同時(shí)，企業(yè)從人工智能工具發(fā)送和接收的大量數(shù)據(jù)為這些趨勢增添了細(xì)微差別。HuggingFace是一個(gè)開源的人工智能開發(fā)平臺，通常被稱為“人工智能的GitHub”，占人工智能工具傳輸?shù)钠髽I(yè)數(shù)據(jù)的近60%。由于HuggingFace允許用戶托管和訓(xùn)練AI模型，因此它可以從企業(yè)用戶那里捕獲大量數(shù)據(jù)。雖然ChatGPT和OpenAI預(yù)計(jì)會出現(xiàn)在這個(gè)列表中，但兩個(gè)值得用于添加字幕，圖像和其他內(nèi)容的AI視頻編輯器。文本到的工具，以及其他用途。由于與其他類型的請求相比，視頻和圖像需要較企業(yè)阻止的AI交易比以往任何時(shí)候都即使企業(yè)人工智能的采用繼續(xù)激增，組織也越來越多地全問題。如今，企業(yè)所有AI交易的18.5%，從4月到1月增長了577%，總共有更多超過26一些最受歡迎的AI工具也是最受歡迎的。事實(shí)上，ChatGPT持有它是最常用和最受阻礙的AI應(yīng)用程序。這表明，盡管--或者甚至是因?yàn)?-這些工具的流行，正在積極努力，以確保其使用，防止數(shù)據(jù)丟失和隱私問題。另一個(gè)值得注意的趨勢是，擁有人工智能Copilot功能的從4月到1月被封鎖。事實(shí)上，占所有被阻止的AI和ML域名交易的25.02%。最高最高-02OpenAI04深謀遠(yuǎn)慮05HuggingFace06ChatBot05Compose.ai06O09T圖5按交易行業(yè)AI細(xì)分企業(yè)行業(yè)垂直行業(yè)在人工智能工具的整體采用以及他們阻止的人工智能交易比例方面表現(xiàn)出顯著差異。制造業(yè)是明顯的領(lǐng)導(dǎo)者，在零信任交易所推動了超過20%的人工智能和機(jī)器學(xué)習(xí)交易。盡管如此，金融和保險(xiǎn)，技術(shù)和服務(wù)部門緊跟在后面?？傊@四個(gè)行業(yè)已經(jīng)領(lǐng)先于其他行業(yè)，成為最積極的人工智能采用者。?2024Zscaler，Inc.Allrightsreserved.教育1.7%能源，石油和天然氣政府3.3%零售商WhoLesaLe健康5教育1.7%能源，石油和天然氣政府3.3%零售商WhoLesaLe健康5.5%別人制造百分之二十點(diǎn)九金融&保險(xiǎn)百分之十九點(diǎn)九技術(shù)百分之十五點(diǎn)六服務(wù)百分之十六點(diǎn)八圖6推動AI交易制造業(yè)金融保險(xiǎn)技術(shù)服務(wù)零售業(yè)衛(wèi)生保健政府教育800M600M400米可JulSepNovJan圖7交易量最大的行業(yè)中的AI/ML交易趨勢，2023年4月至2024年保護(hù)AI/ML交易按垂直行業(yè)劃分大比例的人工智能交易：37.2%，而全18.5%。這可能在很大程度上是由于該與此同時(shí)，制造業(yè)阻止了15.7%的人工智能交易，盡管它在推動整體人工智能交易方面發(fā)揮了巨大作用。技術(shù)部門是人工智能最早和最熱切的采用者之一，它采取了一種中間道路，阻止了高于平均水平的19.4%的人工智能交易，itworks作品toscale規(guī)模AI采用adopti訝的是，醫(yī)療保健行業(yè)阻止了低于平均水平的17被阻止的人工智能交易百分比垂直金融保險(xiǎn)制造被阻止的人工智能交易百分比垂直金融保險(xiǎn)制造15.65服務(wù)技術(shù)19.36醫(yī)療保健零售批發(fā)10.52別人能源，石油天然氣14.24政府運(yùn)輸7.90教育通信4.2937.1613.1717.238.936.752.921.33建設(shè)基礎(chǔ)材料、化學(xué)品&基礎(chǔ)材料、化學(xué)品&采礦娛樂食品，食品，飲料煙草3.66酒店，餐館休閑3.16宗教組織宗教組織6.06農(nóng)業(yè)0.18所有垂直行業(yè)的平均值18.53所有垂直行業(yè)的平均值18.53?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告08?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告09reserved.醫(yī)療保健和AI作為第六大AI/ML用戶，醫(yī)療保健行業(yè)阻止了所AI醫(yī)療保健從目前Zscaler云中AI/ML流量的5%貢獻(xiàn)來看，人工智能事實(shí)上，人工智能不僅可以幫助節(jié)省時(shí)間，還可以拯救生命。人工智能技術(shù)已經(jīng)在增強(qiáng)診斷和病人護(hù)理。通過以極高的準(zhǔn)確性分析醫(yī)學(xué)圖像，人工智能可01ChatGPT03OpenAI01ChatGPT03OpenAI齊烯酮Pypestream混合管理任務(wù)也可以通過生成式人工智能自動化團(tuán)隊(duì)的負(fù)擔(dān)。這些進(jìn)步強(qiáng)調(diào)了人工智能改變健康提VEED1.Statista，AI在醫(yī)療保健中的未來用例，2023年9月?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告010reserved.金融AI01ChatGPT03OpenAI01ChatGPT03OpenAI07HuggingFace08奧特艾金融機(jī)構(gòu)在AI上的銀行業(yè)占近Zscaler云中四分之一的AI/ML流量。更重要肯錫預(yù)計(jì)，銀行業(yè)的人工智能計(jì)劃可能帶來2000億至3元的年收入，這主要是由于生產(chǎn)力的提高。人工智能確實(shí)為銀雖然人工智能驅(qū)動的聊天機(jī)器人和虛擬助手對金融業(yè)來說并不是什么新鮮事（美國銀行的“Erica”于2018年推出），但生成式人工智能的增強(qiáng)正在將這些客戶服務(wù)工具提升到新的水平，個(gè)性化。預(yù)測建模和數(shù)據(jù)分析等其他人工智能功能有將人工智能集成到金融服務(wù)和產(chǎn)品中也會引發(fā)準(zhǔn)確性的安全和監(jiān)管擔(dān)憂。ThreatLabz報(bào)告的3.McKinsey，CapturingtheFullValueofGenerativeAIinBanking，2023年12月?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告011reserved.政府與AI聊天GPT03OpenAI聊天GPT03OpenAI*至少有100萬筆交易全球政府引導(dǎo)人工智能實(shí)踐和政策政府中出現(xiàn)了兩個(gè)關(guān)鍵的人工智能討論：一個(gè)是關(guān)于實(shí)施人工智能技術(shù)，另一個(gè)是關(guān)于建立治理以安全地管理它們。政府和公共部門實(shí)體采用人工智能的優(yōu)勢是巨大的，特別是在聊天機(jī)器人和虛擬助手可以讓公民更快地訪問公共交通和教育等部門的基本信息和服務(wù)的地方。AI驅(qū)動的數(shù)據(jù)分析可以通過數(shù)據(jù)驅(qū)動的決策過程幫助應(yīng)對社會挑戰(zhàn)，從而更有效地制定政策和分配資源。已經(jīng)取得了顯著進(jìn)展。例如，美國司法部任命了其首任首席人工智能官，確認(rèn)了使用人工智能系統(tǒng)的承諾。ThreatLabz的數(shù)據(jù)表明，政府客戶越來越多地使用ChatG盡管存在這些趨勢，但對人工智能相關(guān)風(fēng)險(xiǎn)和數(shù)據(jù)隱私的主要擔(dān)憂強(qiáng)調(diào)了聯(lián)邦組織對監(jiān)管框架和治理的持續(xù)需求。總的來說，過去一年，全球政策制定者在人工智能監(jiān)管方面采取了重大措施，這表明他們正在共同努力推動負(fù)責(zé)任的人工智能/機(jī)器學(xué)習(xí)技術(shù)的開發(fā)和部署?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告012reserved.制造業(yè)和AI作為最大的AI制造業(yè)和AI作為最大的AI/ML垂直行業(yè)，制造業(yè)垂直行業(yè)阻止了所有AI/ML應(yīng)用的15.65%。不出所料，我們研究中AI/ML流量最高的流入量（18.2%）來自制造業(yè)客戶。人工智能在制造業(yè)中的應(yīng)用是工業(yè)4.0的基石。第四次工業(yè)革命--以數(shù)字技術(shù)和工業(yè)流程融合為標(biāo)志的時(shí)代。01ChatGPT谷歌搜索齊烯酮0301ChatGPT谷歌搜索齊烯酮03OpenAIPypestreamHuggingFaceFotor至于制造業(yè)客戶從AI/ML應(yīng)用程序中阻塞的16%的流量，一些制造商正在謹(jǐn)慎地接近生成AI/ML。這可能是由于對制造企業(yè)數(shù)據(jù)安全性的擔(dān)憂，以及需要選擇性地審查和批準(zhǔn)一組較小的人工智能應(yīng)用程序，同時(shí)阻止風(fēng)險(xiǎn)更大的應(yīng)用程序?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告013reserved.教育與AI在整體AI/ML使用中排名第11位，教育垂直AI/ML流量的2.98%04深謀遠(yuǎn)慮教育將教育將AI作為學(xué)習(xí)工具雖然教育部門不是人工智能流量的主要生產(chǎn)者，但它阻止了相對較低比例（2.98%）的人工智能和機(jī)器學(xué)習(xí)交易：大約900萬，而總交易量超過3.09億。很明顯，盡管流行的說法是教育機(jī)構(gòu)通常會在學(xué)生中阻止ChatGPT等人工智能應(yīng)用程序，但該行業(yè)大多將人工智能應(yīng)用程序作為學(xué)習(xí)工具。值得注意的是，教育領(lǐng)域最受歡迎的五款A(yù)I應(yīng)用（ChatGPT、Character.AI、Pixlr和OpenAI）都明確或經(jīng)常專注于寫作和圖像生成的創(chuàng)意輸出，而Forethought則可以用作教學(xué)聊天機(jī)器人的輔助工具。為這種說法增加細(xì)微差別，也可能是許多教育工作等工具作為課堂政策的問題，但教育機(jī)構(gòu)在實(shí)施D解決方案方面落后于其他部門，這些解決方案允許迪派迪派OpenAI在教育領(lǐng)域，隨著該行業(yè)繼續(xù)采用人工智能工在教育領(lǐng)域，隨著該行業(yè)繼續(xù)采用人工智能工具，特別是圍繞對學(xué)生個(gè)人數(shù)據(jù)的十有八九，?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告014reserved.ChatGPT使用趨勢ChatGPT的采用率飆升。自2023年4月以來，全球ChatGPT交易增長超過634%，明顯快于人工智能交易595%的總體增長率。從這些調(diào)查結(jié)果以及業(yè)界對OpenAI作為首要人工智能品牌的廣泛看法來看，ChatGPT顯然是最受歡迎的生成式人工智能工具。OpenAI產(chǎn)品的采用率很可能會繼續(xù)增長，部分原因是預(yù)計(jì)將發(fā)布新的ChatGPT版本和該公司的文本到視頻生成AI產(chǎn)品SoraChatGPT的行業(yè)使用與AI工具的總體采用模式密切相關(guān)。在這種情況下，制造業(yè)是明顯的行業(yè)領(lǐng)導(dǎo)者，其次是金融和保險(xiǎn)。在這里，技術(shù)部門略微落后于第四位，ChatGPT交易占比為10.7%，而第三位為14.6%。這可能在一定程度上是由于科技行業(yè)作為快速創(chuàng)新者的地位，這可能意味著科技公司更愿意接受更廣泛的生成性人工智能工具。通信2.6%娛樂制造21制造21.2%米二點(diǎn)八厘米健康4.3%政府4.3%金融保險(xiǎn)零售批發(fā)金融保險(xiǎn)運(yùn)輸服務(wù)百分之十三點(diǎn)四服務(wù)百分之十三點(diǎn)四技術(shù)10.7%圖92023年4月至2024年1月的ChatGPT交易圖10推動ChatGPT交易?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告015reserved.各國AI使用情況人工智能的采用趨勢在全球范圍內(nèi)存在明顯差異，受到監(jiān)管要求、技術(shù)基礎(chǔ)設(shè)施、文素的影響。以下是在Zscaler云中推動AI正如預(yù)期的那樣，美國在人工智能交易中占據(jù)了最大份額。與此同時(shí)，印度已成為人工智能流量的主要來源，這得益于該國對技術(shù)創(chuàng)新的加速承諾。印度政府也提供了一個(gè)有用的例子，說明人工智能監(jiān)管的發(fā)展速度有多快，其最近的努力是制定-然后放棄-一項(xiàng)計(jì)劃，該計(jì)劃要求在推出人工智能模型之前獲得監(jiān)管部門的批準(zhǔn)。菲律賓新加坡馬來西亞美國40.9%百分之一點(diǎn)九加拿大40.9%德國百分之三點(diǎn)四法國澳大利亞16.0%16.0%聯(lián)合王國圖11推動人工智能交易4.TechCrunch，印度改變AI立場，要求政府批準(zhǔn)模型發(fā)布，2024年3月地區(qū)細(xì)分：EMEA仔細(xì)看看歐洲，中東和非洲（EMEA）地區(qū)，各國之間的AI和ML交易率存在明顯差異。雖然英國僅占全球人工智能交易的5.5%，但它占EMEA地區(qū)人工智能流量的20%以上，使其成為明顯的領(lǐng)導(dǎo)者。雖然法國和德國在EMEA地區(qū)的人工智能流量中排名第二和第三，但阿拉伯聯(lián)合酋長國的快速技術(shù)創(chuàng)新鞏固了該國作為該地區(qū)頂級人工智能采用者的地位。交易區(qū)域百分比聯(lián)合王國德國阿拉伯聯(lián)合酋長國荷蘭西班牙?2024Zscaler，Inc.Allrightsreserved.交易（百萬）敘利亞土耳其1.3%波蘭2.6%瑞士百分之三點(diǎn)五聯(lián)合王國百分之二十點(diǎn)四法國交易（百萬）敘利亞土耳其1.3%波蘭2.6%瑞士百分之三點(diǎn)五聯(lián)合王國百分之二十點(diǎn)四法國德國阿聯(lián)酋西班牙荷蘭圖13歐洲、中東和非洲國家（EMEA）各地區(qū)人工智能交易總額的百分比8,0006,0004,0002,0000四月五月六月七月八月九月十月十一月一月圖14EMEA地區(qū)人工智能交易量隨時(shí)間的增長交易（百萬）印度尼西亞泰國1.5%中國2.1%香港PhiLippines4MaLaysia5.4%交易（百萬）印度尼西亞泰國1.5%中國2.1%香港PhiLippines4MaLaysia5.4%新加坡澳大利亞圖16亞太地區(qū)國家在AI交易總額中所占百分比10,0007,5005,0002,5000四月五月六月七月八月九月十月十一月一月圖17亞太地區(qū)人工智能交易量隨時(shí)間的?2024Zscaler，Inc.Allrightsreserved.區(qū)域細(xì)分：APAC深入研究亞太地區(qū)（APACThreatLabz的研究顯示了AI采用的明確和值得注意的趨勢。盡管該地區(qū)代表的國家要少得多，但TheatLabz觀察到亞太地區(qū)的人工智能交易比EMEA多出近13億（135%）。這一增長幾乎是由印度一手推動的，印度產(chǎn)生了亞太地區(qū)近一半的人工智能和機(jī)器學(xué)習(xí)交易。交易區(qū)域百分比新加坡馬來西亞香港?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告018reserved.企業(yè)AI風(fēng)險(xiǎn)和現(xiàn)實(shí)威脅場景企業(yè)AI風(fēng)險(xiǎn)生成式AI工具可能會導(dǎo)致敏感和機(jī)密數(shù)據(jù)的無意泄漏。安全項(xiàng)目（OWASP）十大人工智能應(yīng)用。.過去一年中，出現(xiàn)了許多意外數(shù)據(jù)泄露或人工智能訓(xùn)練數(shù)據(jù)泄露的情況，包括來自云配置錯(cuò)誤，來自一些最大的人工智能工具提供商-其中一些暴露了TB客戶的私人數(shù)據(jù)。在一個(gè)例子中，研究人員通過利用一個(gè)名為提示注入的漏洞（使用旨在操縱AI的AI查詢來泄露訓(xùn)練數(shù)據(jù)），從GitHub的CopilotAI中暴露了數(shù)千個(gè)GitHub秘密，這也是OWASP十大風(fēng)險(xiǎn)之一。5.OWASP，OWASP十大LLM應(yīng)用程序，版本1.1，2023年10月6.黑客新聞，三個(gè)提示，以保護(hù)您的秘密從AI事故，2024年27.TheHackerNews，2024年3月5日，超過225，000個(gè)受損的ChatGPT憑據(jù)在暗網(wǎng)市場上出售一個(gè)相關(guān)的風(fēng)險(xiǎn)是模型反演的威脅，攻擊者使用LLM的輸出與關(guān)于其模型結(jié)構(gòu)的知識來推斷并最終提取其訓(xùn)練數(shù)據(jù)。當(dāng)然，AI公司本身也有被攻破的風(fēng)險(xiǎn)。曾經(jīng)有過人工智能公司員工的證書直接導(dǎo)致數(shù)據(jù)泄露的案例。與此同時(shí)，攻擊者有可能發(fā)動二次惡意軟件攻擊，使用Redline程序竊取員工登錄信息并獲取其AI帳戶的訪問權(quán)限。事實(shí)上，最近有消息披露，大約有225，000個(gè)ChatGPT用戶憑據(jù)在暗網(wǎng)上出售，這是由于這種類型的攻擊。隱私和數(shù)據(jù)安全仍然工智能工具提供商的首要任務(wù)，但這些風(fēng)險(xiǎn)仍然存在，并且同樣延伸到較小的人最后，還有來自企業(yè)AI用戶自身的風(fēng)險(xiǎn)。用產(chǎn)權(quán)或非公開信息暴露到用于訓(xùn)練LLM的數(shù)據(jù)集中。例如，開發(fā)人員請求優(yōu)化源代碼），接入控制和細(xì)分風(fēng)險(xiǎn)訪問控制，例如基于角色的訪問控制（RBAC），可能會被錯(cuò)誤配置或可能會導(dǎo)致這樣的情況，例如，AI聊天機(jī)器人為CEO生成與任何其他企業(yè)用當(dāng)聊天機(jī)器人根據(jù)用戶輸入的歷史數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，有關(guān)高管使用AI聊天機(jī)器人發(fā)送的查詢的信息。在這里，企業(yè)要注意適當(dāng)配置AI應(yīng)用訪問?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告019reserved.所有人工智能應(yīng)用程序都是不平等的。條款和條件可能因AI/ML應(yīng)業(yè)必須考慮他們的查詢是否會用于進(jìn)一步訓(xùn)練語言第三方。此外，這些應(yīng)用程序的安全實(shí)踐以及其背后公司的整體安最后，用于訓(xùn)練人工智能應(yīng)用程序的數(shù)據(jù)的質(zhì)量和規(guī)模必須始終受到審查，因?yàn)樗c人工智能輸出的價(jià)值和可信度直接相關(guān)。雖然像OpenAI這樣的大型AI供應(yīng)商在公共互聯(lián)網(wǎng)等廣泛可用的資源上訓(xùn)練他們的工具，但在專業(yè)或垂直化行業(yè)（包括網(wǎng)絡(luò)安全）中擁有AI產(chǎn)品的供應(yīng)商必須在高度特定的，大規(guī)模的，通常是私有的數(shù)據(jù)集上訓(xùn)練他們的AI模型，以驅(qū)動可靠的AI結(jié)果。因此，企業(yè)在評估任何人工智能解決方案時(shí)都需要仔細(xì)考慮數(shù)據(jù)質(zhì)量問題，因?yàn)椤袄斎搿贝_實(shí)會轉(zhuǎn)化為“垃圾輸出”。更廣泛地說，企業(yè)應(yīng)該意識到數(shù)據(jù)中毒的風(fēng)險(xiǎn)--當(dāng)數(shù)據(jù)中毒時(shí)，影響人工智能輸出的可靠性或可信度。無論使用哪種人工智能工具，企業(yè)都應(yīng)該建立強(qiáng)大的安全基礎(chǔ)，為此類可能性做好準(zhǔn)備，同時(shí)不斷評估人工智能訓(xùn)練數(shù)據(jù)和GenAI輸出是否符合其質(zhì)量標(biāo)準(zhǔn)。8.SC雜志，對人工智能數(shù)據(jù)質(zhì)量的擔(dān)憂為這句話賦予了新的含義：“垃圾進(jìn)，垃圾出”，2024年2月企業(yè)正處于一個(gè)十字路口：讓人工智能應(yīng)用程序改變生產(chǎn)力，還是阻止它們保護(hù)具以及這些工具的企業(yè)流量。就像“影子IT”一樣，“影子AI”工02我們可以為AI應(yīng)用程序創(chuàng)建粒度訪問控制嗎？企業(yè)應(yīng)該能夠在部門，團(tuán)隊(duì)和用戶級別為指定的，批準(zhǔn)的AI工具啟用粒度訪問和細(xì)分。相反，企業(yè)應(yīng)該使用URL過濾來阻止訪問不安全的不需要的AI應(yīng)用程序。03特定的AI應(yīng)用程序可以實(shí)現(xiàn)哪些數(shù)據(jù)安全措施？有成千上萬的AI日常使用的工具。企業(yè)應(yīng)該了解各自提供的數(shù)據(jù)安全措施。在某種程度上，某些人工智能工具可以在企業(yè)環(huán)境中實(shí)現(xiàn)私有的、安全的數(shù)據(jù)服務(wù)器，這是一種最佳實(shí)踐，而其他工具將保留所有用戶數(shù)據(jù)，使用輸入數(shù)據(jù)進(jìn)一步訓(xùn)練LLM，甚至將用戶數(shù)據(jù)出售給第三方。04是否啟用DLP以保護(hù)關(guān)鍵數(shù)據(jù)不被泄露？務(wù)、法律、客戶和個(gè)人數(shù)據(jù)）離開企業(yè)，甚至進(jìn)入人工智能聊天機(jī)器人，特別05我們是否有適當(dāng)?shù)娜斯ぶ悄芴崾竞筒樵冇涗?？最后，企業(yè)應(yīng)該收集詳細(xì)的日志，以了解其團(tuán)隊(duì)如何使用AI工具-包括ChatGPT等工具中使用的提示和數(shù)據(jù)。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告020reserved.AI驅(qū)動的威脅場景企業(yè)面臨著持續(xù)不斷的網(wǎng)絡(luò)威脅，今天，這包括人工智能驅(qū)動的攻擊。人工基本上是無限的：攻擊者正在使用人工智能來生成復(fù)雜的網(wǎng)絡(luò)釣魚和社會工程活動的惡意軟件和勒索軟件，識別和利用企業(yè)攻擊面中的薄弱入口點(diǎn)，并整體提高攻擊多樣性。這使企業(yè)和安全領(lǐng)導(dǎo)者處于雙重困境：他們必須熟練地駕馭快速發(fā)展的人獲得其革命性的潛力，但他們還必須面對前所未有的挑戰(zhàn)，即防御和減輕人工智人工智能模仿：深度偽造，錯(cuò)誤信息等等人工智能生成的視頻、實(shí)時(shí)化身和語音模擬的時(shí)代已經(jīng)到來，這些都與現(xiàn)實(shí)幾2023年，Zscaler成功挫敗了一個(gè)AI釣魚和釣魚場景，其中威脅行為者模仿Zscaler首席聲音JayChaudhry在WhatsApp消息中試圖欺騙員工購買禮品卡并泄露更多信息。ThreatLabz隨后將其確定為針對其他科技公司的廣泛活動的雖然這些攻擊通?？梢酝ㄟ^簡單的方法阻止，例如通過單獨(dú)的效性，但它們可以很有說服力在一個(gè)引人注目的例子中，攻擊者能深度偽造，說服一家香港跨國公司的員工將相當(dāng)于2500萬美元的資金匯到一個(gè)外這名員工懷疑網(wǎng)絡(luò)釣魚，但在參加了包括公司首席財(cái)務(wù)官、其他員工和外部人士會議后，他們的恐懼得到了平息。這次電話會議的與會者都是AI威脅將以多種形式出現(xiàn)。隨著2023年vishing（語音vishing）的顯著趨勢，一個(gè)關(guān)鍵的趨勢將是使用人工智能進(jìn)行身份驅(qū)動的社會工程攻擊，以尋求管理用戶憑據(jù)。最近由BlackCat/ALPHV勒索軟件的附屬組織ScatteredSpider發(fā)起的勒索軟件攻擊顯示了語音通信在目標(biāo)環(huán)境中獲得立足點(diǎn)以隨后部署進(jìn)一步勒索軟件攻擊的有效性。人工智能生成的攻擊將在檢測和防御這些攻擊方面帶來更大的挑戰(zhàn)。企業(yè)必須在2024年實(shí)現(xiàn)安全，預(yù)計(jì)員工將成為AIdeepfake和網(wǎng)絡(luò)釣魚活動網(wǎng)絡(luò)安全難題的重要組成部分，使立即報(bào)告任何可疑活動成為常態(tài)。作為這場企業(yè)還應(yīng)該評估快速發(fā)展的人工智能網(wǎng)絡(luò)防御系統(tǒng)，這些系統(tǒng)可以將人工智能生注意：出于演示目的，此示例在顯示最終呈現(xiàn)的網(wǎng)絡(luò)釣魚頁面之前，顯示了略微縮短的提示，并包含一個(gè)查詢的ChatGPT代碼響應(yīng)。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告021reserved.人工智能生成的網(wǎng)絡(luò)釣魚活動以類似的方式，威脅行為者正在使用生成式人工智能以更快的速度工程攻擊。在最簡單的層面上，像ChatGPT這樣的人工智能聊天機(jī)器人允許網(wǎng)絡(luò)犯罪分子立即以電子郵件，具有說服力的語言可以模仿任何說話者，無論攻擊者的母語是什么。也就是說，典型的網(wǎng)絡(luò)釣魚電子郵件（例如，不正確的語法、笨拙的句法或不合時(shí)宜的語言）將從查詢到犯罪：使用ChatGPT創(chuàng)建釣魚登錄不僅如此：LLM還使網(wǎng)絡(luò)犯罪分子更容易進(jìn)行復(fù)雜的網(wǎng)絡(luò)釣魚攻擊的多個(gè)階段，即使他們的編幾個(gè)提示中，使用像ChatGPT這樣的生成式人工智能聊天機(jī)器人，創(chuàng)建模仿流行的企業(yè)應(yīng)用程序來竊取員工登錄憑據(jù)。以下來自ThreatLabz的示例展示了只需幾個(gè)對話提用戶提示：創(chuàng)建HTML登錄頁面ChatGPT：當(dāng)然，這是HTML登錄頁面的基本示例：這是這是第一個(gè)結(jié)果：圖18使用ChatGPT代碼響應(yīng)接下來，ThreatLabz提供了一系列簡短的提示，以在呈現(xiàn)最終的Micro絡(luò)釣魚登錄頁面之前改進(jìn)頁面。這些包括要求ChatGPMicrosoft登錄，調(diào)整徽標(biāo)大小，以及在提交最終查詢以生成最終代碼輸出之用戶提示：添加與Microsoft登錄頁聊天GPT：在7個(gè)問題中，最終結(jié)果是：圖19使用ChatGPT代碼響應(yīng)的?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告022reserved.黑暗聊天機(jī)器人：在黑暗網(wǎng)絡(luò)像ChatGPT這樣流行的人工智能聊天生成式人工智能的限制較少的版本，即所謂的“黑暗聊天機(jī)器和FraudGPT在內(nèi)的最受歡迎的黑暗聊天機(jī)器人的銷售，已經(jīng)在暗網(wǎng)上擴(kuò)散了雖然這些工具中有許多被宣傳為安全研究人員的輔助工具，它們主要被威脅行為者用于生成惡意代為了揭示獲取這些工具的容易程度，ThreatLabz深入研究了暗網(wǎng)列表。威脅Labz何恰當(dāng)?shù)乩蒙墒紸I聊天機(jī)器人使他們的購買變得出奇簡單：例如，在WormGPT購用戶被提示通過向比特幣錢包發(fā)送付款來購買試用版。請注意，創(chuàng)建者特別指出，理論上，然而，通過一次下載，任何人都可以訪問一個(gè)功能齊全的生成AI代碼，包括惡意軟件和勒索軟件，沒有安全護(hù)欄。雖然研究人員已經(jīng)表明，像ChatGPT這樣的流行人工智能工具可以越獄，對于惡意的行為，他們的防御能力不斷增強(qiáng)。因此，像WormGPT和FraudGPT這樣的工具只會繼續(xù)增長，以及如何在暗網(wǎng)上的威脅行為者社區(qū)中有效創(chuàng)建和圖20黑暗聊天機(jī)器人WormGPT?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告023reserved.整個(gè)攻擊鏈人工智能正在幫助威脅行為者和國家支持的對手在攻擊鏈的多個(gè)階段更輕松、更復(fù)雜地發(fā)起勒索軟件攻擊。出現(xiàn)之前在發(fā)動攻擊時(shí)，威脅行為者必須花費(fèi)相當(dāng)企業(yè)的攻擊面以及服務(wù)和應(yīng)用程序中面向互聯(lián)網(wǎng)的漏洞現(xiàn)在，使用生成式人工智能，這些信息可以立即通過提示進(jìn)行查詢，例如：“創(chuàng)建一個(gè)表格，顯示該組織中所有防火墻和VPN的已知漏洞。接下來，攻擊者可以使用LLM為目標(biāo)環(huán)境生成或優(yōu)化具有自定義有效負(fù)載的漏洞的代碼攻擊。除此之外，生成式人工智能還可用于識別企業(yè)供應(yīng)鏈合作伙伴之間的弱點(diǎn)，同時(shí)突出顯示連接核心企業(yè)網(wǎng)絡(luò)的最佳路線;即使企業(yè)保持強(qiáng)有力的安全態(tài)勢，下游漏洞往往也式人工智能，這將形成一個(gè)迭代反饋循環(huán)，以進(jìn)行改進(jìn)，從而導(dǎo)致更復(fù)雜、更下圖說明了攻擊者可以在整個(gè)勒索軟件攻擊鏈中利用生成式AI的一些關(guān)鍵方法-從自動偵察和編碼利用特定漏洞，生成多態(tài)惡意軟件和勒索軟件。通過自動化攻AI驅(qū)動的勒索軟件攻擊AI驅(qū)動的勒索軟件攻擊偵察初始危害橫向移動數(shù)據(jù)丟失惡意軟件交付獲得初次入境立足提供惡意軟件安裝惡意軟件竊取憑據(jù)會危及其他系統(tǒng)域控制器竊取數(shù)據(jù)安裝勒索軟件&索款GenAI發(fā)現(xiàn)攻擊面：暴露資產(chǎn)的漏洞VPN）AI生成的多態(tài)惡意軟件AI驅(qū)動的網(wǎng)絡(luò)釣魚和釣魚攻擊提升特權(quán)&識別皇冠珠寶竊取數(shù)據(jù)并部署AI驅(qū)動的滲透模塊（可能是緊急圖21威脅行為者如何在勒索軟件攻擊鏈?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告024reserved.使用ChatGPT為ApacheHTTPSServer和Log4j2創(chuàng)建下面的案例研究將更深入地展示威脅參與者如何在實(shí)踐中利用這些能力。ThreatLabz使用ChatCVE快速生成代碼漏洞：ApacheHTTP服務(wù)器路徑遍歷漏洞（CVE-2021-41773）和A（CVE-2021-44228）。我們的研究人員能夠使用ChatGPT生成工作代碼，僅使用需要低水平編碼知識如“您可以給我一個(gè)CVE-2021-41773的pythonPOC嗎？”。值得注意的是，出于演示目的，ThreatLabz提到了CISA在2021年12月之前添加的已知利用的CVE。一般來說，圖22使用ChatGPT生成CVE-2021-44228的代碼漏洞AI蠕蟲攻擊和“病毒式”AI越獄生成式AI工具甚至為威脅行為者提供了全新的攻擊途徑，包括專注于從生成式AI工具本身提取數(shù)據(jù)的攻擊。例如，研究人員已經(jīng)證明了“人工智能蠕蟲”攻擊的可行性。這些自我傳播的惡意軟件攻擊可以通過人工智能生態(tài)系統(tǒng)（特別是利用流行的生成式人工智能工具的第三方人工智能工具和助手）有機(jī)地傳播，并提取敏感的用戶數(shù)據(jù)。在一個(gè)案例中，研究人員瞄準(zhǔn)了利用GeminiPro、ChatGPT4.0和微軟開發(fā)的LLMLLaMa的生成式人工智能電子郵件助理。研究人員發(fā)現(xiàn)，人工智能蠕蟲攻擊可以向用戶發(fā)送帶有零點(diǎn)擊惡意軟件的垃圾郵件，從而泄露他們的個(gè)人數(shù)據(jù)。雖然此類攻擊目前僅限于研究環(huán)境，但研究人員驗(yàn)證了它們對眾多人工智能模型的有效性，企業(yè)可以預(yù)期此類攻擊最終會在網(wǎng)絡(luò)威脅組織中傳播。在其他地方，研究人員已經(jīng)展示了如何使用對抗性圖像和提示來傳播病毒和越獄多模式LLM（MLLM），這是利用許多LLM代理的GenAI工具。MLLM由于其提高性能言和視覺助理（LLaVA）代理能夠以指數(shù)短時(shí)間內(nèi)越獄多達(dá)100萬個(gè)LLaVA代理。這些威構(gòu)成了重大風(fēng)險(xiǎn)，因此企業(yè)在明確建立強(qiáng)大的最佳實(shí)踐防10.Complicated，UnleashingZero-clickWormsthatTargetGenAIPoweredApplications，2024年3月12日訪問。11.ArXiv，AgentSmith：ASingleImageCanJailbreakOneMillionMultimodalLLMAgentsExponentiallyFast，2024年2月13日。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告025reserved.人工智能和美國選舉人工智能對美國選舉的影響越來越令人擔(dān)憂。例如我們已經(jīng)目睹了人工智能生成的機(jī)器人電話冒充現(xiàn)任總統(tǒng)喬民在早期初選中的投票率。像這樣令人震驚的事件可能只值得注意的是，在這些計(jì)劃中使用人工智能可能不僅限于國內(nèi)參與者;國家支持的實(shí)體也可以利用人工智能制造混亂，破壞對選舉過程的信任。在提交給參議院情報(bào)委員會的報(bào)告中，美國情報(bào)機(jī)構(gòu)警告說，俄羅斯和中國可能會利用人工智能來影響美國選舉。公司正在采取措施幫助減輕這種風(fēng)險(xiǎn);例如，谷歌雙子座已經(jīng)制止用戶詢問任何國家即將舉行的選舉。隨著人工智能的不?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告026reserved.關(guān)注AI監(jiān)管鑒于其巨大的經(jīng)濟(jì)影響潛力，世界各國政府都在積極努力監(jiān)管人工智能鑒于其巨大的經(jīng)濟(jì)影響潛力，世界各國政府都在積極努力監(jiān)管人工智能并促進(jìn)其安全使用。到目前為止，來自69個(gè)國家和歐盟的至少1,600項(xiàng)人工智能政策倡議涵蓋了人工智能法規(guī)，國家戰(zhàn)略，贈款和投資等。從廣義上講，這些努力旨在了解人工智能的影響，刺激創(chuàng)新，并通過政策塑造其負(fù)責(zé)任的發(fā)展。人工智能法規(guī)將繼續(xù)快速發(fā)展和演變，但最近的一些法規(guī)變化可以為尋求了解這些趨勢的企業(yè)提供有用的快照。美國在美國，重點(diǎn)是白宮關(guān)于安全，可靠和值得信賴的發(fā)展的行政命令和人工智能的使用，這迫使最大的人工智能系統(tǒng)的開發(fā)人員向商務(wù)部報(bào)告安全測試結(jié)果，并披露何時(shí)使用大型新計(jì)算資源來訓(xùn)練人工智能模型。它還要求9個(gè)聯(lián)邦機(jī)構(gòu)對關(guān)鍵基礎(chǔ)設(shè)施影響的風(fēng)險(xiǎn)評估。白宮還關(guān)注人工智能創(chuàng)新：作為EO的一部分，美國政府建立試點(diǎn)計(jì)劃，將美國研究人員與計(jì)算能力，數(shù)據(jù)和其他工具聯(lián)系起來，以開發(fā)人工智能。美國政府是否會尋求圍繞人工智能制定更具約束力的法規(guī)，還有待觀察。截至目前，至少有15家領(lǐng)先的人工智能公司和近30家醫(yī)療保健公司簽署了白宮保護(hù)人工智能的自愿承諾。同時(shí)，聯(lián)邦貿(mào)易委員會已禁止使用人工智能冒充政府機(jī)構(gòu)或企業(yè)，并計(jì)劃擴(kuò)大該規(guī)則，以包括對私人和機(jī)構(gòu)的保護(hù)。報(bào)道，白宮也在探索對人工智能生成的內(nèi)容要求水印的可能性。15.Deloitte，TheAIregulationsthataren'tbeentalkedabout，2024年3月12日訪問16.白宮，關(guān)于安全，可靠和值得信賴的人工智能開發(fā)和使用的行政命令，2023年10月17.NAIRR試點(diǎn)，國家人工智能研究資源（NAIRR）試點(diǎn)，2024年3月12日訪問。18.醫(yī)療保健提供商將加入美國管理人工智能風(fēng)險(xiǎn)的計(jì)劃-白宮，2023年12月14日。19.賓夕法尼亞州總檢察長辦公室，F(xiàn)TC禁止使用AI冒充政府機(jī)構(gòu)和企業(yè)，2024年2月26日。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告027reserved.歐洲聯(lián)盟歐洲議會最近批準(zhǔn)了《人工智能法案》，該法案將建立世界上第一個(gè)全面的人工智能立法，為不同類型的人工智能應(yīng)用提供一套嚴(yán)格的法律和指導(dǎo)方針，并根據(jù)許多行業(yè)的風(fēng)險(xiǎn)進(jìn)行分類。這些法律預(yù)計(jì)將于2026年生效，例如，ChatGPT等通用人工智能工具將符合透明度要求，例如內(nèi)容由人工智能生成，培訓(xùn)模型旨在防止生成非法內(nèi)容，以及公司提供用于培訓(xùn)的版權(quán)材料摘要。該法規(guī)將對“高風(fēng)險(xiǎn)”人工智能應(yīng)用程序?qū)嵤└鼑?yán)格的政策，例如使用影響特定領(lǐng)域的人工智能，如關(guān)鍵基礎(chǔ)設(shè)施，就業(yè)，法律事務(wù)，移民等。與此禁止被視為風(fēng)險(xiǎn)不可接受的人工智能應(yīng)用程序，包括那些使用敏感生物識別信操縱人類行為以規(guī)避自由意志，將情感識別用于招聘和教育，或從互聯(lián)網(wǎng)或CC許多國家也在優(yōu)先考慮人工智能投資。例如，新加坡宣布了一項(xiàng)7.4億美元的人工智能投資計(jì)劃，作為該國國家人工智能戰(zhàn)略2.0的一部分。這該計(jì)劃將致力于推動人工智能創(chuàng)新，使人們能夠獲得人工智能所需的先進(jìn)芯片，同時(shí)確保企業(yè)能夠利用新加坡人工智能卓越中心的人工智能革命。20.歐洲議會，《歐盟人工智能法案：第一個(gè)人工智能法規(guī)》，2023年12月21.CNBC，新加坡的人工智能雄心得到了7.4億美元投資計(jì)劃的推動，2024年2月?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告028reserved.AI威脅預(yù)測根據(jù)《世界經(jīng)濟(jì)全球風(fēng)險(xiǎn)報(bào)告》，根據(jù)《世界經(jīng)濟(jì)全球風(fēng)險(xiǎn)報(bào)告》，人工智能產(chǎn)生的錯(cuò)誤信息和網(wǎng)絡(luò)攻擊在2024年全球十大風(fēng)險(xiǎn)中分別占第二和第五位。22隨著人工智能領(lǐng)域的持續(xù)快速發(fā)展，包括在人工智能生成的視頻和圖像領(lǐng)域，這些風(fēng)險(xiǎn)只會增加，我們利用人工智能來減輕這些風(fēng)險(xiǎn)的能力也會增加。展望2024年及以后的時(shí)間，這些是我們即將看到的最重要的人工智能風(fēng)險(xiǎn)和威脅預(yù)測。1民族國家的人工智能困境：推動人工智能威脅，同時(shí)阻止人工智能訪問顯著增長。來自微軟和OpenAI的報(bào)告證實(shí)了這一擔(dān)憂，顯示俄羅斯、中國、持的威脅行為者團(tuán)體積極深入研究并利用ChatGPT功能。這擴(kuò)展到各種用盡管有針對性的干預(yù)已經(jīng)阻止了其中一些攻擊，但企業(yè)應(yīng)該為國家支持的人工智能計(jì)劃的持續(xù)性做好準(zhǔn)備。其范圍包括部署流行的人工智能工具，創(chuàng)建專有的LLM，以及出現(xiàn)不受約束的ChatGPT變體，例如恰當(dāng)命名的FraudGPT或WormGPT。不斷發(fā)展的格局描繪了一幅具有挑戰(zhàn)性的畫面，其中國家支持的參與者繼續(xù)以新穎的方式利用人工智能來創(chuàng)造復(fù)雜的新網(wǎng)絡(luò)威脅。2黑暗聊天機(jī)器人和AI驅(qū)動的攻擊：“AI為壞”的禍害將增長人工智能驅(qū)動的攻擊可能會在全年激增，因?yàn)榘稻W(wǎng)作為這是WormGPT和FraudGPT等網(wǎng)絡(luò)犯罪分子的討論有所增加，他們深入研究非法部署ChatGPT和其他生成AI工模仿使用生成式AI提高效率的開發(fā)人員，威脅行為者使用這些工具來發(fā)現(xiàn)和利威脅參與者組織ScatteredSpider最近使用了Meta的LLaMa2LLM利用MicrosoftPowerS能，允許未經(jīng)授權(quán)下載用戶憑據(jù)。這些進(jìn)展的軌跡表明，網(wǎng)絡(luò)威脅將開始比以往任何時(shí)候都更快地演變，并呈現(xiàn)出新的形式，傳統(tǒng)的網(wǎng)絡(luò)威脅將更難識22.2024年1月10日，世界經(jīng)濟(jì)論壇《23.ZDNet，網(wǎng)絡(luò)犯罪分子正在使?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告029reserved.3用AI對抗AI：安全路線圖和支出將包括AI驅(qū)動的防御企業(yè)將越來越多地采用人工智能技術(shù)來對抗人工智能驅(qū)動的網(wǎng)絡(luò)攻擊，包括專注于使用深度學(xué)習(xí)和人工智能/機(jī)器學(xué)習(xí)模型來檢測隱藏的惡意軟件和勒索軟件。在加密的交通。傳統(tǒng)的檢測方法將繼續(xù)與新的人工智能驅(qū)動的零日攻擊和多態(tài)勒索軟件（可以進(jìn)化其代碼以逃避檢測）作斗爭，因此基于人工智能的指標(biāo)在識別潛在威脅方面至關(guān)重要。人工智能還將在快速識別和阻止令人信服的人工智能生成的網(wǎng)絡(luò)釣魚和其他社會工程攻擊方面發(fā)揮至關(guān)重要的作用。企業(yè)將越來越多地將AI納入其網(wǎng)絡(luò)安全戰(zhàn)略。AI將被視為作為一種重要手段，可以了解網(wǎng)絡(luò)風(fēng)險(xiǎn)，并創(chuàng)建可操作、可量化的行動手冊，以確定安全漏洞的優(yōu)先級并進(jìn)長期以來，信號一直是CISO面臨的最大挑戰(zhàn)，因?yàn)樵跀?shù)十種工具中關(guān)聯(lián)風(fēng)險(xiǎn)和威個(gè)月或更長時(shí)間。因此，在2024年，企業(yè)AI供應(yīng)鏈中的數(shù)據(jù)中毒：垃圾AI數(shù)據(jù)的風(fēng)險(xiǎn)將增長隨著人工智能供應(yīng)鏈攻擊勢頭強(qiáng)勁，數(shù)據(jù)中毒將成為最令人擔(dān)憂的問題。人工智能公司及其培訓(xùn)LLM應(yīng)用程序的OWASP前10名強(qiáng)調(diào)了培訓(xùn)數(shù)據(jù)中毒和供應(yīng)鏈攻擊是重大風(fēng)險(xiǎn)，存在損害AI應(yīng)用程序的安全性，可靠性和性能的風(fēng)險(xiǎn)。與此同時(shí)，人工智能應(yīng)用程序供應(yīng)鏈中的漏洞-包括技術(shù)合作伙伴，第三方數(shù)據(jù)集和人工智能工具插件或API-已經(jīng)成熟，可以利用。依賴人工智能工具的企業(yè)將面臨更嚴(yán)格的審查，因?yàn)樗麄冋J(rèn)為這些工具是安全的結(jié)果。提高警惕，確保訓(xùn)練數(shù)據(jù)集的質(zhì)量、完整性和可擴(kuò)展性至關(guān)重要，特別是在?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告030reserved.5束縛或釋放：企業(yè)將權(quán)衡生產(chǎn)力與安全使用AI工具到目前為止，許多企業(yè)已經(jīng)度過了人工智能工具采用和集成的早期階段，許多人會仔細(xì)考慮他們的人工智能安全政策。即便如此，對于大多數(shù)公司來哪些AI工具，他們將阻止哪些工具，以及他們將如何保護(hù)他隨著人工智能工具的數(shù)量持續(xù)飆升，企業(yè)將需要密切關(guān)注每個(gè)人的安全問題，至少要深入了解員工的人工智能使用情況，并能夠按部門、團(tuán)隊(duì)甚至用戶級別實(shí)現(xiàn)粒度訪問控制。企業(yè)還可能尋求對人工智能應(yīng)用程序本身進(jìn)行更精細(xì)的安全控制，例如在人工智能應(yīng)用程序中實(shí)施數(shù)據(jù)丟失預(yù)防策略-防止敏感數(shù)據(jù)泄露-或防止復(fù)制和粘貼等用戶操作。6人工智能驅(qū)動的欺騙和扭曲：病毒性深度偽造將助長選舉干擾和虛假信息活動6像deepfakes這樣的新興技術(shù)構(gòu)成了重大威脅，包括選舉干擾卷入美國選舉期間的誤導(dǎo)性策略，例如生成冒充候選人的機(jī)器人電話以阻止選民此外，在這些計(jì)劃中使用人工智能可能不僅限于國內(nèi)行為者。國家支持的實(shí)體也可以制造混亂，破壞對選舉過程。在一個(gè)值得注意的案例中，攻擊者利用人工智能生成的deepfakes員工轉(zhuǎn)移2500萬美元，展示了這項(xiàng)技術(shù)的現(xiàn)實(shí)影響。同樣，泰勒·斯威夫特（TaylorSwift）等名人的非法Deepfake圖像在社交媒體上瘋傳，引起人們關(guān)注在內(nèi)容審核措施趕上之前，操縱內(nèi)容的傳播是多么容易。?2024Zscaler，Inc.Allrights2024年危險(xiǎn)品報(bào)告031reserved.案例研究：在企業(yè)為例集成和保護(hù)生成式AI為例集成和保護(hù)生成式AI工具的5個(gè)步驟AI集成和企業(yè)安全策略的最佳實(shí)踐。到目前為止，企業(yè)已經(jīng)有了大量的人工智能工具。但是，隨著人工智增長，采用率繼續(xù)快速增長，企業(yè)可以采用某些最佳實(shí)踐來保護(hù)其數(shù)據(jù)，員工尋求安全采用人工智能應(yīng)用程序的企業(yè)應(yīng)該采取一種可衡量的方法。從廣先屏蔽所有AI應(yīng)用，以消除數(shù)據(jù)的風(fēng)險(xiǎn)然后采取深思熟慮的步驟，采用人工智能應(yīng)用程序，并采取嚴(yán)格的安全控制和訪問控制措施，以保持對企業(yè)為了簡單起見，下面的旅程重點(diǎn)關(guān)注OpenAI的LLM步驟1：阻止所有AI和ML領(lǐng)域和應(yīng)用程序?yàn)榱讼c數(shù)千個(gè)可用AI應(yīng)用程序相關(guān)的已知和未知風(fēng)險(xiǎn)，企業(yè)可以采取在全球企業(yè)級阻止所有AI和ML域和應(yīng)用程序。通過這種方式，他們可以專注于第三第三在企業(yè)/DC環(huán)境中創(chuàng)建私有ChatGPT服務(wù)器實(shí)例為了確保對數(shù)據(jù)的完全控制，組織應(yīng)該在完全托管在內(nèi)部的專用安全AzureAI為了確保對數(shù)據(jù)的完全控制，組織應(yīng)該在完全托管在內(nèi)部的專用安全?2024Zscaler，Inc.Allrightsreserved.或客戶數(shù)據(jù)，也不會使用企業(yè)用戶查詢來訓(xùn)練ChatGPT。這確保該組織保留對其訓(xùn)練數(shù)據(jù)的控制權(quán)，或客戶數(shù)據(jù)，也不會使用企業(yè)用戶查詢來訓(xùn)練ChatGPT。這確保該組織保留對其訓(xùn)練數(shù)據(jù)的控制權(quán)，允許為企業(yè)用戶提供高度相關(guān)、準(zhǔn)確的答案，同時(shí)最大限度地降低一般來說，企業(yè)在將人工智能工具集成到業(yè)務(wù)中時(shí)可以采用一SSO）之后通過強(qiáng)大的多因素身份驗(yàn)證（MFA）將SSO）之后接下來，組織應(yīng)該將ChatGPT移到零信任云代理架構(gòu)之后，例如ZscalerZeroTrustExchange，對ChatGPT的訪問實(shí)施零信任安全控制。這可能還包括將ChatGPT移到具有SSO身將ChatGPT放置在像ZeroTrustExchange這樣的云代理之后，將ChatGPT放置在像ZeroTrustExchange這樣的云代理之后，檢查人工智能政策指南步驟5：強(qiáng)制執(zhí)行ZscalerDLP引擎以防止數(shù)據(jù)泄漏最后，組織應(yīng)該為ChatGPT實(shí)例實(shí)施DLP引擎，以防止關(guān)鍵信息的意外泄漏，包括專有最后，組織應(yīng)該為ChatGPT實(shí)例實(shí)施DLP引擎，以防止關(guān)鍵信息的意外泄漏，包括專有據(jù)、個(gè)人數(shù)據(jù)、財(cái)務(wù)和法律數(shù)據(jù)等。這確保了任何高度敏感的數(shù)據(jù)永遠(yuǎn)不會通過這一旅程，企業(yè)用戶可以獲得ChatGPT等生成式AI工具的全部好處，同時(shí)消除采用AI應(yīng)