遏制人工智能的惡意使用(2025)中文_第1頁
遏制人工智能的惡意使用(2025)中文_第2頁
遏制人工智能的惡意使用(2025)中文_第3頁
遏制人工智能的惡意使用(2025)中文_第4頁
遏制人工智能的惡意使用(2025)中文_第5頁
已閱讀5頁,還剩61頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

二〇二五年六月遏制人工智能的惡意使用:2025年6月openAlDisruptingmalicioususesofAI:June20252ExecutiveSummary3Casestudies4DeceptiveEmploymentScheme:ITWorkers4CovertIO:Operation“SneerReview”7CovertIO:Operation“HighFive”14SocialengineeringmeetsIO:Operation“VAGueFocus”17CovertIO:Operation“HelgolandBite”22CyberOperation:“ScopeCreep”25CyberOperations:VixenandKeyholePanda29CovertIO:Operation“UncleSpam”32RecidivistInfluenceActivity:STORM-203535Scam:Operation“WrongNumber”41Authors46破壞人工智能的惡意使用:2025年6月2破壞人工智能的惡意使用:2025年6月3執(zhí)行摘要我們的使命是確保人工通用智能造福全人類。我們通過部署我們的創(chuàng)新來構(gòu)建人工智能工具來幫助人們解決真正困難的問題,從而推進(jìn)這一使命正如我們?cè)谔峤唤o美國科學(xué)技術(shù)政策辦公室的報(bào)告中所指出的那樣我們認(rèn)為,確保人工智能使最多的人受益意味著通過旨在保護(hù)人們免受實(shí)際傷害的常識(shí)性規(guī)則來實(shí)現(xiàn)人工智能,并建立民主的人工智能。這包括防止獨(dú)裁政權(quán)使用人工智能工具來積聚權(quán)力和控制其公民,或威脅或脅迫其他國家;以及諸如秘密影響行動(dòng)(IO),剝削兒童,詐騙,垃圾郵件和惡意網(wǎng)絡(luò)活動(dòng)等活動(dòng)它還包括使用AI來抵御此類濫用行為。通過使用人工智能作為我們的專家調(diào)查團(tuán)隊(duì)的力量倍增器,在我們上次報(bào)告以來的三個(gè)月里,我們已經(jīng)能夠檢測(cè),破壞和揭露濫用活動(dòng),包括社會(huì)工程,網(wǎng)絡(luò)間諜,欺騙性就業(yè)計(jì)劃,秘密影響行動(dòng)和詐騙。這些行動(dòng)起源于世界許多地方,以許多不同的方式行事,專注于許多不同的目標(biāo)。報(bào)告中的10起案件中,有但我們也破壞了來自許多其他國家的濫用行為:這份報(bào)告包括柬埔寨可能的任務(wù)騙局的案例研究,顯然來自菲律賓的垃圾評(píng)論,可能與俄羅斯和伊朗有關(guān)的隱蔽影響企圖,以及欺騙性的就業(yè)計(jì)劃。人工智能調(diào)查是一門不斷發(fā)展的學(xué)科。我們中斷的每一次操作都讓我們更好地了解威脅行為者如何試圖濫用我們的模型,并使我們能夠完善我們的防御。我們將繼續(xù)分享我們的發(fā)現(xiàn),以實(shí)現(xiàn)更強(qiáng)大的防御,互聯(lián)網(wǎng)但AI只是整個(gè)生態(tài)系統(tǒng)的一部分,OpenAI只是整個(gè)生態(tài)系統(tǒng)的一部分。破壞人工智能的惡意使用:2025年6月4AI的世界我們特別歡迎Google和Anthropic的同行最近發(fā)布的威脅報(bào)告,這些報(bào)告更多地描繪了人工智能威脅場(chǎng)景。案例研究虛假就業(yè)計(jì)劃:資訊科技工作者威脅行為者使用人工智能和其他技術(shù),試圖發(fā)展和擴(kuò)大他們的欺騙性招聘嘗試。演員我們發(fā)現(xiàn)并禁止了與多個(gè)疑似欺騙性招聘活動(dòng)相關(guān)的ChatGPT賬戶。這些威脅行為者使用OpenAI的模型來開發(fā)材料,以支持可能是欺詐性的IT、軟件工程和其他遠(yuǎn)程工作。雖然我們無法確定威脅行為者的位置或國籍,但他們的行為與公開活動(dòng)一致這是因?yàn)榕c朝鮮(DPRK)有關(guān)的IT工人計(jì)劃。與最近這些運(yùn)動(dòng)有聯(lián)系的一些行為者與朝鮮有關(guān)的潛在威脅行為者執(zhí)行應(yīng)用程序任務(wù)和操作硬件,包括在美國境內(nèi)。破壞人工智能的惡意使用:2025年6月5行為與我們?cè)?月份中斷和撰寫的威脅行為者類似,最新的活動(dòng)試圖在就業(yè)過程的每一步使用人工智能此前,我們觀察到這些參與者使用人工智能手動(dòng)生成可信的,通常是美國-基于虛構(gòu)人物角色在著名公司的工作經(jīng)歷這一次,他們?cè)噲D在一定程度上自動(dòng)生成簡歷,一些指標(biāo)表明非洲的運(yùn)營商冒充求職者,此外還在北美招募人員代表他們運(yùn)行筆記本電腦。我們發(fā)現(xiàn)了兩種不同的活動(dòng),可能代表兩種類型的運(yùn)營商:核心運(yùn)營商和承包商。核心運(yùn)營商試圖根據(jù)特定的職位描述、技能模板和人物檔案自動(dòng)創(chuàng)建簡歷,并尋求有關(guān)構(gòu)建工具以管理和跟蹤職位申請(qǐng)的信息。他們還使用我們的模型生成類似于招聘廣告的內(nèi)容,旨在招聘世界各地的承包商。核心運(yùn)營商使用ChatGPT作為研究工具來幫助通知遠(yuǎn)程工作設(shè)置。他們還讓我們的模型生成關(guān)于在美國招募真人來運(yùn)送公司筆記本電腦的文本,然后核心可以遠(yuǎn)程訪問這些文本威脅者或其承包商。威脅參與者使用Tailscale對(duì)等VPN、OBSStudio、vdo.ninja實(shí)時(shí)饋送注入和HDMI捕獲循環(huán)等工具進(jìn)行研究,作為其操作的一部分。這些工具有可能被用來規(guī)避公司的安全措施,如果成功的話,它們將允許某人保持持久的、未被發(fā)現(xiàn)的遠(yuǎn)程存在,并試圖繞過一些依賴于實(shí)時(shí)視頻會(huì)議的身份驗(yàn)證過程。與此同時(shí),可能的承包商操作員使用ChatGPT來幫助完成工作申請(qǐng)任務(wù)。他們還用它來生成類似于向核心操作員詢問付款和申請(qǐng)遠(yuǎn)程工作的人物角色的消息的內(nèi)容。破壞人工智能的惡意使用:2025年6月6完井我們確定這些威脅行為者試圖使用我們的模型進(jìn)行欺騙性操作。具體來說,他們使用詳細(xì)的提示、說明和自動(dòng)化循環(huán)來大規(guī)模地生成量身定制的、可信的簡歷下表總結(jié)了這些觀察到的戰(zhàn)術(shù)、技術(shù)和程序(TTP)活動(dòng)LLMATTCKFrameworkCategory自動(dòng)化系統(tǒng)化制造符合各種技術(shù)職位描述、人物角色和行業(yè)規(guī)范的詳細(xì)簡歷。威脅行為者自動(dòng)生成一致的工作歷史,教育背景和通過循環(huán)腳本引用。LLMSupportedSocialEngineering社會(huì)工程威脅行為者利用該模型回答與就業(yè)相關(guān)的可能的應(yīng)用程序問題,編碼任務(wù),基于特定上傳簡歷的實(shí)時(shí)面試問題LLMSupportedSocialEngineering社會(huì)工程威脅行為者尋求指導(dǎo),以遠(yuǎn)程配置公司發(fā)行的筆記本電腦,使其看起來像是位于國內(nèi),包括關(guān)于地理位置屏蔽的建議和端點(diǎn)安全規(guī)避方法。LLM增強(qiáng)的異常檢測(cè)規(guī)避LLM輔助編碼的工具,可以自動(dòng)移動(dòng)鼠標(biāo),或者保持電腦遠(yuǎn)程喚醒,可能有助于遠(yuǎn)程LLMAidedDevelopment破壞人工智能的惡意使用:2025年6月7影響我們無法獨(dú)立評(píng)估這些行動(dòng)的成功評(píng)估其影響需要多個(gè)利益相關(guān)者的投入。雖然威脅行為者可能會(huì)將AI構(gòu)建到他們流程的每一步中以提高效率,但這也增加了他們的曝光率。通過為我們提供跨工作流程的見解,他們使我們能夠與相關(guān)行業(yè)同行和當(dāng)局就其活動(dòng)的每個(gè)階段分享有關(guān)這些活動(dòng)的見解,提高我們檢測(cè),預(yù)防和應(yīng)對(duì)此類威脅的集體能力,秘密信息作戰(zhàn):“冷笑審查”行動(dòng)可能來自中國的活動(dòng)產(chǎn)生社交媒體內(nèi)容和內(nèi)部評(píng)論演員我們禁止了ChatGPT賬戶,我們發(fā)現(xiàn)這些賬戶使用我們的模型批量生成與秘密影響行動(dòng)活動(dòng)一致的社交媒體帖子。在我們的調(diào)查過程中,我們還觀察到這些賬戶起草內(nèi)部績效評(píng)估。這些賬戶主要以中文發(fā)布提示,并關(guān)注與中國相關(guān)的政治和地緣政治話題。一名用戶在提示中表示,他們?yōu)橹袊斯ぷ魅欢?,我們沒有獨(dú)立的證據(jù)來證實(shí)這一說法。破壞人工智能的惡意使用:2025年6月8行為我們禁止的賬戶主要從事兩項(xiàng)工作。最多產(chǎn)的包括用英語和中文在社交媒體上發(fā)表簡短評(píng)論,其中一些是烏爾都語。我們發(fā)現(xiàn)這些評(píng)論中有許多是在TikTok和X上發(fā)布的,還有一些其他內(nèi)容出現(xiàn)在Reddit,F(xiàn)acebook和各種網(wǎng)站上。一個(gè)典型的模式涉及從一個(gè)“主”帳戶發(fā)布初始評(píng)論-通常顯然是專門為此創(chuàng)建隨后是其他帳戶的一系列回復(fù)評(píng)論這種行為似乎是為了制造一種有機(jī)參與的假象。TikTok上一篇:關(guān)閉#USAID只是#開始!與這項(xiàng)活動(dòng)有關(guān)頻道的名稱視頻字幕的文本,以及這個(gè)截圖中可見的所有評(píng)論,都是由這個(gè)網(wǎng)絡(luò)使用ChatGPT生成的。在TikTok上,評(píng)論賬戶使用各種語言和字母的屏幕名稱-通常與他們發(fā)布的內(nèi)容的語言無關(guān)例如,一個(gè)韓國名字的賬戶用烏爾都語發(fā)表評(píng)論,而泰國和希伯來名字的賬戶用英語發(fā)表評(píng)論,這些評(píng)論都是由這個(gè)網(wǎng)絡(luò)生成在X上,評(píng)論賬戶通常使用卡通形象,在某些情況下,具有與加密貨幣相關(guān)的名稱。破壞人工智能的惡意使用:2025年6月9該網(wǎng)絡(luò)在Facebook上不太活躍它的活動(dòng)主要涉及生成名稱還有兩個(gè)冒充新聞媒體的網(wǎng)頁的頭像這兩個(gè)頁面都沒有任何追隨者或喜歡,每個(gè)頁面都只有少數(shù)幾個(gè)帖子。發(fā)布到Facebook上的一段視頻與該網(wǎng)絡(luò)在TikTok上分享的一段視頻相匹配;然而,與TikTok對(duì)應(yīng)的視頻不同,F(xiàn)acebook版本沒有附帶AI生成的評(píng)論。盡管有超過1,000個(gè)贊,但這段視頻的評(píng)論數(shù)為零,只有21次分享。不真實(shí)的訂婚破壞人工智能的惡意使用:2025年6月10Facebook發(fā)布了一段視頻,我們認(rèn)為這段視頻可能與這次行動(dòng)有關(guān)。該網(wǎng)絡(luò)偶爾會(huì)生成較長的中文或英文帖子我們?cè)赗eddit上發(fā)現(xiàn)了一個(gè)這樣的帖子,在各種網(wǎng)絡(luò)論壇上發(fā)現(xiàn)了另外兩個(gè)第二個(gè)工作流程包括使用ChatGPT生成似乎是內(nèi)部政策或績效評(píng)估文件的內(nèi)容。這些世代的內(nèi)容是在下一節(jié)中討論。完井這個(gè)威脅行為者產(chǎn)生的社交媒體內(nèi)容涵蓋了一系列主題,所有這些都與中國的地緣戰(zhàn)略利益密切相關(guān)。一些內(nèi)容聚焦于臺(tái)灣,特別是針對(duì)“逆轉(zhuǎn)陣線”(“逆轉(zhuǎn)陣線”),這是一款以臺(tái)灣為中心的視頻和棋盤游戲,想象對(duì)中國人的抵抗共產(chǎn)黨該網(wǎng)絡(luò)產(chǎn)生了數(shù)十條關(guān)于該游戲的中文評(píng)論這破壞人工智能的惡意使用:2025年6月11一篇文章發(fā)表在網(wǎng)上論壇上。這是這次行動(dòng)最有特色的活動(dòng):在此基礎(chǔ)上,我們將這次行動(dòng)稱為“冷笑審查”。其他內(nèi)容,英語和烏爾都語,針對(duì)巴基斯坦活動(dòng)家MahrangBaloch,他公開批評(píng)中國在俾路支省的投資。一個(gè)與該網(wǎng)絡(luò)鏈接的TikTok賬戶和Facebook頁面發(fā)布了一段視頻,錯(cuò)誤地指責(zé)俾路支出現(xiàn)在色情片中電影該行動(dòng)隨后產(chǎn)生了數(shù)百條雙語簡短評(píng)論,以模擬廣泛參與??偟膩碚f,我們觀察到產(chǎn)生了220條評(píng)論,而TikTok視頻顯示了199條評(píng)論,這表明大多數(shù)可見的參與是人工智能生成的。對(duì)MahrangBalochTikTok視頻的震驚評(píng)論。最后一組內(nèi)容集中在美國關(guān)閉AgencyforInternational發(fā)展(美國國際開發(fā)署),產(chǎn)生簡短的評(píng)論,贊揚(yáng)或批評(píng)此舉。這些評(píng)論發(fā)布在TikTok和X上。在那些表示支持關(guān)閉的人中,一些人試圖將其與美國政府聯(lián)系起來。關(guān)稅政策-認(rèn)為美國國際開發(fā)署的關(guān)閉是必要的,鑒于這些關(guān)稅造成的經(jīng)濟(jì)困難破壞人工智能的惡意使用:2025年6月12最后,威脅行為者使用我們的模型生成了似乎是內(nèi)部文件的內(nèi)容。其中一篇是一篇詳細(xì)的文章-以官方公安文件的風(fēng)格撰寫-關(guān)于中國公安組織成員應(yīng)該如何培養(yǎng)自律,體現(xiàn)習(xí)近平的法治教導(dǎo)。另一份文件是業(yè)績審查,詳細(xì)說明了為建立和開展業(yè)務(wù)所采取的步驟。它包括時(shí)間表、目標(biāo)平臺(tái)和帳戶維護(hù)任務(wù)-從登錄每個(gè)帳戶并驗(yàn)證其活動(dòng)的基本說明。我們?cè)谡麄€(gè)網(wǎng)絡(luò)中觀察到的社交媒體行為密切反映了這篇評(píng)論中描述的程序。影響當(dāng)我們破壞了它對(duì)我們模型的使用時(shí),這個(gè)操作似乎還處于起步階段Facebook頁面沒有任何追隨者。在Reddit上,一個(gè)帖子獲得了44個(gè)贊成票,而另外兩個(gè)帖子被阻止或從他們發(fā)布的子Reddit中刪除破壞人工智能的惡意使用:2025年6月13X和TikTok上的參與度更為多樣;兩個(gè)TikTok視頻總共獲得了25,000個(gè)贊,而該操作的主賬戶的推文通常每個(gè)都獲得了約10,000次瀏覽。然而,如上所述,這些帖子上的許多評(píng)論都是由該網(wǎng)絡(luò)使用ChatGPT生成的,這表明至少有一些不真實(shí)的參與。所有因此,應(yīng)謹(jǐn)慎對(duì)待聘用數(shù)字。使用IO影響突破量表,將IO分為1(最低)到6(最高),如果X和TikTok上的參與度數(shù)據(jù)是真實(shí)的,我們將其評(píng)估為第3(多個(gè)平臺(tái)上的活動(dòng),多個(gè)平臺(tái)上的參與)的低端如果有更多的證據(jù)支持這一假設(shè),即大多數(shù)喜歡和觀點(diǎn),就像大多數(shù)評(píng)論一樣,都是不真實(shí)的,我們會(huì)向下修正這一假設(shè)。破壞人工智能的惡意使用:2025年6月14秘密行動(dòng):HighFive行動(dòng)菲律賓的ChatGPT賬戶產(chǎn)生了大量關(guān)于國內(nèi)政治的社交媒體評(píng)論演員我們禁止了使用我們的模型生成大量英語和Taglish簡短評(píng)論的ChatGPT帳戶。這些評(píng)論是由TikTok和Facebook上的賬戶發(fā)布的,主要關(guān)注菲律賓的政治和時(shí)事。這項(xiàng)活動(dòng)與菲律賓的一家商業(yè)營銷公司CommSenseInc.有關(guān)。行為該威脅行為者使用ChatGPT支持針對(duì)菲律賓受眾的政治影響力活動(dòng)的幾個(gè)階段。這些階段包括內(nèi)容分析、評(píng)論生成和生成與活動(dòng)相關(guān)的公關(guān)材料。首先,威脅行為者使用ChatGPT分析有關(guān)菲律賓政治事件的社交媒體帖子,特別是涉及總統(tǒng)邦邦·馬科斯的帖子,并建議適當(dāng)?shù)闹黝}來回復(fù)這些帖子。第二,他們要求模型生成大量的短評(píng),通常長達(dá)10個(gè)單詞,與每個(gè)提議的主題一致。第三,威脅行為者使用ChatGPT為其秘密影響行動(dòng)生成公關(guān)宣傳和統(tǒng)計(jì)分析,可能是針對(duì)其假定的當(dāng)前客戶和任何未來客戶。這些宣傳片稱,此次行動(dòng)創(chuàng)建了五個(gè)TikTok頻道,旨在推廣馬科斯總統(tǒng)的議程基于這五個(gè)渠道的使用,該行動(dòng)在許多評(píng)論中使用表情符號(hào),以及其總體積極的基調(diào),我們將其命名為“HighFive”。破壞人工智能的惡意使用:2025年6月15我們的調(diào)查確定了這五個(gè)TikTok頻道,它們似乎從2025年2月中旬開始發(fā)布每個(gè)頻道都發(fā)布了相同的視頻,但標(biāo)題不同該操作生成的評(píng)論隨后被數(shù)十個(gè)TikTok賬戶發(fā)布,以回復(fù)這些視頻。發(fā)布評(píng)論的TikTok賬戶沒有發(fā)布任何視頻,沒有關(guān)注任何其他賬戶,通常有0-10個(gè)粉絲。這種評(píng)論活動(dòng)可能是為了讓TikTok頻道看起來比實(shí)際更受歡迎TikTok一個(gè)頻道上的視頻鏈接到這一操作,顯示了其中三條用戶評(píng)論。這三條評(píng)論都是由這個(gè)威脅行為者使用我們的模型生成的。在Facebook上,這一行動(dòng)產(chǎn)生的評(píng)論被張貼在主流媒體的新聞沒有跡象表明主流媒體與這次行動(dòng)有任何Facebook的評(píng)論是由通常沒有破壞人工智能的惡意使用:2025年6月16他們可能是在2024年12月中旬創(chuàng)建的(根據(jù)他們第一次上傳個(gè)人資料圖片的日期Facebook的評(píng)論由這次行動(dòng)產(chǎn)生,并張貼在回復(fù)ABS-CBN新聞的新聞報(bào)道。在我們禁止初始帳戶后,我們認(rèn)為基于可用的技術(shù)和行為指標(biāo),此威脅行為者多次嘗試返回我們的模型。完井這次行動(dòng)在網(wǎng)上引起和發(fā)表的評(píng)論很簡短,但有黨派之爭。通常,他們贊揚(yáng)馬科斯總統(tǒng)和他的倡議,或批評(píng)副總統(tǒng)杜特爾特。一些評(píng)論稱副總統(tǒng)杜特爾特為“菲奧娜公主”,可能是指《怪物史萊克》系列電影。較長形式的銷售攤位進(jìn)入更詳細(xì)的,并包括一個(gè)攤位,為這項(xiàng)行動(dòng)。少數(shù)完成的項(xiàng)目包括商業(yè)營銷材料。這種隱蔽影響力運(yùn)作和商業(yè)營銷材料的結(jié)合破壞人工智能的惡意使用:2025年6月17影響與我們?nèi)ツ曛袛嗟谋R旺達(dá)業(yè)務(wù)一樣,該網(wǎng)絡(luò)發(fā)布了大量內(nèi)容-至少在TikTok和Facebook上的數(shù)千條評(píng)論中。然而,我們?cè)谡{(diào)查過程中發(fā)現(xiàn)的在線評(píng)論中,沒有一條收到超過個(gè)位數(shù)的回復(fù)、點(diǎn)贊或分享,大多數(shù)評(píng)論根本沒有收到回復(fù)根據(jù)威脅行為者自己的提示,F(xiàn)acebook評(píng)論的目的是淹沒評(píng)論區(qū)這似乎是最好的,部分成功:例如,該操作產(chǎn)生了數(shù)百條評(píng)論的ABS-CBN新聞帖子如上所示,但帖子本身收到了約23,000條評(píng)論。在TikTok上,評(píng)論圍繞著這次行動(dòng)的五個(gè)頻道。這些頻道每個(gè)都有6000至12000名追隨者他們視頻上的觀看人數(shù)變化很大,從超過100萬到不到100人。鑒于大量不真實(shí)的評(píng)論,這些數(shù)字應(yīng)謹(jǐn)慎解釋。使用IO影響突破量表,將IO分為1(最低)到6(最高),我們將其評(píng)估為第2類(多個(gè)平臺(tái)上的活動(dòng),但幾乎沒有證據(jù)真實(shí)的人拿起或廣泛分享他們的內(nèi)容)。社會(huì)工程學(xué)與IO的結(jié)合:“VAGUEFocus”行動(dòng)可能起源于中國的活動(dòng)集中在美國和歐洲的社會(huì)工程演員我們禁止了一個(gè)小的ChatGPT賬戶網(wǎng)絡(luò),這些賬戶使用我們的模型生成社交媒體帖子,分析數(shù)據(jù)集,并翻譯類似嘗試的電子郵件和消息破壞人工智能的惡意使用:2025年6月18從中文到英文。這些賬戶用中文提示我們的模特,并且大多在中國大陸的營業(yè)時(shí)間活躍。他們產(chǎn)生了信息據(jù)稱,這些信息來自三家專注于地緣政治的實(shí)體的員工:“焦點(diǎn)鏡頭新聞”,“歐洲浪潮媒體”和“遠(yuǎn)見咨詢集團(tuán)”(VAG)。此外,ChatGPT賬戶生成的文本與這三個(gè)實(shí)體相關(guān)的X賬戶的帖子和BIOS相匹配。威脅行為者分別將這些實(shí)體描述為情報(bào)收集和分析?;谶@些名字,我們將這次行動(dòng)稱為“VAGueFocus”。行為該行動(dòng)使用ChatGPT支持四個(gè)主要工作流程。首先,這些賬戶主要使用我們的模型來生成社交媒體帖子和在線人物的傳記,似乎是一個(gè)秘密影響行動(dòng)的一部分這些帖子是由冒充記者和地緣政治分析師的X賬戶發(fā)布的此威脅參與者使用ChatGPT生成的推文,并從持續(xù)發(fā)布此參與者內(nèi)容的X帳戶發(fā)布破壞人工智能的惡意使用:2025年6月19第二,這些賬戶整理并翻譯了一位美國參議員就提名一位政府官員而寫的信件。我們無法獨(dú)立確認(rèn)是否發(fā)送了任何信件。第三,這些賬戶詢問了一系列關(guān)于計(jì)算機(jī)網(wǎng)絡(luò)攻擊和利用工具的基本問題,我們的模型只提供了關(guān)于其用途和功能的一般性解釋這些問題缺乏我們?cè)诒緢?bào)告后面描述的網(wǎng)絡(luò)行為者的復(fù)雜性,并表明專業(yè)知識(shí)水平較低。我們的模型的響應(yīng)沒有提供威脅行為者無法從多個(gè)公開的現(xiàn)有資源。最后,用戶經(jīng)常要求將信息從中文翻譯成英文,這些信息似乎旨在與未知的人接觸,并最終從中提取信息。對(duì)話者。此外,這些賬戶還翻譯了尋求批量消息指導(dǎo)的消息,并繞過了加密消息平臺(tái)上的人工驗(yàn)證措施。其中一些信息被張貼在社交媒體上,作為對(duì)記者和研究人員的回復(fù)。其他類似于直接信息,不會(huì)出現(xiàn)在在線搜索中。來自與此次行動(dòng)相關(guān)的X賬戶的冷外聯(lián),公開向X上的研究人員發(fā)送消息。破壞人工智能的惡意使用:2025年6月20完井該網(wǎng)絡(luò)的主要目標(biāo)似乎是冒充歐洲或土耳其的專業(yè)人員收集情報(bào)。在他們制作并在網(wǎng)上發(fā)布的內(nèi)容中,運(yùn)營商將“FocusLensNews”描述為一個(gè)專門從事分析和報(bào)道的獨(dú)立歐洲實(shí)體。然而,運(yùn)營商還聲稱這種品牌實(shí)際上是一個(gè)幌子,以方便情報(bào)收集、分析和傳播。其他ChatGPT代與這一說法一致發(fā)布這一行動(dòng)內(nèi)容并聲稱是FocusLensNews記者的幾個(gè)社交媒體賬戶也列出了與“遠(yuǎn)見咨詢集團(tuán)”(VAG集團(tuán))的根據(jù)他們社交媒體傳記中鏈接的網(wǎng)站,這家公司位于土耳其,專門提供專業(yè)的地緣政治咨詢服務(wù)。該網(wǎng)絡(luò)中ChatGPT賬戶的運(yùn)營商使用我們的模型將指令從中文翻譯成英文,聲稱VAG該組織正在尋求有關(guān)美國的信息經(jīng)濟(jì)和金融政策,并愿意每小時(shí)補(bǔ)償2,000美元的采訪費(fèi)。他們還翻譯支付機(jī)密文件的報(bào)價(jià)我們沒有證據(jù)證實(shí)這些提議是否已分發(fā),或是否收到任何回應(yīng)或產(chǎn)生結(jié)果。VAG集團(tuán)的網(wǎng)站有土耳其語和英語版本,在英文版網(wǎng)站的聯(lián)系我們頁面上,菜單中可以看到中文字符“聯(lián)系我們”這是整個(gè)域名上唯一的中文文本破壞人工智能的惡意使用:2025年6月21VAG集團(tuán)的“聯(lián)系我們”頁面的屏幕截圖,下拉菜單中可以看到中文字符“聯(lián)系我們”。這個(gè)網(wǎng)絡(luò)的一些內(nèi)容類似于更廣泛的影響力運(yùn)作的營銷材料。根據(jù)我們無法獨(dú)立核實(shí)的說使用機(jī)器學(xué)習(xí)、自然語言處理和自動(dòng)數(shù)據(jù)抓取來識(shí)別社交媒體上有影響力的聲音和話題。他們進(jìn)一步聲稱,旨在招募情報(bào)來源的媒體宣傳和社會(huì)工程。我們?cè)诰W(wǎng)上觀察到的活動(dòng)和使用我們的模型類似于這些說法,例如上圖中與此操作相關(guān)的X帳戶與X上的研究人員聯(lián)系,但規(guī)模非常小(我們確定了九個(gè)X帳戶和一個(gè)域)。影響與此活動(dòng)相關(guān)的社交媒體賬戶沒有獲得顯著的真實(shí)性在線訂婚只有FocusLensNewsX賬戶擁有大量的粉絲,有17,000名粉絲;然而,該賬戶于2014年11月以不同的名稱創(chuàng)建,發(fā)布了三天,然后一直沉默到2024年年中。這是典型的已被破壞和重新利用的帳戶從他們使用ChatGPT的情況來看,這些賬戶似乎取得了有限的成功破壞人工智能的惡意使用:2025年6月22從他們的目標(biāo)那里得到回應(yīng),以回應(yīng)他們的信息推廣。我們無法獨(dú)立確定是否有任何信息實(shí)際上易手。使用IO影響突破量表,它將IO分為1(最低)到6(最高),我們將評(píng)估此操作的面向公眾部分為第2類的低端(多個(gè)平臺(tái)上的活動(dòng),但幾乎沒有證據(jù)表明真實(shí)的人拿起或廣泛分享他們的內(nèi)容)。沒有足夠的證據(jù)來評(píng)估該行動(dòng)的影響。社會(huì)工程和其他隱蔽活動(dòng)。秘密信息作戰(zhàn):"咬黑爾戈蘭"行動(dòng)威脅行為者顯然來自俄羅斯,在德國進(jìn)行秘密影響行動(dòng)演員我們禁止了似乎來自俄羅斯的ChatGPT賬戶。他們使用我們的模型生成關(guān)于德國2025年大選的德語內(nèi)容,并批評(píng)美國和北約。該內(nèi)容在Telegram和X上發(fā)布。行為通過平臺(tái)外的調(diào)查,我們能夠確認(rèn)相關(guān)的世代被欺騙性地分布在名為“NachhallvonHelgoland”(Helgoland的回聲,指北海Heligoland灣的一個(gè)島嶼)的電報(bào)頻道這個(gè)頻道,被描述為當(dāng)?shù)亟?jīng)營的獨(dú)立德國新聞,當(dāng)時(shí)有1,755名訂戶。鑒于這個(gè)名字,以及該運(yùn)動(dòng)試圖產(chǎn)生批評(píng)性評(píng)論,我們將這次行動(dòng)稱為“黑爾戈蘭咬”。破壞人工智能的惡意使用:2025年6月23該頻道的內(nèi)容定期在《真理報(bào)》網(wǎng)絡(luò)附屬的一個(gè)域名上逐字轉(zhuǎn)載,相關(guān)的《真理報(bào)》(DE)網(wǎng)站是與莫斯科有聯(lián)系的秘密影響行動(dòng)網(wǎng)絡(luò)“門戶快打”(PortalKombat)中的一個(gè)已知節(jié)點(diǎn),該網(wǎng)絡(luò)此前由法國政府的VIGINUM服務(wù)確定。《真理報(bào)》網(wǎng)站上的文章,來源于NachhallvonHelgoland。標(biāo)題是“Orbán會(huì)見Weidel:'AfD是德國的未來'”該網(wǎng)絡(luò)還通過一個(gè)擁有超過27,000名粉絲的X帳戶分發(fā)由我們的模型生成的內(nèi)容,經(jīng)常發(fā)布支持德國選擇黨(AfD)的AI生成的內(nèi)容,并使用AI生成的個(gè)人資料圖像。破壞人工智能的惡意使用:2025年6月24此威脅參與者使用我們的模型生成的推文。個(gè)人資料圖片也是使用我們的模型生成的。推文寫道:“當(dāng)?shù)聡x擇黨最終就職時(shí),我們迫切需要一個(gè)‘內(nèi)閣部9它應(yīng)該做的第一件事是評(píng)估政治家的合適性,如果必要的話,如果證明他們不合適,就收回費(fèi)用。我認(rèn)為這可以帶來很多錢。“完井除了生成短文和社交媒體評(píng)論外,如上所述,這些賬戶還要求我們的模型提供有關(guān)德國反對(duì)派活動(dòng)家和博客的公開信息,包括聯(lián)系他們的方式。他們還要求將簡短的文本從俄語翻譯成德語,其中的語言使用與消息傳遞或會(huì)話流量一致。其中一些消息似乎討論了協(xié)調(diào)社交媒體內(nèi)容的發(fā)布時(shí)間;其他消息則提到了付款。影響如上所述,在我們調(diào)查時(shí),Telegram頻道有1,755名訂戶,并定期在與Pravda網(wǎng)絡(luò)相關(guān)的域名上逐字轉(zhuǎn)載。X賬戶有超過27,000名粉絲。使用IO影響突破量表,該量表將IO分為1(最低)到6(最高),我們將其評(píng)估為接近第2類的上端(在多個(gè)平臺(tái)上活動(dòng),但幾乎沒有真正的參與或其內(nèi)容被廣泛分享)。破壞人工智能的惡意使用:2025年6月25網(wǎng)絡(luò)行動(dòng):“ScopeCreep”講俄語的威脅行為者利用OpenAI的模型開發(fā)基于Go的多階段惡意軟件活動(dòng)演員我們禁止了一組ChatGPT賬戶,這些賬戶似乎是由一個(gè)說俄語的威脅分子該參與者使用我們的模型來幫助開發(fā)和改進(jìn)Windows惡意軟件,跨多種語言調(diào)試代碼,并設(shè)置其命令和控制基礎(chǔ)設(shè)施。演員展示了Windows的知識(shí)并表現(xiàn)出一些操作安全行為?;谠撔袆?dòng)的重點(diǎn)是使用木馬化的“十字準(zhǔn)線”游戲工具及其隱形戰(zhàn)術(shù),我們將其稱為“ScopeCreep”。行為這一威脅行為者對(duì)行動(dòng)安全采取了一種值得注意的做法他們使用臨時(shí)電子郵件地址注冊(cè)ChatGPT帳戶,將每個(gè)ChatGPT帳戶限制為一次關(guān)于對(duì)其代碼進(jìn)行增量改進(jìn)的然后,他們放棄了原來的帳戶,并創(chuàng)建了一個(gè)新的。該攻擊者通過一個(gè)公開的代碼庫分發(fā)ScopeCreep惡意軟件,該代碼庫模仿合法且流行的平板電腦設(shè)備.下載并運(yùn)行惡意版本的不知情用戶將在其系統(tǒng)上啟動(dòng)惡意軟件加載程序,從而導(dǎo)致從攻擊者基礎(chǔ)設(shè)施下載并執(zhí)行其他惡意文件。從那里,惡意軟件被設(shè)計(jì)為啟動(dòng)一個(gè)多階段流程,用于提升權(quán)限、建立隱形持久性、通知威脅參與者,以及在逃避檢測(cè)的同時(shí)泄露敏感數(shù)據(jù)。破壞人工智能的惡意使用:2025年6月26威脅行為者利用我們的模型通過不斷請(qǐng)求ChatGPT實(shí)現(xiàn)更多特定功能來幫助迭代開發(fā)惡意軟件。因此,ScopeCreep展示了一系列技術(shù),包括交付、執(zhí)行、規(guī)避和滲透。下面是惡意軟件的更顯著的行為和能力的摘要:●C2有效載荷旨在避免基于簽名的檢測(cè):惡意軟件的有效載荷可以通過POST請(qǐng)求下載到C2的/auth端點(diǎn),并在開始和結(jié)束時(shí)進(jìn)行base64編碼和隨機(jī)字節(jié)填充,以逃避簡單的基于簽名的檢測(cè)?!裢ㄟ^DLL側(cè)加載秘密執(zhí)行:惡意軟件運(yùn)行合法的pythonw.exe解釋器,通過Py_Main導(dǎo)出側(cè)加載惡意python310.dll在受信任的進(jìn)程內(nèi)執(zhí)行有助于惡意軟件嘗試逃避檢測(cè)?!裢ㄟ^Themida自定義打包進(jìn)行混淆:該惡意軟件使用Themida打包器試圖混淆靜態(tài)和動(dòng)態(tài)分析,阻礙逆向工程,并繞過基于簽名的檢測(cè)。●惡意軟件升級(jí)和規(guī)避:該惡意軟件旨在通過重新啟動(dòng)ShellExecuteW來升級(jí)權(quán)限,并試圖通過使用powershell以編程方式將自己從WindowsDefender中排除,抑制控制臺(tái)窗口并插入定時(shí)延遲來逃避檢測(cè)●HTTPS通過端口80:惡意軟件使用通過HTTPS進(jìn)行通信的不常見方法,但通過端口80使用InsecureSkipVerify:true,可能表明自簽名或無效證書,以及每個(gè)請(qǐng)求的隨機(jī)用戶代理?!駪{據(jù)和會(huì)話竊?。簮阂廛浖荚讷@取瀏覽器存儲(chǔ)的憑據(jù)、令牌和Cookie,并將其暴露給威脅參與者●通過Telegram發(fā)送攻擊者通知:該惡意軟件旨在當(dāng)新的受害者受到威脅時(shí)向攻擊者控制的Telegram渠道發(fā)送警報(bào)。●基于代理的流量混淆:惡意軟件使用SOCKS5代理混淆源IP并模仿受害者位置以避免檢測(cè)。破壞人工智能的惡意使用:2025年6月27盡管威脅行為者的操作安全努力和檢測(cè)規(guī)避機(jī)制,惡意軟件本身,我們能夠檢測(cè)到的活動(dòng),由于我們的規(guī)模網(wǎng)絡(luò)濫用檢測(cè)過程。我們與代碼托管提供商協(xié)調(diào),存儲(chǔ)庫并禁止與此活動(dòng)相關(guān)的所有ChatGPT帳戶。完井這個(gè)集群中的模型交互涵蓋了廣泛的開發(fā)任務(wù)。一包括一段Go代碼,其中威脅行為者正在處理HTTPS請(qǐng)求,并要求模型對(duì)其進(jìn)行調(diào)試在一個(gè)單獨(dú)的實(shí)例中,威脅行為者通過Go請(qǐng)求幫助使用PowerShell命令修改WindowsDefender設(shè)置,尋找一種以編程方式添加AV排除的方法。他們還尋求指導(dǎo),TelegramAPI在他們的代碼中。當(dāng)威脅參與者在植入過程中遇到錯(cuò)誤或崩潰時(shí),他們會(huì)將堆棧跟蹤和代碼粘貼到ChatGPT中,有效地使用模型作為調(diào)試助手。這為他們的工具和實(shí)時(shí)命令和控制基礎(chǔ)設(shè)施提供了獨(dú)特的見解活動(dòng)LLMATTCKFrameworkCategory使用LLM編譯一個(gè)文件python310.dll,這樣只要python.exe運(yùn)行,它們的代碼就會(huì)被LLMAidedDevelopment證書(cert.pem和key.pem),用于在端口80上提供HTTPS流量LLMAidedDevelopment幫助將后端基于Flask的C2服務(wù)器遷移到生產(chǎn)就緒的WSGI服務(wù)器的模型(Gunicorn)LLMAidedDevelopmentLLM幫助開發(fā)PowershellLLM增強(qiáng)的異常檢測(cè)規(guī)避破壞人工智能的惡意使用:2025年6月28Go中的命令修改WindowsDefender設(shè)置,以編程方式添加AV排除。檢查代碼中的錯(cuò)誤以通知當(dāng)新受害者受到威脅時(shí),攻擊者控制的Telegram頻道LLM協(xié)助妥協(xié)后活動(dòng)請(qǐng)求幫助通過Go使用PowerShell命令修改WindowsDefender設(shè)置,尋找以編程方式添加AV排除的方法。LLM增強(qiáng)的異常檢測(cè)規(guī)避影響在這個(gè)階段,ScopeCreep的影響可能已經(jīng)通過快速報(bào)告和與能夠消除惡意軟件的行業(yè)合作伙伴的密切合作而減輕。倉庫。我們禁止了這個(gè)對(duì)手使用的OpenAI帳戶。我們?cè)u(píng)估該威脅行為者利用我們的模型試圖加速其惡意軟件發(fā)展業(yè)務(wù)。奇怪的是,這也為我們提供了一個(gè)機(jī)會(huì),讓我們能夠在看起來像是早期階段的情況下快速識(shí)別和破壞威脅雖然這種惡意軟件的功能包括權(quán)限提升、持久性、憑證獲取和遠(yuǎn)程訪問,但這些并不特別新穎。此外,盡管該惡意軟件可能在野外活動(dòng),但我們沒有看到任何廣泛關(guān)注或分發(fā)的證據(jù)破壞人工智能的惡意使用:2025年6月29網(wǎng)絡(luò)運(yùn)營:Vixen和KeyholePanda與中國有關(guān)的威脅行為者使用人工智能來支持其網(wǎng)絡(luò)行動(dòng)的各個(gè)階段演員我們禁止了與多個(gè)威脅參與者相關(guān)的ChatGPT帳戶,這些威脅參與者已公開歸因于中華人民共和國(PRC)。這些帳戶使用與稱為KEYHOLEPANDA(AKAAPT5)和VixenPANDA(AKAAPT15)的威脅組相關(guān)的基礎(chǔ)設(shè)施行為威脅行為者用中文和英文與我們的模型進(jìn)行互動(dòng)。我們觀察到的活動(dòng)來自相同的網(wǎng)絡(luò),但根據(jù)活動(dòng)分為不同的子集一個(gè)子集使用我們的模型來幫助與各種感興趣的實(shí)體和技術(shù)主題的開源研究保持一致的行為對(duì)于本質(zhì)上屬于技術(shù)性的模型交互,威脅參與者使用我們的模型來修改腳本或?qū)ο到y(tǒng)配置進(jìn)行這項(xiàng)活動(dòng)包括提到regine,一個(gè)自動(dòng)偵察Web應(yīng)用程序框架和Selenium自動(dòng)化,旨在繞過登錄機(jī)制并捕獲授權(quán)令牌。另一部分威脅參與者似乎試圖參與支持活動(dòng)的開發(fā),包括Linux系統(tǒng)管理,軟件開發(fā)和基礎(chǔ)設(shè)施設(shè)置。對(duì)于這些活動(dòng),威脅參與者使用我們的模型來排除配置故障,修改軟件,并對(duì)實(shí)施細(xì)節(jié)進(jìn)行研究在系統(tǒng)管理類,他們要求在配置防火墻和名稱服務(wù)器,以及在構(gòu)建軟件包的在線部署的建議。他們的軟件開發(fā)活動(dòng)包括Web和Android應(yīng)用程序開發(fā),以及C語言和破壞人工智能的惡意使用:2025年6月30Golang軟件基礎(chǔ)設(shè)施設(shè)置包括配置VPN、軟件安裝、Docker容器部署和本地LLM部署(如DeepSeek)。完井這些威脅行為者生成了與許多主題相關(guān)的內(nèi)容?!衩艽a暴力:威脅參與者尋求幫助編寫腳本,以嘗試針對(duì)FTP服務(wù)器的多個(gè)用戶名和密碼組合?!穸丝趻呙柢浖和{參與者使用我們的模型來修改和改進(jìn)腳本,以掃描服務(wù)器的特定端口?!袢斯ぶ悄茯?qū)動(dòng)的滲透測(cè)試:一個(gè)威脅參與者研究了如何使用LLM(包括ChatGPT和DeepSeek)來自動(dòng)化滲透測(cè)試,方法是使用LLM分析Nmap掃描輸出、構(gòu)建要運(yùn)行的命令,并迭代地將命令輸出發(fā)送到LLM以創(chuàng)建新命令。●社交媒體自動(dòng)化:一個(gè)威脅參與者致力于開發(fā)旨在管理一系列Android設(shè)備的代碼,以自動(dòng)化社交媒體平臺(tái)上的操作。他們的代碼遠(yuǎn)程控制Android設(shè)備,模擬滑動(dòng)和點(diǎn)擊以在Twitter,F(xiàn)acebook,Instagram和TikTok等社交媒體上發(fā)布內(nèi)容●研究美國聯(lián)邦國防工業(yè)、軍事網(wǎng)絡(luò)和政府技術(shù):多個(gè)威脅行動(dòng)者尋求有關(guān)美國特種作戰(zhàn)司令部、衛(wèi)星通信技術(shù)、特定地面站終端位置、政府身份驗(yàn)證卡和網(wǎng)絡(luò)設(shè)備的公開信息秘密互聯(lián)網(wǎng)協(xié)議路由器網(wǎng)絡(luò)和聯(lián)合全球情報(bào)通信系統(tǒng)以及哪些公司支持這些技術(shù)。破壞人工智能的惡意使用:2025年6月31活動(dòng)LLMATTCKFrameworkCategory研究漏洞并生成AI輔助的滲透測(cè)試腳本設(shè)計(jì)用于OpenAIAPILLMAssistedVulnerabilityResearch自動(dòng)化IP范圍轉(zhuǎn)換和網(wǎng)絡(luò)偵察腳本LLM增強(qiáng)腳本技術(shù)通過粘貼文本和使用模型提取IP和主機(jī)名來分析網(wǎng)絡(luò)基礎(chǔ)設(shè)施LLMGuidedInfrastructureProfiling(引導(dǎo)基礎(chǔ)架構(gòu)分析)詢問政府身份驗(yàn)證和電信基礎(chǔ)設(shè)施分析的細(xì)節(jié)LLM-AdvisedStrategicPlanning(戰(zhàn)略規(guī)劃)Android設(shè)備社交媒體操作的自動(dòng)化命令和控制LLM增強(qiáng)腳本技術(shù)使用LLM分析和總結(jié)漏洞報(bào)告并生成漏洞利用有效負(fù)載想法LLMAssistedVulnerabilityResearch生成代碼混淆和用于惡意軟件開發(fā)的反逆向工程技術(shù)LLM優(yōu)化的有效載荷工藝影響我們禁用了與此活動(dòng)相關(guān)的所有帳戶,并與行業(yè)合作伙伴共享相關(guān)指標(biāo)雖然這項(xiàng)調(diào)查提供了對(duì)PRC附屬威脅行為者網(wǎng)絡(luò)及其操作工作流程(包括工具開發(fā))的異常廣泛的可見性,破壞人工智能的惡意使用:2025年6月32開源研究和基礎(chǔ)設(shè)施分析-我們沒有發(fā)現(xiàn)任何證據(jù)表明,訪問我們的模型為這些參與者提供了他們無法從多個(gè)公共可用資源獲得的新能力或方向秘密行動(dòng):“垃圾郵件叔叔”行動(dòng)針對(duì)美國兩極分化的中國影響力行動(dòng)演員我們?cè)贛eta的同行的引導(dǎo)下,禁止了一些與中國起源的影響力操作該行動(dòng)引發(fā)了兩極分化的社交媒體支持美國國內(nèi)分裂話題雙方的內(nèi)容政治話語,包括跨X和Bluesky等平臺(tái)的文本和人工智能生成的個(gè)人資料圖像。行為該網(wǎng)絡(luò)將我們的模型用于多項(xiàng)任務(wù),主要是生成支持或批評(píng)關(guān)稅的社交客戶要求我們的模特最佳發(fā)布時(shí)間,以最大限度地提高受眾參與度,放大策略這可能是對(duì)抗性適應(yīng)的一個(gè)跡象:Meta在其2022年關(guān)于這一威脅行為者的原始報(bào)告中指出,它通常在幾個(gè)小時(shí)內(nèi)發(fā)布社交媒體內(nèi)容與中國的工作日一致,與美國時(shí)區(qū)相差12小時(shí)。破壞人工智能的惡意使用:2025年6月33兩條推文的文本是由這個(gè)威脅行為者使用我們的模型生成的,推動(dòng)了關(guān)于tari的辯論的任何一方。其次,這些賬戶使用我們的圖像生成功能來生成風(fēng)格化的徽標(biāo),然后將其用作個(gè)人資料圖片,以支持社交平臺(tái)上的虛構(gòu)人物角色特別是,這些賬戶專注于制作批評(píng)現(xiàn)任美國政府的美國退伍軍人的人物角色發(fā)布由該網(wǎng)絡(luò)生成的內(nèi)容的BlueSky帳戶?!巴宋檐娖茐娜斯ぶ悄艿膼阂馐褂茫?025年6月34最后,這些賬戶一直要求代碼和方法從X和Bluesky等社交平臺(tái)提取個(gè)人數(shù)據(jù),如用戶資料、關(guān)注者列表和其他細(xì)節(jié),使用Tweetball、Nitter和Bluesky的公共API等工具此外,客戶使用我們的模型作為指導(dǎo),以幫助分析個(gè)人特征的個(gè)人資料數(shù)據(jù),組織隸屬關(guān)系,可能用于對(duì)個(gè)人進(jìn)行分類或推斷關(guān)聯(lián)和屬性。完井這些賬戶制作了跨越美國的兩極分化內(nèi)容政治話語,往往在同一個(gè)業(yè)務(wù)會(huì)議。與影響力行動(dòng)所使用的已知方法一致,這似乎是為了利用現(xiàn)有的政治分歧,而不是為了宣傳特定的意識(shí)形態(tài)立場(chǎng)。大量的內(nèi)容和對(duì)美國信息的關(guān)注使我們把這次行動(dòng)稱為“垃圾郵件叔叔”。由我們的模型生成的文本通過虛構(gòu)人物發(fā)布的推文。影響使用IO影響突破量表(將IO評(píng)級(jí)為1(最低)到6(最高)),我們將其評(píng)估為第2類(多個(gè)平臺(tái)上的活動(dòng),沒有突破或最低限度的參與)。社交媒體賬戶發(fā)布的內(nèi)容由我們的模型生成,幾乎沒有真正的參與。這個(gè)網(wǎng)絡(luò)發(fā)布的大多數(shù)X帖子都收到了破壞人工智能的惡意使用:2025年6月35很少有人喜歡或轉(zhuǎn)發(fā),只有幾個(gè)帖子得到了一些參與。一些社交媒體賬戶的粉絲數(shù)量有數(shù)千人,但我們無法評(píng)估這些追隨者的真實(shí)性,以及追隨者的數(shù)量似乎并沒有轉(zhuǎn)化為帖子的參與。累犯影響活動(dòng):風(fēng)暴-2035可能與伊朗有關(guān)的威脅行為者用西班牙語和英語發(fā)布有關(guān)美國移民政策,蘇格蘭獨(dú)立,愛爾蘭統(tǒng)一和美國-伊朗談判的推文演員我們禁止了與可能與伊朗有關(guān)的行動(dòng)有關(guān)的慣犯活動(dòng),我們最初于去年8月中斷了該行動(dòng),該行動(dòng)在業(yè)內(nèi)被稱為STORM-2035。該威脅行為者用波斯語提示ChatGPT,并用英語和西班牙語生成大量簡短評(píng)論。這些簡短的評(píng)論隨后被一系列冒充目標(biāo)國家居民的可能不真實(shí)的賬戶發(fā)布在X上。行為該操作使用ChatGPT生成小批量的tweet(通常一次十幾條),主題范圍有限他們用的是波斯語,要求用西班牙語或英語提供產(chǎn)出。這些評(píng)論隨后被冒充美國、英國、愛爾蘭和委內(nèi)瑞拉居民的賬戶發(fā)布在X上。這些帳戶僅發(fā)布此操作生成的評(píng)論。每一個(gè)賬戶的關(guān)注者都比它的關(guān)注者多得多。許多X賬戶都展示了年輕女性的個(gè)人資料照片,她們的臉被手機(jī)遮住了破壞人工智能的惡意使用:2025年6月36或其他物品其中一些個(gè)人資料圖片似乎是從互聯(lián)網(wǎng)上的其他地方復(fù)制的這次活動(dòng)的一個(gè)不同之處是,與我們破壞的原始帳戶相比,去年,慣犯經(jīng)營者似乎已作出更大努力,將不同的工作流程分開。最初的活動(dòng)包括在X、Instagram和網(wǎng)站上生成內(nèi)容。這一慣犯引發(fā)的公眾評(píng)論只在X上發(fā)布。發(fā)布此活動(dòng)生成的評(píng)論的四個(gè)帳戶的配置文件請(qǐng)注意以下和跟隨者編號(hào)。完井該操作生成了有關(guān)以下主題的評(píng)論●美國的拉丁裔權(quán)利,批評(píng)特朗普政府的政策;●支持蘇格蘭獨(dú)立,加上對(duì)英國政府的批評(píng)●支持愛爾蘭統(tǒng)一和“驅(qū)逐”英國人;●支持委內(nèi)瑞拉和古巴;●支持巴勒斯坦人的權(quán)利;破壞人工智能的惡意使用:2025年6月37●贊揚(yáng)伊朗的軍事和外交實(shí)力,他們將其描述為迫使美國坐到談判桌上。關(guān)于拉丁美洲人權(quán)利、伊朗、古巴和委內(nèi)瑞拉的評(píng)論是用西班牙語發(fā)表的。評(píng)論蘇格蘭和愛爾蘭是英語。關(guān)于巴勒斯坦人權(quán)利的評(píng)論以兩種語文發(fā)表。下面的示例說明了此操作生成的內(nèi)容和情感類型。此操作生成的推文,并由以美國為重點(diǎn)的帳戶發(fā)布?!岸鄻有载S富了我們的社區(qū),而排斥的政治只會(huì)播種仇恨和分裂。讓我們大聲說,包容是我們的力量,我們不會(huì)允許無知破壞我們社會(huì)的結(jié)構(gòu)?!逼茐娜斯ぶ悄艿膼阂馐褂茫?025年6月38蘇格蘭獨(dú)立/英國批評(píng)此操作生成并發(fā)布在X上的推文。愛爾蘭統(tǒng)一此操作生成并發(fā)布在X上的推文。破壞人工智能的惡意使用:2025年6月39委內(nèi)瑞拉/古巴由該操作生成并由一個(gè)聲稱來自委內(nèi)瑞拉的帳戶發(fā)布的推文。左,“總統(tǒng)尼古拉斯·馬杜羅:唐納德·特朗普聲稱,為了保衛(wèi)美國,對(duì),“古巴出口醫(yī)生拯救生命,美國出口士兵打仗。兩個(gè)世界,兩個(gè)世界”。破壞人工智能的惡意使用:2025年6月40此操作生成并發(fā)布在X上的推文。這幅圖中的左手邊的描述通常是一個(gè)專注于蘇格蘭的英語描述。切換到西班牙語可能表示操作員出錯(cuò)。左邊的帖子寫著,“超過80個(gè)流離失所的巴勒斯坦人的帳篷在以色列對(duì)加沙南部汗尤尼斯的空襲中被摧毀?!贝瞬僮魃傻耐莆?,由以拉丁美洲人身份發(fā)布的帳戶發(fā)布伊朗的軍事力量正在重新定義政治游戲:美國同意在伊朗條件下進(jìn)行談判當(dāng)伊朗展示其防御和報(bào)復(fù)能力時(shí),華盛頓明白威脅是不夠的。對(duì)話之路變得不可避免?!庇绊懺摬僮鞯牡湫屯莆挠涗浟?50-350次瀏覽,點(diǎn)贊、分享或評(píng)論為零我們沒有發(fā)現(xiàn)我們發(fā)現(xiàn)的評(píng)論被其他真實(shí)用戶放大到更大受眾的情況使用IO影響突破量表,將IO分為1(最低)到6(最高),我們將其評(píng)估為第1(在一個(gè)平臺(tái)上的活動(dòng),幾乎沒有證據(jù)表明真實(shí)的人拿起或廣泛分享他們的內(nèi)容)。破壞人工智能的惡意使用:2025年6月41騙局:“打錯(cuò)電話”行動(dòng)“任務(wù)”騙局,可能起源于柬埔寨,并為世界各地的一些表面公司生成內(nèi)容演員我們禁止了ChatGPT帳戶,這些帳戶使用英語,西班牙語,斯瓦希里語,基尼亞盧旺達(dá)語,德語和海地克里奧爾語生成簡短的招聘信息。這些信息為接收者提供高薪,讓他們做一些瑣碎的工作,比如給社交媒體上的帖子點(diǎn)贊,并鼓勵(lì)他們招募其他人。這一

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論