大模型和智能體安全風(fēng)險(xiǎn)治理與防護(hù)2025年7月8日AI技術(shù)帶來新的生產(chǎn)驅(qū)動(dòng)力，企業(yè)數(shù)字化進(jìn)入“大模型時(shí)代”專家系統(tǒng)

1968知識(shí)表征

1974XCON

1980支持向量1995AlexNet

2012聯(lián)邦學(xué)習(xí)2016Transformer

2017GPT-O3NLP神經(jīng)網(wǎng)絡(luò)

2013ResNet

2015算力瓶頸1990計(jì)算機(jī)視覺

1976深度學(xué)習(xí)2006條件隨機(jī)場(chǎng)

2001GPT-4圖神經(jīng)網(wǎng)絡(luò)

2005BERT2018BP算法

1986CgatGPTAI進(jìn)入“大模型”時(shí)代感知機(jī)

1957GeminiAlphaGoAI超越圖靈測(cè)試的人工智能標(biāo)準(zhǔn)，使機(jī)器開始像“人”一樣與用戶交流。以大模型生成技術(shù)為核心的人工智能正在成為下一輪經(jīng)濟(jì)增長(zhǎng)的關(guān)鍵動(dòng)力，也為解決產(chǎn)業(yè)痛點(diǎn)帶來了全新的思路。語義網(wǎng)絡(luò)線路圖

1998深藍(lán)擊敗卡斯帕羅

1995達(dá)特茅斯會(huì)議

1956Deepseek-R1QWEN-3混元大模型在企業(yè)應(yīng)用場(chǎng)景中的十大常見安全風(fēng)險(xiǎn)樣本投毒（數(shù)據(jù)污染）惡意利用（Prompt注入攻擊）代碼輔助工具數(shù)據(jù)泄露（第三方代碼輔助工具）第三方代碼依賴風(fēng)險(xiǎn)（開源模型/庫污染）自動(dòng)化Agent權(quán)限濫用誤用0102030405自建模型平臺(tái)暴露面過大模型數(shù)據(jù)和隱私泄露模型推理劫持（對(duì)抗樣本攻擊）AI倫理與偏見放大開源模型濫用（深度偽造與輔助犯罪）0607080910人工智能與大模型的風(fēng)險(xiǎn)組成結(jié)構(gòu)大模型應(yīng)用的安全風(fēng)險(xiǎn)結(jié)構(gòu)大模型應(yīng)用安全敏感信息泄露風(fēng)險(xiǎn)：越獄攻擊輸出受控內(nèi)容；應(yīng)用開發(fā)安全風(fēng)險(xiǎn)：編碼規(guī)范、風(fēng)險(xiǎn)開源組件；應(yīng)用服務(wù)風(fēng)險(xiǎn)：api攻擊，web服務(wù)攻擊、ddos攻擊；業(yè)務(wù)安全風(fēng)險(xiǎn)：批量注冊(cè)、惡意引導(dǎo)、內(nèi)容爬取；大模型運(yùn)行環(huán)境安全開發(fā)框架風(fēng)險(xiǎn)：框架漏洞(包含組件漏洞)；開放數(shù)據(jù)集及訓(xùn)練工具風(fēng)險(xiǎn)；污染的開放數(shù)據(jù)集風(fēng)險(xiǎn)；大模型本體內(nèi)生安全訓(xùn)練 推理 部署數(shù)據(jù)泄露的風(fēng)險(xiǎn)(私有數(shù)據(jù)集、模型文件、個(gè)人隱私)；供應(yīng)鏈安全風(fēng)險(xiǎn)：木馬后門、組件漏洞；越獄風(fēng)險(xiǎn)；prompt指令數(shù)據(jù)泄漏；大模型基礎(chǔ)設(shè)施安全基礎(chǔ)設(shè)施自身的安全性：操作漏洞風(fēng)險(xiǎn)、計(jì)算資源漏洞風(fēng)險(xiǎn)權(quán)限設(shè)置不當(dāng)風(fēng)險(xiǎn)；基礎(chǔ)設(shè)施的運(yùn)維安全性：誤操作、違規(guī)操作；大模型安全端到端過程的風(fēng)險(xiǎn)分析大模型越獄攻擊方法和威脅模型MCP協(xié)議和應(yīng)用生態(tài)風(fēng)險(xiǎn)：從傳統(tǒng)漏洞到AI控制身份認(rèn)證機(jī)制缺失權(quán)限控制不足缺乏審計(jì)追溯能力默認(rèn)配置不安全系統(tǒng)性的安全疏忽MCP協(xié)議設(shè)計(jì)初期以“便利”和“易用”為主要考量，缺乏基礎(chǔ)安全控制機(jī)制）針對(duì)AI的新型混合攻擊結(jié)合傳統(tǒng)漏洞與AI特性的新型攻擊模式，實(shí)現(xiàn)語義層面的控制工具投毒（Tool

Poisoning）規(guī)劃線路僭越（Line

Jumping存儲(chǔ)式提示注入級(jí)聯(lián)幻覺攻擊RAG上下文污染MCP生態(tài)的"漏洞債務(wù)"“木偶”攻擊/

惡意服務(wù)器偽裝“地毯抽拉”攻擊(Rug

Pull)跨服務(wù)器惡意調(diào)用鏈新的供應(yīng)鏈安全風(fēng)險(xiǎn)社區(qū)驅(qū)動(dòng)的生態(tài)系統(tǒng)缺乏治理，形成信任匱乏的軟件供應(yīng)鏈身份管理一致性缺失權(quán)限提升攻擊雙向混淆代理人風(fēng)險(xiǎn)多智能體系統(tǒng)復(fù)雜性混淆代理人問題權(quán)限傳遞不一致導(dǎo)致的越權(quán)訪問和權(quán)限濫用命令注入（43%實(shí)現(xiàn)存在）SSRF（30%實(shí)現(xiàn)存在）路徑遍歷（22%實(shí)現(xiàn)存在）SQL注入轉(zhuǎn)提示注入傳統(tǒng)漏洞攻擊鏈放大經(jīng)典安全漏洞在AI環(huán)境中被顯著放大，升級(jí)為控制面攻擊12345發(fā)現(xiàn)傳統(tǒng)應(yīng)用漏洞（如SQL注入）注入惡意提示到數(shù)據(jù)庫AI讀取被污染的上下文執(zhí)行惡意指令控制AI行為橫向移動(dòng)擴(kuò)散影響MCP與Agentic場(chǎng)景下攻擊鏈的變化：智能體應(yīng)用場(chǎng)景的主要風(fēng)險(xiǎn)點(diǎn)Agent集群主Agent模型層認(rèn)知層LLM

大語言模型(推理?理解?Th成?規(guī)劃)工具交互層工具選擇與調(diào)用邏輯環(huán)境交互層感知與觀察Agent通信與協(xié)作認(rèn)知與意圖管理(評(píng)估?決策?規(guī)劃)記憶與狀態(tài)管理(短期?長(zhǎng)期?上下文)其他AgentLLMMCPServerTools本地MCP服務(wù)資源(Resource)工具（Tools）提示詞(Prompt)交互層用戶多模態(tài)交互接口文本

/

語音

/

視覺

/

圖形事件服務(wù)其他AgentLLMMCPServerToolsSSESTDIO協(xié)調(diào)平臺(tái)MCP/A2A感知執(zhí)行輸入結(jié)果遠(yuǎn)程MCP服務(wù)知識(shí)庫（RAG）API工具（Tools）資源(Resource)提示詞(Prompt)代碼執(zhí)行幻覺/校準(zhǔn)不足/對(duì)抗樣本推理劫持/模型規(guī)避記憶投毒/篡改/注入意圖劫持/操縱/混淆決策干擾/注入提示詞注入/信息泄露本地越權(quán)訪問/敏感信息竊取命令注入/代碼執(zhí)行跨智能體/信息域的越權(quán)訪問身份仿冒/越權(quán)訪問流氓智能體/決策操縱通訊投毒/篡改/注入v3.4Author:提示詞注入/泄露/混淆/繞過違規(guī)輸出/信息泄露側(cè)信道注入/篡改/欺騙大模型風(fēng)險(xiǎn)評(píng)估與控制方法框架安全治理：騰訊大模型安全治理框架部署環(huán)境安全訓(xùn)練過程安全安全基準(zhǔn)安全運(yùn)營安全管控計(jì)算環(huán)境安全訪問與身份安全運(yùn)行環(huán)境安全網(wǎng)絡(luò)安全身份安全開發(fā)安全安全運(yùn)維模型訓(xùn)練模型推理及部署模型應(yīng)用向量數(shù)據(jù)庫安全模型安全GPU芯片安全大模型安全標(biāo)準(zhǔn)安全基準(zhǔn)策略數(shù)據(jù)安全數(shù)據(jù)采集安全樣本對(duì)抗數(shù)據(jù)使用安全數(shù)據(jù)存儲(chǔ)安全Redteaming測(cè)試工具及平臺(tái)風(fēng)險(xiǎn)監(jiān)測(cè)及響應(yīng)輸入輸出內(nèi)容安全供應(yīng)鏈安全應(yīng)用安全API安全標(biāo)準(zhǔn)體系監(jiān)管要求滿足監(jiān)管要求，提供安全、可控、可靠的服務(wù)大模型安全治理框架業(yè)務(wù)階段模型訓(xùn)練安全風(fēng)險(xiǎn)安全防護(hù)訓(xùn)練數(shù)據(jù)泄露訓(xùn)練代碼泄露模型架構(gòu)泄露模型參數(shù)泄露推理部署業(yè)務(wù)應(yīng)用可用性風(fēng)險(xiǎn)DDoS攻擊造成服務(wù)中斷、性能下降應(yīng)用攻擊風(fēng)險(xiǎn)API越權(quán)訪問風(fēng)險(xiǎn)API命令注入攻擊敏感數(shù)據(jù)泄露安全隔離專區(qū)敏感數(shù)據(jù)防外傳/防刪除數(shù)據(jù)獨(dú)立隔離存儲(chǔ)主機(jī)操作審計(jì)&監(jiān)控主機(jī)安全防護(hù)代碼安全掃描Web漏洞掃描賬號(hào)風(fēng)控安全內(nèi)外部安全眾測(cè)大模型威脅情報(bào)核心技術(shù)模型引擎 機(jī)器學(xué)習(xí) 密碼學(xué)技術(shù) 圖計(jì)算分析 敏感數(shù)據(jù)識(shí)別 主機(jī)/容器安全 攻防對(duì)抗模型輸入安全安全合規(guī)風(fēng)險(xiǎn)提示注入風(fēng)險(xiǎn)數(shù)據(jù)投毒風(fēng)險(xiǎn)黃色、暴力、涉恐等違法違規(guī)內(nèi)容泄露個(gè)人隱私大模型濫用風(fēng)險(xiǎn)DDoS攻擊防護(hù)安全防護(hù)未授權(quán)訪問風(fēng)險(xiǎn)內(nèi)部橫向移動(dòng)風(fēng)險(xiǎn)漏洞入侵風(fēng)險(xiǎn)釣魚攻擊風(fēng)險(xiǎn)弱密碼風(fēng)險(xiǎn)數(shù)據(jù)庫訪問控制內(nèi)容安全過濾Prompt安全檢測(cè)基礎(chǔ)設(shè)施安全風(fēng)險(xiǎn)基礎(chǔ)服務(wù)組件/AI組件風(fēng)險(xiǎn)后門植入風(fēng)險(xiǎn)賬號(hào)盜用風(fēng)險(xiǎn)大模型安全防護(hù)整體架構(gòu)圍繞大模型的生命周期，根據(jù)不同階段的風(fēng)險(xiǎn)制定對(duì)應(yīng)安全防護(hù)措施和策略騰訊大模型安全防護(hù)方案重點(diǎn)5：數(shù)據(jù)安全全流程安全治理重點(diǎn)3：智能體與MCP身份和藍(lán)軍特攻權(quán)防防演練護(hù)重點(diǎn)1：邊界API與用戶輸入輸出安模全型輸出安全重點(diǎn)2：模型運(yùn)行環(huán)境安全防護(hù)和態(tài)勢(shì)A管PI理云原生微隔離重點(diǎn)4：智能體行為與意圖安數(shù)據(jù)加密防全篡管改控邊界與API安全：騰訊

LLM-WAF

大模型智能安全防護(hù)網(wǎng)關(guān)企業(yè)用戶平臺(tái)用戶提問內(nèi)容模型返回內(nèi)容APPWeb小程序請(qǐng)求風(fēng)險(xiǎn)消耗攔截不當(dāng)內(nèi)容提示詞攻擊正常返回LLM-WAF

大模型安全防護(hù)平臺(tái)請(qǐng)求風(fēng)險(xiǎn)不當(dāng)內(nèi)容數(shù)據(jù)泄露提示詞泄露正常返回大模型服務(wù)源站Deepseek混元大模型Qwen2.5階躍星辰大模型業(yè)務(wù)安全防護(hù)大模型生成內(nèi)容安全過濾注入攻擊BOT攻擊API越權(quán)算力消耗內(nèi)容安全提示詞攻擊數(shù)據(jù)泄露WAF

+

大模型安全引擎多模型接入安全策略內(nèi)容策略自定義敏感庫數(shù)據(jù)分級(jí)分類引擎：身份證、手機(jī)號(hào)、社?？?、護(hù)照號(hào)、銀行卡等混元內(nèi)容安全大模型：社會(huì)、政治、色情、違法、其他不當(dāng)內(nèi)容LLM-WAF

為專為大語言模型設(shè)計(jì)的智能安全防護(hù)網(wǎng)關(guān)，提供多模型、多場(chǎng)景、高并發(fā)環(huán)境下的全鏈路防護(hù)能力支持實(shí)時(shí)檢測(cè)并攔截針對(duì)大模型的算力濫用、提示詞攻擊及數(shù)據(jù)泄露風(fēng)險(xiǎn)，助力企業(yè)構(gòu)建可信、穩(wěn)定、可持續(xù)的大模型服務(wù)生態(tài)。騰訊AI-SPM，大模型攻擊面和漏洞管理系統(tǒng)，保護(hù)大模型基礎(chǔ)設(shè)施運(yùn)行環(huán)境，及時(shí)發(fā)現(xiàn)和處置安全風(fēng)險(xiǎn)風(fēng)險(xiǎn)態(tài)勢(shì)感知：騰訊AI-SPM，大模型安全態(tài)勢(shì)感知系統(tǒng)資產(chǎn)測(cè)繪組件識(shí)別（50+）網(wǎng)絡(luò)指紋測(cè)繪主機(jī)層指紋匹配資產(chǎn)關(guān)聯(lián)資產(chǎn)的暴露狀態(tài)與路徑資產(chǎn)的全量風(fēng)險(xiǎn)大模型風(fēng)險(xiǎn)檢測(cè)主機(jī)安全大模型組件的漏洞檢測(cè)（200+）組件的配置風(fēng)險(xiǎn)檢測(cè)網(wǎng)絡(luò)掃描POC形式的精準(zhǔn)檢測(cè)（20+）基于版本的漏洞識(shí)別（200+）大模型網(wǎng)絡(luò)攻擊示警針對(duì)大模型組件漏洞的攻擊行為（6類漏洞）騰訊天御大模型安全網(wǎng)關(guān)，構(gòu)建企業(yè)內(nèi)部智能體應(yīng)用和MCP服務(wù)的統(tǒng)一身份和權(quán)限管控智能體身份管理：以統(tǒng)一身份為核心，構(gòu)建身份安全訪問控制Agent

ID生命周期權(quán)限控制跨平臺(tái)認(rèn)證智能體智能體身份管理工具權(quán)限數(shù)據(jù)權(quán)限平臺(tái)賬號(hào)社交賬號(hào)自有

IDP身份上下游傳遞大模型安全網(wǎng)關(guān)身份管理智能體服務(wù)工具人權(quán)限管理MFA認(rèn)證權(quán)限生命周期智能體互授權(quán)跨平臺(tái)權(quán)限大模型時(shí)代的身份范圍擴(kuò)大：人、智能體、服務(wù)、工具人

的身份：MFA、token、手機(jī)號(hào)、設(shè)備指紋、IP。實(shí)人認(rèn)證、本人認(rèn)證、好人認(rèn)證A

IAgent的身份：有限授權(quán)

token，AgentCards。Agent

互認(rèn)證、互發(fā)現(xiàn)、協(xié)作任務(wù)服

務(wù)提供者的身份：AKSK，Server

List，能力清單。訪問授權(quán)、Server

代理、動(dòng)態(tài)路由遠(yuǎn)

程服務(wù)(tools)的身份：遠(yuǎn)端身份驗(yàn)證，tools

list，數(shù)據(jù)權(quán)限。調(diào)用授權(quán)、數(shù)據(jù)授權(quán)。統(tǒng)一身份缺失導(dǎo)致安全缺口在智能體等大模型應(yīng)用實(shí)踐中，統(tǒng)一的身份一直是缺失的一環(huán)。致使越權(quán)訪問、非法請(qǐng)求、數(shù)據(jù)泄露等諸多問題頻發(fā)。同時(shí)合理的權(quán)限控制也是防止投毒等新型攻擊最終生效的有效手段。Agent

ID基于大模型安全網(wǎng)關(guān)，構(gòu)建以統(tǒng)一身份為核心的訪問控制，將有效釋放權(quán)限類的安全風(fēng)險(xiǎn)。騰訊天御大模型安全網(wǎng)關(guān)，一站式管控企業(yè)智能應(yīng)用的身份管理、防AI攻擊、決策和執(zhí)行安全問題天御大模型安全網(wǎng)關(guān)：以規(guī)則+模型為核心，構(gòu)建身份、流量、工具、決策多重防線用戶輸入安全安全模型安全規(guī)則攻擊意圖檢測(cè)安全數(shù)據(jù)庫黑白執(zhí)行序列提示詞樣本庫工具信息庫語義理解關(guān)鍵詞過濾決策鏈安全虛假工具識(shí)別workflow檢測(cè)執(zhí)行序列判斷執(zhí)行安全傳統(tǒng)

WEB

規(guī)則權(quán)限檢查工具劫持識(shí)別基礎(chǔ)數(shù)據(jù)和通用能力

體系化安全能力基于傳統(tǒng)安全中的經(jīng)驗(yàn)積累，和大模型實(shí)踐中，體系化的安全建設(shè)探索，構(gòu)建的大模型安全網(wǎng)關(guān)產(chǎn)品，可以實(shí)現(xiàn)大模型應(yīng)用落地中統(tǒng)一的防護(hù)。統(tǒng)一安全水位安全網(wǎng)關(guān)把不同參與角色、不同的業(yè)務(wù)系統(tǒng)的安全水位拉到同一高度，防止某個(gè)短板造成的安全破口大模型安全中樞作為企業(yè)大模型應(yīng)用落地的安全中樞，連接智能體、模型與服務(wù)，實(shí)現(xiàn)統(tǒng)一治理與高效協(xié)同，并通過多層次防護(hù)機(jī)制解決AI規(guī)?；瘧?yīng)用中的關(guān)鍵風(fēng)險(xiǎn)。分階段控制風(fēng)險(xiǎn)大模型安全網(wǎng)關(guān)通過構(gòu)建以規(guī)則和模型為核心的三道安全防線，兼顧執(zhí)行效率、風(fēng)險(xiǎn)識(shí)別率、誤殺率，分階段釋放安全風(fēng)險(xiǎn)。共享數(shù)據(jù)和能力從大模型應(yīng)用的不同階段采集的不同數(shù)據(jù)組成了風(fēng)險(xiǎn)判斷的統(tǒng)一依據(jù)，并在不同的環(huán)節(jié)傳遞風(fēng)險(xiǎn)標(biāo)識(shí)，讓大模型安全網(wǎng)關(guān)具備了全局視野，可以更準(zhǔn)確的識(shí)別風(fēng)險(xiǎn)。API調(diào)用數(shù)據(jù)采集大模型應(yīng)用生產(chǎn)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理數(shù)據(jù)篩選數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)標(biāo)注數(shù)據(jù)清洗模型開發(fā)模型評(píng)估模型精調(diào)參數(shù)調(diào)整發(fā)布管理模型發(fā)布模型打包數(shù)據(jù)輸出模型推理數(shù)據(jù)輸入客戶側(cè)行業(yè)數(shù)據(jù)推理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)工程師算法工程師實(shí)施工程師數(shù)據(jù)溯源KMSTSM特權(quán)與數(shù)據(jù)訪問

安全網(wǎng)關(guān)：輸入輸出敏感數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)動(dòng)態(tài)脫敏身份認(rèn)證與權(quán)限控制

數(shù)據(jù)庫安全審計(jì)數(shù)據(jù)庫防火墻數(shù)據(jù)訪問開發(fā)測(cè)試庫靜態(tài)脫敏數(shù)據(jù)庫安全審計(jì)同步仿真數(shù)據(jù)數(shù)據(jù)訪問數(shù)據(jù)輸入進(jìn)行精調(diào)數(shù)據(jù)訪問傳輸分布式訓(xùn)練開發(fā)測(cè)試參數(shù)調(diào)試數(shù)據(jù)導(dǎo)出模型訓(xùn)練分類分級(jí)風(fēng)險(xiǎn)評(píng)估用戶行為監(jiān)測(cè)模型評(píng)估數(shù)據(jù)訪問mySQLTDSQLCOSVDB…………開發(fā)工程師

測(cè)試工程師算法工程師開發(fā)工程師開發(fā)工程師最終用戶機(jī)密計(jì)算模型加密聯(lián)邦學(xué)習(xí)秘鑰管理動(dòng)態(tài)脫敏靜態(tài)脫敏數(shù)據(jù)加密敏感數(shù)據(jù)分類分級(jí)風(fēng)險(xiǎn)評(píng)估與監(jiān)測(cè)數(shù)據(jù)防泄漏數(shù)據(jù)安全審計(jì)數(shù)據(jù)庫防火墻數(shù)據(jù)庫安全審計(jì)分類分級(jí)風(fēng)險(xiǎn)評(píng)估風(fēng)險(xiǎn)監(jiān)測(cè)運(yùn)營管理靜態(tài)脫敏動(dòng)態(tài)脫敏存儲(chǔ)層數(shù)據(jù)溯源數(shù)據(jù)防泄漏機(jī)密計(jì)算平臺(tái)數(shù)據(jù)溯源數(shù)據(jù)防泄漏動(dòng)態(tài)/靜態(tài)脫敏數(shù)據(jù)加密敏感數(shù)據(jù)分類分級(jí)風(fēng)險(xiǎn)評(píng)估與監(jiān)測(cè)數(shù)據(jù)防泄漏數(shù)據(jù)安全審計(jì)數(shù)據(jù)安全：大模型的全生命周期數(shù)據(jù)安全與隱私保護(hù)接口輸入、內(nèi)容預(yù)處理、模型識(shí)別、策略輔助、平臺(tái)調(diào)度分析、人工標(biāo)注運(yùn)營共6個(gè)維度為大模型的訓(xùn)練和推理提供有效支撐模型訓(xùn)練階段內(nèi)容生成階段模型優(yōu)化階段內(nèi)容安全：天御內(nèi)容風(fēng)控平臺(tái)，大模型的內(nèi)容安全實(shí)踐攻防對(duì)抗與安全情報(bào)：大模型安全Red

Team對(duì)抗實(shí)踐以騰訊的安全專家能力為基礎(chǔ)，深度了解大模型的原理和機(jī)制，建