L

L

M

與代碼安全1.LLM代碼生成應(yīng)用背景大綱2.LLM代碼生成的安全問題3.LLM代碼安全生成的安全實(shí)踐4.AI代碼生成威脅LLM與代碼安全主要分享路線LLM應(yīng)用廣泛，逐漸滲透至各個(gè)領(lǐng)域1.LLM代碼生成應(yīng)用背景行業(yè)重大需求代碼生成安全是軟件開發(fā)的一項(xiàng)基礎(chǔ)性工作，必須重視和加強(qiáng)代碼生成安全工作在LLM使用場景中，代碼生成的相關(guān)需求遠(yuǎn)遠(yuǎn)高于其他類型任務(wù)Claude.ai

的真實(shí)世界使用數(shù)據(jù)。這些數(shù)字指的是與

Claude

進(jìn)行的對(duì)話中，涉及這些具體任務(wù)、職業(yè)和類別的百分比OpenRouter

上跟蹤的使用LLM

token量最大的應(yīng)用能夠根據(jù)上下文自動(dòng)補(bǔ)全代碼能夠根據(jù)注釋描述自動(dòng)補(bǔ)全代碼代碼開發(fā)新范式，LLM4CODE自動(dòng)根據(jù)項(xiàng)目信息生成測試文件進(jìn)行代碼理解翻譯代碼開發(fā)新范式，

LLM4CODEClaude、Copilot等已經(jīng)可以生成倉庫級(jí)代碼項(xiàng)目代碼開發(fā)新范式，

LLM4CODE便捷的生成下安全隱患？代碼開發(fā)新范式，

LLM4CODE2.LLM代碼生成的安全問題代碼開發(fā)新范式，AI提升開發(fā)速度LLM

提高了代碼生產(chǎn)效率，但是安全性未必得到足夠的關(guān)注非主場難度大收益低目前聚焦的主要戰(zhàn)場還在能力邊界擴(kuò)展安全性提升難度大（安全數(shù)據(jù)、安全能力）直接收益低風(fēng)險(xiǎn)暫時(shí)不夠突出行業(yè)重大需求OWASP

2025

年

LLM

應(yīng)用

Top

10

風(fēng)險(xiǎn)代碼生成安全是軟件開發(fā)的一項(xiàng)基礎(chǔ)性工作，必須重視和加強(qiáng)代碼生成安全工作安全缺位代碼漏洞基準(zhǔn)缺失生成風(fēng)險(xiǎn)10%的GPT-4o生成代碼在簡單提示下的安全性評(píng)分低大模型領(lǐng)域代碼生成安全問題嚴(yán)峻1、2、3、4、5、30%的應(yīng)用安全漏洞將源于AI

輔助編程實(shí)踐主流AI代碼生成工具寫出的代碼漏洞占比的45%100%的主流LLM生成漏洞AI生成代碼已占全球代碼產(chǎn)出的41%評(píng)測為尺，風(fēng)險(xiǎn)現(xiàn)形：項(xiàng)目級(jí)AI生成代碼安全性評(píng)測基準(zhǔn)現(xiàn)有評(píng)估基準(zhǔn)與真實(shí)開發(fā)場景脫節(jié)，嚴(yán)重高估了模型的實(shí)際安全能力。

當(dāng)前代碼安全評(píng)估基準(zhǔn)大多針對(duì)孤立的代碼片段，無法反映模型在真實(shí)倉庫級(jí)開發(fā)環(huán)境中的表現(xiàn)，導(dǎo)致評(píng)估結(jié)果失真?，F(xiàn)存問題A.S.E:ARepository-LevelBenchmarkforEvaluatingSecurityinAI-Generated

Code揭示實(shí)際repo場景的代碼生成安全隱患，探索各模型在該場景的能力邊界Huggingface日榜周榜雙第一評(píng)測為尺，風(fēng)險(xiǎn)現(xiàn)形：項(xiàng)目級(jí)AI生成代碼安全性評(píng)測基準(zhǔn)現(xiàn)有評(píng)估基準(zhǔn)與真實(shí)開發(fā)場景脫節(jié)，嚴(yán)重高估了模型的實(shí)際安全能力。

當(dāng)前代碼安全評(píng)估基準(zhǔn)大多針對(duì)孤立的代碼片段，無法反映模型在真實(shí)倉庫級(jí)開發(fā)環(huán)境中的表現(xiàn)，導(dǎo)致評(píng)估結(jié)果失真?，F(xiàn)存問題A.S.E:ARepository-LevelBenchmarkforEvaluatingSecurityinAI-Generated

CodeA.S.E：業(yè)界首個(gè)項(xiàng)目級(jí)AI生成代碼安全性評(píng)測框架，所評(píng)估的

26

個(gè)主流大模型均存在代碼正確性優(yōu)先、安全防護(hù)滯后的問題，表現(xiàn)最好的模型代碼質(zhì)量得分高達(dá)

91.58，但安全得分僅

46.72且無任何模型安全得分突破

50

分。當(dāng)前大模型安全編碼能力顯著薄弱倉庫級(jí)場景需大模型處理跨文件調(diào)用鏈、構(gòu)建系統(tǒng)依賴等需求，而多數(shù)大模型僅擅長孤立代碼生成，僅極少數(shù)模型具備項(xiàng)目級(jí)安全理解能力。大模型代碼片段級(jí)安全優(yōu)勢(shì)無法遷移“慢思考”

推理模式無助于安全生成更大的推理預(yù)算可能引入冗余邏輯或偏離安全目標(biāo)，反而降低代碼安全性；簡潔直接的快思考推理模式，在倉庫級(jí)安全漏洞修復(fù)中更高效。評(píng)測為尺，風(fēng)險(xiǎn)現(xiàn)形：項(xiàng)目級(jí)AI生成代碼安全性評(píng)測基準(zhǔn)現(xiàn)有評(píng)估基準(zhǔn)與真實(shí)開發(fā)場景脫節(jié)，嚴(yán)重高估了模型的實(shí)際安全能力。

當(dāng)前代碼安全評(píng)估基準(zhǔn)大多針對(duì)孤立的代碼片段，無法反映模型在真實(shí)倉庫級(jí)開發(fā)環(huán)境中的表現(xiàn)，導(dǎo)致評(píng)估結(jié)果失真?，F(xiàn)存問題A.S.E:ARepository-LevelBenchmarkforEvaluatingSecurityinAI-Generated

Code3.LLM代碼安全生成的安全實(shí)踐LLM代碼安全左側(cè)中右側(cè)模型前側(cè)安全因子模型使用側(cè)安全因子生態(tài)代碼安全3

個(gè)維度4

個(gè)等級(jí)目標(biāo)清晰度信息完整性邏輯一致性L0：工程師級(jí)規(guī)范L3：編程新手級(jí)規(guī)范L L2 12

種可落地的提示優(yōu)化策略思維鏈（Chain-of-Thought）：通過分步推理強(qiáng)化安全考量，如

L3

級(jí)提示下

CWE-284

漏洞率從

49.84%

降至

43.41%。自我修正（Regenerate

Act）：模擬安全專家自檢漏洞并修復(fù)，在

L2-L3

級(jí)復(fù)雜任務(wù)中表現(xiàn)突出，漏洞率顯著下降。質(zhì)量評(píng)估與鏈?zhǔn)剿季S的安全緩沖提示詞質(zhì)量對(duì)安全性的關(guān)鍵影響被嚴(yán)重低估，缺乏系統(tǒng)性研究與管理?，F(xiàn)有工作過度關(guān)注模型的對(duì)抗性攻擊和固有缺陷，卻忽略了良性但質(zhì)量差的提示詞會(huì)顯著增加代碼缺陷率的嚴(yán)重問題。CWE-BENCH-PYTHON：構(gòu)建提示詞質(zhì)量評(píng)估基準(zhǔn) 實(shí)驗(yàn)驗(yàn)證現(xiàn)存問題IsYourPromptPoisoningCode?DefectInductionRatesandSecurityMitigation

Strategies增強(qiáng)檢索生成技術(shù)(RAG)初始代碼生成后，以輸入與初始代碼做

RAG

查詢整合RAG

安全知識(shí)，輔助大模型生成優(yōu)化代碼RAG

知識(shí)不足時(shí)修復(fù)缺陷，更新安全知識(shí)庫大模型自反思初始代碼缺陷，迭代優(yōu)化并更新知識(shí)庫，無需微調(diào)即可提升代碼安全性。RAG

與大模型自我修正的協(xié)同防御當(dāng)前提高大模型代碼生成安全性的主流方法是微調(diào)模型或構(gòu)建安全代碼數(shù)據(jù)集，這些方法需要巨大的計(jì)算資源和標(biāo)注成本，且無法在模型部署后進(jìn)行輕量的、持續(xù)的優(yōu)化。REFLEXGEN：低成本、高效率、高安全的輕量化解決方案 大模型自反思機(jī)制現(xiàn)存問題REFLEXGEN:THEUNEXAMINEDCODEISNOTWORTH

USINGReAct

范式賦能的多智能體代碼生成框架RA-Gen:

多智能體框架保障高安全代碼生成PlannerSearcherCodeGenExtractor任務(wù)分解結(jié)合推理實(shí)現(xiàn)漏洞功能代碼片與初始推理與外部工具規(guī)避的安全段驗(yàn)證與軌跡生成精煉軌跡代碼生成提取多智能體具體交互流程RA-Gen:AControllableCodeGenerationFrameworkUsingReActforMulti-AgentTaskExecution現(xiàn)存 復(fù)雜任務(wù)要求下，代碼生成過程缺乏可控性與透明性，難以集成外部知識(shí)?，F(xiàn)有代碼生成模型其問題 內(nèi)部推理過程不透明，導(dǎo)致用戶無法信任、干預(yù)和引導(dǎo)其生成安全可靠的代碼。實(shí)驗(yàn)驗(yàn)證LLM代碼安全左側(cè)中右側(cè)模型前側(cè)安全因子模型側(cè)安全因子生態(tài)代碼安全LRDTAE：LLM+RAG的高精度的污點(diǎn)型漏洞檢測LLM+漏洞挖掘傳統(tǒng)代碼漏洞檢測（尤其是污點(diǎn)分析方向）在工業(yè)界落地時(shí)面臨

“自動(dòng)化程度低、精準(zhǔn)度不足、人工成本高”

三大核心瓶頸現(xiàn)存問題LLM-RAG-DrivenTaintAnalysisEnhancement:OptimizingCodeQLforPreciseSoftwareVulnerability

IdentificationLLM+RAG

動(dòng)態(tài)標(biāo)記全流程語義閉環(huán) LLM語義精篩核心價(jià)值： 核心價(jià)值： 核心價(jià)值：自動(dòng)化完成 利用LLM的語義理解

過濾“規(guī)則誤判”的Source/Sink/prop

能力貫穿“提取→標(biāo)

無風(fēng)險(xiǎn)漏洞，提升結(jié)agator標(biāo)記，覆蓋

記→檢測→精篩”，

果可信度小眾API/自定義方 提升端到端準(zhǔn)確性法突破傳統(tǒng)痛點(diǎn)： 突破傳統(tǒng)痛點(diǎn)： 破傳統(tǒng)痛點(diǎn)：解決人工標(biāo)記“成本 避免現(xiàn)有技術(shù)僅用 解決傳統(tǒng)規(guī)則過濾高、覆蓋不全、新 LLM做“單點(diǎn)優(yōu)化” “識(shí)別不了語義無風(fēng)API

滯后”問題 的局限 險(xiǎn)場景”的盲區(qū)合作共建

基礎(chǔ)設(shè)施漏洞掃描快速開始$ -/AI基礎(chǔ)設(shè)施漏洞掃描開源AI框架與組件CVE漏洞掃描如ollama、ComfyUI等Web組件400+漏洞內(nèi)網(wǎng)AI平臺(tái)常見風(fēng)險(xiǎn)掃描（優(yōu)化中）未授權(quán)、列目錄、鑒權(quán)不當(dāng)、弱口令等風(fēng)險(xiǎn)Prompt安全評(píng)測A.I.G

(AI-Infra-Guard)

是朱雀實(shí)驗(yàn)室開源的一款智能、全面、易用的AI紅隊(duì)測試平臺(tái)，Github

Star

1.5K+。支持AI基礎(chǔ)設(shè)施漏洞掃描、Prompt安全評(píng)測、一鍵越獄、MCP

Server安全掃描等功能。支持一鍵Docker部署，提供詳細(xì)使用文檔與指引，非專業(yè)用戶也可以快速上手。支持插件式配置，快速添加組件漏洞指紋、評(píng)測集、新型風(fēng)險(xiǎn)掃描能力。MCP

Server風(fēng)險(xiǎn)檢測核心功能大模型Prompt安全評(píng)測支持內(nèi)置/上傳提示注入與越獄攻擊評(píng)測集大模型一鍵越獄內(nèi)置主流攻擊算子，實(shí)現(xiàn)一鍵定向越獄MCP

Server源碼白盒審計(jì)AI

Agent分析代碼中MCP投毒與漏洞等風(fēng)險(xiǎn)遠(yuǎn)程MCPServer黑盒掃描AI

Agent動(dòng)態(tài)連接MCP識(shí)別常見風(fēng)險(xiǎn)歡迎一起開源社區(qū)共建和討論AI

Agent驅(qū)動(dòng)的MCP安全檢測方案精準(zhǔn)識(shí)別30+AI框架組件，覆蓋近400個(gè)已知CVE漏洞，包括Ollama/ComfyUI/vLLM等AI組件供應(yīng)鏈威脅模型產(chǎn)品檢測9大類MCP安全風(fēng)險(xiǎn)（如工具偷毒、數(shù)據(jù)竊取等），支持源代碼/遠(yuǎn)程URL掃描對(duì)LLM進(jìn)行紅隊(duì)安全測試LLM紅隊(duì)測試MCP組件惡意潛在執(zhí)行難發(fā)現(xiàn)掃AI

組件、MCP

Server

智能漏洞檢測AI服務(wù)生態(tài)快速膨脹，AI組件、MCP

Server成為攻擊新靶點(diǎn)。作為連接模型與工具的橋梁，其質(zhì)量參差不齊，存在大量未經(jīng)安全審計(jì)的第三方插件和開源組件?，F(xiàn)存問題A.I.G（AI-Infra-Guard）：AIRedTeaming

Platform全面開源，從GitHub千星到BlackHat的社區(qū)驅(qū)動(dòng)防護(hù)A.I.G（AI-Infra-Guard）：AIRedTeaming

Platform本項(xiàng)目自2025年初開源以來，已在Github上被1800+全球用戶點(diǎn)贊關(guān)注，獲得DeepSeek官方推薦，入選全球安全頂會(huì)BlackHat

兵器譜。開源:///Tencent/AI-Infra-Guard/歡迎Star、體驗(yàn)與共建。4.AI代碼生成威脅AI代碼生成威脅生成屬性上的直接風(fēng)險(xiǎn)生成代碼的風(fēng)險(xiǎn)生成和應(yīng)用架構(gòu)上的安全缺陷……間接風(fēng)險(xiǎn)……武器化風(fēng)險(xiǎn)……海量實(shí)測結(jié)論：507,044

個(gè)實(shí)例，其中

Python

285,249、Java

221,795Python側(cè)目前LLM本身具有很強(qiáng)的代碼編寫能力，但是同樣也會(huì)寫出代碼缺陷、代碼漏洞甚至是有后門帶代碼。這些“特性”具有不安全性和可操控性?，F(xiàn)存問題AI

代碼

總量與密度均高于人類，而唯一

CWE

種類數(shù)與人類接近

?

新類型不一定更多，但同類型重復(fù)更多（密度更高）JAVA側(cè)Java

側(cè)差距更大：面更廣、頻率更高（尤其

DSC）缺陷譜系A(chǔ)I

更偏“賦值/未用/結(jié)構(gòu)淺”，人類更偏“算法/復(fù)雜度/檢查”參考資料：（生成屬性）AI代碼生成威脅：代碼缺陷、漏洞與后門生成目前主流Code

Generation

Agent架構(gòu)MCP相關(guān)安全問題主流Agent支持通過MCP集成外部工具，存在工具投毒等攻擊面（生成屬性）AI代碼生成威脅：代碼生成系統(tǒng)智能體存在的安全問題目前主流的自動(dòng)化或者半自動(dòng)化的AI編程助手主要是基于LLM

Agent的結(jié)構(gòu)實(shí)現(xiàn)的，這種Agent結(jié)構(gòu)提升了大模型的自動(dòng)化能力，但也引入了安全問題?，F(xiàn)存問題外部惡意信息源檢索信息存在惡意信息，從而導(dǎo)致提示詞注入任務(wù)迭代過