王濱北京大學博士生securenexuslab創(chuàng)始人個人簡介王濱，關注代碼安全（自動化漏洞挖掘）、LLM應用、LLM代碼生成與代碼生成安全。SecureNexusLab創(chuàng)始人，各平臺累計安全領域垂類粉絲/TheBinKing/awesome-code-generation-and-security/Tencent/AICGSecEval/Tencent/AI-Infra-Guard/SecureNexusLab/LLMPromptAttackGuide/SecureNexusLab/IoTFirmwareAnalysisGuide所在實驗室關注網(wǎng)絡安全、LLMofsec、secofLLM。同時外部社群關注AI以及安全生態(tài)的建設、討論，圍繞多方合作和社群自建的模式吸引大量優(yōu)秀同仁脅行業(yè)重大需求代碼生成安全是軟件開發(fā)的一項基礎性工作，必須重視和加強代碼生成安全工作Claude.ai的真實世界使用數(shù)據(jù)。這些數(shù)字指的是與Claude進行的對話中，涉及這些具體任務、職業(yè)OpenRouter上跟蹤的使用LLMtoken量最大的應用在LLM使用場景中，代碼生成的相關需求遠遠高于其他類型任務/nehttps://openrouter.ai/ran能夠根據(jù)上下文自動補全代碼能夠根據(jù)注釋描述自動補全代碼代碼開發(fā)新范式，LLM4CODE自動根據(jù)項目信息生成測試文件進行代碼理解翻譯代碼開發(fā)新范式，LLM4CODEClaude、Copilot等已經(jīng)可以代碼開發(fā)新范式，LLM4CODE代碼開發(fā)新范式，AI提升開發(fā)速度LLM提高了代碼生產(chǎn)效率，但是安全性未必得到足夠的關注難度大難度大u目前聚焦的主要戰(zhàn)場還在能力邊界擴展uu目前聚焦的主要戰(zhàn)場還在能力邊界擴展u直接收益低風險暫時不夠突出（安全數(shù)據(jù)、安全能力）行業(yè)重大需求代碼生成安全是軟件開發(fā)的一項基礎性工作，必須重視和加強代碼生成安全工作安全缺位代碼漏洞安全缺位代碼漏洞基準缺失生成風險AI生成代碼已占主流AI代碼生成工具寫AI生成代碼已占主流AI代碼生成工具寫41%45%1、https://www.backslash.security/press-releases/backslash-security-reveals-in-new-research-that-gpt-4-1-other-popular-llms-generate-insecure-code-unless-explicit2、/OWASP-CHINA/owasp-project/owasp-59278/張坤--LLM應用程序OWASP十大安全風險2025發(fā)布版本.pdf3、https://www.lasso.security/blog/owasp-top-10-for-llm-applications-generative-ai-key-updates-for-20254、/wp-content/uploads/2025_GenAI_Code_Security_Report_Final.pdf5、/develope在簡單提示下的安全性評分低AI輔助編程實踐生成漏洞評測為尺，風險現(xiàn)形：項目級AI生成代碼安全性評測現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大揭示實際repo場景的代碼生成安全隱患，探索揭示實際repo場景的代碼生成安全隱患，探索評測為尺，風險現(xiàn)形：項目級AI生成代碼安全性評測現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大評測為尺，風險現(xiàn)形：項目級AI生成代碼安全性評測現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大現(xiàn)有評估基準與真實開發(fā)場景脫節(jié)，嚴重高估了模型的實際安全能力。當前代碼安全評估基準大A.S.E：業(yè)界首個項目級AI生成代碼安全性評測框架所評估的26個主流大模型均存在代碼正確性優(yōu)先、安全防護滯后的問題，表現(xiàn)最好的模型代碼質量得分高達91.58，但安全得分僅46.72，且無任何模型安全得分突破50分。更大的推理預算可能引入冗余邏輯或偏離安全目標，反而降低代碼安全性；簡潔直接的快思考推理模式，在倉庫級安全漏洞修復中更高效。倉庫級場景需大模型處理跨文件調(diào)用鏈、構建系統(tǒng)依賴等需求，而多數(shù)大模型僅擅長孤立代碼生成，僅極少數(shù)模型具備項目級安全理解能LLM代碼安全u模型前側安全因子uu模型前側安全因子u生態(tài)代碼安全質量評估與鏈式思維的安全緩沖實驗驗證思維鏈（Chain-實驗驗證思維鏈（Chain-of-Thought）：通過分步推理強化安全考量，如L3級提示下CWE-284漏洞率從49.84%降至43.41%。自我修正（RegenerateAct）：模擬安全專家自檢漏洞并修復，在L2-L3級復雜任務中表現(xiàn)突出，漏洞率顯著下降。提示詞質量對安全性的關鍵影響被嚴重低估，缺乏系統(tǒng)性研究與管理?，F(xiàn)有工作過度關注模型的CWE-BENCH-PYTHON：構建提示詞質量評估基準 LL2LL2個等級4個等級4當前提高大模型代碼生成安全性的主流方法當前提高大模型代碼生成安全性的主流方法REFLEXGEN：低成本、高效率、高安全的輕量化解決方案大模型自反思機制大模型自反思初始代碼缺陷，大模型自反思初始代碼缺陷，迭代優(yōu)化并更新知識庫，無需微調(diào)即可提升代碼安全性。增強檢索生成技術(RAG)初始代碼生成后，初始代碼生成后，以輸入與初始代碼做RAG查詢整合整合RAG安全知識，輔助大模型生成優(yōu)化代碼RAGRAG知識不足時修復缺陷，更新安全知識庫實驗驗證復雜任務要求下，代碼生成過程缺乏可控性與透明性，難以集成外部知識?，F(xiàn)有代碼生成模型其實驗驗證復雜任務要求下，代碼生成過程缺乏可控性與透明性，難以集成外部知識?，F(xiàn)有代碼生成模型其RA-Gen:多智能體框架保障高安全代碼生成Planner軌跡生成精煉軌跡代碼生成多智能體具體交互流程LLM代碼安全u模型前側安全因子u模型側安全因子u生態(tài)代碼安全LLM+RAG動態(tài)標記全流程語義閉環(huán)LLM語義精篩利用LLM的語義理解利用LLM的語義理解LLM做“單點優(yōu)化”法解決人工標記“成本API滯后”問題A.I.G(AI-Infra-Guard)是朱雀實驗室開源的一支持AI基礎設施漏洞掃描、Prompt安全評測、一鍵越獄、MCPServer安全掃描等功能。業(yè)用戶也可以快速上手。型風險掃描能力。）：AI服務生態(tài)快速膨脹，AI組件、AI服務生態(tài)快速膨脹，AI組件、MCPServer成為攻擊新靶點。作為連接模型AIAIAgent驅動的MCP安全檢測方案精準識別30+AI框架組件，覆蓋近400個已知CVE漏洞，包括Ollama/ComfyUI/vLLM等檢測9大類MCP安全風險（如工具偷毒、數(shù)據(jù)竊取等），支持源代碼/遠程URL掃描對LLM進行紅隊安全測試全面開源，從GitHub千星到BlackHat的社區(qū)驅動防護）：本項目自2025年初開源以來，已在Github上被1800+全球用戶點贊關注，獲得DeepSeek官方推薦，入選全球安全頂uAI代碼生成威脅u生成屬性上的直接風險u生成代碼的風險u生成和應用架構上的安全缺陷u……u……u武器化風險u……海量實測結論：507,044海量實測結論：507,044個實例，其中Python285,249、Java221,795Python側AI代碼AI代碼總量與密度均高于人類，而類型不一定更多，但同類型重復更多Java側差距更大：面更廣、頻率更高（尤其DSC）缺陷譜系AI更偏“賦值/未用/結構淺”，人類更偏“算法/復雜度/檢查”參考資料：/pdf/2508目前主流CodeGenerationAgent架構行多步迭代的過程中，目前主流CodeGenerationAgent架構行多步迭代的過程中，會出現(xiàn)生成后門漏洞代碼的情況MCP相關安全問題主流Agent支持通過MCP集成外部工具，存在工具投毒等攻擊面外部惡意信息源檢索信息存在惡意信息，從而導致提示詞注入任務迭代過程中的安全性退化最新研究表明讓Agen對代碼進參考資料：/pdf/25大模型的代碼生成能力依賴于對海量代碼數(shù)據(jù)集大模型的代碼生成能力依賴于對海量代碼數(shù)據(jù)集代碼投毒的基本流程攻擊者可對LLM代碼投毒的基本流程攻擊者可對LLM提出常見編碼問題，識別出LLM反復推薦的虛假包名，然后在公共倉庫中注冊同名惡意包。開發(fā)者見到建議就安裝，最終下載植入后門。/top-content/business-strategy/understanding-business-risks/how-to-understan通過強化學習讓大模型學會繞過安全檢測通過讓大模型lua語言生成能力，通過強化學習讓大模型學會繞過安全檢測通過讓大模型lua語言生成能力，實現(xiàn)