2 3 3 5 5 6 8 9 10 10 10 12 12 12 13 14 16 17 18 18 19 19 20 20 21 22 23 243本文對(duì)大模型在軟件設(shè)施和具體應(yīng)用場(chǎng)景落地中的安全問(wèn)題進(jìn)行多方面探Dify4triton-inference-ser51.模型訓(xùn)練和驗(yàn)證經(jīng)常會(huì)使用到開(kāi)源第三方數(shù)據(jù)集，或者在使用網(wǎng)的內(nèi)容形成自有數(shù)據(jù)集時(shí)，并沒(méi)有進(jìn)行有效清洗，導(dǎo)致數(shù)據(jù)集中包含一個(gè)直觀的例子是，如果大量重復(fù)的在聊天機(jī)器人問(wèn)答過(guò)程中輸入錯(cuò)誤的事實(shí)，則可能會(huì)影響該聊天機(jī)器人與其他用戶(hù)對(duì)話時(shí)對(duì)于類(lèi)似問(wèn)題的678examples."arXivpreprintarXiv:1412.6572(2014).9憶注入）以及JSONexploiting（JSON格1.未授權(quán)訪問(wèn)來(lái)自其他數(shù)據(jù)提供方的關(guān)鍵數(shù)據(jù)，這將導(dǎo)致最直接的隱私泄2.從模型生成結(jié)果中還原出原始訓(xùn)練數(shù)據(jù)信息，或推斷模型特征，從而實(shí)大模型的開(kāi)放性和可擴(kuò)展性使得其在訓(xùn)練和推理過(guò)程中面臨著諸多安全威為了提升整體運(yùn)行效率，框架底層主要使用C/C++進(jìn)行編程，并在算法的這些框架上層均提供了以Python為主的各類(lèi)接口來(lái)訪問(wèn)底層C++實(shí)現(xiàn)。早在對(duì)于在訓(xùn)練過(guò)程中會(huì)被經(jīng)常運(yùn)行的代碼邏輯而言，每加入一行新代碼都會(huì)在整體上拖慢程序的運(yùn)行速度，而為了修復(fù)內(nèi)存安全問(wèn)題增加的補(bǔ)丁2.此類(lèi)問(wèn)題的利用條件相對(duì)苛刻，在實(shí)際應(yīng)用場(chǎng)又能控制傳入的參數(shù)值，而這兩者通常只由框架的使用者決定。考慮到內(nèi)存破壞漏洞利用通常還需要額外的邏輯來(lái)精確控制內(nèi)存，因此上述攻擊在大多數(shù)場(chǎng)景下是難以實(shí)施的，即當(dāng)攻擊者能滿(mǎn)足此類(lèi)利用條件時(shí)，不可信模型，與直接執(zhí)行不可信代碼是等價(jià)的，其中，由Pickle格式的模型而導(dǎo)致的任意代碼執(zhí)行則是一個(gè)WorkerWorkerWorkerFrameworkLevelTaskWorkerWorkerWorkerFrameworkLevelTaskschedule&NodeManagementgRPC/HTTP/SSH/Sockets...Workera2a3Workerbob1b2WorkerWorkera2a3Workerbob1b2Workerdod1d2d3WorkerParallelComputingLevelAllReduce▲行計(jì)算層負(fù)責(zé)運(yùn)行具體的計(jì)算任務(wù)，通過(guò)專(zhuān)門(mén)的并行計(jì)算協(xié)議完成節(jié)點(diǎn)間的數(shù)架都沒(méi)有良好的安全策略實(shí)現(xiàn)。在這里我們選取了其中幾個(gè)代表性框架進(jìn)行分llama.cpp是一個(gè)使用C/C++實(shí)現(xiàn)，提供了LLaMA和其它多種大語(yǔ)言模型的2圖片來(lái)源：/ggerganov/lla理。當(dāng)接收到消息時(shí)，服務(wù)端會(huì)先檢查消息的簽名，在驗(yàn)證通過(guò)后，使用2.確保服務(wù)生命周期的合理性，例如，在同步網(wǎng)絡(luò)信息后，將及時(shí)關(guān)停ClientrequestClientrequestRayClustergRPCWorkerNodeWorkerProcessRayletsharedmemobjectstoreRuntimeEnvAgentHeadNodeDriverProcessJobManagerDashboardGlobalControlStore雖然在不同的場(chǎng)景下，實(shí)施這些攻擊的難易程度也有所不同，但不可否認(rèn)的是，絕大多數(shù)的框架開(kāi)發(fā)者目前并沒(méi)有投入精力來(lái)解決因框架設(shè)計(jì)導(dǎo)致的安全敞口AI應(yīng)用以人工智能技術(shù)為核心，構(gòu)建了完整用戶(hù)交互流程，旨在通過(guò)自動(dòng)化決策和智能分析來(lái)解決實(shí)際問(wèn)題。AI應(yīng)用通常集成了前端采集用戶(hù)輸AnythingLLM是一個(gè)支持使用商業(yè)或開(kāi)源大語(yǔ)言模型并結(jié)合私有知識(shí)庫(kù)進(jìn)取實(shí)時(shí)信息或讀取用戶(hù)本地知識(shí)庫(kù)；交互增強(qiáng)類(lèi)plugin可以繪制圖表片等等。一些功能強(qiáng)大的plugin甚至允許用戶(hù)通過(guò)自然語(yǔ)言或其他形戶(hù)可以通過(guò)自然語(yǔ)言與數(shù)據(jù)進(jìn)行交互，而無(wú)需編寫(xiě)復(fù)雜的代碼。PandasAI中的SemanticAgent通過(guò)添加語(yǔ)義層來(lái)顯然，AI應(yīng)用很難從辨別代碼意圖的角度去進(jìn)行代碼執(zhí)行的任務(wù)來(lái)保障安全問(wèn)題，因?yàn)樵诮^大多數(shù)情況下，AI代碼并不復(fù)雜，通過(guò)簡(jiǎn)單的Python解釋器這是因?yàn)锳I本身就具備