判】。2奇安信

安全治理框架

政務(wù)大模型安全治理框架

概要

政務(wù)大模型是專注在政務(wù)領(lǐng)域的行業(yè)大模型，政務(wù)大模型在通用大模型基

礎(chǔ)上，通過檢索增強(qiáng)生成或者模型微調(diào)等技術(shù)手段，使模型更加貼合政務(wù)的特

點(diǎn)和需求?；谡?wù)大模型的應(yīng)用，為政府決策、公共服務(wù)、帶來了全新的變

革。然而，政務(wù)大模型應(yīng)用也伴隨著各種潛在的風(fēng)險(xiǎn)。

政務(wù)大模型安全風(fēng)險(xiǎn)主要包括七個(gè)主要類型，即數(shù)據(jù)安全風(fēng)險(xiǎn)、訓(xùn)練語料

安全風(fēng)險(xiǎn)、模型安全風(fēng)險(xiǎn)、應(yīng)用安全風(fēng)險(xiǎn)、軟件供應(yīng)鏈安全風(fēng)險(xiǎn)、生成內(nèi)容風(fēng)

險(xiǎn)、大模型自身風(fēng)險(xiǎn)。

政務(wù)大模型的安全治理框架是保障其安全、合規(guī)運(yùn)行的基礎(chǔ)。全面的安全

治理框架，需要滿足合規(guī)要求、建立完善安全機(jī)制、提供安全技術(shù)保障。

其中，合規(guī)是首要原則，涉及多項(xiàng)法律法規(guī)、規(guī)章制度的遵循U安仝技術(shù)

保障是政務(wù)大模型安全治理框架的核心，涵蓋從基礎(chǔ)安全措施、數(shù)據(jù)安全、大

模型開發(fā)安全到運(yùn)行安全等方面。

政務(wù)大模型的安全治理上，需要政府、企業(yè)、研究機(jī)構(gòu)、監(jiān)管機(jī)構(gòu)等各方

協(xié)作，形成良性互動生態(tài)體系，構(gòu)建安全、可靠、有序的環(huán)境，充分發(fā)揮政務(wù)

大模型在提升政府服務(wù)效能、推動社會進(jìn)步方面的積極作用。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第2頁

政務(wù)大模型安全治理框架

1生成式人工智能快速發(fā)展，政務(wù)大模型為數(shù)字政府賦能

人工智能已成為引領(lǐng)科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性新興產(chǎn)業(yè)，以大模型為

代表的生成式人工智能，是人工智能技術(shù)發(fā)展的重要方向?；诖竽Ｐ偷纳?/p>

式人工智能，從文本處理到聲音、圖像、視頻等多媒體處理，從理解知識到創(chuàng)

造知識，正在向著通用人工智能(AGI)的長期目標(biāo)向前跨越。

大模型正在賦能千行百業(yè)。在政府行業(yè)，大模型推動政府邁入智能化。在

數(shù)字政府建設(shè)中，大模型將提升政府服務(wù)水平，提高政務(wù)服務(wù)的體驗(yàn)，同時(shí)優(yōu)

化決策制定、加強(qiáng)政府內(nèi)部協(xié)同、提升城市治理能力，為打造服務(wù)化、智能化、

現(xiàn)代化的數(shù)字政府提供關(guān)鍵技術(shù)支持。

1.1政務(wù)大模型應(yīng)用廣泛，各地陸續(xù)開展應(yīng)用實(shí)踐

政務(wù)大模型在政務(wù)領(lǐng)域有著廣泛的應(yīng)用場景。首先，在公共服務(wù)方面，政

務(wù)大模型可以提供智能化的政務(wù)咨詢和辦事指引。為公眾提供準(zhǔn)確、個(gè)性化的

解答，提高政務(wù)服務(wù)的效率和滿意度。

其次，在政務(wù)辦公方面，大模型可以輔助公文寫作、文檔處理、會議紀(jì)要

整理、內(nèi)部知識管理等日常工作。它還可以分析部門間的數(shù)據(jù)，發(fā)現(xiàn)管理中的

問題和優(yōu)化空間，促進(jìn)跨部門協(xié)作。

再者，在城市治理等政府監(jiān)管領(lǐng)域，大模型可分析城市運(yùn)行的大數(shù)據(jù)，預(yù)

測和識別問題，支持政府進(jìn)行更科學(xué)的決策和更有效的資源分配，實(shí)現(xiàn)城市管

理的智能化和精細(xì)化。例如在城市應(yīng)急管理方面，大模型能夠快速整合道路攝

像頭信息，為決策提供支持。

政務(wù)大模型開始在一些省市落地。在北京亦莊經(jīng)開區(qū)，亦智政務(wù)大模型服

務(wù)平臺正式上線。平臺實(shí)現(xiàn)了智慧政務(wù)小助手、迎商中心數(shù)字人、智能決策助

手、亦城慧眼、實(shí)驗(yàn)室智能監(jiān)管等多個(gè)場景應(yīng)用。在北京市生態(tài)環(huán)境局，打造

了生態(tài)環(huán)境"監(jiān)管一監(jiān)測一監(jiān)察〃--“三監(jiān)〃聯(lián)動大模型，支撐了新階段大氣污染

防治科學(xué)、精準(zhǔn)、依法治污。在廣東省政數(shù)局，上線基于大模型的AI智慧服務(wù),

提供智慧搜索和AI智能問答，提升一體化在線政務(wù)服務(wù)能力。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第3頁

政務(wù)大模型安全治理框架

器

交互。另一些則被集成到現(xiàn)有的政務(wù)應(yīng)用中，以AI智能助手形式，類似微

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第5頁

政務(wù)大模型安全治理框架

軟提出的Copilot副駕駛模式，提升現(xiàn)有應(yīng)用的智能化水平。隨著技術(shù)發(fā)展,

Agent智能體受到關(guān)注，智能體具備自主性、反應(yīng)性和學(xué)習(xí)能力，可以與人

或其他Agent智能體交互，自動化完成任務(wù)。

模型適配也具有多樣性，政務(wù)大模型可以通過知識增強(qiáng)、模型微調(diào)和

增量預(yù)訓(xùn)練，學(xué)習(xí)政務(wù)相關(guān)的知識，提高政務(wù)大模型回答的準(zhǔn)確性。檢索

增強(qiáng)生成（RAG）是比較廣泛的知識增強(qiáng)方式。RAG在用戶問題上，補(bǔ)充政

務(wù)業(yè)務(wù)的上下文，大模型在回答問題或生成文本時(shí)能夠引用相關(guān)信息，提

高生成內(nèi)容的質(zhì)量。大模型如果需要回答精確的數(shù)據(jù)，如智慧問數(shù)應(yīng)用,

需要引入插件訪問業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫，獲取結(jié)果后再響應(yīng)。

政務(wù)大模型應(yīng)用和模型適配的多樣性，為政務(wù)大模型應(yīng)用落地帶來復(fù)

雜性。在政務(wù)大模型應(yīng)用開始，需要仔細(xì)考慮應(yīng)用場景和目標(biāo)，確定應(yīng)用

形式和模型的適配方式，同步開展數(shù)據(jù)的準(zhǔn)各工作“

MMMUi

8

MM

目

圖2：典型政務(wù)大模型應(yīng)用場景

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第6頁

政務(wù)大模型安全治理框架

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第7頁

政務(wù)大模型安全治理框架

2政務(wù)大模型安全風(fēng)險(xiǎn)分類

隨著政務(wù)大模型在政府管理、公共服務(wù)中的廣泛應(yīng)用，其強(qiáng)大的自然語言

和數(shù)據(jù)處理和分析能力為政府決策、社會治理帶來了全新的變革。然而，政務(wù)

大模型的應(yīng)用也伴隨著各種潛在的風(fēng)險(xiǎn)，尤其在用戶隱私、數(shù)據(jù)安全、內(nèi)容監(jiān)

管等方面，涉及政務(wù)的特定要求和合規(guī)風(fēng)險(xiǎn)。本文將從政務(wù)特點(diǎn)出發(fā)，分析大

模型在用戶、應(yīng)用、內(nèi)容風(fēng)控、數(shù)據(jù)、模型以及公網(wǎng)使用等方面的潛在風(fēng)險(xiǎn)。

本文圍繞政務(wù)大模型與應(yīng)用系統(tǒng)展開討論安全風(fēng)險(xiǎn)及安全治理方法，通用

大模型相關(guān)風(fēng)險(xiǎn)，如“可解釋性差的風(fēng)險(xiǎn)、偏見歧視風(fēng)險(xiǎn)、魯棒性風(fēng)險(xiǎn)等內(nèi)容〃

等通用大模型風(fēng)險(xiǎn)問題，不在本文中做探討。

2.1數(shù)據(jù)安全風(fēng)險(xiǎn)

數(shù)據(jù)是大模型智慧的來源，通過獲取外部數(shù)據(jù)及政務(wù)數(shù)據(jù)，進(jìn)行數(shù)據(jù)處理，

形成高質(zhì)量訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)處理過程，面臨多種風(fēng)險(xiǎn)：數(shù)據(jù)違規(guī)收集、數(shù)據(jù)

泄露、勒索風(fēng)險(xiǎn)、違規(guī)使用風(fēng)險(xiǎn)等風(fēng)險(xiǎn)；同時(shí)數(shù)據(jù)標(biāo)注環(huán)節(jié)也至關(guān)重要，伴隨

著多重風(fēng)險(xiǎn)，影響模型的安全性和準(zhǔn)確性。

>/數(shù)據(jù)的違規(guī)收集：政務(wù)大模型使用數(shù)據(jù)往往涉及公眾的個(gè)人信息和國家

機(jī)密，若這些數(shù)據(jù)的收集和使用不符合法律規(guī)定，將面臨嚴(yán)重的法律后

果。

>/違規(guī)使用數(shù)據(jù)：使用未授權(quán)或違規(guī)數(shù)據(jù)進(jìn)行大模型訓(xùn)練或內(nèi)容檢索增強(qiáng),

違反相關(guān)規(guī)定。

>/數(shù)據(jù)泄露：政務(wù)大模型在研發(fā)和應(yīng)用過程中，因數(shù)據(jù)處理不當(dāng)、非授權(quán)

訪問、惡意攻擊等問題，可能導(dǎo)致政務(wù)數(shù)據(jù)和個(gè)人信息的泄露。

》/勒索風(fēng)險(xiǎn)：大模型使用的政務(wù)數(shù)據(jù)若被黑客攻破，可能遭遇數(shù)據(jù)勒索或

數(shù)據(jù)流失，直接威脅政府運(yùn)作和社會穩(wěn)定。

>/標(biāo)注規(guī)則風(fēng)險(xiǎn)：數(shù)據(jù)標(biāo)注規(guī)則不完善或模糊會導(dǎo)致標(biāo)注人員理解不一致，

進(jìn)而影響數(shù)據(jù)的準(zhǔn)確性和一致性。標(biāo)注規(guī)則的不清晰還可能導(dǎo)致關(guān)鍵信

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第8頁

政務(wù)大模型安全治理框架

息被忽略或誤標(biāo)，影響模型的性能與決策能力，尤其是在政務(wù)領(lǐng)域，錯(cuò)

誤的數(shù)據(jù)標(biāo)注可能導(dǎo)致政策誤判或公共服務(wù)偏差。

》/標(biāo)注人員風(fēng)險(xiǎn)：標(biāo)注人員的安全意識直接關(guān)系到數(shù)據(jù)的安全性。若標(biāo)注

人員缺乏安全意識，可能無意中泄露敏感數(shù)據(jù)，或在標(biāo)注過程中引發(fā)信

息泄露。此外，惡意標(biāo)注人員可能通過竊取數(shù)據(jù)、投放惡意信息（數(shù)據(jù)

投毒）或篡改標(biāo)注內(nèi)容，故意破壞數(shù)據(jù)的完整性和準(zhǔn)確性。

>/標(biāo)注數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)：數(shù)據(jù)標(biāo)注的準(zhǔn)確性、一致性和完整性不足，會導(dǎo)致

模型在實(shí)際應(yīng)用中的表現(xiàn)不佳，產(chǎn)生偏差或錯(cuò)誤判斷。

2.2訓(xùn)練語料安全風(fēng)險(xiǎn)

訓(xùn)練語料在模型訓(xùn)練中至關(guān)重要，它直接決定了模型的學(xué)習(xí)質(zhì)量和生成內(nèi)

容的準(zhǔn)確性。如果訓(xùn)練語料存在數(shù)據(jù)投毒或內(nèi)容違規(guī)風(fēng)險(xiǎn)，不僅會誤導(dǎo)模型學(xué)

習(xí)錯(cuò)誤的信息，還可能導(dǎo)致其生成不當(dāng)或不合規(guī)的輸出。

>/數(shù)據(jù)投毒：攻擊者可能通過投放惡意或虛假數(shù)據(jù)干擾大模型的訓(xùn)練，導(dǎo)

致模型輸出錯(cuò)誤或產(chǎn)生不當(dāng)內(nèi)容。

>/內(nèi)容違規(guī)風(fēng)險(xiǎn)：訓(xùn)練語料的內(nèi)容包含個(gè)人敏感信息、誤導(dǎo)性信息等不當(dāng)

內(nèi)容，導(dǎo)致模型生成違規(guī)或不合規(guī)的內(nèi)容。

2.3大模型使用安全風(fēng)險(xiǎn)

隨著政務(wù)大模型的深入應(yīng)用，其安全風(fēng)險(xiǎn)也日益凸顯。大模型應(yīng)用安全風(fēng)

險(xiǎn)是政務(wù)大模型應(yīng)用過程中不可忽視的關(guān)鍵問題，如使用未備案的基礎(chǔ)模型，

可能引發(fā)合規(guī)性問題；大模型在生成內(nèi)容的過程中存在輸出不當(dāng)內(nèi)容的風(fēng)險(xiǎn)，

可能產(chǎn)生違背法律、社會倫理或政策導(dǎo)向的結(jié)果，帶來輿論和社會風(fēng)險(xiǎn)；此外，

政務(wù)大模型文件是核心產(chǎn)物，面臨著模型泄露與篡改風(fēng)險(xiǎn)。

>/使用不合規(guī)的基礎(chǔ)模型：使用不合規(guī)的基礎(chǔ)模型可能導(dǎo)致違規(guī)操作，

并面臨法律和行政處罰。如：根據(jù)國家監(jiān)管要求，政務(wù)大模型的基礎(chǔ)

模型應(yīng)進(jìn)行備案，確保其合法合規(guī)。

>/生成不當(dāng)內(nèi)容風(fēng)險(xiǎn)：政務(wù)大模型在生成文本或提供建議時(shí)，可能輸出

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第9頁

政務(wù)大模型安全治理框架

帶有誤導(dǎo)性、不當(dāng)或風(fēng)險(xiǎn)性內(nèi)容。

>/模型泄露風(fēng)險(xiǎn)：政務(wù)大模型的模型權(quán)重、參數(shù)和架構(gòu)一旦泄露，可能

被不法分子利用進(jìn)行攻擊或偽造內(nèi)容，甚至可以通過模型反向推測訓(xùn)

練數(shù)據(jù)，甚至還原敏感信息。威脅政務(wù)大模型的正常運(yùn)行。

>/模型篡改風(fēng)險(xiǎn)：政務(wù)大模型一旦被攻擊者通過惡意手段進(jìn)行未經(jīng)授權(quán)

的修改，會導(dǎo)致大模型生成錯(cuò)誤或誤導(dǎo)性信息，甚至故意篡改政策解

讀或數(shù)據(jù)分析結(jié)果。

2.4應(yīng)用安全風(fēng)險(xiǎn)

政務(wù)大模型的應(yīng)用在開發(fā)和使用過程中，面臨著一系列安全風(fēng)險(xiǎn)。如開源

組件可能存在漏洞，代碼安全風(fēng)險(xiǎn)及代碼泄露問題，應(yīng)用上線后面臨的

Web/API攻擊風(fēng)險(xiǎn)等問題，威脅整個(gè)政務(wù)大模型應(yīng)用系統(tǒng)的安全性與穩(wěn)定性。

>/代碼安全風(fēng)險(xiǎn)：政務(wù)大模型代碼的安全性直接影響系統(tǒng)的穩(wěn)定性和可信

性。如果代碼開發(fā)中缺乏安全措施，可能引發(fā)數(shù)據(jù)篡改、系統(tǒng)崩潰等問

題。

》/代碼泄露：政務(wù)系統(tǒng)中包含大量涉及政務(wù)信息或民生服務(wù)的敏感內(nèi)容，

代碼一旦泄露，可能造成重大安全風(fēng)險(xiǎn)。

>/Web/API攻擊：大模型通常通過Web接口和API為政務(wù)系統(tǒng)提供服務(wù)，

若防護(hù)措施不足，可能遭遇惡意攻擊。針對政務(wù)系統(tǒng)的API攻擊可能導(dǎo)

致服務(wù)中斷、數(shù)據(jù)泄露或功能失效。

2.5軟件供應(yīng)鏈安全風(fēng)險(xiǎn)

政務(wù)大模型應(yīng)用系統(tǒng)的軟件供應(yīng)鏈風(fēng)險(xiǎn)主要包括開源軟件漏洞、惡意代碼

植入和供應(yīng)商管理不善，供應(yīng)鏈安全風(fēng)險(xiǎn)直接威脅政務(wù)大模型的安全使用。

》/開源軟件漏洞：政務(wù)大模型應(yīng)用中使用的開源軟件可能存在未修復(fù)的漏

洞，這些漏洞可能被惡意利用，導(dǎo)致安全隱患。

>/惡意代碼植入：第三方組件或開發(fā)工具可能被植入惡意代碼，危及系統(tǒng)

安全。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第10

政務(wù)大模型安全治理框架

>/供應(yīng)商管理不善：供應(yīng)商的安全能力差異也帶來風(fēng)險(xiǎn)，如代碼質(zhì)量低、

漏洞未及時(shí)修復(fù)等。

>/模型復(fù)用的缺陷傳導(dǎo)風(fēng)險(xiǎn)：依托基礎(chǔ)模型進(jìn)行二次開發(fā)或微調(diào)，是常見

的大模型應(yīng)用建設(shè)模式，如果基礎(chǔ)模型存在安全缺陷，將導(dǎo)致風(fēng)險(xiǎn)傳導(dǎo)

至下游模型。

>/惡意植入模型后門：攻擊者通過在大模型的訓(xùn)練或部署階段植入惡意代

碼或邏輯，使得模型在接收到特定的觸發(fā)提示詞時(shí)，執(zhí)行未授權(quán)的操作,

繞過正常的安全限制。這類后門攻擊尤其危險(xiǎn)，它可以讓模型在表面上

正常工作，但當(dāng)特定條件滿足時(shí)，模型會進(jìn)入類似越獄狀態(tài)，允許執(zhí)行

幾乎任何操作。

2.6生成內(nèi)容風(fēng)險(xiǎn)

大模型通過多源異構(gòu)調(diào)度發(fā)揮更大價(jià)值，大模型生成內(nèi)容安全合規(guī)風(fēng)險(xiǎn)極

其重要，如生成違背社會主義核心價(jià)值觀的內(nèi)容、侵犯知識產(chǎn)權(quán)、泄露個(gè)人信

息、保護(hù)歧視內(nèi)容等風(fēng)險(xiǎn)，將會對政務(wù)大模型造成致命影響。

>/內(nèi)容違反社會主義核心價(jià)值觀：政務(wù)大模型涉及政策解讀、公眾溝通等

方面，生成的內(nèi)容必須符合社會主義核心價(jià)值觀，確保正確的政治導(dǎo)向

和輿論引導(dǎo)。如果大模型生成的內(nèi)容出現(xiàn)違背國家政策或不符合主流價(jià)

值觀的情況，可能影響社會穩(wěn)定。

>/侵犯知識產(chǎn)權(quán)：政務(wù)大模型在生成政策文件、解讀報(bào)告時(shí)，可能無意間

使用了受版權(quán)保護(hù)的文本或資料，導(dǎo)致知識產(chǎn)權(quán)糾紛。

》/泄露個(gè)人信息：政務(wù)大模型處理大量個(gè)人信息，如果在生成內(nèi)容時(shí)無意

間泄露個(gè)人身份信息或其他敏感數(shù)據(jù)，將嚴(yán)重違反數(shù)據(jù)保護(hù)法律法規(guī)。

》/包含歧視內(nèi)容：大模型可能由于訓(xùn)練數(shù)據(jù)的偏差，生成包含性別、種族

或宗教等方面歧視的內(nèi)容。

2.7大模型自身風(fēng)險(xiǎn)

政務(wù)大模型自身面臨著多方面的安全風(fēng)險(xiǎn)，特別是在涉及公眾服務(wù)和敏感

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第11

政務(wù)大模型安全治理框架

信息的政務(wù)場景中，大模型自身安全風(fēng)險(xiǎn)可能會對大模型的安全性和穩(wěn)定性帶

來重大影響。

>/提示注入攻擊：惡意用戶可能通過特定提示引導(dǎo)政務(wù)大模型生成錯(cuò)誤或

有害內(nèi)容，導(dǎo)致政府發(fā)布不當(dāng)信息。

>/拒絕服務(wù)攻擊：通過向政務(wù)大模型發(fā)送大量無效或惡意請求，使得系統(tǒng)

資源被耗盡，導(dǎo)致模型響應(yīng)緩慢或完全無法工作。一旦政務(wù)大模型因?yàn)?/p>

拒絕服務(wù)攻擊而無法及時(shí)處理請求，可能會導(dǎo)致政務(wù)服務(wù)中斷，影響政

府部門與公眾的溝通效率，甚至拖延重要的決策流程。

>/提示詞泄露：政務(wù)大模型中可能包含特定的提示詞，這些提示詞用于觸

發(fā)某些關(guān)鍵功能或提供額外的上下文信息。如果這些提示詞被泄露，攻

擊者可能利用這些信息訪問模型的內(nèi)部機(jī)制或繞過安全限制，獲取敏感

數(shù)據(jù)。

>/通用越獄漏洞：攻擊者通過利用模型中的安全漏洞或設(shè)計(jì)缺陷，試圖突

破模型原有的限制。在政務(wù)大模型場景下，攻擊者可能通過復(fù)雜的交互

引導(dǎo)模型生成或揭露本不該公開的機(jī)密信息，從而威脅到國家安全或重

要的政務(wù)數(shù)據(jù)隱私。

2.8總結(jié)

政務(wù)大模型作為推動政府?dāng)?shù)字化轉(zhuǎn)型的關(guān)鍵技術(shù)，具有廣泛的應(yīng)用前景，

但其潛在風(fēng)險(xiǎn)也不容忽視。為確保大模型的安全、合規(guī)使用，政府機(jī)構(gòu)必須在

技術(shù)開發(fā)和應(yīng)用過程中加強(qiáng)風(fēng)險(xiǎn)管理，落實(shí)各類防護(hù)措施，確保大模型為政務(wù)

服務(wù)和社會治理提供可靠、穩(wěn)定的支持。

政務(wù)大模型安全治理框架

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第10頁

太粗含蜜總干個(gè)的,利,與《E.iumksO.由用戶讓位9T94卜血卜口【1期：21以171YH

政務(wù)大模型安全治理框架

>/數(shù)據(jù)違規(guī)收集

>/違規(guī)使用數(shù)據(jù)

>/數(shù)據(jù)泄露

數(shù)據(jù)安全風(fēng)險(xiǎn)>/勒索風(fēng)險(xiǎn)

>/標(biāo)注規(guī)則風(fēng)險(xiǎn)

>/標(biāo)注人員風(fēng)險(xiǎn)

>/標(biāo)注數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)

>/數(shù)據(jù)投毒

訓(xùn)練語料安全風(fēng)險(xiǎn)

>/內(nèi)容違規(guī)風(fēng)險(xiǎn)

>/使用未備案基礎(chǔ)模型

>/生成不當(dāng)內(nèi)容風(fēng)險(xiǎn)

大模型使用安全風(fēng)險(xiǎn)

>/模型泄露風(fēng)險(xiǎn)

>/模型篡改風(fēng)險(xiǎn)

>/開源組件漏洞

>/代碼安全風(fēng)險(xiǎn)

應(yīng)用安全風(fēng)險(xiǎn)

代碼泄露

>/Web/API攻擊

>/開源軟件漏洞

>/惡意代碼植入

軟件供應(yīng)鏈安全風(fēng)險(xiǎn)>/供應(yīng)商管理不善

>/模型復(fù)用的缺陷傳導(dǎo)風(fēng)險(xiǎn)

>/惡意植入模型后門

>/內(nèi)容違反社會主義核心價(jià)值觀

>/侵犯知識產(chǎn)權(quán)

生成內(nèi)容風(fēng)險(xiǎn)

>/泄露個(gè)人信息

>/包含歧視內(nèi)容

>/提示注入攻擊

>/拒絕服務(wù)攻擊

大模型自身風(fēng)險(xiǎn)

>/提示詞泄露

>/通用越獄漏洞

表1:政務(wù)大模型安全風(fēng)險(xiǎn)總結(jié)

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第11頁

政務(wù)大模型安全治理框架

3政務(wù)大模型安全治理框架

探索包容、審慎的大模型安全管理模式，結(jié)合大模型應(yīng)用建設(shè)場景，制定

政務(wù)大模型安全治理框架。大模型安全工作應(yīng)結(jié)合模型應(yīng)用的實(shí)際場景，按照

由易到難、由低風(fēng)險(xiǎn)到高風(fēng)險(xiǎn)逐步推進(jìn)的思路，選取負(fù)面影響較小、涉及重要

的數(shù)據(jù)較少的場景，進(jìn)行先行先試，逐步探索推進(jìn)，確保大模型應(yīng)用的安全性

與有效性。

隨著政務(wù)大模型在政府管理與公共服務(wù)中的廣泛應(yīng)用，其安全治理成為一

個(gè)關(guān)鍵問題。政務(wù)大模型不僅處理海量的政務(wù)數(shù)據(jù)，還需要遵循國家的法律法

規(guī)，確保數(shù)據(jù)隱私和安全。因此，構(gòu)建一個(gè)全面的安全治理框架，能夠有效確

保大模型的安全、合規(guī)應(yīng)用，避免潛在風(fēng)險(xiǎn)。基于合規(guī)要求，本文將從安全機(jī)

制、基礎(chǔ)安全措施、數(shù)據(jù)安全、大模型安全、開發(fā)安全及運(yùn)行安全等方面，構(gòu)

建政務(wù)大模型的安全治理框架。

3.1合規(guī)要求

在政務(wù)大模型的安全治理框架中，合規(guī)是首要原則，涉及多部法律法規(guī)、

規(guī)章制度的遵循，如《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第12頁

政務(wù)大模型安全治理框架

法》《中華人民共和國人人信息保護(hù)法》《生成式人工智能服務(wù)管理暫行辦法》

《生成式人工智能服務(wù)安全基本要求》等。確保政務(wù)大模型的合規(guī)運(yùn)行，是安

全治理的基礎(chǔ)。

3.2安全機(jī)制

為了保障政務(wù)大模型在實(shí)際應(yīng)用中的安全性和可控性，需建立一套完善安

全機(jī)制，確保大模型技術(shù)在政務(wù)領(lǐng)域的安全、合規(guī)和高效應(yīng)用。這些機(jī)制不僅

要應(yīng)對技術(shù)本身的風(fēng)險(xiǎn)，還需統(tǒng)籌市區(qū)協(xié)同管理，分級分類對待不同應(yīng)用場景，

并全程監(jiān)控各個(gè)環(huán)節(jié)的安全性。

3.2.1組織建設(shè)

為了保障政務(wù)大模型的安全運(yùn)行，安全組織結(jié)構(gòu)起到至關(guān)重要的作用。該

組織結(jié)構(gòu)涵蓋了統(tǒng)籌、業(yè)務(wù)、支撐和監(jiān)管四個(gè)方面：

1./統(tǒng)籌方：由政數(shù)局負(fù)責(zé)整體安全戰(zhàn)略的制定與統(tǒng)籌，協(xié)調(diào)各方資源，確

保政務(wù)大模型的安全目標(biāo)能夠達(dá)成。

2./業(yè)務(wù)方：各委辦局及區(qū)縣負(fù)責(zé)具體政務(wù)場景中的大模型應(yīng)用，確保其在

使用過程中符合政務(wù)要求和安全標(biāo)準(zhǔn)。

3./支撐方：包括模型商、數(shù)據(jù)商、應(yīng)用開發(fā)商和第三方安全機(jī)構(gòu)，為大模

型的開發(fā)、數(shù)據(jù)管理和安全技術(shù)提供支持。支撐方需按照政府制定的安

全標(biāo)準(zhǔn)，確保技術(shù)產(chǎn)品和服務(wù)的合規(guī)性。

4./監(jiān)管方：由政數(shù)局和網(wǎng)信辦共同監(jiān)管，確保政務(wù)大模型的運(yùn)行符合國家

相關(guān)法規(guī)及安全要求，承擔(dān)監(jiān)督和審查責(zé)任。

3.2.2制度與規(guī)范

1./市區(qū)兩級協(xié)同聯(lián)動機(jī)制，確保不同區(qū)縣和委辦局之間的信息共享和協(xié)同

應(yīng)對。

2./大模型應(yīng)用分類分級管理制度對不同類型的模型進(jìn)行分級，確保針對不

同應(yīng)用場景采取適當(dāng)?shù)墓芾泶胧?/p>

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第13頁

政務(wù)大模型安全治理框架

3./大模型應(yīng)用全過程安全管控制度貫穿應(yīng)用的各個(gè)階段，從模型開發(fā)、測

試、部署到使月及維護(hù)，確保安全風(fēng)險(xiǎn)得到全方位監(jiān)控和防范，保障數(shù)

據(jù)安全和政務(wù)服務(wù)的穩(wěn)定性。

3.2.3安全測試與評估

1./數(shù)據(jù)集安全評估：確保用于訓(xùn)練和運(yùn)行大模型的數(shù)據(jù)集來源合法合規(guī)，

并進(jìn)行嚴(yán)格的數(shù)據(jù)隱私保護(hù)和清洗審核，避免模型從源頭引入安全風(fēng)險(xiǎn)

或敏感信息泄露。

2./生成內(nèi)容安全測評：對模型生成的文本、圖像等內(nèi)容進(jìn)行合規(guī)性和倫理

審查，確保輸出不涉及敏感、虛假或不蘭信息，防止傳播錯(cuò)誤信息或違

反社會主義核心價(jià)值觀。

3./模型及應(yīng)用安全測評：對模型本身及其在具體應(yīng)用場景中的安全性進(jìn)行

全面評估，保障大模型供應(yīng)鏈、大模型接口、大模型自身防攻擊能力等

進(jìn)行安全測評。

4./安全措施評估：評估模型部署過程中的各類安全措施，包括數(shù)據(jù)加密、

身份驗(yàn)證、防護(hù)機(jī)制等，確保有效防止數(shù)據(jù)泄露、攻擊入侵等安全威脅。

5./定期開展監(jiān)測與抽查：通過定期安全審查和動態(tài)監(jiān)控，及時(shí)發(fā)現(xiàn)和解決

潛在的安全隱患，并隨機(jī)抽查模型的表現(xiàn)，保障其在長期運(yùn)行中的安全

性和可靠性。

3.3安全保障

安全技術(shù)保障是政務(wù)大模型安全治理框架的核心，它涵蓋了從基礎(chǔ)安全措

施、數(shù)據(jù)集安全、大模型開發(fā)安全到運(yùn)行安全等方面。

3.3.1基礎(chǔ)安全保障

1./縱深防御：在政務(wù)云和網(wǎng)絡(luò)層面完善縱深防御體系，通過多層次的安全

防護(hù)措施阻止外部攻擊，確保大模型的基礎(chǔ)設(shè)施安全。

2./身份管理與授雙；通過嚴(yán)格的身份驗(yàn)證與訪問控制機(jī)制，確保只有經(jīng)過

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第14頁

政務(wù)大模型安全治理框架

授權(quán)的用戶才能訪問大模型和相關(guān)數(shù)據(jù)，防止權(quán)限濫用或外部惡意訪問。

3.3.2數(shù)據(jù)安全

1./數(shù)據(jù)來源合規(guī)：所有數(shù)據(jù)的來源必須符合法律法規(guī)，確保數(shù)據(jù)合法、合

規(guī)地用于政務(wù)大模型的訓(xùn)練與應(yīng)用。

2./內(nèi)容安全合規(guī)：用于大模型訓(xùn)練的和知識增強(qiáng)的數(shù)據(jù)的內(nèi)容必須符合法

律法規(guī)，確保用于大模型訓(xùn)練和知識增強(qiáng)的數(shù)據(jù)內(nèi)容合規(guī)。

3./敏感數(shù)據(jù)識別過濾：對輸入的敏感數(shù)據(jù)進(jìn)行自動識別和過濾，確保隱私

數(shù)據(jù)不會被誤用于大模型訓(xùn)練或輸出，防止泄漏風(fēng)險(xiǎn)。

4./訓(xùn)練數(shù)據(jù)標(biāo)注安全：對標(biāo)注人員進(jìn)行嚴(yán)格的訪問控制和管理，制定完善

的標(biāo)注規(guī)范，以確保高質(zhì)量的數(shù)據(jù)標(biāo)注成果，保障順利標(biāo)注數(shù)據(jù)的保密

性和合規(guī)性，避免敏感信息外泄。

5./數(shù)據(jù)分類分級與安全保護(hù)：根據(jù)數(shù)據(jù)的重要性和敏感性進(jìn)行分類分級管

理，不同級別的數(shù)據(jù)需采取相應(yīng)的安全保尹措施。

6./數(shù)據(jù)訪問控制：嚴(yán)格控制對數(shù)據(jù)的訪問權(quán)限，確保只有經(jīng)過授權(quán)的用戶

或系統(tǒng)能夠訪問敏感數(shù)據(jù)，防止未經(jīng)授權(quán)的訪問或篡改。

3.3.3大模型安全

17模型訓(xùn)練安全：對大模型的訓(xùn)練過程進(jìn)行安全管控。在訓(xùn)練過程中，需

采取嚴(yán)格的安全措施以防止數(shù)據(jù)泄露和非法訪問。同時(shí)確保數(shù)據(jù)來源內(nèi)

容的安全合規(guī)，避免訓(xùn)練數(shù)據(jù)投毒等風(fēng)險(xiǎn)。

2./模型資產(chǎn)保護(hù)：對模型的算法、參數(shù)、結(jié)構(gòu)以及相關(guān)文檔進(jìn)行嚴(yán)格的保

密和安全防護(hù)。對模型實(shí)施多重安全防護(hù)措施，包括訪問權(quán)限控制、模

型加密存儲以及防泄露技術(shù)對模型資產(chǎn)進(jìn)行保護(hù)，防止模型被非法復(fù)制、

篡改或盜用。

3./模型安全評測：對訓(xùn)練完成或擬上線的政務(wù)大模型進(jìn)行安全測試與評估，

包括語料安全評估，生成內(nèi)容安全評估，模型安全評測，安全措施評估。

4./模型登記備案：應(yīng)按照網(wǎng)信辦相關(guān)管理要求，開展上線備案或登記工作。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第15頁

政務(wù)大模型安全治理框架

5./模型分類分級管理：根據(jù)大模型的功能、使用范圍和敏感程度，將模型

劃分為不同的等級，并針對各個(gè)級別設(shè)定相應(yīng)的安全管理要求。分類分

級管理機(jī)制能夠根據(jù)實(shí)際需要靈活調(diào)整管理力度，確保每個(gè)模型的安全

性都能得到充分保障。

3.3.4大模型應(yīng)用系統(tǒng)開發(fā)安全

1./需求階段：在模型應(yīng)用開發(fā)的需求分析階段，同步進(jìn)行安全需求分析，

并設(shè)計(jì)相應(yīng)的安全方案，確保項(xiàng)目從一開始就考慮到安全因素。

2./供應(yīng)鏈安全：確保政務(wù)大模型應(yīng)用系統(tǒng)的軟件供應(yīng)鏈安全，確保軟件組

件和工具來源可信，防止惡意代碼和供應(yīng)鏈攻擊。供應(yīng)商需符合安全標(biāo)

準(zhǔn)并定期審查，嚴(yán)格控制軟件版本管理，避免未經(jīng)授權(quán)的修改，保障系

統(tǒng)的穩(wěn)定和安全運(yùn)行。

3./數(shù)據(jù)準(zhǔn)備階段：在數(shù)據(jù)收集、清洗和處理過程中，確保數(shù)據(jù)安全，包括

數(shù)據(jù)加密、脫敏處理等。

4./模型適配階段：在適配過程中，必須確保所用的大模型和數(shù)據(jù)符合安全

合規(guī)要求，防止數(shù)據(jù)泄露和模型被惡意操控。實(shí)施嚴(yán)格大模型的權(quán)限管

理和訪問控制。

5./應(yīng)用開發(fā)階段：確保政務(wù)大模型在應(yīng)用開發(fā)中的代碼和系統(tǒng)架構(gòu)安全，

通過審查與測試，防范安全漏洞。

6./上線部署與評審：在大模型上線前進(jìn)行嚴(yán)格的安全評審，并對模型進(jìn)行

分類分級管控。上線后，持續(xù)對模型運(yùn)行進(jìn)行監(jiān)控，防止?jié)撛陲L(fēng)險(xiǎn)。

3.3.5運(yùn)行安全與內(nèi)容風(fēng)控

大模型的運(yùn)行安全涉及內(nèi)容生成和應(yīng)用層面的多重保障，確保生成的內(nèi)容

符合政府規(guī)定，且系統(tǒng)運(yùn)行穩(wěn)定可靠。

1./生成內(nèi)容風(fēng)控：

>/輸入內(nèi)容過濾：確保大模型在接收到輸入前經(jīng)過嚴(yán)格的內(nèi)容審查，

過濾掉潛在的敏感詞、違法內(nèi)容或其他不合規(guī)信息，防止惡意輸入

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第16頁

政務(wù)大模型安全治理框架

導(dǎo)致的不良輸出。

>/輸出內(nèi)容審核：大模型的輸出內(nèi)容必須經(jīng)過人工或自動化的審核機(jī)

制，確保生成的內(nèi)容符合社會主義核心價(jià)值觀、不涉及敏感話題，

避免因不當(dāng)內(nèi)容帶來的社會風(fēng)險(xiǎn)。

2./應(yīng)用安全：

A/Web安全防護(hù)：政務(wù)大模型通過Web平臺提供服務(wù)時(shí)，需采取完備

的Web安全措施，防止跨站腳本、SQL注入等網(wǎng)絡(luò)攻擊。

>/API安全防護(hù)：大模型與政務(wù)系統(tǒng)通過API連接，需確保API調(diào)用的

安全性，防止未授權(quán)訪問或API濫用。

>/應(yīng)用訪問控制：嚴(yán)格限制對大模型應(yīng)用的訪問權(quán)限，確保只有經(jīng)過

授權(quán)的政務(wù)人員或系統(tǒng)可以訪問和使用大模型。

>/個(gè)人信息保護(hù)：政務(wù)大模型應(yīng)用在處理個(gè)人信息時(shí)，需嚴(yán)格遵循相

關(guān)法律法規(guī)，采取加密、脫敏和安全存儲等措施，確保個(gè)人信息安

全。

3.3.6運(yùn)行監(jiān)測

為了及時(shí)發(fā)現(xiàn)和應(yīng)對潛在的安全風(fēng)險(xiǎn)，政務(wù)大模型必須建立完善的運(yùn)行監(jiān)

測與事件處置機(jī)制：

1./大模型監(jiān)管沙盒體系：通過搭建監(jiān)管沙盒環(huán)境，測試大模型在實(shí)際場景

中的運(yùn)行表現(xiàn)，識別潛在的安全問題和內(nèi)容風(fēng)險(xiǎn)。這有助于在模型正式

上線前發(fā)現(xiàn)并修復(fù)潛在漏洞，減少風(fēng)險(xiǎn)暴露。

2./風(fēng)險(xiǎn)監(jiān)測與事件處置：通過實(shí)時(shí)監(jiān)控系統(tǒng)，對大模型的運(yùn)行狀態(tài)、數(shù)據(jù)

流動、應(yīng)用訪問等情況進(jìn)行監(jiān)測。一旦發(fā)現(xiàn)異常行為或安全事件，能夠

及時(shí)啟動應(yīng)急響應(yīng)機(jī)制，采取適當(dāng)?shù)拇胧┻M(jìn)行處置，防止事態(tài)擴(kuò)大。

3.4總結(jié)

政務(wù)大模型的安全治理框架是保障其安全、合規(guī)運(yùn)行的基礎(chǔ)。在這一框架

中，合規(guī)要求貫穿始終，各方在安全組織結(jié)構(gòu)中的協(xié)同合作至關(guān)重要，同時(shí)通

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第17頁

政務(wù)大模型安全治理框架

過嚴(yán)密的安全技術(shù)保障和運(yùn)行監(jiān)測，確保大模型的安全性、可靠性和穩(wěn)定性。

最終，政務(wù)大模型的安全治理框架能夠幫助政府機(jī)構(gòu)在數(shù)字化轉(zhuǎn)型過程中，有

效應(yīng)對各類安全風(fēng)險(xiǎn)，為國家治理和公共服務(wù)提供堅(jiān)實(shí)的技術(shù)支持。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第18頁

政務(wù)大模型安全治理框架

4政務(wù)大模型風(fēng)險(xiǎn)控制關(guān)鍵舉措

4.1大模型分類分級安全管控

4.1.1分類分級安全管理制度

針對不同類型的大模型，應(yīng)根據(jù)其用途、使用范圍、影響力及風(fēng)險(xiǎn)水平，

制定科學(xué)合理的分類分級安全機(jī)制，由低風(fēng)險(xiǎn)到高風(fēng)險(xiǎn)逐步探索推進(jìn)。對低風(fēng)

險(xiǎn)領(lǐng)域的大模型，進(jìn)行先行先試；高風(fēng)險(xiǎn)領(lǐng)域的大模型，必須采取更加嚴(yán)格的

安全措施和審查機(jī)制，確保其在使用過程中不會對社會產(chǎn)生負(fù)面影響。通過實(shí)

施分級管理和風(fēng)險(xiǎn)評估，確保高風(fēng)險(xiǎn)模型在使用前經(jīng)過嚴(yán)格的審查和評估，確

保其安全性和合規(guī)性，防范潛在風(fēng)險(xiǎn)，維護(hù)社會穩(wěn)定和公共利益。

4.1.2分類分級安全管控與保護(hù)措施

探索并建立大模型分類分級安全管控與保護(hù)措施。依據(jù)大模型的分類分級

評定結(jié)果，制定并部署切實(shí)有效的安全措施，包括對大模型網(wǎng)絡(luò)進(jìn)行必要的隔

離，以減少潛在風(fēng)險(xiǎn)。應(yīng)對身份授權(quán)和訪問權(quán)限進(jìn)行動態(tài)細(xì)粒度控制，以確保

只有經(jīng)過授權(quán)的用戶能夠訪問相關(guān)資源。通過先進(jìn)的技術(shù)手段，確保應(yīng)用開發(fā)

過程的安全性和應(yīng)用運(yùn)行的安全防護(hù)，從而全面保障大模型在各個(gè)應(yīng)用場景中

的安全性。

4.2大模型與應(yīng)用系統(tǒng)安全測試與評估

對政務(wù)大模型的合規(guī)評估進(jìn)行事前、事中、事后的全流程管理。事前，訓(xùn)

練完成或處于試運(yùn)行階段的大模型，應(yīng)由第三方專業(yè)機(jī)構(gòu)按照大模型評測標(biāo)準(zhǔn)

系統(tǒng)全面的安全測試和評估；擬上線大模型應(yīng)按照市委網(wǎng)信辦相關(guān)管理要求，

開展上線備案或登記。事中，大模型項(xiàng)目通過竣工驗(yàn)收后，向市政數(shù)局提交投

入使用申請時(shí)，需補(bǔ)充大模型項(xiàng)目安全測評報(bào)告、市委網(wǎng)信辦備案/登記證明等

材料事后，市政數(shù)局定期組織開展技術(shù)檢測和監(jiān)測抽查，防范不良信息出現(xiàn)，

提升內(nèi)容合規(guī)性，促進(jìn)模型迭代優(yōu)化。

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561笫19頁

政務(wù)大模型安全治理框架

各委辦局/區(qū)縣建設(shè)處于以下情況，需開展安全測評和備案/登記工作，并在提交投入使用

申請時(shí)提交相關(guān)材料。

需訓(xùn)練完成或處于試運(yùn)行階段的大模

求型和應(yīng)用系統(tǒng)擬上線的大模型和應(yīng)用系統(tǒng)

測

評語料/知識庫安全評估］（生成內(nèi)容安全評估按照市委網(wǎng)信辦要求，開展上線備案或登記;

及

備

模型及應(yīng)用安全測評）（安全措施評估提交安全測評報(bào)區(qū)一］［提交備案或登記材料:

案

監(jiān)

督

檢投入使用評審技術(shù)檢測監(jiān)測抽查

查

4.3內(nèi)容風(fēng)險(xiǎn)控制

建立多層次的內(nèi)容審核體系，綜合運(yùn)用自動化檢測與人工審核機(jī)制，全面

過濾風(fēng)險(xiǎn)內(nèi)容。加強(qiáng)訓(xùn)練數(shù)據(jù)的篩選與標(biāo)注，易！除潛在風(fēng)險(xiǎn)的數(shù)據(jù)，以確保數(shù)

據(jù)源的可靠性和準(zhǔn)確性。部署包括敏感詞過濾、上下文分析及多層次審核等技

術(shù)措施，對生成內(nèi)容進(jìn)行風(fēng)險(xiǎn)內(nèi)容識別與過濾。實(shí)施實(shí)時(shí)監(jiān)測與反饋機(jī)制，以

動態(tài)跟蹤和調(diào)整生成內(nèi)容，確保其在使用過程中的安全性利合規(guī)性。

數(shù)據(jù)準(zhǔn)備模型訓(xùn)隨模型應(yīng)用

大模型應(yīng)用〕用戶

大槨型訓(xùn)練

輸

入

用

內(nèi)

戶

容

小

審

敏

大

大

訓(xùn)

核

入

模

模

璞

感

預(yù)

模

目

根

緣

型

型

一

型

內(nèi)

私

型

訓(xùn)

型

故

運(yùn)

'籥

容

部

去

匕

應(yīng)

生

黑

據(jù)W

行

案

過

除E

用

成

取

集E

S

ie+磔

W果

除

4.4數(shù)據(jù)安全風(fēng)險(xiǎn)控制

以場景牽引、需求導(dǎo)向?yàn)樵瓌t，系統(tǒng)探索政務(wù)大模型業(yè)務(wù)場景下的數(shù)據(jù)安

全保護(hù)和隱私保護(hù)措施。綜合運(yùn)用包括數(shù)據(jù)加密、數(shù)據(jù)脫敏、去標(biāo)識化、隱私

計(jì)算及數(shù)據(jù)流轉(zhuǎn)監(jiān)測等在內(nèi)的多種手段，建立完善的數(shù)據(jù)安全保護(hù)體系，確保

政務(wù)數(shù)據(jù)在存儲、傳輸和使用過程中的安全性。同時(shí)，積極探索區(qū)塊鏈技術(shù)的

應(yīng)用，以增強(qiáng)政務(wù)大模型訓(xùn)練數(shù)據(jù)的安全性和透明性，從而提升數(shù)據(jù)管理的可

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第20頁

政務(wù)大模型安全治理框架

信度，確保系統(tǒng)的整體安全性和合規(guī)性。

4.5監(jiān)管沙盒機(jī)制

建立大模型安全監(jiān)管沙盒體系，對政務(wù)大模型訓(xùn)練數(shù)據(jù)的流動進(jìn)行全方位、

實(shí)時(shí)的監(jiān)控和管理。及時(shí)識別和預(yù)防數(shù)據(jù)濫用、非法訪問及未經(jīng)授權(quán)的傳輸行

為，確保數(shù)據(jù)安全。強(qiáng)化對潛在風(fēng)險(xiǎn)的預(yù)警和控制，進(jìn)一步提升政務(wù)數(shù)據(jù)的安

全性與合規(guī)性，為大模型在政務(wù)領(lǐng)域的應(yīng)用提供堅(jiān)實(shí)保障。

圖4：政務(wù)大模型監(jiān)管沙盒機(jī)制

?奇安信集團(tuán)股票簡稱：奇安信股票代碼：688561第21頁

政務(wù)大模型安全治理框架

5政務(wù)大模型安全治理展望

大模型快速演進(jìn)，其推理能力不斷增強(qiáng)，幻覺問題不斷優(yōu)化