多智能無人系統(tǒng)協(xié)同中的人工智能安全探索

目錄

1.編者按.......................................................................2

2.前言..........................................................................2

3.統(tǒng)籌推進(jìn)多無人系統(tǒng)協(xié)同賦能應(yīng)用與風(fēng)險防控意義重大..........................3

3.1.多無人系統(tǒng)協(xié)同研究持續(xù)高速發(fā)展的重要抓手...............................3

3.2.不斷增強(qiáng)我國軍事實(shí)力的有效途徑.........................................3

3.3.提升我國社會安全保障水平的關(guān)鍵前提.....................................3

3.4.實(shí)現(xiàn)未來高度智能化社會建設(shè)的必然要求..................................4

4.多無人系統(tǒng)協(xié)同安全發(fā)展概況...................................................4

5.多無人系統(tǒng)協(xié)同面臨的挑戰(zhàn).....................................................5

5.1.內(nèi)生安全..................................6

5.1.1.通信與交互安全.......................................................6

5.1.2.協(xié)同決策與集群演化算法安全...........7

5.1.3.系統(tǒng)架構(gòu)安全..........................7

5.2.衍生安全..................................8

5.2.1.公共安全.............................................................8

5.2.2.倫理安全..............................8

5.2.3.軍事安全.............................................................9

6.智能無人系統(tǒng)安全威脅分析.....................................................9

7.智能無人系統(tǒng)安全防御體系...................................................12

7.1.前述......................................12

7.2.應(yīng)用安全................................................................13

7.3.樣本安全................................................................13

7.4.無人安全防護(hù)............................................................13

7.5.智能無人系統(tǒng)安全治理軟件...............................................13

7.6.智能安全.................................14

7.7.智能無人安全驗(yàn)證平臺...................................................14

8.智能無人系統(tǒng)安全防御關(guān)鍵技術(shù)...............................................14

8.1.全生命周期安全評估體系構(gòu)建技術(shù)........................................14

8.2.智能框架安全防護(hù)技術(shù).....................15

8.3.高對抗能力的模型投毒檢測防護(hù)技術(shù)......................................15

8.4.高泛化能力對抗樣本安全防護(hù)技術(shù).........15

第1頁共18頁

9.“四位一體”全面推進(jìn)多無人系統(tǒng)協(xié)同安全發(fā)展.................................16

9.1.推進(jìn)無人系統(tǒng)的安全生態(tài)建設(shè)..............................................16

9.2.推進(jìn)無人系統(tǒng)的先進(jìn)技術(shù)建設(shè)...............16

9.3.推進(jìn)無人系統(tǒng)的法律規(guī)范建設(shè)..............................................17

9.4.推進(jìn)無人系統(tǒng)的社會倫理建設(shè)...............17

10.結(jié)語.........................................................................18

L編者按

多無人系統(tǒng)協(xié)同可以將在空間上分布的無人系統(tǒng)有機(jī)連接起來，實(shí)現(xiàn)多系

統(tǒng)在時間、空間、模式、任務(wù)等多維度上的有效協(xié)同，最終形成目標(biāo)探測、跟

蹤識別、智能決策、自主控制和效能評估的完整鏈條。多無人系統(tǒng)協(xié)同在給社

會創(chuàng)造價值的過程中，也會帶來著諸多安全隱患，特別是在軍事作戰(zhàn)，產(chǎn)業(yè)升

級、政府監(jiān)管、社會治理以及倫理等多個方面將給國家安全帶來新的挑戰(zhàn)。

本文闡述了統(tǒng)籌推進(jìn)多無人系統(tǒng)協(xié)同賦能應(yīng)用與風(fēng)險防控的重大意義，提

出了“四位一體”全面推進(jìn)多無人系統(tǒng)協(xié)同安全發(fā)展的戰(zhàn)略思路，探索了多無

人系統(tǒng)協(xié)同在內(nèi)生安全和衍生安全層面潛在的挑戰(zhàn)與應(yīng)對思路。就智能無人系

統(tǒng)安全，文章建議，構(gòu)建國家級無人系統(tǒng)驗(yàn)證平臺，推動人才隊(duì)伍建設(shè)；逐步

深化無人系統(tǒng)產(chǎn)業(yè)“放管服”，發(fā)展新?代人工智能安全生態(tài)；充分發(fā)揮多無

人系統(tǒng)協(xié)同的優(yōu)勢，賦能保障和改善民生，服務(wù)構(gòu)建人類命運(yùn)共同體。

2.前言

智能無人系統(tǒng)種類多樣，覆蓋海陸空不同空間，正在全面深入國家安全和

社會生活各領(lǐng)域，并推動新一輪產(chǎn)業(yè)變革和相關(guān)技術(shù)高度集成。多無人系統(tǒng)協(xié)

同作為一項(xiàng)人，智能的顛覆性技術(shù)，將在空間上分布的無人系統(tǒng)有機(jī)連接起來,

實(shí)現(xiàn)多系統(tǒng)在時間、空間、模式、任務(wù)等多維度上的有效協(xié)同，最終形成目標(biāo)

探測、跟蹤識別、智能決策、自主控制和效能評估的完整鏈條。伴隨著技術(shù)水

平的不斷提升，多無人系統(tǒng)的使命任務(wù)將不斷拓展，將極大地改變?nèi)粘Ｉ罘?/p>

式和軍事作戰(zhàn)方式。

多無人系統(tǒng)協(xié)同在給社會創(chuàng)造價值的過程中存在著諸多安全隱患，如無人

第2頁共18頁

車的交通事故，無人機(jī)的擾航、恐怖襲擊，機(jī)器人造成工人失業(yè)等。多無人系

統(tǒng)協(xié)同可能將在軍事作戰(zhàn)、產(chǎn)業(yè)升級、政府監(jiān)管、社會治理以及倫理等多個方

面給國家安全帶來新的挑戰(zhàn)。

目前，國內(nèi)多無人系統(tǒng)協(xié)同的研究仍處于起步階段，其基礎(chǔ)理論框架對未

來無人系統(tǒng)發(fā)展和技術(shù)突破起著至關(guān)重要的作用。因此，本文針對這一空白領(lǐng)

域展開前瞻研究，旨在揭示多無人系統(tǒng)協(xié)同中人工智能安全的重要意義，針對

相應(yīng)問題提出對策建議，以期為我國無人系統(tǒng)安全發(fā)展提供參考。

3.統(tǒng)籌推進(jìn)多無人系統(tǒng)協(xié)同賦能應(yīng)用與風(fēng)險防控意義重大

3.1.多無人系統(tǒng)協(xié)同研究持續(xù)高速發(fā)展的重要抓手

2017年7月，國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》闡釋了人工智

能新時代戰(zhàn)略的豐富內(nèi)涵，這為我國多無人系統(tǒng)中人工智能安全改革指明了方

向，進(jìn)一步明確了中長期發(fā)展的目標(biāo)。我國人工智能新時代戰(zhàn)略實(shí)施以來迎來

了很大起色，但關(guān)于多無人系統(tǒng)中的人工智能安全問題仍未給出明確解決方案。

尋找各項(xiàng)問題解決方案，立足安全基礎(chǔ)，推進(jìn)多無人系統(tǒng)的穩(wěn)步發(fā)展，有利于

多無人系統(tǒng)人工智能落地。

3.2.不斷增強(qiáng)我國軍事實(shí)力的有效途徑

軍事實(shí)力是綜合國力最直接的體現(xiàn)，在多無人系統(tǒng)廣泛應(yīng)用于軍事領(lǐng)域的

背景下，其安全問題的重要性更加突出。一方面，越來越多的國家研發(fā)出了智

能化武器，實(shí)現(xiàn)多無人系統(tǒng)協(xié)同作戰(zhàn)的能力越來越強(qiáng)，未來的戰(zhàn)爭將由多無人

系統(tǒng)協(xié)同作戰(zhàn)主導(dǎo)；因此，在智能化戰(zhàn)爭中如何保證領(lǐng)土主權(quán)和國土安全具有

重要意義。另一方面，在智能化戰(zhàn)爭中多無人系統(tǒng)自身的防護(hù)同樣具有重要意

義，如何保證自身系統(tǒng)的安全、保證數(shù)據(jù)不泄露、控制權(quán)在手、遭遇打擊仍能

完成任務(wù)是目前多無人系統(tǒng)研究的一大課題。

3.3.提升我國社會安全保障水平的關(guān)鍵前提

人工智能安全是關(guān)系到我國經(jīng)濟(jì)社會發(fā)展的時代性、戰(zhàn)略性問題。多無人

系統(tǒng)協(xié)同將廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、經(jīng)濟(jì)和國防領(lǐng)域，對國家安全也會帶來深

刻變革。由于多無人系統(tǒng)濫用門檻低，容易被極端組織和犯罪團(tuán)伙利用，管理

難度遠(yuǎn)大于從前。加強(qiáng)人工智能新時代多無人系統(tǒng)立法，形成數(shù)據(jù)、模型、應(yīng)

第3頁共18頁

用等一系列相關(guān)的法律、法規(guī)，完善人工智能使用標(biāo)準(zhǔn)的制定，有助于帶動國

家整體社會安全保障水平的提升。

3.4.實(shí)現(xiàn)未來高度智能化社會建設(shè)的必然要求

傳統(tǒng)無人系統(tǒng)目前已應(yīng)用于社會的智能化建設(shè)，如智能快遞分揀、無人超

市、交通違章識別等，節(jié)省了大量的人力。未來，多無人系統(tǒng)協(xié)同的廣泛應(yīng)用

將會在更大程度上保障和改善民生。但相較于傳統(tǒng)無人系統(tǒng)，應(yīng)用具備通信和

交互能力的多無人系統(tǒng)可能會引發(fā)更加嚴(yán)重的公共安全、倫理安全等問題。因

此，重點(diǎn)加強(qiáng)多無人系統(tǒng)應(yīng)用中的問題研究和風(fēng)給防范至關(guān)重要，只有處理好

上述問題，才能確保多無人系統(tǒng)在未來能夠安全可靠地為社會做出貢獻(xiàn)，推動

我國新一代人工智能健康發(fā)展。

4.多無人系統(tǒng)協(xié)同安全發(fā)展概況

隨著多無人系統(tǒng)協(xié)同理論體系的成熟，相應(yīng)的產(chǎn)品與應(yīng)用呈現(xiàn)出迅猛發(fā)展

的勢頭。從應(yīng)用領(lǐng)域的角度，多無人系統(tǒng)產(chǎn)品主要包括無人車集群，無人機(jī)集

群和無人船集群。無人車集群不但能夠?qū)⒏黝愜囕v的駕駛?cè)藛T解放出來，極大

地減輕汽車駕駛員的工作量，還能夠通過智能優(yōu)化算法合理安排道路資源，緩

解交通壓力，并減少道路交通安全事故的發(fā)生。無人機(jī)集群的應(yīng)用則涵蓋了軍

事上的攻擊、騷擾、偵查任務(wù)以及民用的災(zāi)害救援、監(jiān)控巡查、環(huán)境監(jiān)測、農(nóng)

業(yè)植保等領(lǐng)域。無人船集群則主要用于執(zhí)行危險、枯燥以及其他不適于有人艦

艇執(zhí)行的任務(wù)，包括水質(zhì)監(jiān)測、航道測繪、海上巡邏等。相較于傳統(tǒng)的有人系

統(tǒng)，多智能體系統(tǒng)具有多方面優(yōu)勢，包括更低的操作門檻，更低的運(yùn)維成本，

更廣泛的應(yīng)用領(lǐng)域，更穩(wěn)定的運(yùn)行狀況，更高效的資源分配等。在軍事上，多

無人系統(tǒng)更是能夠極大程度地保障操作人員的安全，減少人員的傷亡，在進(jìn)攻

端還能夠利用其數(shù)量優(yōu)勢形成長距離、大范圍、高精度的飽和式打擊，甚至有

可能改變現(xiàn)代戰(zhàn)爭的模式。

隨著多無人系統(tǒng)的飛速發(fā)展，很多發(fā)達(dá)國家目前正積極推進(jìn)智能多無人系

統(tǒng)安全框架研究以及法案的制定。美國在多無人系統(tǒng)中的人工智能安全方面的

研究以及政策發(fā)布非常頻繁，2019年6月，美國更新了《國家人工智能研究

第4頁共18頁

和發(fā)展戰(zhàn)略計(jì)劃》，將人工智能系統(tǒng)安全列為戰(zhàn)略目標(biāo)之一；2020年1月發(fā)

布的《人工智能應(yīng)用監(jiān)管指南備忘錄（草案）》提出了人工智能十項(xiàng)監(jiān)管原則；

2020年3月通過的?2020年國家人工智能計(jì)劃法案》支持對無人系統(tǒng)的道

德、法律、社會等安全問題展開研究；2020年11月更新的《人工智能和國家

安全》中詳細(xì)寫明了智能多無人系統(tǒng)在軍事上的發(fā)展與倫理安全問題。

歐盟方面同樣在智能無人系統(tǒng)安全上展開了積極研究以及政策制定，歐盟

各成員國都紛紛出臺法律法規(guī)以規(guī)范無人機(jī)運(yùn)行。法國自2019年7月起規(guī)定

無人機(jī)必須注冊電子賬號；德國規(guī)定所有無人機(jī)必須在機(jī)身刻上所有者的姓名

與地址；英國把機(jī)場附近的無人機(jī)禁飛區(qū)半徑從原來的1km增加到5km；西

班牙、葡萄牙、意大利等國都禁止無人機(jī)在夜間飛行。2019年初，歐盟委員會

發(fā)布了《關(guān)于歐洲人工智能開發(fā)與使用的協(xié)同計(jì)劃》，將人工智能安全列為了

一大關(guān)鍵發(fā)力領(lǐng)域，在全球人工智能倫理道德領(lǐng)域占據(jù)了領(lǐng)先地位；2019年4

月，歐盟委員會發(fā)布了《人工智能倫理準(zhǔn)則一一可信AI倫理指南》，提印了

可信AI的七大原則；2020年6月，歐盟新發(fā)布的無人機(jī)通用準(zhǔn)則在歐盟全

境正式啟用，該準(zhǔn)則取代了歐盟成員國各自的現(xiàn)行法規(guī)，為歐洲發(fā)展無人機(jī)行

業(yè)提供了明確、統(tǒng)一的規(guī)則。

我國的多無人系統(tǒng)相關(guān)法案制定也在逐步推進(jìn)。2017年7月，我國國務(wù)

院首次頒布的人工智能戰(zhàn)略性文件《新一代人工智能發(fā)展規(guī)劃》，提出了2030

年人工智能核心產(chǎn)業(yè)規(guī)模應(yīng)超過1萬億元，帶動相關(guān)產(chǎn)業(yè)規(guī)模超過10萬億元

的目標(biāo)，并對多無人系統(tǒng)協(xié)同中的人工智能基礎(chǔ)理論框架給出了定義，提出了

“加強(qiáng)人工智能相關(guān)法律、倫理和社會問題研究，建立保障人工智能健康發(fā)展

的法律法規(guī)和倫理道德框架”。但該框架在自主協(xié)同控制與優(yōu)化決策理論的定

義中，更側(cè)重于協(xié)同控制的實(shí)現(xiàn)與優(yōu)化，對于多無人系統(tǒng)中可能存在的安全性

隱患沒有較多闡述。2020年12月，中國信息通信研究院安全研究所發(fā)布了《人

工智能安全框架（2020年）》，制定了一個較為全面的人工智能安全框架，但其

中對于多無人系統(tǒng)協(xié)同中特有的安全問題表述仍不詳細(xì)。

5.多無人系統(tǒng)協(xié)同面臨的挑戰(zhàn)

區(qū)別于傳統(tǒng)無人系統(tǒng)研究，多無人系統(tǒng)協(xié)同的核心要素包括通信交互，合

作博弈，以及群體智能演化等。結(jié)合多無人系統(tǒng)協(xié)同的上述特點(diǎn)，堅(jiān)持以問題

第5頁共18頁

為導(dǎo)向分析其具體戰(zhàn)略舉措，圍繞多無人系統(tǒng)本身的內(nèi)生安全和多無人系統(tǒng)對

外界的衍生安全兩大模塊構(gòu)建了多無人系統(tǒng)協(xié)同中的人工智能安全框架，如圖

1所示。

圖1多無人系統(tǒng)協(xié)同中的人工智能安全框架

智能模型在實(shí)際舒署應(yīng)用的過程中，由于客觀或主觀的原因?qū)е轮悄苣Ｐ?/p>

運(yùn)行時出現(xiàn)多種安全風(fēng)險防護(hù)技術(shù)，其中包括：智能應(yīng)用軟硬件安全、模型竊

取防護(hù)、模型逆向防護(hù)、導(dǎo)航定位傳感器數(shù)據(jù)防欺騙等。

5.1.內(nèi)生安全

為了多無人系統(tǒng)任務(wù)的可靠執(zhí)行，內(nèi)生安全主要考慮的是系統(tǒng)本身是否穩(wěn)

定可靠，能否在通信交互過程中不泄密，能否保證控制權(quán)始終在自己手中，以

及能否在出現(xiàn)故障后繼續(xù)完成任務(wù)。多無人系統(tǒng)協(xié)同的內(nèi)生安全要關(guān)注多無人

系統(tǒng)工作的各個環(huán)節(jié)，從保證局部每個環(huán)節(jié)的安全以確保整體的安全，這其中

涵蓋了各無人系統(tǒng)單體間交互的數(shù)據(jù)安全、多無人系統(tǒng)所處的網(wǎng)絡(luò)安全、搭載

于多無人系統(tǒng)的軟件及其算法安全、多無人系統(tǒng)本身的系統(tǒng)架構(gòu)安全等。

多無人系統(tǒng)協(xié)同的內(nèi)生安全包括了通信與交互安全、協(xié)同決策與集群演化

算法安全和系統(tǒng)架構(gòu)安全三部分。

5.1.1.通信與交互安全

多無人系統(tǒng)協(xié)同任務(wù)在執(zhí)行過程中，需要頻繁的進(jìn)行通信交互，這其中包

括各多無人系統(tǒng)個體之間的交互，還包括各多無人系統(tǒng)與其所有者之間的交互,

多無人系統(tǒng)與各種實(shí)體任務(wù)對象交互等。因此，通信與交互安全是多無人系統(tǒng)

協(xié)同內(nèi)生安全的重要內(nèi)容。通信網(wǎng)絡(luò)安全的主旨是防范來自網(wǎng)絡(luò)的攻擊，保障

第6頁共18頁

多無人系統(tǒng)所有者能夠安全可靠地控制多無人系統(tǒng)，保證數(shù)據(jù)不被竊取和篡改。

一方面，多無人系統(tǒng)的協(xié)同中需要保障彼此之間的通信安全可靠，一旦數(shù)據(jù)傳

播受到截?cái)?，信息?nèi)容被他人竊取、解密或篡改，多無人系統(tǒng)將受到極大的威

脅，我方戰(zhàn)略意圖也將受到嚴(yán)重打擊另一方面，如果通信網(wǎng)絡(luò)的安全性不能

滿足要求，則多無人系統(tǒng)的控制權(quán)將不能得到保隙，由于多無人系統(tǒng)極強(qiáng)的行

為能力，與單純的各種數(shù)據(jù)損失相比較，控制權(quán)不安全造成的后果往往更嚴(yán)重。

針對上述多無人系統(tǒng)存在的數(shù)據(jù)泄露及控制權(quán)丟失的問題，為系統(tǒng)個體搭

我不可被外界直接訪問的安全存儲空間，對數(shù)據(jù)進(jìn)行加密處理，保證通信過程

中的數(shù)據(jù)安全；同時可以采用數(shù)字證書、密鑰等認(rèn)證材料進(jìn)行雙向的遠(yuǎn)程身份

認(rèn)證，以確保系統(tǒng)中每個個體身份的合法性以及指揮部的可信性。

5.1.2.協(xié)同決策與集群演化算法安全

在算法安全上，一方面要考慮多無人系統(tǒng)能否做出正確的決策，另一方面

更要考慮協(xié)同決策算法和自學(xué)習(xí)演化的方向是否自主可控。決策算法不成熟可

能導(dǎo)致協(xié)同欠魯棒，難以實(shí)現(xiàn)臨機(jī)協(xié)同決策和行動，當(dāng)系統(tǒng)結(jié)構(gòu)受外界影響發(fā)

生變化時，智能協(xié)同算法如未能實(shí)時完成控制和優(yōu)化，則很難實(shí)現(xiàn)精準(zhǔn)的協(xié)同

控制任務(wù)，使協(xié)同一致性和穩(wěn)定性降低，從而增加了協(xié)同任務(wù)失敗和多無人系

統(tǒng)在任務(wù)中損毀的風(fēng)險。在未來的發(fā)展中，基于群體智能演化的多無人系統(tǒng)能

夠自主學(xué)習(xí)和換代，其演化方向的安全性更為重要，將成為多無人系統(tǒng)辦同中

算法安全的全新挑戰(zhàn)。

針對上述問題，改進(jìn)決策算法的訓(xùn)練過程，揭示無人系統(tǒng)集群的協(xié)同演化

規(guī)律，設(shè)計(jì)主動防御的機(jī)制，在訓(xùn)練過程中加入大量可能出現(xiàn)的對抗樣本，即

在訓(xùn)練過程中添加假想敵，從而提高算法的魯棒性，減少協(xié)同控制任務(wù)失敗以

及演化方向錯誤的可能性，更加安全可靠地實(shí)現(xiàn)協(xié)同決策和演化。

5.1.3.系統(tǒng)架構(gòu)安全

系統(tǒng)架構(gòu)安全可組分為機(jī)電安全和拓?fù)浒踩珒蓚€方面。其中，機(jī)電安全要

考慮多無人系統(tǒng)中每個個體的信息收發(fā)特性、信息處理能力是否足夠，傳感器、

通信模塊能否滿足執(zhí)行協(xié)同任務(wù)的需求。拓?fù)浒踩珓t是建立在機(jī)電安全的基礎(chǔ)

上，需要考慮多無人系統(tǒng)的整體響應(yīng)速度和協(xié)同模式，能否在復(fù)雜場景下實(shí)時

采集、處理和交換信息，進(jìn)一步正確分配和執(zhí)行任務(wù)，并且在部分無人系統(tǒng)單

第7頁共18頁

體出現(xiàn)故隙時，能否正確檢測故障，進(jìn)行拓?fù)淝袚Q繼續(xù)任務(wù)。

建立多層分簇的協(xié)同框架可以有效解決系統(tǒng)架構(gòu)安全問題，多層分簇的框

架可以幫助多無人系統(tǒng)在面對變化時快速做出反應(yīng)，即使遇到故障也能實(shí)現(xiàn)拓

撲切換，繼續(xù)完成好下一步任務(wù)，從而使得網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)更加穩(wěn)定，實(shí)現(xiàn)更加

穩(wěn)健和魯棒的多無人系統(tǒng)協(xié)同。

5.2.衍生安全

多無人系統(tǒng)協(xié)同的衍生安全主要考慮的是多無人系統(tǒng)在投入使用后，系統(tǒng)

外部的人或其他事物可能面臨的影響。在系統(tǒng)出現(xiàn)故障、受到干擾或出現(xiàn)決策

失誤時，除了任務(wù)失敗和系統(tǒng)本身損毀的風(fēng)險外，還可能引發(fā)衍生安全問題。

同時，如果多無人系統(tǒng)控制權(quán)的所有者懷有惡意，對多無人系統(tǒng)下達(dá)了帶有其

不良企圖的任務(wù)目標(biāo)，可能產(chǎn)生更為嚴(yán)重的衍生安全風(fēng)險。多無人系統(tǒng)協(xié)同中

的人工智能衍生安全主要考慮公共安全、倫理安全和軍事安全三個方面。

5.2.1.公共安全

多無人系統(tǒng)協(xié)同工作時，事故的發(fā)生將會危害公共安全，不但會對社會秩

序造成一定影響，更有可能會威脅到人身財(cái)產(chǎn)安全。當(dāng)前多無人機(jī)協(xié)同系統(tǒng)在

各行各業(yè)廣泛使用，但安全性能評估體系還未完善，易出現(xiàn)各種事故，例如各

種外界干擾導(dǎo)致的無人機(jī)群演示失敗、無人車造成道路交通擁堵等。同時，多

無人機(jī)協(xié)同具有低成本、用途廣、使用門檻低、身份信息隱蔽、大面積殺傷等

特點(diǎn)，非法使用將會嚴(yán)重威脅到人身財(cái)產(chǎn)安全，多無人系統(tǒng)的發(fā)展勢必會帶來

新的違法犯罪形式，而與單無人系統(tǒng)相比，多無人系統(tǒng)便于無身份有組織犯罪,

會極大地危害公共安全。

面對多無人系統(tǒng)可能對社會公共安全帶來的沖擊，加強(qiáng)監(jiān)管無疑是最為有

效的解決途徑。加強(qiáng)對所有無人設(shè)備廠商以及持有者的監(jiān)管，對于廠商嚴(yán)格檢

查其所有生產(chǎn)線、搭載算法以及設(shè)備流通對象，對于所有私人持有的無人設(shè)備

實(shí)行嚴(yán)格的實(shí)名制登記管理，讓所有合法的無人機(jī)擁有其自己的“身份證明”，

對于未登記的無人機(jī)以及登記但不合法的無人機(jī)持有者進(jìn)行嚴(yán)肅處理。

5.2.2.倫理安全

社會倫理方面，在民用領(lǐng)域，多無人系統(tǒng)在從事重復(fù)性、規(guī)則性、可編程

的T作內(nèi)容方面更加快速、高效、精確.不僅可以替代體力勞動.而且可以替

第8頁共18頁

代大部分腦力勞動，在制造業(yè)、農(nóng)業(yè)以及醫(yī)療中發(fā)揮主力軍的作用，從而導(dǎo)致

眾多工人面臨轉(zhuǎn)業(yè)或者失業(yè)的問題；在軍用領(lǐng)域，由于技術(shù)故障、判斷失誤等

原因，在使用多無人協(xié)同系統(tǒng)作戰(zhàn)時將出現(xiàn)對人類的誤傷甚至是誤殺。同時，

多無人系統(tǒng)各個個體之間，以及多無人系統(tǒng)與人之間的交互建立在信任的基礎(chǔ)

之上，一旦智能無人系統(tǒng)具備了獨(dú)立思維能力，將導(dǎo)致機(jī)與機(jī)甚至人與機(jī)之間

的沖突。從遠(yuǎn)期來看，多無人協(xié)同系統(tǒng)智能化和自主化水平的不斷提升，存在

超出人類控制的風(fēng)險，將可能對人類產(chǎn)生傷害。

人工智能的發(fā)展造成工人轉(zhuǎn)業(yè)、失業(yè)的問題是必然會出現(xiàn)的，在產(chǎn)業(yè)結(jié)構(gòu)

轉(zhuǎn)型的過程中，舊職業(yè)被新職業(yè)替代是不可避免的，工業(yè)革命的成功同樣伴隨

著大量工人的轉(zhuǎn)業(yè)。因此，將視角轉(zhuǎn)向人工智能創(chuàng)造出來的新職業(yè)，不應(yīng)去回

避失業(yè)、轉(zhuǎn)業(yè)的問題，而是在高新技術(shù)領(lǐng)域、新興產(chǎn)業(yè)以及現(xiàn)代服務(wù)業(yè)中加大

投入力度，主動推動產(chǎn)業(yè)結(jié)構(gòu)的轉(zhuǎn)型升級，鼓勵勞動力從第一、第二產(chǎn)業(yè)轉(zhuǎn)向

第三產(chǎn)、1匕至于人工智能具備獨(dú)立思維而對人類造成傷害的問題，以目前技術(shù),

這還只是一個遙遠(yuǎn)的假設(shè)，但在未來面對有自主學(xué)習(xí)能力的人工智能時，可以

在其學(xué)習(xí)初期，將人類價值觀中的協(xié)同合作、利他主義等內(nèi)容讓其學(xué)習(xí)，踏出

人類與人工智能和諧相處的第一步。

5.2.3.軍事安全

當(dāng)前，國際競爭形勢錯綜復(fù)雜，不確定因素所致的安全隱患陡增，保護(hù)國

家主權(quán)和領(lǐng)土完整，抵御外來武裝力量的侵略是軍事安全的核心，強(qiáng)大的軍事

實(shí)力一直以來都是我國強(qiáng)大的根本，軍事安全的重要性不言而喻。多無人系統(tǒng)

協(xié)同目前在軍事上的應(yīng)用最為廣泛，未來的作戰(zhàn)模式將由多智能無人武器協(xié)同

的出現(xiàn)而徹底改變。在軍事上，我們不僅要具備詆御外來武裝力量入侵的能力,

還要具備主動打擊外來威脅源的能力。

我國要加強(qiáng)多尢人系統(tǒng)在國防戰(zhàn)略中的布局，夯實(shí)多尢人系統(tǒng)協(xié)同技術(shù)發(fā)

展的基礎(chǔ)，密切關(guān)注世界軍事科技和武器裝備發(fā)展動向，努力搶占科技研發(fā)的

戰(zhàn)略制高點(diǎn)，牢牢把握多無人系統(tǒng)在軍事領(lǐng)域發(fā)展的趨勢，為未來戰(zhàn)爭中可能

存在的各種風(fēng)險挑戰(zhàn)做好準(zhǔn)備，推動國防建設(shè)跨越式發(fā)展，為實(shí)現(xiàn)中國夢、強(qiáng)

軍夢提供堅(jiān)強(qiáng)力量，為和平與發(fā)展這一全人類共同愿望的實(shí)現(xiàn)貢獻(xiàn)力量。

6.智能無人系統(tǒng)安全威脅分析

第9頁共18頁

智能無人系統(tǒng)的整個生命周期中潛在的安全威脅如圖2所示。

出

汨

舊

汨

咱

英

匚

假

柏

袒

相

楷/

襠

亞

襠

曙

法

由

汨

二

虛

襠

冷

然

黑

安

於

審

叵

假

甚

襠

仁

溢

除

麻

宣

除

州

密

景

巾

票

戲

在

匹

彩

閘lal

杷

長

筆|>|2

田

意

|±:|光

闈

壁*

武

爵t:l

ls.l柔

壁

更一^x

T―

工

會

際

前

茶

相

S云

會

袈

a養(yǎng)

他

房

c熊S

艙

如

最

斗

S界

黑

Y般

Y

舞

a

圖2智能無人系統(tǒng)各階段面臨的安全威脅

(1)平臺任務(wù)規(guī)劃階段，主要面臨的安全風(fēng)險有學(xué)習(xí)框架后門和漏洞攻擊、

預(yù)訓(xùn)練模型投毒攻擊、計(jì)算環(huán)境網(wǎng)絡(luò)攻擊等。

這個階段的主要任務(wù)是開發(fā)智能系統(tǒng)，選擇機(jī)器學(xué)習(xí)模型和框架，確保系

統(tǒng)的準(zhǔn)確性、魯棒性、計(jì)算資源和運(yùn)行時效性等指標(biāo)。

(2)訓(xùn)練數(shù)據(jù)采集階段，典型的攻擊手段有數(shù)據(jù)投毒攻擊、標(biāo)注投毒攻擊、

數(shù)據(jù)集偏差攻擊和預(yù)史理攻擊等。

數(shù)據(jù)投毒攻擊的實(shí)施可以發(fā)生在離線數(shù)據(jù)采集、模型訓(xùn)練階段和模型在線

微調(diào)階段。數(shù)據(jù)投毒攻擊通過在訓(xùn)練數(shù)據(jù)集合中注入虛假數(shù)據(jù)或混淆性標(biāo)記信

息，影響深度模型的歸納偏差，造成模型推理性能下降。通過在訓(xùn)練集中添加

污染后的有毒數(shù)據(jù)，使得正確模型的決策邊界出現(xiàn)偏離，從而造成測試樣本的

分類出現(xiàn)錯誤.

(3)智能模型訓(xùn)練階段，面臨的主要攻擊手段有后門植入攻擊、云中心攻擊、

木馬攻擊、超參數(shù)攻擊和可解釋模型攻擊等。

首先在準(zhǔn)備階段選擇算法框架時，可以利用框架、依賴包等軟件bug或漏

洞，發(fā)起拒絕服務(wù)(DenialofService,DoS)攻擊和逃避攻擊。攻擊者利用這些漏

洞，不僅能竊取模型參數(shù)，更嚴(yán)重的后果是利用模型實(shí)施惡意攻擊。

深度學(xué)習(xí)網(wǎng)絡(luò)具有脆弱性，當(dāng)攻擊者對開源模型進(jìn)行攻擊時，會向其中注

第10頁共18頁

入惡意行為，生成“變異”的神經(jīng)網(wǎng)絡(luò)模型。變異的神經(jīng)網(wǎng)絡(luò)模型一般情況下

表現(xiàn)正常，隱藏其中的惡意行為很難暴露，會引起重大的安全問題。攻擊者也

可以通過數(shù)據(jù)污染和修改模型參數(shù)等方法誤導(dǎo)模型的訓(xùn)練過程，改變訓(xùn)練模型

導(dǎo)致模型針對特定樣本分類出錯。

人工智能框架自身可能存在安全漏洞，而開發(fā)人員在實(shí)現(xiàn)人工智能算法時

難免會出現(xiàn)內(nèi)存越界、空指針引用等程序漏洞。這些客觀存在的各種漏洞將成

為影響人工智能模型安全運(yùn)行的重要因素。

(4)智能模型推理階段，典型的攻擊手段有對抗樣本攻擊，攻擊者通過溝造

惡意輸入樣本，導(dǎo)致模型以高置信度輸出錯誤結(jié)果，包含白盒攻擊和黑盒攻擊。

對抗樣本攻擊，通過在物理域中構(gòu)建光電或射頻擾動，或者在數(shù)字域中添

加對抗噪聲，這種細(xì)微擾動跨越了模型的決策邊界，導(dǎo)致智能算法判決出錯，

使深度學(xué)習(xí)模型表現(xiàn)出一定的脆弱性。與傳統(tǒng)物理域的欺騙不同，對抗樣本攻

擊的實(shí)施攻擊成本更低，部署和應(yīng)用更加靈活。推理階段的許多攻擊方法不需

要獲取數(shù)據(jù)和模型的先驗(yàn)信息，采用黑盒方法，基于遷移性進(jìn)行攻擊，安全危

害極大。

(5)智能無人平臺應(yīng)用階段，典型的攻擊手段有模型竊取攻擊、模型逆向攻

擊、無人系統(tǒng)通信網(wǎng)絡(luò)攻擊等。

模型竊取攻擊，攻擊者向目標(biāo)網(wǎng)絡(luò)發(fā)送海量數(shù)據(jù)，模型通常會返叵「預(yù)測結(jié)

果，有時甚至?xí)祷刂眯哦取Ｈ绻麑⒛Ｐ鸵暈橐粋€黑盒，通過這些精心構(gòu)造的

信息嘗試構(gòu)建出與原模型盡可能相似的模型，實(shí)現(xiàn)對模型信息的提取。

模型逆向攻擊，模型的輸出結(jié)果隱含著訓(xùn)練/測試數(shù)據(jù)的相關(guān)屬性，攻擊者

利用返回的結(jié)果信息，恢復(fù)原始輸入數(shù)據(jù)，竊取用戶隱私。在分布式訓(xùn)練智能

模型的場景中，多個模型訓(xùn)練方之間交換模型參數(shù)的梯度也可用于竊取訓(xùn)練數(shù)

據(jù)。

無人系統(tǒng)通信網(wǎng)絡(luò)攻擊，無人系統(tǒng)依賴各種通信網(wǎng)絡(luò)傳遞信息。特別是移

動無人平臺，嚴(yán)重依賴無線通信鏈路實(shí)現(xiàn)測控信息的有效傳輸。這些通信網(wǎng)絡(luò)

將面對偵察、監(jiān)聽、竊聽、篡改、飽和攻擊和病毒注入等攻擊，威脅無人系統(tǒng)

的安全運(yùn)行。

(6)智能無人系統(tǒng)部署階段，將測試完成后的模型部署到相應(yīng)的軟硬件平臺

中，并完成真實(shí)物理環(huán)境中用戶交互驗(yàn)證。智能系統(tǒng)部署階段面臨的主要安全

第11頁共18頁

風(fēng)險有軟件系統(tǒng)攻擊、硬件系統(tǒng)漏洞、操作系統(tǒng)后門等。此外，無人平臺工作

在不受控的環(huán)境中，可能存在因數(shù)據(jù)采樣設(shè)備、GPU服務(wù)器、端側(cè)設(shè)備等基礎(chǔ)

設(shè)施缺乏安全防護(hù)而被攻擊者入侵等現(xiàn)象，進(jìn)而被利用實(shí)施惡意行為。

7.智能無人系統(tǒng)安全防御體系

7.1.前述

智能無人系統(tǒng)安全防御體系構(gòu)建了“線上防御”和“線下防御”一體化動

態(tài)防護(hù)，”應(yīng)用一樣本一無人一智能一驗(yàn)證”全生命周期、綜合化、多維度安

全防御體系。智能無人系統(tǒng)安全防御體系通過“感知一決策一防御一評估一溯

源”的高效閉環(huán)，實(shí)現(xiàn)智能無人系統(tǒng)安全防御體系聯(lián)動，對攻擊和漏洞進(jìn)行檢

測與評估，支撐各類典型安全威脅的動態(tài)聯(lián)動防御，形成智能無人系統(tǒng)的安全

威脅感知預(yù)警、智能要素的一體化防護(hù)、線上線下動態(tài)多維協(xié)同響應(yīng)、智能無

人系統(tǒng)安全攻防評估體系。智能無人系統(tǒng)的安全防御體系如圖3所示。

圖3智能無人系統(tǒng)安全防御體系

“線下防御”是在模型發(fā)布前從智能安全和安全驗(yàn)證兩個角度出發(fā)，建立

智能載荷的魯棒性和安全性，對已知攻擊進(jìn)行驗(yàn)證，屬于最大化模型的防御能

力。“線上防御”包含無人安全防護(hù)、樣本安全防護(hù)和系統(tǒng)安全治理。無人安

第12頁共18頁

全防護(hù)包含無人平臺安全、無人系統(tǒng)計(jì)算環(huán)境安全和無人系統(tǒng)通信網(wǎng)絡(luò)安全。

智能模型部署到無人系統(tǒng)之后，從輸入樣本獲取和模型應(yīng)用兩個角度出發(fā)，在

確保傳感器數(shù)據(jù)準(zhǔn)確的基礎(chǔ)上，實(shí)時檢測和擦除輸入樣本中的對抗噪聲，實(shí)現(xiàn)

智能系統(tǒng)中數(shù)據(jù)和算法的全周期安全加固防御。智能無人安全治理軟件主要用

于監(jiān)測智能無人系統(tǒng)運(yùn)行狀態(tài)，完成工作日志存儲、上報(bào)和可視化呈現(xiàn)等功能,

實(shí)現(xiàn)防御體系動態(tài)聯(lián)列。

7.2.應(yīng)用安全

7.3.樣本安全

智能載荷工作階段，首先確保獲取的任務(wù)傳感器數(shù)據(jù)準(zhǔn)確，通過異常樣本

檢測實(shí)現(xiàn)傳感器信號安全防護(hù)。獲取的傳感器數(shù)據(jù)在線檢測和擦除輸入樣本中

的對抗樣本。其中，對抗樣本檢測屬于被動防御，若輸入的是對抗樣本，則進(jìn)

行數(shù)據(jù)預(yù)處理，將對抗樣本擦除，或?qū)箻颖具€原為正常樣本或非攻擊樣本。

被動防御無須對智能系統(tǒng)本身進(jìn)行更改，防御操作與智能系統(tǒng)解耦，具有靈活、

復(fù)用性強(qiáng)的特點(diǎn)，適合在線對抗樣本防護(hù)應(yīng)用場景。

7.4.無人安全防護(hù)

無人平臺的安全防護(hù)可以通過平臺失控預(yù)警實(shí)現(xiàn)。無人平臺通過基于多因

素的平臺失控綜合判斷能力，提供預(yù)警信號。

無人系統(tǒng)計(jì)算環(huán)境安全主要通過對平臺上的操作系統(tǒng)、軟硬件模塊、芯片、

計(jì)算服務(wù)平臺等設(shè)施進(jìn)行安全加固與安全控制來實(shí)現(xiàn)。

無人系統(tǒng)通信網(wǎng)絡(luò)安全主要包括無線傳輸安全、網(wǎng)絡(luò)傳輸安全和網(wǎng)絡(luò)安全

傳輸控制等防御技術(shù)。

7.5.智能無人系統(tǒng)安全治理軟件

安全治理軟件首先通過建立科能無人系統(tǒng)全生命周期初始安全行為基線，

對智能無人系統(tǒng)的安全狀態(tài)進(jìn)行綜合監(jiān)測和展現(xiàn)，持續(xù)對智能無人系統(tǒng)全生命

周期各階段行為信息進(jìn)行收集。通過大數(shù)據(jù)綜合分析、機(jī)器學(xué)習(xí)、人工智能等

方法對收集的信息進(jìn)行分析、建模和分類判斷，發(fā)現(xiàn)其中隱藏的有意/無意惡意

行為以及未知攻擊威脅。進(jìn)而通過數(shù)據(jù)標(biāo)識實(shí)現(xiàn)全路徑追蹤溯源，構(gòu)建一體化、

智能化、聯(lián)動式的各環(huán)節(jié)和全鏈條人工智能行為監(jiān)控及追蹤溯源軟件，實(shí)現(xiàn)對

智能無人系統(tǒng)全生命周期的綜合化、智能化監(jiān)管。

第13頁共18頁

7.6.智能安全

智能安全是智能無人系統(tǒng)安全的重要組成部分，包括智能框架、智能模型、

智能數(shù)據(jù)、對抗樣本多個要素的安全防護(hù)。

智能框架安全檢測修復(fù)，對來自第三方的預(yù)訓(xùn)練模型和機(jī)器學(xué)習(xí)開源框架

平臺進(jìn)行安全檢測，并對發(fā)現(xiàn)的安全問題即時修復(fù)，以提前感知風(fēng)險，降低安

全事件發(fā)生概率，制定完善的漏洞管理流程，提高快速響應(yīng)安全漏洞問題的能

力。

智能模型安全，完成模型后門的檢測和消除。模型后門檢測方面，針對后

門模型參數(shù)構(gòu)建觸發(fā)器檢測機(jī)制，依據(jù)多維度檢測標(biāo)準(zhǔn)建立過濾條件，實(shí)現(xiàn)對

模型中隱藏后門的快速識別。模型后門消除方面，針對常規(guī)后門攻擊、基于圖

案觸發(fā)器的攻擊可以采用網(wǎng)絡(luò)裁剪法、后門逆向法等后門防御技術(shù)。

智能數(shù)據(jù)安全，對惡意的訓(xùn)練數(shù)據(jù)進(jìn)行篩選剔除，保證訓(xùn)練數(shù)據(jù)的純凈可

用，實(shí)現(xiàn)數(shù)據(jù)投毒攻擊的防范。

對抗樣本防御，是對抗樣本嚴(yán)重威脅了深度神經(jīng)網(wǎng)絡(luò)模型的安全。對抗樣

本主動防御通過網(wǎng)絡(luò)蒸播、對抗訓(xùn)練等方式增強(qiáng)深度學(xué)習(xí)模型本身的魯棒性。

7.7.智能無人安全驗(yàn)證平臺

構(gòu)建包含智能無人測試方案庫、典型智能模型庫、典型智能威脅庫、安全

性評估庫等測試驗(yàn)證組件。模擬智能無人系統(tǒng)的應(yīng)用場景、部署環(huán)境、運(yùn)行使

用過程，檢測智能無人系統(tǒng)安全脆弱性，并進(jìn)行安全風(fēng)險評估。采用可重構(gòu)、

體系化和模塊化的智能無人系統(tǒng)攻防驗(yàn)證試驗(yàn)技術(shù)，構(gòu)建攻防演練平臺，以及

面向攻防場景的安全對抗演示驗(yàn)證環(huán)境。

8.智能無人系統(tǒng)安全防御關(guān)鍵技術(shù)

8.1.全生命周期安全評估體系構(gòu)建技術(shù)

智能無人系統(tǒng)承載了不同類型的智能模型和應(yīng)用，面對不同類型的安全攻

擊和系統(tǒng)不可控行為，研究安全性測試方法，建立全周期安全等級量化評估方

法。從智能無人模型對抗防御能力和行為表征兩個角度出發(fā)，建立智能無人系

統(tǒng)的安全性標(biāo)準(zhǔn)體系，實(shí)現(xiàn)安全性的標(biāo)準(zhǔn)評價。

以多層次、多維度安全可信指標(biāo)體系為基礎(chǔ)，研究智能無人系統(tǒng)安全可信

第14頁共18頁

屬性動態(tài)推理技術(shù)，分析安全可信指標(biāo)在系統(tǒng)動態(tài)演化過程中的相互關(guān)聯(lián)與相

互影響，建立智能無人系統(tǒng)安全可信屬性動態(tài)演變模型，實(shí)現(xiàn)由智能算法、組

件、行為等孤立指標(biāo)向系統(tǒng)綜合指標(biāo)的轉(zhuǎn)變，進(jìn)而構(gòu)建跨領(lǐng)域智能無人系統(tǒng)的

安全性評估理論體系。

在智能無人系統(tǒng)生命周期安全評估體系的基礎(chǔ)上，檢驗(yàn)?zāi)繕?biāo)系統(tǒng)面對不同

攻擊時的健壯性，從總體上評估深度學(xué)習(xí)系統(tǒng)的魯棒性，以制定更好的防御策

略來應(yīng)對對抗攻擊等安全威脅。

8.2.智能框架安全防護(hù)技術(shù)

以機(jī)器學(xué)習(xí)開源框架平臺和預(yù)訓(xùn)練模型庫為代表的算法基礎(chǔ)設(shè)施，因開發(fā)

者蓄意破壞或代碼實(shí)現(xiàn)不完善而面臨后門算法嵌入、代碼安全漏洞等風(fēng)險。

以典型人工智能算法框架（如Tensorflow等）為研究對象，從第三方庫、內(nèi)

存分配、識別污染訓(xùn)練數(shù)據(jù)、識別惡意樣本、軟件實(shí)現(xiàn)方面的漏洞、數(shù)據(jù)可控

監(jiān)測、程序執(zhí)行監(jiān)測等多個維度對常用的人工智能平臺進(jìn)行安全性的檢測和增

強(qiáng)。對框架本身的漏洞進(jìn)行修復(fù)，實(shí)現(xiàn)框架缺少的實(shí)時監(jiān)測報(bào)警等功能，從而

最大限度地減少安全風(fēng)險。

8.3.高對抗能力的模型投毒檢測防護(hù)技術(shù)

面向模型的防護(hù)主要檢測模型中是否含有后門，若含有，則將后門消除。

后門消除主要利用剪枝、微調(diào)以及基于微調(diào)的剪枝3種方法。后門觸發(fā)器會在

模型的神經(jīng)元上產(chǎn)生較大的激活值，使得模型出現(xiàn)誤分類的現(xiàn)象。目前，通過

剪枝操作刪除模型中與正常分類無關(guān)的神經(jīng)元，以實(shí)現(xiàn)后門攻擊防御。提取正

常數(shù)據(jù)在模型神經(jīng)元上的激活值，根據(jù)從小到大的順序?qū)ι窠?jīng)網(wǎng)絡(luò)進(jìn)行剪枝，

直到剪枝后的模型在數(shù)據(jù)集上的正確率不高于預(yù)先設(shè)定的閾值為止。然而，若

攻擊者意識到防御者可能采取剪枝防御操作，將后門特征嵌入到正常特征激活

的相關(guān)神經(jīng)元上，這種防御策略將會失效。研究應(yīng)對這種高對抗性攻擊的防御

能力，通過使用干凈數(shù)據(jù)集對模型進(jìn)行微調(diào)便可以有效消除模型中的后門，結(jié)

合剪枝和微調(diào)的防御方法能在多種場景下消除模型中的后門。

8.4.高泛化能力對抗樣本安全防護(hù)技術(shù)

對抗樣本攻擊主要是指在智能模型推理階段的攻擊，通過在原始樣本中加

入精心構(gòu)造的微小噪聲便能使深度學(xué)習(xí)模型識別出錯.主要包括白盒攻擊、防

第15頁共18頁

護(hù)遷移和模型邊界刻畫技術(shù)。高泛化能力對抗樣本安全防護(hù)技術(shù)通過產(chǎn)生新型

對抗樣本的對抗網(wǎng)絡(luò)，不斷輸入人工智能算法模型，提高神經(jīng)網(wǎng)絡(luò)的魯棒性，

增強(qiáng)防護(hù)模型的泛化能力，形成演進(jìn)協(xié)同的模型防護(hù)機(jī)制，構(gòu)建具有擴(kuò)展能力

的魯棒性學(xué)習(xí)模型。

9.“四位一體”全面推進(jìn)多無人系統(tǒng)協(xié)同安全發(fā)展

構(gòu)建多無人系統(tǒng)安全治理框架，與國際接軌，構(gòu)筑面向多種無人系統(tǒng)的生

態(tài)系統(tǒng)