第8課

人工智能安全年級(jí)：九年級(jí)學(xué)科：初中信息科技（浙教版）更安全了？更危險(xiǎn)了？更安全了！人工智能助力安全智能安防監(jiān)控智能視頻監(jiān)控能夠?qū)⑷说母鞣N屬性進(jìn)行關(guān)聯(lián)分析和數(shù)據(jù)挖掘，實(shí)現(xiàn)安防監(jiān)管的實(shí)時(shí)響應(yīng)與預(yù)警?；谶吘売?jì)算的人臉識(shí)別攝像頭能夠直接在本地設(shè)備上完成識(shí)別，得到相關(guān)數(shù)據(jù)。你知道郵箱中垃圾郵件是怎么判定的嗎？自學(xué)教材“垃圾郵件檢測(cè)”部分的內(nèi)容思考：郵箱中的垃圾郵件是怎么判定的？垃圾郵件檢測(cè)你知道郵箱中垃圾郵件是怎么判定的嗎？機(jī)器學(xué)習(xí)算法可能屬于垃圾郵件的詞語網(wǎng)址活動(dòng)1：“垃圾郵件攻防”體驗(yàn)使用貝葉斯分類器算法進(jìn)行垃圾郵件判定。跟著步驟實(shí)踐，完成任務(wù)單【學(xué)習(xí)任務(wù)一】的內(nèi)容。目的體驗(yàn)使用貝葉斯分類器算法進(jìn)行垃圾郵件判定要求1.根據(jù)步驟進(jìn)行體驗(yàn)：①運(yùn)行“活動(dòng)1：垃圾郵件識(shí)別器”文件夾中的“email.py”②根據(jù)提示，選擇輸入相應(yīng)的數(shù)字。2.至少選擇三個(gè)郵件進(jìn)行識(shí)別，并做好以下記錄。3.思考怎么實(shí)現(xiàn)的？觀察分析程序源文件夾，進(jìn)行猜測(cè)與討論。文件編號(hào)是否垃圾郵件判定結(jié)果與實(shí)際是否一致機(jī)器學(xué)習(xí)算法可以自動(dòng)地從數(shù)據(jù)的某些特征中學(xué)習(xí)它們之間的關(guān)系，并且通過對(duì)數(shù)據(jù)的不斷學(xué)習(xí)，提升垃圾郵件檢測(cè)的能力和性能。更危險(xiǎn)了！人工智能內(nèi)生安全觀看視頻并思考：生活中的人工智能應(yīng)用存在怎樣的安全問題？人工智能內(nèi)生安全問題

數(shù)據(jù)是人工智能的重要基礎(chǔ)。

數(shù)據(jù)集的質(zhì)量會(huì)直接影響人工智能算法的執(zhí)行效果。使用不同質(zhì)量的數(shù)據(jù)集會(huì)在訓(xùn)練之后得到不同的模型參數(shù)，產(chǎn)生不同的執(zhí)行效果，進(jìn)而影響人工智能算法的安全性。數(shù)據(jù)安全

人工智能涉及數(shù)據(jù)、框架、算法、模型、運(yùn)行等多個(gè)復(fù)雜環(huán)節(jié)，這些環(huán)節(jié)都可能導(dǎo)致人工智能系統(tǒng)內(nèi)在的安全問題。對(duì)抗樣本及其錯(cuò)誤辨識(shí)結(jié)果貓（95.5%置信度）黃鼠狼（98.7%置信度）活動(dòng)2：“誰蒙住了計(jì)算機(jī)的眼睛”

體驗(yàn)“對(duì)抗樣本”對(duì)人工智能模型可靠性的影響。

跟著步驟進(jìn)行實(shí)踐，完成任務(wù)單【學(xué)習(xí)任務(wù)二】的內(nèi)容。

目的體驗(yàn)“對(duì)抗樣本”對(duì)人工智能模型可靠性的影響要求1.運(yùn)行“活動(dòng)2：‘對(duì)抗樣本’文件夾內(nèi)的‘img_rec.py’文件”2.觀察運(yùn)行結(jié)果，并做好以下記錄添加噪聲前添加噪聲后預(yù)測(cè)結(jié)果預(yù)測(cè)結(jié)果置信度置信度聯(lián)系生活中的人工智能應(yīng)用，你覺得惡意使用對(duì)抗樣本可能帶來哪些安全問題？操作記錄

匯報(bào)對(duì)抗性攻擊如果惡意使用對(duì)抗樣本，可以欺騙自動(dòng)駕駛汽車，使其不能正確識(shí)別道路標(biāo)志，從而引發(fā)事故；可以欺騙語音識(shí)別系統(tǒng)，讓系統(tǒng)誤認(rèn)為是“主人語音”而執(zhí)行虛假命令；可以入侵城市交通系統(tǒng)甚至武器系統(tǒng)。這種通過對(duì)抗樣本對(duì)智能系統(tǒng)發(fā)起的欺騙被稱為“對(duì)抗性攻擊”。深度神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域能取得遠(yuǎn)超傳統(tǒng)算法的準(zhǔn)確率，但缺乏可解釋性。針對(duì)不同任務(wù)需要多少隱藏層，每個(gè)隱藏層抽取了何種特征還未能完全說明。在一些對(duì)準(zhǔn)確率要求高、可解釋性要求強(qiáng)的場(chǎng)景中,神經(jīng)網(wǎng)絡(luò)造成的失誤會(huì)產(chǎn)生巨大影響。人工智能算法可以借助海量數(shù)據(jù)進(jìn)行自我學(xué)習(xí)和進(jìn)化，可以在無人干預(yù)下自主處理問題，這也使得人工智能的行為和決策難以被事先預(yù)料和干預(yù)，從而增加安全風(fēng)險(xiǎn)。算法安全人工智能算法往往需要訓(xùn)練大量的模型參數(shù)，經(jīng)過訓(xùn)練之后生成的模型一般以實(shí)體文件的形式保存在服務(wù)器。如果攻擊者攻擊了云端服務(wù)器，利用服務(wù)器漏洞獲取模型參數(shù)，可能造成嚴(yán)重后果。隨著人工智能的普及，很多開發(fā)者將訓(xùn)練好的模型共享給更多用戶，如果攻擊者對(duì)開源的模型進(jìn)行攻擊，向其中注入惡意代碼或參數(shù)，生成“變異”的神經(jīng)網(wǎng)絡(luò)模型并再次共享，在遇到特定情況或數(shù)據(jù)時(shí)，觸發(fā)執(zhí)行特定的惡意行為，會(huì)引起重大的安全問題。模型安全人工智能有安全風(fēng)險(xiǎn)，

那么如何促進(jìn)人工智能安全發(fā)展呢？思考：人工智能安全發(fā)展制定法律法規(guī)在人工智能涉及的網(wǎng)絡(luò)安全、數(shù)據(jù)安全、隱私保護(hù)方面，相關(guān)法律法規(guī)條款部分已在現(xiàn)有法律體系中體現(xiàn)。我國(guó)目前正在多層面推進(jìn)數(shù)據(jù)安全和個(gè)人信息保護(hù)法律法規(guī)的制定，加速完善相關(guān)保護(hù)和監(jiān)管準(zhǔn)則，對(duì)人工智能相關(guān)應(yīng)用進(jìn)一步明確監(jiān)管要求。我的觀點(diǎn)是：人工智能讓我們更加_______了，因?yàn)開____________________________________________（舉例）我的觀點(diǎn)《新一代人工智能發(fā)展規(guī)劃》

①建立健全公開透明的人工智能監(jiān)管體系，實(shí)行設(shè)計(jì)問責(zé)和應(yīng)用監(jiān)督并重的雙層監(jiān)管結(jié)構(gòu)，實(shí)現(xiàn)對(duì)人工智能算法設(shè)計(jì)、產(chǎn)品開發(fā)和成果應(yīng)用等的全流程監(jiān)管;

②促進(jìn)人工智能行業(yè)和企業(yè)自律，切實(shí)加強(qiáng)管理，加大對(duì)數(shù)據(jù)濫用、侵犯?jìng)€(gè)人隱私、違背道德倫理等行為的懲戒力度”。

加強(qiáng)核心技術(shù)的自主可控，以自主可控為根基，通過理論創(chuàng)新、技術(shù)突破形成核心競(jìng)爭(zhēng)力。人工智能助力安全新一代人工智能發(fā)展規(guī)劃智能安防監(jiān)控人工智能安全人工智能內(nèi)生安全垃圾郵件檢測(cè)算法安全制定法律法規(guī)數(shù)據(jù)安全模型安全人工智能安全發(fā)展課堂小結(jié)課后作業(yè)請(qǐng)同學(xué)們課后利用網(wǎng)絡(luò)搜索，學(xué)習(xí)我國(guó)有關(guān)人工智能安全的政策文件并完成自我評(píng)價(jià)。作業(yè)評(píng)價(jià)表