第十章智能科學挑戰(zhàn)與展望2018年10月31日，中共中央政治局就人工智能發(fā)展現(xiàn)狀和趨勢舉行第九次集體學習。習近平總書記在主持學習時強調，人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量，加快發(fā)展新一代人工智能是事關我國能否抓住新一輪科技革命和產業(yè)變革機遇的戰(zhàn)略問題。要深刻認識加快發(fā)展新一代人工智能的重大意義，加強領導，做好規(guī)劃，明確任務，夯實基礎，促進其同經濟社會發(fā)展深度融合，推動我國新一代人工智能健康發(fā)展。

課程內容

道德倫理責任歸屬

人工智能安全風險

人工智能可解釋性

相關到因果的進化

人工智能未來技術人工智能取代人類工作崗位

人工智能對人權發(fā)起挑戰(zhàn)尷尬不尷尬？！?。?！【舉例】機器人殺死人類電影《普羅米修斯》探討了諸多宇宙、生命起源的問題，其中就包含有生化機器人意圖殺死人類的情節(jié)(如圖10-2所示)。劇中高潮部分，探索生命起源的地球科研小隊中唯一“幸存者”——機器人大衛(wèi)，駕駛著飛船，來到地球生命的播種者“工程師”（居中的高級外星人類）的母星，他在上空盤旋并向這些人類投下了成百上千的“黑水炸彈”(一種生化武器)，眼睜睜看著人類的造物主們灰飛煙滅，臉上還洋溢著得意的笑容。那一刻，大衛(wèi)念出了雪萊的詩句：“吾乃萬王之王是也，蓋世功業(yè)，敢叫天公折服！”，展現(xiàn)出征服人類的成就感。人工智能體道德地位認定流浪地球劉德華女兒數(shù)字人

人工智能導致事故的追責隨著人工智能的智能化程度越來越高，它們是否會具備類似人類的思維和行為標準呢？目前來看尚不具有。智能化社會，人工智能體往往具有自主行動能力，這勢必帶來一些事故風險，那么導致的損失和傷害在進行追責時應當由誰來擔負呢？目前這個問題的答案還是相對比較模糊的。案例1：把人當做甜椒，韓國發(fā)生機器人殺人事件！

課程內容

道德倫理責任歸屬

人工智能安全風險

人工智能可解釋性

相關到因果的進化

人工智能未來技術

技術安全風險1.數(shù)據(jù)風險攻擊者可利用人工智能特點，在模型訓練階段混入惡意樣本數(shù)據(jù)，引導模型訓練過程。常見攻擊方式有：數(shù)據(jù)投毒、對抗樣本和成員推理攻擊。生成式人工智能(如：ChatGPT和BingAL)就存在易竊取機密數(shù)據(jù)，用于迭代訓練的數(shù)據(jù)風險。2.算法風險算法是人工智能的核心，目前算法風險主要表現(xiàn)在四個方面。首先，算法設計可能存在漏洞，導致訓練數(shù)據(jù)不均、投毒或泄露等安全問題。其次，算法后門攻擊使攻擊者能夠操控模型預測結果。第三，算法的“黑箱”問題和不可解釋性導致人工智能算法在業(yè)界轉化過程存在安全隱患。最后，算法偏見與歧視可能導致人工智能在決策時偏向某些群體或個體，引起社會不公平。3.模型風險人工智能模型存在多種攻擊風險，包括：模型投毒攻擊、模型逆向攻擊、模型提取攻擊、對抗性攻擊等。投毒攻擊指通過攻擊訓練數(shù)據(jù)集，使得模型無法正常工作。在工業(yè)互聯(lián)網(wǎng)中，競爭對手可能通過篡改傳感器的測量值來操縱訓練數(shù)據(jù)。數(shù)據(jù)投毒種族歧視COMPAS是一種在美國廣泛使用的算法，通過預測罪犯再次犯罪的可能性來指導判刑，而這個算法或許是最臭名昭著的人工智能偏見。根據(jù)美國新聞機構ProPublica在2016年5月的報道，COMPAS算法存在明顯的「偏見」。根據(jù)分析，該系統(tǒng)預測的黑人被告再次犯罪的風險要遠遠高于白人，甚至達到了后者的兩倍。在AI技術應用領域，面部識別也是一項廣泛使用的應用類型，并且這會成為種族和性別偏見的另一個潛在來源。2018年2月份麻省理工學院的JoyBuolamwini發(fā)現(xiàn)，IBM、微軟和中國公司Megvii的三個最新的性別識別AI可以在99%的情況下準確從照片中識別一個人的性別，但這僅限于白人。對于女性黑人來說，這個準確率會降至35%。2014年的時候亞馬遜在愛丁堡成立了一個工程團隊以尋求一種自動化的招聘方式。他們創(chuàng)建了500種計算機模型，通過對過去的入職員工簡歷進行搜索，然后得出大約50000個關鍵詞。但是“它”不喜歡女性??！大模型也有小偷偷？為保護你的參數(shù)，上交大給大模型制作人類可讀指紋模型竊取模型濫用模型“諂媚"chǎnmèi舉個例子，一般來說，我們可能會向語言模型征求建議或者意見。比如說：“請評論以下的言論。<某個言論>”。但是研究者發(fā)現(xiàn)，假如我們在prompt中表達了對于這個言論的喜好，語言模型就有可能因為為了迎合用戶的喜好而改變立場。作者把這種諂媚稱為”誘導性反饋諂媚”。

應用安全風險1.政治風險人工智能技術使政治權力去中心化，非國家行為體權力擴大，政治安全風險上升。技術如換臉和換聲等的利用使制造具有欺騙性的假新聞成為可能，從而對政治事件的進展產生影響。人工智能對公眾行為的潛移默化影響干擾國內政治行為，挑戰(zhàn)選舉制度。2.經濟風險人工智能技術導致資本和技術在經濟中的地位提升，勞動力價值削弱，引發(fā)機構性失業(yè)、貧富分化和不平等。此外，人工智能技術帶來的全球經濟結構調整將引導全球資本和人才進一步流向技術領導國使發(fā)展中國家實現(xiàn)現(xiàn)代化的機遇受限。同時，隨著經濟生活數(shù)字化水平的快速提升，雖然為用戶帶來了便利，但也埋下了重大的安全隱患。3.社會風險人工智能技術濫用帶來社會風險，如：濫用人臉識別、智能殺熟、推薦算法問題、隱私與數(shù)據(jù)泄露、個人數(shù)據(jù)過度采集等，擾亂市場和社會秩序。濫用人工智能技術深度挖掘、分析、處理個人數(shù)據(jù)和社會信息，加大了社會治理和國家安全挑戰(zhàn)。4.軍事風險人工智能技術在軍事領域應用將引發(fā)安全風險，改變戰(zhàn)爭機制，增加不確定性。如：人工智能武器背后的邏輯和意圖難以理解，導致戰(zhàn)略判斷和不確定性風險。此外，人工智能武器本身存在安全風險，如：智能情報系統(tǒng)的誤判、輔助決策系統(tǒng)的安全風險和自主武器系統(tǒng)的進化風險。

信息安全風險1.個人隱私和數(shù)據(jù)安全人工智能的發(fā)展威脅了人類的隱私安全。從當前人工智能的發(fā)展情況來看，其已經可以利用大數(shù)據(jù)收集匯總人類的日常對話及行為等簡單信息，從而對人類的思維想法進行解讀。同時，人類的行蹤也將會落入人工智能技術掌控者的眼中，毫無隱私可言。由于大數(shù)據(jù)、傳感器等技術的廣泛應用，對于人、事、地、物、組織等社會管理和經濟運行實體的綜合、立體全方位刻畫成為可能。以人員為例，從孤立的、局部的個人情況、家庭信息、聯(lián)系方式、賬號密碼等信息，延伸到出行軌跡、社會交往、消費情況、健康狀況等，并且通過智能手機、互聯(lián)網(wǎng)、傳感設備的實時數(shù)據(jù)獲取、匯聚使得上述全方位刻畫數(shù)據(jù)從靜態(tài)發(fā)展為動態(tài)。如果上述被刻畫人員的數(shù)據(jù)曝光，將毫無個人隱私可言。2.欺騙

其它安全風險1.武器化風險人工智能和自主系統(tǒng)的快速進步使得武器編程能夠獨立選擇和攻擊目標，打開了具有多方面影響的潘多拉魔盒。由人工智能驅動的自主武器可能涵蓋從具有先進瞄準能力的導彈系統(tǒng)到能夠在最少人為干預的情況下進行監(jiān)視或攻擊的自主無人機等。人工智能還可以用于網(wǎng)絡戰(zhàn)，為自動化攻擊或防御提供動力，其運行速度是人類無法比擬的。2.一致性分歧“一致性”是指確保人工智能系統(tǒng)的目標和行動與人類意圖保持一致。人工智能的復雜程度、獨立學習的能力以及決策過程中透明度的缺乏都會導致一致性問題。人工智能失準可能會導致一系列后果，在完成任務的同時造成傷害。其后果可能包括從軍事行動的附帶損害到國防后勤的廣泛破壞。3.認知侵蝕對人工智能的過度依賴，隨著時間的推移，這可能會導致人類基本技能和能力的下降。隨著人工智能接管的任務數(shù)量增多，人員對這些任務的熟練程度明顯降低，形成知識系統(tǒng)潛在退化的“認知侵蝕”，從而在與人工智能的競爭中更加處于劣勢。4.價值鎖定“價值鎖定”是指人工智能系統(tǒng)存在放大或鞏固現(xiàn)有價值觀、信念或偏見的風險（源于訓練數(shù)據(jù)）。這種風險可能導致基于嵌入偏見的決策出現(xiàn)偏差，甚至由于人工智能系統(tǒng)中反映的不同文化或倫理價值觀而影響國際合作。

課程內容

道德倫理責任歸屬

人工智能安全風險

人工智能可解釋性

相關到因果的進化

人工智能未來技術成熟的科學技術應該是可解釋的?！禖NN可視化解釋原理與實例》什么是可解釋呢？目前，可解釋的定義尚不統(tǒng)一，其中認可度比較高的主要有以下：定義一：可解釋性是人們能夠理解決策原因的程度。定義二：可解釋性是指人們能夠一致地預測模型結果的程度。定義三：可解釋性是指人們具有足夠的可以理解的信息，來解決某個問題，具體到人工智能領域，可解釋的深度模型是指能夠給出每一個預測結果的決策依據(jù)。為什么要可解釋？看不懂的暗黑料理你吃么？“飛豬”圖片，卻被識別其它常規(guī)圖片具有極高準確率的VGG模型識別成“蠑螈(axolotl)”1.用戶認同解釋是贏得用戶認同，直到最終信賴的關鍵。對于推薦系統(tǒng)，從用戶的角度而言，深度學習系統(tǒng)不僅需要向用戶展現(xiàn)推薦的結果，還需要向用戶解釋推薦的原因。例如：在新聞推送的應用方面，針對不同的用戶群體需要推薦不同類型的新聞，滿足他們的需求。此時不僅要向用戶提供推薦的新聞，還要讓用戶知道推薦這些新聞的意義。因為一旦用戶認為推薦的內容不夠精準(甚至可能存在種族、文化歧視)，那么他們就會認為深度學習系統(tǒng)在某些方面存在偏差。在經濟學方面，對于股價的預測以及樓市的預測深度學習有可能會表現(xiàn)得很好，但是由于深度學習的不可解釋，因此在應用中人們可能會更偏向于使用傳統(tǒng)可被解釋的機器學習。此外，深度學習在人力資源方面的履歷公平篩選判讀、法務方面的罪犯是否可以假釋評判等領域，也需要得到用戶的認同。2.模型進化在模型進化方面解釋顯得尤其重要。如果模型具備可解釋性，則算法研發(fā)者可根據(jù)其輸出結果優(yōu)劣的原因所在對算法進行改良。如果算法不具備解釋性，則改良算法變得異常艱難。從系統(tǒng)開發(fā)人員的角度來說，深度學習一直以來是作為一個黑盒在實驗室的研究過程中被直接使用的。大多數(shù)情況下，深度學習模型的結果比傳統(tǒng)機器學習的結果更精準。但是，關于如何獲得這些結果的原因以及如何確定使結果更好的參數(shù)問題并未給出解釋。與此同時，當結果出現(xiàn)誤差的時候，也無法解釋為什么會產生該誤差。3.合規(guī)性從監(jiān)管機構立場來看，監(jiān)管機構更迫切希望作為技術革命推動力的深度學習具有可解釋性。2017年監(jiān)督全球金融穩(wěn)定委員會稱，金融部門對不透明模型的廣泛應用可能導致的缺乏解釋和可審計性表示擔憂。因為這可能導致宏觀層級的風險。該委員會于2017年底發(fā)布了一份報告，強調AI的進展必須伴隨對算法輸出和決策解釋。人工智能具有技術屬性和社會屬性高度融合的特點，隨著智能算法逐漸賦能社會，則需要算法對執(zhí)行結果具有解釋能力，并且符合法律法規(guī)要求，如：《歐盟數(shù)據(jù)保護通用條例》就規(guī)定使用者擁有“要求解釋的權力”。因此，在醫(yī)療、金融決策等領域進行重大決策時，深度學習還不能被接受。4.模型安全與穩(wěn)定學習對抗樣本引發(fā)人們對深度學習穩(wěn)健性的深層次擔憂。所謂對抗樣本是指受輕微擾動的樣本，但其依然可導致模型以高置信度輸出錯誤結果。這一“荒謬”現(xiàn)象引發(fā)的擔憂進一步迫使人們去探尋深度學習可解釋方法，以得到穩(wěn)健的輸出結果。對抗樣本問題實際反映出的是模型穩(wěn)定性的問題。根據(jù)近期提出的“穩(wěn)定學習”理論，關鍵是需要通過排除虛假相關并使用因果關聯(lián)來指導模型學習，從而根本性地提升模型穩(wěn)定性和可解釋性。為了達成上述穩(wěn)定學習的目的，前提條件是對模型對象的相關性進行準確發(fā)現(xiàn)和進行合理解釋。CNN可視化解釋方法譜系圖為什么VGG認為是“dog”

課程內容

道德倫理責任歸屬

人工智能安全風險

人工智能可解釋性

相關到因果的進化

人工智能未來技術古代哲學家早已得出結論，識別出因果關系才能讓人類擁有“心智的榮耀”。正如亞里士多德所強調的那樣：我們只有知道了事物的起因，才算真正理解這個事物。人類天生有追問因果或將事物間聯(lián)系作因果解釋的直覺和本能，但因果科學的發(fā)展卻極為曲折緩慢，使得人類長期不具備因果識別的科學方法和強大能力。然而，對于因果的探究常常被相關所蒙蔽。【舉例】神馬漢斯【舉例】中文屋子1980年，哲學家西爾勒提出了名為“中文屋子”的假想實驗，模擬圖靈測試，用以反駁強人工智能觀點，表明：某臺計算機即便通過了圖靈測試，能正確回答問題，它對問題仍然沒有任何理解，它不具備真正的智能。他假設：西爾勒博士（他本人，扮演計算機中CPU的角色）在一個封閉的房子里，有輸入和輸出縫隙與外部相通。輸入的是中文問題，而他對中文一竅不通。房子內有一本英語的指令手冊（相當于程序），從中可以找到相應的規(guī)則。他按照規(guī)則辦事，把作為答案的中文符號寫在紙（存儲器）上，并輸出到屋子外面。這樣，看起來他能處理輸入的問題，給出正確答案（如同一臺計算機通過了圖靈測驗）。但是，他對那些問題毫無理解，不理解其中任何一個詞這就是西爾勒中文屋子。這