深度學(xué)習(xí)在人臉識(shí)別中的應(yīng)用優(yōu)圖祖母模型的「進(jìn)化」序言——“弱弱”的人工智能說(shuō)到人工智能（ArtificialIntelligence,AI）人們總是很容易和全知、全能這樣的詞聯(lián)系起來(lái)。大量關(guān)于AI的科幻電影更給人工智能蒙上一層神秘的色彩。強(qiáng)如《黑客帝國(guó)》、《機(jī)械公敵》中的AI要翻身做主人統(tǒng)治全人類(lèi)。稍弱點(diǎn)的《機(jī)械姬》里EVA懂得利用美貌欺騙中二程序員，殺死主人逃出升天。最不濟(jì)也可以蠢萌蠢萌的像WALL·E能陪玩、送禮物還能談個(gè)戀愛(ài)。其實(shí)人工智能這個(gè)詞在1956年達(dá)特茅斯會(huì)議上正式誕生時(shí)，目標(biāo)就是想要讓機(jī)器的行為看起來(lái)像是人所表現(xiàn)出的智能行為一樣的“強(qiáng)”人工智能。然而人工智能的研究是高度技術(shù)性和專(zhuān)業(yè)性的，各分支領(lǐng)域都是深入且各不相通的，因而涉及范圍極廣。正是這種復(fù)雜屬性，導(dǎo)致人們對(duì)人工智能的研究進(jìn)程總是磕磕碰碰，反復(fù)地經(jīng)歷過(guò)分樂(lè)觀的浪潮與極度悲觀的寒冬。時(shí)至今日，想要完成全知、全能的強(qiáng)人工智能仍然只是一個(gè)長(zhǎng)遠(yuǎn)目標(biāo)。雖然目前的技術(shù)水平還遠(yuǎn)不能實(shí)現(xiàn)強(qiáng)人工智能，但在一些非常特定的領(lǐng)域里，弱人工智能技術(shù)正在經(jīng)歷前所未有的迅猛發(fā)展，達(dá)到或已超越人類(lèi)的最高水平。例如深藍(lán)、AlphaGo分別在國(guó)際象棋和圍棋領(lǐng)域擊敗世界冠軍。例如自然語(yǔ)言理解、語(yǔ)音識(shí)別和人臉識(shí)別接近、達(dá)到甚至超越普通人的識(shí)別水平。雖然這些弱人工智能技術(shù)并不能真正地推理、理解和解決問(wèn)題，但是面對(duì)特定的任務(wù)它們所給出的“判斷”看起來(lái)是具有智能的。而正是這些看似“弱弱”的人工智能技術(shù)，在悄悄的改變?nèi)祟?lèi)生活的方方面面。它們以點(diǎn)帶面完成越來(lái)越多的“簡(jiǎn)單任務(wù)”，為人們提供更加簡(jiǎn)潔、方便和安全的服務(wù)。人臉識(shí)別正是眾多“弱弱”的人工智能技術(shù)之一。通過(guò)看人的面孔識(shí)別其身份，對(duì)每一個(gè)正常的人來(lái)說(shuō)都是再簡(jiǎn)單不過(guò)的。如果強(qiáng)行將人臉識(shí)別的難度和下圍棋來(lái)比，應(yīng)該沒(méi)有人會(huì)覺(jué)得人臉識(shí)別更難。然而從計(jì)算機(jī)的角度來(lái)看，至少在輸入數(shù)據(jù)的復(fù)雜度上人臉識(shí)別是遠(yuǎn)超圍棋單步走子決策的。如圖1(a)所示，一張Angelababy的圖像在計(jì)算機(jī)看來(lái)，其實(shí)就是一個(gè)數(shù)字矩陣如圖1(b)。數(shù)字矩陣的每個(gè)元素取值范圍是0-255的整數(shù)。通常人臉識(shí)別算法所需的輸入圖像至少在以上，大的可能達(dá)到。理論上不同的可能輸入共有種（每個(gè)像素的取值范圍為0-255）。而圍棋任意單步走子的可能局面上限為(每個(gè)棋盤(pán)格只能有黑子，白子，無(wú)子三種情況)，遠(yuǎn)遠(yuǎn)小于人臉識(shí)別。無(wú)論是圍棋還是人臉識(shí)別，通過(guò)遍歷完整的輸入空間來(lái)做出最優(yōu)的決策，就計(jì)算復(fù)雜度而言都是完全無(wú)法接受的。圖1：數(shù)字化的人臉識(shí)別VS.圍棋單步?jīng)Q策其實(shí)對(duì)幾乎所有人工智能問(wèn)題，如何通過(guò)更高層次的抽象來(lái)理解輸入從而更快速的做出決策都是解決問(wèn)題的關(guān)鍵所在。近十年來(lái)引領(lǐng)新一波人工智能浪潮的核心技術(shù)“深度學(xué)習(xí)”描述子Gabor描述子借鑒了人類(lèi)大腦的視覺(jué)皮層中對(duì)視覺(jué)信息進(jìn)行預(yù)處理的過(guò)程。大腦皮層中對(duì)視覺(jué)信息加工處理的操作主要有兩種，一種是在簡(jiǎn)單細(xì)胞中進(jìn)行的線(xiàn)性操作，一種是在復(fù)雜細(xì)胞中進(jìn)行的非線(xiàn)性匯聚。如圖5所示的是MIT大腦和認(rèn)知科學(xué)學(xué)院人工智能實(shí)驗(yàn)室的主任Poggio教授提出的一個(gè)叫HMAX[4]的類(lèi)腦視覺(jué)信息處理流程：圖5：HMAX圖像信息處理過(guò)程這其中的簡(jiǎn)單單元“S1units”和“S2units”進(jìn)行了一種叫做Gabor小波濾波的操作。而復(fù)雜單元“C1units”和“C2units”進(jìn)行了一種叫做MaxPooling的取局部區(qū)域最大值的操作。事實(shí)上除卻直接使用事先設(shè)定的Gabor濾波器，HMAX等價(jià)于一個(gè)四層的神經(jīng)網(wǎng)絡(luò)，實(shí)際上已經(jīng)初步具備了現(xiàn)代深度模型的雛形。在深度學(xué)習(xí)誕生前的“淺”時(shí)代，人臉識(shí)別研究人員不斷改進(jìn)預(yù)處理過(guò)程、使用更好的描述子，提取更有判別性的特征，這些都在慢慢的提高計(jì)算機(jī)識(shí)別人臉的能力。然而直到深度學(xué)習(xí)橫空出世前，“淺”時(shí)代的各種人臉識(shí)別方法，對(duì)人類(lèi)本身所具有的人臉識(shí)別能力仍然望塵莫及。擁抱——人臉識(shí)別的“深”時(shí)代要賦予計(jì)算機(jī)完整的人臉識(shí)別能力，除了能認(rèn)識(shí)人外其實(shí)還有幾步非常重要的預(yù)處理過(guò)程。如圖6所示，完整的人臉自動(dòng)識(shí)別算法需要能自己從圖像里找到哪有人臉，學(xué)界稱(chēng)之為人臉檢測(cè)？哪里是眼睛鼻子嘴，學(xué)界稱(chēng)之為人臉特征點(diǎn)定位？最后才是提取前面說(shuō)到的具有判別性的特征進(jìn)行身份的識(shí)別，即狹義上的人臉識(shí)別。圖6：完整的自動(dòng)人臉識(shí)別流程在深度學(xué)習(xí)出現(xiàn)以前關(guān)于人臉檢測(cè)、特征點(diǎn)定位和人臉識(shí)別這三個(gè)子任務(wù)的研究都是相對(duì)獨(dú)立的展開(kāi)的。從上個(gè)世紀(jì)90年代開(kāi)始到2010年左右，經(jīng)過(guò)不斷的摸索，研究人員們對(duì)每個(gè)子任務(wù)都發(fā)現(xiàn)了一些比較有效的特征與方法的組合來(lái)解決問(wèn)題如圖7所示。然而由于研究人員需要根據(jù)每個(gè)子任務(wù)本身的特點(diǎn)設(shè)計(jì)不同的特征，選擇不同的機(jī)器學(xué)習(xí)方法，因此技術(shù)的發(fā)展相對(duì)緩慢。從2012年左右，受深度學(xué)習(xí)在整個(gè)機(jī)器視覺(jué)領(lǐng)域迅猛發(fā)展的影響，人臉識(shí)別的“深”時(shí)代正式拉開(kāi)序幕。短短的四年時(shí)間里，基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法不斷在這三個(gè)子任務(wù)中刷新人工智能算法的世界記錄。人臉識(shí)別“淺”時(shí)代讓人眼花繚亂的各種技術(shù)和方法仿佛一頁(yè)之間成為歷史。人臉識(shí)別研究人員，不需要在挖空心思的設(shè)計(jì)特征，也不需要擔(dān)心后面需要什么樣的學(xué)習(xí)算法。所有的經(jīng)驗(yàn)的積累過(guò)程轉(zhuǎn)換為了深度神經(jīng)網(wǎng)路算法自動(dòng)學(xué)習(xí)過(guò)程。這正式深度學(xué)習(xí)算法最大的優(yōu)點(diǎn)：自動(dòng)學(xué)習(xí)對(duì)特定任務(wù)最有用的特征！圖7：人臉識(shí)別考察一個(gè)單項(xiàng)的“弱”人工智能技術(shù)是否成熟，達(dá)到乃至超過(guò)人類(lèi)的平均水平應(yīng)該是一個(gè)比較通用的準(zhǔn)則。說(shuō)到這里不得不提一個(gè)人臉識(shí)別的標(biāo)準(zhǔn)評(píng)測(cè)數(shù)據(jù)庫(kù)LFW（LabeledFaceintheWild）數(shù)據(jù)庫(kù)。在2014年，F(xiàn)acebook使用一個(gè)叫做DeepFace的深度學(xué)習(xí)方法，第一次在LFW數(shù)據(jù)庫(kù)上接近人類(lèi)的識(shí)別水平（DeepFace:97.35%VS.Human:97.53%）,其結(jié)果如圖8所示：圖8：DeepFace深度學(xué)習(xí)網(wǎng)絡(luò)“Talkischeap,showmethecode”,自從DeepFace在人臉識(shí)別領(lǐng)域一戰(zhàn)成名，讓研究人員們看到了超越人類(lèi)識(shí)別能力的曙光。隨著幾大開(kāi)源深度學(xué)習(xí)項(xiàng)目（例如CAFFE，TORCH,TensorFlow）的發(fā)展壯大，基于深度學(xué)習(xí)的方法真正如雨后春筍般席卷整個(gè)人臉識(shí)別領(lǐng)域。事實(shí)也證明深度學(xué)習(xí)確實(shí)能夠做到，短短一年以后就有很多基于深度學(xué)習(xí)的方法在LFW數(shù)據(jù)庫(kù)上超過(guò)人類(lèi)的識(shí)別能力，例如優(yōu)圖的人臉識(shí)別算法就在15年取得當(dāng)時(shí)世界第一的99.65%準(zhǔn)確率。深度學(xué)習(xí)為什么如此神奇，能在短短的幾年時(shí)間里一統(tǒng)江湖呢？拋開(kāi)技術(shù)細(xì)節(jié)不談，原理上來(lái)說(shuō)最為關(guān)鍵的兩個(gè)因素就是：層級(jí)式抽象和端到端可學(xué)習(xí)。在回顧“淺”時(shí)代人臉識(shí)別方法歷史時(shí)曾經(jīng)介紹了基于幾何特征的方法（圖2）和基于判別性特征的方法（圖4）。下圖這些特征無(wú)疑都是針對(duì)人臉的某種抽象。由于原始圖像輸入的搜索空間巨大，只有通過(guò)恰當(dāng)?shù)某橄罂s小搜索范圍，才能最終做出合理的決策。對(duì)一個(gè)復(fù)雜的概念想要通過(guò)一層的抽象就將所有結(jié)構(gòu)梳理清楚會(huì)是很難甚至不可能的，而深度神經(jīng)網(wǎng)絡(luò)這種多層結(jié)構(gòu)給自底向上的逐級(jí)抽象提供了天然的模具。只要將足夠多的數(shù)據(jù)輸入到具有多層結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)并告知它你想要的輸出結(jié)果，網(wǎng)絡(luò)可以自動(dòng)的學(xué)習(xí)中間層的抽象概念，如圖9所示，好奇的研究人員將一個(gè)能夠識(shí)別1000類(lèi)物體的神經(jīng)網(wǎng)絡(luò)中的特征進(jìn)行了可視化：圖9：深度神經(jīng)網(wǎng)絡(luò)特征可視化結(jié)果從圖中可以看到在深度神經(jīng)網(wǎng)絡(luò)的第一層有點(diǎn)類(lèi)似人類(lèi)科學(xué)家積累多年經(jīng)驗(yàn)找到的Gabor特征。第二層學(xué)習(xí)到的是更復(fù)雜的紋理特征。第三層的特征更加復(fù)雜，已經(jīng)開(kāi)始出現(xiàn)一些簡(jiǎn)單的結(jié)構(gòu)，例如車(chē)輪、蜂窩、人頭。到了第四、五層機(jī)器輸出的表現(xiàn)已經(jīng)足以讓人誤以為它具備一定的智能，能夠?qū)σ恍┟鞔_的抽象概念例如狗、花、鐘表、甚至鍵盤(pán)做出特別的響應(yīng)。研究人員們積累幾年甚至十幾年設(shè)計(jì)出來(lái)的特征例如Gabor、SIFT，其實(shí)可以通過(guò)深度神經(jīng)網(wǎng)絡(luò)自動(dòng)的學(xué)習(xí)出來(lái)（如圖9中“Layer1”），甚至自動(dòng)學(xué)習(xí)出它的人類(lèi)“爸爸”難以言喻的更高層次抽象。從某種意義上來(lái)說(shuō)，人工智能科學(xué)家就是機(jī)器的父母，需要“教”機(jī)器寶寶認(rèn)識(shí)這個(gè)世界。誰(shuí)都希望自己有個(gè)聰明寶寶，只用教它“知其然”，它自己慢慢總結(jié)消化然后“知其所以然”。深度神經(jīng)網(wǎng)絡(luò)就像個(gè)聰明的機(jī)器寶寶自己會(huì)學(xué)習(xí)、會(huì)抽象、會(huì)總結(jié)。端到端可學(xué)習(xí)，乍一聽(tīng)這個(gè)名詞可能覺(jué)得頭有點(diǎn)“方”，其實(shí)可以簡(jiǎn)單理解為全局最優(yōu)。圖7中總結(jié)了在“淺”時(shí)代，人臉識(shí)別的各個(gè)子問(wèn)題都需要通過(guò)兩個(gè)甚至更多個(gè)步驟來(lái)完成，而多個(gè)步驟之間完全獨(dú)立的進(jìn)行優(yōu)化。這是典型貪心規(guī)則，很難達(dá)到全局最優(yōu)。事實(shí)上，受限于優(yōu)化算法深度神經(jīng)網(wǎng)絡(luò)也很難達(dá)到全局最優(yōu)解，但是它的優(yōu)化目標(biāo)是全局最優(yōu)的。近幾年深度學(xué)習(xí)在各種任務(wù)上的成功經(jīng)驗(yàn)，表明機(jī)器寶寶也是需要有夢(mèng)想的，直接對(duì)準(zhǔn)“遠(yuǎn)方”的全局最優(yōu)目標(biāo)進(jìn)行學(xué)習(xí)，即使得不到最優(yōu)解也也遠(yuǎn)遠(yuǎn)好過(guò)小碎步的局部貪心算法。想要達(dá)到真正的“強(qiáng)”人工智能，深度神經(jīng)網(wǎng)絡(luò)還有很長(zhǎng)的路要走，星爺?shù)拿詫?duì)神經(jīng)寶寶同樣適用，做人沒(méi)有夢(mèng)想和咸魚(yú)有什么分別。進(jìn)擊——優(yōu)圖祖母模型的“進(jìn)化”隨著深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，在LFW人臉數(shù)據(jù)庫(kù)上,三、四年前讓所有機(jī)器學(xué)習(xí)算法寶寶們望塵莫及的人類(lèi)識(shí)別能力早已被超越。雖然優(yōu)圖也曾在LFW上取得99.65%超越人類(lèi)平均水平的好成績(jī)，但是我們清楚的明白刷庫(kù)還遠(yuǎn)遠(yuǎn)不夠，在實(shí)際場(chǎng)景中的應(yīng)用更重要也更具挑戰(zhàn)性，在實(shí)踐中優(yōu)圖已經(jīng)根據(jù)落地需求對(duì)各種應(yīng)用場(chǎng)景和應(yīng)用類(lèi)型做出了細(xì)分，以便實(shí)現(xiàn)各種場(chǎng)景下人臉識(shí)別任務(wù)的各個(gè)擊破。目前在落地應(yīng)用中，常見(jiàn)的照片場(chǎng)景類(lèi)型有生活照，自拍照、監(jiān)控視頻、門(mén)禁閘機(jī)、西方人及其他人種照片，如圖10所示。圖10：常見(jiàn)人臉識(shí)別場(chǎng)景類(lèi)型互聯(lián)網(wǎng)上有海量的人臉照片，通過(guò)搜索引擎優(yōu)圖也積累了海量帶身份標(biāo)注的互聯(lián)網(wǎng)人臉數(shù)據(jù)。這部分?jǐn)?shù)據(jù)無(wú)論從人數(shù)，圖像數(shù)、數(shù)據(jù)多樣性上都是最好的，為優(yōu)圖人臉識(shí)別技術(shù)的研發(fā)提供了基礎(chǔ)條件。隨著人臉識(shí)別技術(shù)的日漸成熟，實(shí)際業(yè)務(wù)中涌現(xiàn)出大量新場(chǎng)景下的應(yīng)用需求，例如微眾銀行的核身業(yè)務(wù)，會(huì)議簽到業(yè)務(wù)都涉及證件照和手機(jī)自拍照的比對(duì)，公安的監(jiān)控需要視頻監(jiān)控?cái)?shù)據(jù)與證件照的比對(duì)。不同場(chǎng)景下獲取的人臉圖像存在巨大差異，如何對(duì)人臉識(shí)別模型進(jìn)行快速調(diào)整，在各個(gè)不同場(chǎng)景下快速落地就成為一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。為了在日趨白熱化的市場(chǎng)競(jìng)爭(zhēng)中占得先機(jī)，優(yōu)圖在三年深耕人臉識(shí)別和深度學(xué)習(xí)的基礎(chǔ)上建立了自己在場(chǎng)景遷移與適應(yīng)上的一整套方法論。這個(gè)方法論可以用一句話(huà)來(lái)概括：祖母模型的“進(jìn)化”。這句話(huà)有兩個(gè)關(guān)鍵點(diǎn)。首先我們需要建立適用于一般場(chǎng)景的、功能強(qiáng)大的人臉識(shí)別模型，也就是祖母模型。其次祖母模型通過(guò)“進(jìn)化”來(lái)適應(yīng)新場(chǎng)景下的人臉識(shí)別。建立祖母模型家族祖母模型并不特指一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型，而是具有某種結(jié)構(gòu)特點(diǎn)的一類(lèi)神經(jīng)網(wǎng)絡(luò)模型，因此更為合適的叫法應(yīng)該是祖母模型族。不同業(yè)務(wù)場(chǎng)景下的應(yīng)用，用戶(hù)對(duì)人臉識(shí)別的速度和精度可能有不一樣的需求。祖母模型族必須像一個(gè)兵器庫(kù)，既包含能夠快速發(fā)射的機(jī)關(guān)槍也需要?dú)?qiáng)大冷卻時(shí)間長(zhǎng)的原子彈。圖11：深度神經(jīng)網(wǎng)絡(luò)局部結(jié)構(gòu)分類(lèi)目前最為流行的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大致可以歸為三類(lèi)：1.直線(xiàn)型（如AlexNet，VGGNet）；2.局部雙分支型（ResNet）；3.局部多分支型（GoogleNet）。其中直線(xiàn)型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)最為簡(jiǎn)單，但是當(dāng)網(wǎng)絡(luò)深度超過(guò)20后這種結(jié)構(gòu)的網(wǎng)絡(luò)將變的難以?xún)?yōu)化。局部多分支型網(wǎng)絡(luò)模型能力強(qiáng)，計(jì)算效率更高，但是設(shè)計(jì)也最為復(fù)雜。在建立祖母模型家族的初期，我們選擇了模型能力相對(duì)較強(qiáng)設(shè)計(jì)又相對(duì)簡(jiǎn)單的局部雙分支型網(wǎng)絡(luò)ResNet來(lái)構(gòu)建優(yōu)圖人臉識(shí)別的祖母模型族。一方面ResNet本身具有強(qiáng)大的學(xué)習(xí)能力，是去年深度學(xué)習(xí)領(lǐng)域最新的研究進(jìn)展。MSRA憑借一個(gè)152層的ResNet深度網(wǎng)絡(luò)摘取了圖像識(shí)別領(lǐng)域最具影響力的ImageNet2015競(jìng)賽多個(gè)單項(xiàng)的第一名。另一方面ResNet設(shè)計(jì)相對(duì)簡(jiǎn)單，一個(gè)最大的特點(diǎn)就是識(shí)別能力基本與神經(jīng)網(wǎng)絡(luò)深度成正比。神經(jīng)網(wǎng)絡(luò)的深度又與計(jì)算復(fù)雜度直接相關(guān)，這就為訓(xùn)練不同識(shí)別精度與運(yùn)行速度的多個(gè)模型從而建立祖母模型族提供了極大的方便。當(dāng)選定了祖母模型的網(wǎng)絡(luò)結(jié)構(gòu)后，我們將其在數(shù)據(jù)量最大的互聯(lián)網(wǎng)生活照數(shù)據(jù)集上訓(xùn)練，以保證祖母模型的通用人臉識(shí)別能力，圖12所示。圖12：優(yōu)圖人臉識(shí)別祖母模型在基于局部雙分支模型族建立完成后，我們也開(kāi)始嘗試使用更復(fù)雜的局部多分支組件來(lái)進(jìn)一步提高模型效率，豐富我們的祖母模型族。祖母模型的“進(jìn)化”遷移學(xué)習(xí)是近些年來(lái)在人工智能領(lǐng)域提出的處理不同場(chǎng)景下識(shí)別問(wèn)題的主流方法。相比于淺時(shí)代的簡(jiǎn)單方法，深度神經(jīng)網(wǎng)絡(luò)模型具備更加優(yōu)秀的遷移學(xué)習(xí)能力。并有一套簡(jiǎn)單有效的遷移方法，概括來(lái)說(shuō)就是在復(fù)雜任務(wù)上進(jìn)行基礎(chǔ)模型的預(yù)訓(xùn)練（pre-train），在特定任務(wù)上對(duì)模型進(jìn)行精細(xì)化調(diào)整（fine-tune）。套用在人臉識(shí)別問(wèn)題上，只需要將訓(xùn)練好的優(yōu)圖祖母模型在新場(chǎng)景的新數(shù)據(jù)上進(jìn)行精細(xì)化調(diào)整。圖13：優(yōu)圖祖母模型的進(jìn)化這種傳統(tǒng)的遷移學(xué)習(xí)方法確實(shí)能幫助祖母模型更好的完成新場(chǎng)景下的人臉識(shí)別任務(wù)。但這只能算特異化，無(wú)法將遷移學(xué)習(xí)中學(xué)到的新信息反饋給祖母模型。遷移之后的特異化模型只能應(yīng)用在特定場(chǎng)景，在原集合上的性能甚至可能會(huì)大幅下降。在沒(méi)有深度學(xué)習(xí)的“淺”時(shí)代，模型沒(méi)有同時(shí)處理多個(gè)場(chǎng)