1、人臉技術(shù)在時(shí)尚電商平臺(tái)的應(yīng)用實(shí)踐技術(shù)創(chuàng)新，變革未來2提綱電商中為什么需要圖像算法人臉檢測(cè)人臉特征點(diǎn)定位人臉識(shí)別總結(jié)3提綱概述：電商中為什么需要圖像算法（5）人臉檢測(cè)（25）人臉特征點(diǎn)定位（15）人臉識(shí)別（5）總結(jié)（2）PART 1:PART 2:5概述：電商中為什么需要圖像算法（5）人臉檢測(cè)（25）PART 11. 電商中的圖像數(shù)據(jù)海量的圖像數(shù)據(jù)商品信息的結(jié)構(gòu)化： 類目+ 屬性豐富的業(yè)務(wù)場(chǎng)景5人臉技術(shù)的業(yè)界現(xiàn)況基于深度學(xué)習(xí)的人臉技術(shù)日益流行，并取得顯著成績(jī)基于Faster-RCNN的人臉檢測(cè)算法在FDDB上名列第一Google的FaceNet在LFW上取得了99.63%的人臉識(shí)別成績(jī)Face+

2、基于CNN的人臉特征點(diǎn)定位算法，在公開數(shù)據(jù)集300W上取得第一名挑戰(zhàn)：深度學(xué)習(xí)對(duì)大量計(jì)算資源的需求、復(fù) 雜的模型（幾十MB到幾百M(fèi)B），使得上述技 術(shù)難以應(yīng)用在移動(dòng)端67人臉技術(shù)的業(yè)界現(xiàn)況傳統(tǒng)算法的人臉技術(shù)效果上不及深度學(xué)習(xí)算法計(jì)算資源消耗少、模型簡(jiǎn)單，更適合應(yīng)用在目前的移動(dòng)設(shè)備上基于深度學(xué)習(xí)的人臉技術(shù)準(zhǔn)確率高模型復(fù)雜度高，對(duì)存儲(chǔ)資源、計(jì)算資源的要求較高勢(shì)必更加普及：處理器的發(fā)展+深度學(xué)習(xí)的優(yōu)化技術(shù)8人臉相關(guān)技術(shù)概述基于業(yè)界基礎(chǔ)，我們進(jìn)行了人臉技術(shù)的自主研發(fā)已完成人臉檢測(cè)、人臉特征點(diǎn)定位、人臉識(shí)別等多種技 術(shù)的SDK主要服務(wù)于以下業(yè)務(wù)直播時(shí)尚內(nèi)容電商應(yīng)用支付金融9人臉相關(guān)技術(shù)概述根據(jù)技術(shù)種類劃

3、分，有以下三類：人臉檢測(cè)人臉特征點(diǎn)定位人臉識(shí)別根據(jù)應(yīng)用場(chǎng)景劃分，有以下三類：移動(dòng)客戶端：直播流移動(dòng)客戶端：拍照?qǐng)D片服務(wù)器端上：圖片庫(kù)處理2. 人臉檢測(cè)技術(shù)人臉檢測(cè):定位圖片中人臉的位置相對(duì)成熟的技術(shù)，廣泛應(yīng)用于移動(dòng)端、服務(wù)器端、嵌入式端等設(shè)備。難點(diǎn)：保證檢測(cè)準(zhǔn)確率的同時(shí)，還需要有非常高的檢測(cè)速度，以便留給后 續(xù)模塊足夠的處理時(shí)間。針對(duì)不同應(yīng)用場(chǎng)景開發(fā)了兩套人臉檢測(cè)算法。Face Detection1011相關(guān)的前人工作基于Boosting的傳統(tǒng)算法快速的特征計(jì)算(Harr 特征)：豐富的特征池Boosting(Adaboost)：特征選擇Cascade(級(jí)聯(lián))：系統(tǒng)加速深度學(xué)習(xí)的方法無須人工構(gòu)

4、造特征基于海量規(guī)模的樣本數(shù)據(jù)更加準(zhǔn)確的檢測(cè)精度借鑒級(jí)聯(lián)的思想(Cascade)人臉檢測(cè)技術(shù)移動(dòng)端參考實(shí)現(xiàn)的基礎(chǔ)算法：PICOObject detection with pixel intensity comparisons organized in decision trees1Marku N, Frljak M, Pandi I S, et al. Object detection with pixel intensity comparisons organized in decision treesJ. arXiv:1305.4537, 2013.（/nenadmarkus/pico）整體

5、結(jié)構(gòu)：cascade12人臉檢測(cè)技術(shù)移動(dòng)端圖像特征：Normalized Pixel Difference (NPD) feature22 Liao S, Jain A K, Li S Z. A fast and accurate unconstrained face detectorJ. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 211-223.提高算法穩(wěn)定性：光照魯棒1314人臉檢測(cè)技術(shù)移動(dòng)端訓(xùn)練數(shù)據(jù)集：公開數(shù)據(jù)集合+自有數(shù)據(jù)集合添加公司自有人臉數(shù)據(jù)（約10萬量級(jí)）作為訓(xùn)練樣本H

6、ard positive sample mining迭代訓(xùn)練將難分的樣本逐步增加，增加訓(xùn)練的輪數(shù)人臉檢測(cè)技術(shù)移動(dòng)端多姿態(tài)人臉檢測(cè)通過縮放、旋轉(zhuǎn)檢測(cè)器，在不增加內(nèi)存開銷的前提下（不 需要建立圖像金字塔、不需要旋轉(zhuǎn)圖像），可以進(jìn)行多姿 態(tài)人臉檢測(cè)。代碼優(yōu)化的示例：LUT優(yōu)化方法針對(duì)移動(dòng)端CPU，進(jìn)行定點(diǎn)化LUT(look up table)：針對(duì)NPD特征的計(jì)算15人臉檢測(cè)SDK移動(dòng)端1.應(yīng)用場(chǎng)景：設(shè)備計(jì)算能力較弱，實(shí)時(shí)性要求高的場(chǎng)景。2.SDK容量：約300kB3.速度：約100FPS(直播：960540)/30FPS（圖片）4.適用范圍：平面內(nèi)30度，平面外45度（直播） 平面內(nèi)60度，平面外

7、45度（圖片）16人臉檢測(cè)技術(shù)服務(wù)器端基于深度學(xué)習(xí)的人臉檢測(cè)算法，利用多個(gè)CNN級(jí)聯(lián)，效果比移動(dòng)端SDK更好， 對(duì)人臉姿態(tài)變化更加魯棒。參考實(shí)現(xiàn)了論文工作：cascade cnn人臉檢測(cè)算法3在自建的測(cè)試集上，同樣FPR下，TPR比移動(dòng)端算法高約8%。速度：根據(jù)圖片大小、檢測(cè)參數(shù)等條件，運(yùn)行時(shí)間在十毫秒到百毫秒之間。Input image12*12 CNNLayer-wise NMSNMS24*24 CNN48*48 CNNNMSresult0.750.80.850.90.950.010.03tpr0.05fprsoft cascadecascade cnn0.070.09183H. Li,

8、Z. Lin, X. Shen, J. Brandt , G. Hua, A convolutional neural network cascade for face detection, 2015 IEEEConference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015, pp. 5325-5334.小結(jié)和討論19根據(jù)應(yīng)用場(chǎng)景，進(jìn)行算法開發(fā)分別在移動(dòng)端和服務(wù)器端，根據(jù)性能要求，開發(fā)不同的人臉檢測(cè)算 法SDK和服務(wù)基于深度學(xué)習(xí)的檢測(cè)技術(shù)走向了實(shí)用MTCNN(Joint Face Detect

9、ion and Alignment using Multi-task Cascaded Convolutional Networks)取得了很好的檢測(cè)效果，能夠?qū)崟r(shí)運(yùn)行（在GPU環(huán)境下）開源地址：/kpzhang93/MTCNN_face_detection_alignmentMTCNN方法結(jié)果的實(shí)例圖19參考文獻(xiàn)補(bǔ)充 (人臉檢測(cè))Object detection with pixel intensity comparisons organized in decision treesRobust object detection via soft cascadeRobust real-time

10、 object detectionA fast and accurate unconstrained face detectorWaldBoost Learning for Time Constrained Sequential DetectionFace and Landmark Detection by Using Cascade of ClassifiersJoint Cascade Face Detection and AlignmentA Convolutional Neural Network Cascade for Face DetectionFace Detection wit

11、h the Faster R-CNNJoint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks(MTCNN )圖像算法蘑菇街研發(fā)方向：計(jì)算機(jī)視覺和深度學(xué)習(xí)為主203人臉特征點(diǎn)定位人臉識(shí)別總結(jié)PART 2:4PART 2人臉特征點(diǎn)定位（15）人臉識(shí)別（10）總結(jié)（2）3. 人臉特征點(diǎn)定位技術(shù)任務(wù)：檢測(cè)出人臉上多個(gè)器官或明顯輪廓部分人臉特征點(diǎn)定位后的結(jié)果有多種用途，例如：表情識(shí)別、人臉 特效以及其他面部屬性的識(shí)別我們針對(duì)不同的應(yīng)用場(chǎng)景，也開發(fā)了兩套算法Face DetectionLandma

12、rk Localization56方法概述傳統(tǒng)算法ASM(Active Shape Model)和AAM (Active Appearance Model)Stam開源包是ASM的一種實(shí)現(xiàn)方式，比較早期的工作基于級(jí)聯(lián)形狀回歸的方法Ensemble of Regression Tress（ERT）是級(jí)聯(lián)方法深度學(xué)習(xí)方法始于2013年：Tang Xiaoou教授研究組提出了DCNN的級(jí)聯(lián)結(jié)構(gòu)(Deep Convolutional Network Cascade for Facial Point Detection)，取得不錯(cuò)的效果Zhou Erjin等： Extensive Facial Land

13、mark Localization with Coarse-to-fine Convolutional Network Cascade一個(gè)從粗到精的人臉特征點(diǎn)定位方法首次利用卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了68個(gè)人臉特征點(diǎn)的高精度定位人臉特征點(diǎn)定位技術(shù)移動(dòng)端Face ImageRegressor 1ResultInitial landmarksRegressor 2Landmarks Residue 1Landmarks Residue 2Regressor nLandmarks Residue n采用ERT4算法，參考實(shí)現(xiàn)了論文工作：One millisecond face alignment with

14、 an ensemble of regression trees基本思想：學(xué)習(xí)每個(gè)關(guān)鍵點(diǎn)的局部特征，將特征組合起來，使用線性回歸檢測(cè)關(guān)鍵點(diǎn)局部特征采用PD(piexl difference)dlib 庫(kù)中(/)，有算法完整實(shí)現(xiàn)，包括訓(xùn)練和測(cè)試部分7ERT模型結(jié)構(gòu)4 Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression treesC. CVPR 2014: 1867-1874.人臉特征點(diǎn)定位技術(shù)移動(dòng)端算法：Learning each repressor in the cascade8

15、4 Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression treesC. CVPR 2014: 1867-1874.9人臉特征點(diǎn)定位技術(shù)移動(dòng)端對(duì)ERT進(jìn)行優(yōu)化的工作并行計(jì)算使用OpenMP5并行技術(shù)對(duì)訓(xùn)練階段進(jìn)行了優(yōu)化訓(xùn)練速度得到了成倍數(shù)（與線程數(shù)量有關(guān)）的提升特征將PD特征替換為NPD特征提高了算法對(duì)光照的魯棒性實(shí)時(shí)直播利用視頻中前后兩幀關(guān)系修正特征點(diǎn)預(yù)測(cè)結(jié)果模型壓縮通過參數(shù)定點(diǎn)化、huffman編碼等方法對(duì)模型進(jìn)行壓縮壓縮后的模型容量約為原始模型的35%5 訓(xùn)練過程：樣本與迭代

16、特征點(diǎn)的定義：采用了83個(gè)點(diǎn)數(shù)據(jù)集：添加公司自有人臉數(shù)據(jù)（約10萬量級(jí)）作為訓(xùn)練樣本Hard positive sample mining:迭代訓(xùn)練，將復(fù)雜的樣本逐步增加68個(gè)點(diǎn)105個(gè)點(diǎn)83個(gè)點(diǎn)人臉特征點(diǎn)定位技術(shù)移動(dòng)端1.SDK容量：約4MB2.特征點(diǎn)數(shù)量:83點(diǎn)3.速度：約500FPS (直播分辨率：960540)/約200FPS（圖片）4.適用范圍：平面內(nèi)30度，平面外45度（直播） 平面內(nèi)60度，平面外45度（圖片）11人臉特征點(diǎn)定位技術(shù)服務(wù)器端目前采用的是和移動(dòng)端同樣的算法模型更復(fù)雜精度更高下一步：開發(fā)基于深度學(xué)習(xí)的人臉特征點(diǎn)定位算法Face image83 landmarks CN

17、NLocal landmarks CNNLocal landmarks CNNLocal landmarks CNNResult12典型應(yīng)用場(chǎng)景 (1)在特征點(diǎn)定位基礎(chǔ)上直播中實(shí)時(shí)人臉特效13典型應(yīng)用場(chǎng)景(3)基礎(chǔ)版本15優(yōu)化版本： 基于人臉 特征點(diǎn)在特征點(diǎn)定位基礎(chǔ)上智能banner的合成電商的營(yíng)銷業(yè)務(wù)形成統(tǒng)一的畫面風(fēng)格16參考文獻(xiàn)補(bǔ)充 (人臉特征點(diǎn)定位)One millisecond face alignment with an ensemble of regression treesFace Alignment by Explicit Shape RegressionSupervised

18、Descent Method and its Applications to Face AlignmentFace Alignment at 3000 FPS via Regressing Local Binary FeaturesAn Empirical Study of Recent Face Alignment MethodsCoarse-to-fine Face Alignment with Multi-Scale Local Patch RegressionDeep Cascaded Regression for Face AlignmentApproaching human lev

19、el facial landmark localization by deep learning4. 人臉識(shí)別技術(shù)人臉識(shí)別有著廣泛的應(yīng)用場(chǎng)景，在金融、安全、 社交和娛樂等領(lǐng)域都有相關(guān)應(yīng)用研發(fā)了一套基于深度學(xué)習(xí)的人臉識(shí)別算法，并 結(jié)合開源數(shù)據(jù)集和公司內(nèi)部數(shù)據(jù)進(jìn)行訓(xùn)練Which picture is the same person？1718人臉識(shí)別技術(shù):3個(gè)步驟1.樣本預(yù)處理裁剪、對(duì)齊、相似變換等把人臉樣本圖像劃分成子區(qū)域(patch)：不同尺度、不同位置2.基于CNN的特征提取目標(biāo)函數(shù)可以定義為人臉分類或其它目標(biāo)函數(shù)提取網(wǎng)絡(luò)中最后一層（一般是fc層），作為特征向量多區(qū)域patch：訓(xùn)練多個(gè)CNN

20、網(wǎng)絡(luò)，所有CNN獲取的特征向量串接， 獲得一個(gè)超長(zhǎng)的特征向量（一般幾萬到幾十萬維）。3.特征匹配對(duì)超長(zhǎng)特征向量降維，壓縮到低維特征向量利用低維向量，訓(xùn)練匹配模型人臉識(shí)別的基本流程19人臉識(shí)別技術(shù)針對(duì)DeepId26算法進(jìn)行了工程上的修改和優(yōu)化，使其更加實(shí)用?；趃ooglenet結(jié)構(gòu)訓(xùn)練原始CNN網(wǎng)絡(luò)利用Siamese Network將1024維向量降維到256維利用300萬數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行fine tuning通過不同策略訓(xùn)練了三個(gè)模型，在LFW上最好結(jié)果為98.2%。Lfw(fpr=1-tpr)base97.5%multi98.2%large98.0%206 Sun Y, Chen Y, W

21、ang X, et al. Deep learning face representation by joint identification- verificationC.Advances in Neural Information Processing Systems(NIPS). 2014: 1988-1996.人臉識(shí)別的應(yīng)用場(chǎng)景(1)人臉/身份證對(duì)比21total face num:2 face location: left:1708.36 top:2134.64width:234.51 height:234.51left:616.74 top:599.89 width:1716.08

22、 height:1716.08landmark position:0 th landmark:1782.03,2195.77similarity score: 0.817人臉識(shí)別的應(yīng)用場(chǎng)景(2)輸入：商品圖像 輸出：是否侵權(quán)特征比對(duì)：快速排序22廣告侵權(quán)稽查（被動(dòng)）給定商品圖像，判定它是否侵犯明星肖像權(quán)人臉識(shí)別的應(yīng)用場(chǎng)景(2)輸入：明星圖像輸出：侵權(quán)商品列表特征搜索：Pq量化/倒排索引23廣告侵權(quán)稽查（主動(dòng)）給定明星圖像，對(duì)全平臺(tái)上的商品進(jìn)行稽查，將侵權(quán)商品查找處理24參考文獻(xiàn)(人臉識(shí)別)Eigenface For RecognitionFace Recognition with Local Binary PatternsBayesian Face Revisited- A Joint FormulationBlessing of Dimen