InstituteofSoftware,ChineseAcademyofSciences人臉識(shí)別技術(shù)簡(jiǎn)介與研發(fā)進(jìn)展InstituteofSoftware,ChineseAcademyofSciences目錄?????項(xiàng)目概述系統(tǒng)概述關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)項(xiàng)目進(jìn)展2InstituteofSoftware,ChineseAcademyofSciences項(xiàng)目概述?近年來(lái)，社會(huì)犯罪率呈逐年升高的趨勢(shì)，給廣大公安人員偵破案件增加了難度。?由于罪犯群體不斷擴(kuò)大，要人工在數(shù)以百萬(wàn)計(jì)的人員照片數(shù)據(jù)庫(kù)中找出犯罪嫌疑人，不僅費(fèi)時(shí)費(fèi)力，還有可能造成遺漏等情況，破案的效率大打折扣。?安防監(jiān)控設(shè)備拍攝的視頻已達(dá)海量規(guī)模，僅僅依照后期人工查閱視頻，經(jīng)常遇到“看不了，看不完，看不清、找不到”等問(wèn)題，相關(guān)業(yè)務(wù)實(shí)時(shí)性低，效率低下，準(zhǔn)確性不高。?實(shí)地拍攝的圖像往往容易發(fā)生過(guò)亮（暗）、霧化、模糊等情況，給人工查閱造成困難。3InstituteofSoftware,ChineseAcademyofSciences人臉識(shí)別的自動(dòng)化?利用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人臉識(shí)別，就是利用計(jì)算機(jī)算法，自動(dòng)從人臉圖像中抽取人臉的個(gè)性化特征，并采取一定策略，以此特征來(lái)檢測(cè)人臉是否存在，并識(shí)別人的身份。?人臉識(shí)別是近30年模式識(shí)別與圖像處理領(lǐng)域最熱門的研究主題之一。?人臉識(shí)別是圖像分析與機(jī)器視覺的最成功應(yīng)用之一。4InstituteofSoftware,ChineseAcademyofSciences人臉識(shí)別的需求?對(duì)身份鑒別的需求重要場(chǎng)所門禁?犯罪嫌疑人身份確認(rèn)?在逃人員通緝?重點(diǎn)場(chǎng)所布控（出入境）?特殊人群身份確認(rèn)?戶籍管理?網(wǎng)絡(luò)照片的監(jiān)控?……?5InstituteofSoftware,ChineseAcademyofSciences我們的目標(biāo)--基于人物的人臉識(shí)別?目標(biāo)：用戶拍到的人臉圖片、人身圖片傳輸?shù)接?jì)算機(jī)，利用基于人物的人臉識(shí)別軟件進(jìn)行分析，與數(shù)據(jù)庫(kù)中的人物特征進(jìn)行比對(duì)，尋找相似度高的圖片。?(1)首先建立人臉的圖像數(shù)據(jù)庫(kù)。即將含有人臉的圖像文件收集起來(lái)，分割出能代表人物特征的人臉或人身部分，并將這些部分提取人物特征，編碼貯存起來(lái)。???????人臉特征提取人身特征提取海量圖像文件處理特征文件高效存儲(chǔ)特征文件高效讀取特征文件有效管理……6InstituteofSoftware,ChineseAcademyofSciences我們的目標(biāo)--基于人物的人臉識(shí)別?(2)處理當(dāng)前的圖像。將當(dāng)前的圖像進(jìn)行處理，分割出能代表人物特征的人臉或人身部分，并將這些部分提取人物特征。?人臉特征提取?人身特征提取?特征數(shù)據(jù)的內(nèi)存表示?…(3)當(dāng)前的人物特征與數(shù)據(jù)庫(kù)中的人物特征比較。即將當(dāng)前的圖像的人物特征與數(shù)據(jù)庫(kù)中的人物特征進(jìn)行檢索比對(duì)。上述的人物特征可以一定程度上抵抗光線、皮膚色調(diào)、色偏、傾斜、扭曲等變化，具有強(qiáng)大的可靠性，從而使它可以從百萬(wàn)人中識(shí)別出相似的人。?特征比對(duì)算法7?…?InstituteofSoftware,ChineseAcademyofSciences我們的目標(biāo)--基于人物的人臉識(shí)別?(4)圖像文件的干擾技術(shù)。盡量去除色偏、明暗、旋轉(zhuǎn)、放縮、扭曲、截取等圖像干擾。?色偏調(diào)整?抗明暗特征提取算法?抗放縮特征提取算法?圖像尺寸的自動(dòng)調(diào)整?抗旋轉(zhuǎn)的特征提取算法?抗扭曲的特征提取算法?…8InstituteofSoftware,ChineseAcademyofSciences我們的目標(biāo)--基于人物的人臉識(shí)別?(5)海量圖像文件快速算法。分為兩部分，一部分是海量圖像如何快速提取海量人物特征；一部分是如何將當(dāng)前人物特征與海量人物特征比較。?多核CPU并行計(jì)算?多任務(wù)分配與管理?硬件資源監(jiān)控?文件加載緩沖?特征提取并行算法?特征比較并行算法?…9InstituteofSoftware,ChineseAcademyofSciences我們的目標(biāo)--基于人物的人臉識(shí)別?(6)海量圖片、人物特征的管理。主要是對(duì)海量人物特征、海量圖片、比對(duì)結(jié)果、日志記錄等的有效管理。?海量人物特征的數(shù)據(jù)表達(dá)?海量人物特征的高效存取?人物特征與人臉、人身的關(guān)聯(lián)?海量圖片的快速顯示?圖片的縮略圖表達(dá)?特征提取并行算法?特征比較并行算法?…10InstituteofSoftware,ChineseAcademyofSciences目錄?????項(xiàng)目概述系統(tǒng)概述關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)項(xiàng)目進(jìn)展11InstituteofSoftware,ChineseAcademyofSciences基于人物的人臉識(shí)別的流程圖輸入圖像特征比對(duì)返回相似的圖片特征提取抽取和比對(duì)人物的人臉、人身特征人臉、人身信息數(shù)據(jù)庫(kù)12InstituteofSoftware,ChineseAcademyofSciences建立人物特征數(shù)據(jù)庫(kù)的流程圖準(zhǔn)備導(dǎo)入圖像庫(kù)的圖片圖像分割特征提取數(shù)據(jù)存儲(chǔ)人臉、人身信息數(shù)據(jù)庫(kù)13InstituteofSoftware,ChineseAcademyofSciences軟件模型面向技術(shù)人員：----圖像數(shù)據(jù)庫(kù)的管理人物特征數(shù)據(jù)管理軟件參數(shù)設(shè)置軟件運(yùn)維面向業(yè)務(wù)用戶-可視化界面-相似人物查詢-歷史查詢回顧數(shù)據(jù)模型設(shè)計(jì)模式1)2)3)4)圖像數(shù)據(jù)結(jié)構(gòu)人物特征數(shù)據(jù)結(jié)構(gòu)日志數(shù)據(jù)結(jié)構(gòu)…基于人物的人臉識(shí)別軟件可視化界面設(shè)計(jì)模式1)2)3)4)5)信息瀏覽方式趨勢(shì)分析鉆取、切片、導(dǎo)航交互式分析…14InstituteofSoftware,ChineseAcademyofSciences圖像特征數(shù)據(jù)庫(kù)的模型查詢界面預(yù)覽界面刪除界面……管理層通過(guò)一定的方式在特征層上建立各種管理操作特征層人臉特征數(shù)據(jù)庫(kù)人身特征數(shù)據(jù)庫(kù)縮略圖數(shù)據(jù)庫(kù)預(yù)處理日志數(shù)據(jù)庫(kù)數(shù)據(jù)集分割圖像分割的數(shù)據(jù)原始圖像的數(shù)據(jù)……從預(yù)處理層抽取，通過(guò)一定的數(shù)據(jù)結(jié)構(gòu)合并到特征層預(yù)處理層色偏處理人臉檢測(cè)人身檢測(cè)人臉特征提取人身特征提取圖像分割特征訓(xùn)練……從原始圖片直接抽取到數(shù)據(jù)預(yù)處理層原始圖片單人臉圖片單人身圖片多人臉圖片多人身圖片半人身圖片背面圖片其它圖片……15InstituteofSoftware,ChineseAcademyofSciences目錄?????項(xiàng)目概述系統(tǒng)概述關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)項(xiàng)目進(jìn)展16InstituteofSoftware,ChineseAcademyofSciences克服圖像不同程度的干擾?仿射變換、放縮、平移、旋轉(zhuǎn)17InstituteofSoftware,ChineseAcademyofSciences克服圖像不同程度的干擾?模糊、光照，截取18InstituteofSoftware,ChineseAcademyofSciences克服圖像不同程度的干擾?色偏、霧化19InstituteofSoftware,ChineseAcademyofSciences人臉檢測(cè)算法?人臉檢測(cè)是指對(duì)于任意一幅給定的圖像，采用一定的策略對(duì)其進(jìn)行搜索以確定其中是否含有人臉，如果是則返回一臉的位置、大小。?一般來(lái)說(shuō)，對(duì)包含人臉的圖像，許多矩形區(qū)域，都能在一定程度上表示出人臉的某些特征。比如表示眼睛區(qū)域的顏色比臉頰區(qū)域的顏色深，表示鼻梁兩側(cè)比鼻梁的顏色要深。同樣，其他目標(biāo)，如眼睛等，也可以用一些矩形區(qū)域特征來(lái)表示。?將這些特征提取出來(lái)，加以分類檢測(cè)，就能夠檢測(cè)出圖像中的人臉位置、大小。?涉及到矩形特征提取、機(jī)器學(xué)習(xí)、特征分類器、并行計(jì)算等算法。20InstituteofSoftware,ChineseAcademyofSciences尺度不變特征提取算法?獲取圖像的局部特征，然后再逐個(gè)匹配，比較復(fù)雜，耗時(shí)較長(zhǎng)，但相對(duì)穩(wěn)定。?同時(shí)能處理亮度、平移、旋轉(zhuǎn)、尺度的變化，利用特征點(diǎn)來(lái)提取特征描述符，最后在特征描述符之間尋找匹配。?對(duì)于光線、噪聲、輕微視角改變的容忍度也相當(dāng)高。?與并行計(jì)算相結(jié)合，進(jìn)行特征提取加速、特征比對(duì)加速，是實(shí)際應(yīng)用的一個(gè)重要方向。21InstituteofSoftware,ChineseAcademyofSciences人臉區(qū)域的標(biāo)準(zhǔn)化?對(duì)圖像進(jìn)行縮小和放大變換，得到統(tǒng)一大小的標(biāo)準(zhǔn)圖像，即保證了人臉大小的一致性，體現(xiàn)了人臉在圖像平面內(nèi)的尺度不變性。?根據(jù)人臉的左右對(duì)稱性，進(jìn)行圖像自動(dòng)裁剪，使得人臉位置在裁剪后圖像的中部，提現(xiàn)了人臉在圖像平面內(nèi)的平移不變性。22InstituteofSoftware,ChineseAcademyofSciences部分關(guān)鍵技術(shù)的效果人臉檢測(cè)人身檢測(cè)特征比對(duì)23InstituteofSoftware,ChineseAcademyofSciences目錄?????項(xiàng)目概述系統(tǒng)概述關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)項(xiàng)目進(jìn)展24InstituteofSoftware,ChineseAcademyofSciences目標(biāo)用戶的功能模塊25InstituteofSoftware,ChineseAcademyofSciences人物特征提取的流程設(shè)計(jì)?預(yù)處理部分--圖像預(yù)處理的目的是為后續(xù)的處理提供良好的圖像源，包括：圖像增強(qiáng)、濾波、光線補(bǔ)償、分割、灰度變換等。原始圖片待檢測(cè)圖像預(yù)處理光照色偏大小……圖像分割人臉區(qū)域特征提取人臉特征圖像數(shù)據(jù)集人臉檢測(cè)人身檢測(cè)人身區(qū)域人身特征26InstituteofSoftware,ChineseAcademyofSciences預(yù)處理的輸入與輸出?減少圖像色偏等干擾?劃分圖像為人臉、人身區(qū)域存在人臉存在人身和人臉存在人身均不存在27InstituteofSoftware,ChineseAcademyofSciences人臉識(shí)別的流程?識(shí)別部分--調(diào)用人臉識(shí)別算法，對(duì)圖像集合中的人臉圖片進(jìn)行比較和輸出輸入圖像人臉部分人身部分特征比對(duì)圖像數(shù)據(jù)庫(kù)人臉部分人身部分單機(jī)多核并行輸出匹配結(jié)果人臉特征比對(duì)人身特征比對(duì)預(yù)處理后的圖像28InstituteofSoftware,ChineseAcademyofSciences總體技術(shù)架構(gòu)圖像輸入端圖片數(shù)據(jù)圖像預(yù)處理圖像特征存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)圖像特征分析圖像特征比對(duì)服務(wù)展現(xiàn)應(yīng)用當(dāng)前圖像干擾去除人臉圖像集合...圖像分割特征提取特征數(shù)據(jù)區(qū)數(shù)據(jù)庫(kù)原始圖像人臉、數(shù)據(jù)區(qū)人身圖像數(shù)據(jù)區(qū)人身圖像集合元數(shù)據(jù)管理、系統(tǒng)管理29InstituteofSoftware,ChineseAcademyofSciences圖像特征分析方案特征加載加載內(nèi)存數(shù)據(jù)集選擇對(duì)應(yīng)圖像特征重組數(shù)據(jù)轉(zhuǎn)換添加紀(jì)錄拆分特征合并特征導(dǎo)入算法模型KNN匹配分析算法聚類算法歐氏距離快速排序特征值……結(jié)果輸出圖像編號(hào)數(shù)據(jù)圖像數(shù)據(jù)相似度數(shù)據(jù)30InstituteofSoftware,ChineseAcademyofSciences軟件功能?1、利用人臉特征描述算法、人身特征描述算法，對(duì)海量圖像文件進(jìn)行特征提取，形成一個(gè)針對(duì)海量圖像文件的人物特征數(shù)據(jù)庫(kù)。?2、利用人物特征匹配算法，將選擇的圖像文件與人物特征數(shù)據(jù)庫(kù)進(jìn)行匹配，選出相似度高的圖像，供用戶參考。?3、用戶可以編輯人物特征數(shù)據(jù)庫(kù)，保存人物特征相似度比較的結(jié)果。?4、具有多核CPU并行計(jì)算的能力，能夠充分利用多個(gè)處理器進(jìn)行快速的特征提取、特征描述和特征匹配。31InstituteofSoftware,ChineseAcademyofSciences軟件功能詳述?人臉識(shí)別?新建人臉識(shí)別任務(wù)選擇一張圖像文件，并選擇特征數(shù)據(jù)庫(kù)，準(zhǔn)備將選擇的圖像文件與特征數(shù)據(jù)庫(kù)中的圖像比較，找出特征數(shù)據(jù)庫(kù)中與其相似的圖像。????啟動(dòng)人臉識(shí)別任務(wù)啟動(dòng)當(dāng)前的人臉識(shí)別任務(wù)，下方展示進(jìn)度條，右側(cè)展示識(shí)別結(jié)果。暫停人臉識(shí)別任務(wù)暫時(shí)停止當(dāng)前的人臉識(shí)別任務(wù)。修改人臉識(shí)別任務(wù)編輯人臉識(shí)別任務(wù)中的圖像文件和特征數(shù)據(jù)庫(kù)，需要先暫停任務(wù)。保存人臉識(shí)別任務(wù)保存當(dāng)前人臉識(shí)別任務(wù)的選擇和結(jié)果。32InstituteofSoftware,ChineseAcademyofSciences軟件功能詳述?人臉識(shí)別??加載人臉識(shí)別任務(wù)加載保存在硬盤上的人臉識(shí)別任務(wù)。人臉識(shí)別任務(wù)結(jié)果預(yù)覽在軟件右側(cè)展示人臉識(shí)別任務(wù)的結(jié)果縮略圖。?特征庫(kù)管理??新建特征數(shù)據(jù)集新建一個(gè)空的人物特征數(shù)據(jù)集。刪除特征數(shù)據(jù)集刪除一個(gè)選中的人物特征數(shù)據(jù)集。33InstituteofSoftware,ChineseAcademyofSciences軟件功能詳述?特征庫(kù)管理????編輯特征數(shù)據(jù)集對(duì)選中的人物特征數(shù)據(jù)集進(jìn)行編輯，調(diào)整名字、圖像等。特征數(shù)據(jù)入庫(kù)選擇一個(gè)目錄，將目錄下的文件轉(zhuǎn)換成特征數(shù)據(jù)，導(dǎo)入指定數(shù)據(jù)集特征數(shù)據(jù)集預(yù)覽在軟件右側(cè)，預(yù)覽選中的特征數(shù)據(jù)集中的圖像。特征數(shù)據(jù)預(yù)覽在軟件左下角預(yù)覽選中圖像的原始信息和特征信息。34InstituteofSoftware,ChineseAcademyofSciences軟件功能詳述?系統(tǒng)管理??特征庫(kù)日志管理對(duì)圖像特征的抽取、描述、入庫(kù)過(guò)程進(jìn)行記錄，供用戶查看。人臉識(shí)別日志管理人臉識(shí)別過(guò)程中，對(duì)特征數(shù)據(jù)集的比對(duì)記錄，供用戶查看。35InstituteofSoftware,ChineseAcademyofSciences軟件遠(yuǎn)景?人臉識(shí)別技術(shù)具有廣泛的應(yīng)用前景，在國(guó)家安全、軍事安全和公共安全領(lǐng)域，智能門禁、智能視頻監(jiān)控、公安布控、海關(guān)身份驗(yàn)證、司機(jī)駕照驗(yàn)證等是典型的應(yīng)用；?在民事和經(jīng)濟(jì)領(lǐng)域，各類銀行卡、金融卡、信用卡、儲(chǔ)蓄卡的持卡人的身份驗(yàn)證、社會(huì)保險(xiǎn)人的身份驗(yàn)證等具有重要的應(yīng)用價(jià)值；?在家庭娛樂(lè)等領(lǐng)域，人臉識(shí)別也具有一些有趣有益的應(yīng)用，比如能夠識(shí)別主人身份的智能玩具、家政機(jī)器人、具有真實(shí)面像的虛擬游戲玩家等。36InstituteofSoftware,ChineseAcademyofSciences軟件應(yīng)用遠(yuǎn)景?美國(guó)“9.11”事件后，反恐怖活動(dòng)已成為各國(guó)政府的共識(shí)，加強(qiáng)機(jī)場(chǎng)的安全防務(wù)十分重要。美國(guó)維薩格公司的臉像識(shí)別技術(shù)在美國(guó)的兩家機(jī)場(chǎng)大顯神通，它能在擁擠的人群中挑出某一張面孔，判斷他是不是通緝犯。?隨著技術(shù)的進(jìn)一步成熟和社會(huì)認(rèn)同度的提高，人臉識(shí)別技術(shù)將應(yīng)用在更多的領(lǐng)域。?1、企業(yè)、住宅安全和管理。如人臉識(shí)別門禁考勤系統(tǒng)，人臉識(shí)別防盜門等。?2、公安、司法和刑偵。如利用人臉識(shí)別系統(tǒng)和網(wǎng)絡(luò)，在全國(guó)范圍內(nèi)搜捕逃犯。37InstituteofSoftware,ChineseAcademyofSciences軟件應(yīng)用遠(yuǎn)景?3、自助服務(wù)。如銀行的自動(dòng)提款機(jī)，如果用戶卡片和密碼被盜，就會(huì)被他人冒取現(xiàn)金。如果同時(shí)應(yīng)用人臉識(shí)別就會(huì)避免這種情況的發(fā)生。?4、信息安全。如計(jì)算機(jī)登錄、電子政務(wù)和電子商務(wù)。在電子商務(wù)中交易全部在網(wǎng)上完成，電子政務(wù)中的很多審批流程也都搬到了網(wǎng)上。而當(dāng)前，交易或者審批的授權(quán)都是靠密碼來(lái)實(shí)現(xiàn)，如果密碼被盜，就無(wú)法保證安全。但是使用生物特征，就可以做到當(dāng)事人在網(wǎng)上的數(shù)字身份和真實(shí)身份統(tǒng)一，從而大大增加電子商務(wù)和電子政務(wù)系統(tǒng)的可靠性。38InstituteofSoftware,ChineseAcademyofSciences軟件應(yīng)用遠(yuǎn)景?5、軌道交通、酒店等安全防范。2007年發(fā)布的上海市地方標(biāo)準(zhǔn)《重點(diǎn)單位重要部位安全技術(shù)防范技術(shù)要求》中的城市軌道交通和酒店、辦公樓部分明確要求使用人臉識(shí)別裝置，且軌道交通部分為強(qiáng)制性要求；2009年8月1日實(shí)施的北京市地方標(biāo)準(zhǔn)《城市軌道交通安全防范技術(shù)要求》中明確要求要有人臉采集系統(tǒng)及使用人臉比對(duì)技術(shù)。?6、臨時(shí)舉辦的大型重要會(huì)議的安全防范。例如運(yùn)動(dòng)會(huì)、展覽會(huì)、代表會(huì)、科技大會(huì)、宣講會(huì)等。39InstituteofSoftware,ChineseAcademyofSciences軟件特點(diǎn)能夠處理多種圖片文件格式（jpg、bmp、png等）支持抗旋轉(zhuǎn)、平移、放縮、截取等的圖像干擾具備抗模糊、抗光照明暗的圖像匹配特點(diǎn)軟件特點(diǎn)基于并行計(jì)算等高性能計(jì)算技術(shù)，高效地實(shí)現(xiàn)圖像處理算法圖形化的參數(shù)控制（圖片選擇、匹配精確度、算法選取等）海量圖片文件與特征文件的高效存儲(chǔ)、讀取與計(jì)算圖形化的參數(shù)控制（圖片選擇、匹配精確度、算法選取等）40InstituteofSoftware,ChineseAcademyofSciences目錄?????項(xiàng)目概述系統(tǒng)概述關(guān)鍵技術(shù)系統(tǒng)設(shè)計(jì)項(xiàng)目進(jìn)展41InstituteofSoftware,ChineseAcademyofSciences項(xiàng)目進(jìn)展?核