CN115147451B 目標(biāo)跟蹤方法及其裝置(華為技術(shù)有限公司)_第1頁(yè)
CN115147451B 目標(biāo)跟蹤方法及其裝置(華為技術(shù)有限公司)_第2頁(yè)
CN115147451B 目標(biāo)跟蹤方法及其裝置(華為技術(shù)有限公司)_第3頁(yè)
CN115147451B 目標(biāo)跟蹤方法及其裝置(華為技術(shù)有限公司)_第4頁(yè)
CN115147451B 目標(biāo)跟蹤方法及其裝置(華為技術(shù)有限公司)_第5頁(yè)
已閱讀5頁(yè),還剩39頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN115147451B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(73)專利權(quán)人華為技術(shù)有限公司地址518129廣東省深圳市龍崗區(qū)坂田華為總部辦公樓審查員馮雪飛(72)發(fā)明人徐健張超賈志平張雅琪劉宏馬(74)專利代理機(jī)構(gòu)深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司44334專利代理師常云敏習(xí)冬梅目標(biāo)跟蹤方法及其裝置本申請(qǐng)公開(kāi)了一種目標(biāo)跟蹤方法及其裝置,涉及大數(shù)據(jù)領(lǐng)域,用于便捷地選定跟蹤目標(biāo)。所述目標(biāo)跟蹤方法包括:獲取視頻流中的圖像幀的深度信息;確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,位置為深度信息的位置,位移值及位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一2獲取視頻流中的圖像幀的深度信息;確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,位置為深度信息的位置,位移值及位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品竭x定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象;檢測(cè)視頻流中的圖像幀中的人體關(guān)鍵點(diǎn);其中,待檢測(cè)對(duì)象為視頻流中第一相鄰圖像幀之間的與人體關(guān)鍵點(diǎn)的第一部位相連的變化區(qū)域;所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值,位移方向?yàn)榭拷蛊矫娴姆较颍以趫D像幀中與人體關(guān)鍵點(diǎn)的第二部位之間的深度信息差大于第三預(yù)設(shè)值的待檢測(cè)對(duì)象。2.如權(quán)利要求1所述的目標(biāo)跟蹤方法,其特征在于,所述方法還包括:跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,退出跟蹤。3.如權(quán)利要求1所述的目標(biāo)跟蹤方法,其特征在于,所述方法還包括:跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较颍蝗粑灰浦荡笥诘诙A(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,或者跟蹤目標(biāo)與人體關(guān)鍵4.如權(quán)利要求1至3中任一項(xiàng)所述的目標(biāo)跟蹤方法,其特征在于:所述深度信息的位移值為像素點(diǎn)的平均深度變化值的絕對(duì)值。獲取單元,用于獲取視頻流中的圖像幀的深度信息;確定單元,用于確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;所述確定單元,還用于確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,位置為深度信息的位置,位移值及位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;所述確定單元,還用于選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象;3所述確定單元,還用于檢測(cè)視頻流中的圖像幀中的人體關(guān)鍵點(diǎn);所述確定單元,還用于確定視頻流中第一相鄰圖像幀之間的與人體關(guān)鍵點(diǎn)的第一部位相連的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象;所述確定單元,還用于選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值,位移方向?yàn)榭拷蛊矫娴姆较颍以趫D像幀中與人體關(guān)鍵點(diǎn)的第二部位之間的深度信息差大于第三預(yù)設(shè)值的待檢測(cè)對(duì)象。6.如權(quán)利要求5所述的目標(biāo)跟蹤裝置,其特征在于:所述確定單元,還用于跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;所述確定單元,還用于確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品剿龃_定單元,還用于若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,退出跟蹤。7.如權(quán)利要求5所述的目標(biāo)跟蹤裝置,其特征在于:所述確定單元,還用于跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;所述確定單元,還用于確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品剿龃_定單元,還用于若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,或者跟蹤目標(biāo)與人體關(guān)鍵點(diǎn)的第一部位不相連,退出跟蹤。8.如權(quán)利要求5至7中任一項(xiàng)所述的目標(biāo)跟蹤裝置,其特征在于:所述深度信息的位移值為像素點(diǎn)的平均深度變化值的絕對(duì)值。9.一種電子設(shè)備,其特征在于,所述設(shè)備包括處理器和存儲(chǔ)器,所述存儲(chǔ)器用于存儲(chǔ)程序指令,所述處理器調(diào)用所述程序指令時(shí),實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的目標(biāo)跟蹤方法。10.一種服務(wù)器,其特征在于,所述服務(wù)器包括處理器和存儲(chǔ)器,所述存儲(chǔ)器用于存儲(chǔ)程序指令,所述處理器調(diào)用所述程序指令時(shí),實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的目標(biāo)跟蹤方法。11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有程序,所述程序使得計(jì)算機(jī)設(shè)備實(shí)現(xiàn)如權(quán)利要求1至4中任一項(xiàng)所述的目標(biāo)跟蹤方法。12.一種計(jì)算機(jī)程序產(chǎn)品,其特征在于,所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中;設(shè)備的至少一個(gè)處理器可以從所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中讀取所述計(jì)算機(jī)執(zhí)行指令,所述至少一個(gè)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令使得所述設(shè)備執(zhí)行如權(quán)利要求1至4中任一項(xiàng)所述的目標(biāo)跟蹤方法。4技術(shù)領(lǐng)域[0001]本申請(qǐng)涉及信息處理領(lǐng)域,尤其涉及一種目標(biāo)跟蹤方法及其裝置。背景技術(shù)[0002]目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)方向的一個(gè)重要的研究課題,目前廣泛地應(yīng)用于視頻直播、安防監(jiān)控、機(jī)器人和人機(jī)交互等相關(guān)領(lǐng)域。目標(biāo)跟蹤是根據(jù)選定的跟蹤目標(biāo)以圖像序列為輸入,輸出圖像序列中每幀圖像中選定的跟蹤目標(biāo)的大小、位置等。目標(biāo)跟蹤的準(zhǔn)確性依賴于選定的跟蹤目標(biāo),因此跟蹤目標(biāo)的選定是觸發(fā)目標(biāo)跟蹤的關(guān)鍵步驟。為了選定跟蹤目標(biāo),目前可通過(guò)目標(biāo)檢測(cè)模型(例如Yolo模型)識(shí)別圖像中的多個(gè)物體,并輸出檢測(cè)框來(lái)標(biāo)示各物體的位置,然后根據(jù)用戶點(diǎn)擊選擇的檢測(cè)框選定目標(biāo)框內(nèi)的物體作為跟蹤目標(biāo)。但是,Yolo模型檢測(cè)不到圖像中的過(guò)小的物體,這樣可能將會(huì)導(dǎo)致定位跟蹤目標(biāo)失敗。雖然還可通過(guò)在圖像上手動(dòng)繪制圖像框標(biāo)示物體來(lái)選定跟蹤目標(biāo),但是對(duì)于運(yùn)動(dòng)物體,可能開(kāi)始繪制圖像框時(shí)物體為在圖像序列的某幀(例如第一幀)上的第一位置,隨著繪制的進(jìn)行和物體的運(yùn)動(dòng),物體在圖像序列的另一幀(例如第十幀)上已經(jīng)運(yùn)動(dòng)出了原位置,這也會(huì)導(dǎo)致定位跟蹤目標(biāo)失敗。發(fā)明內(nèi)容[0003]鑒于以上內(nèi)容,本申請(qǐng)實(shí)施例提供一種目標(biāo)跟蹤方法及其裝置,可便捷地選定跟蹤目標(biāo)。[0004]第一方面,本申請(qǐng)的一實(shí)施例提供一種目標(biāo)跟蹤方法,所述方法包括:獲取視頻流中的圖像幀的深度信息;確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,位置為深度信息的位置,位移值及位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象。[0005]本申請(qǐng)確定待檢測(cè)對(duì)象為相鄰圖像幀之間存在深度信息的差異區(qū)域,并在若待檢測(cè)對(duì)象的深度信息的位置顯著前移時(shí),選定待檢測(cè)對(duì)象為跟蹤目標(biāo),可便捷地選定跟蹤目[0006]根據(jù)本申請(qǐng)的一些實(shí)施例,所述方法還包括:跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较颍蝗粑灰浦荡笥诘诙A(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,退出跟[0007]本申請(qǐng)?jiān)谌舾櫮繕?biāo)的深度信息的位置顯著后移時(shí),退出跟蹤,從而可便捷地退5[0008]根據(jù)本申請(qǐng)的一些實(shí)施例,所述方法還包括:檢測(cè)視頻流中的圖像幀中的人體關(guān)鍵點(diǎn);其中,待檢測(cè)對(duì)象為視頻流中第一相鄰圖像幀之間的與人體關(guān)鍵點(diǎn)的第一參數(shù)相連的變化區(qū)域;所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值,位移方向?yàn)榭拷蛊矫娴姆较?,且在圖像幀中與人體關(guān)鍵點(diǎn)的第二參數(shù)之間的深度信息差大于第三預(yù)設(shè)值的待檢測(cè)對(duì)象。[0009]本申請(qǐng)若待檢測(cè)對(duì)象的深度信息的位置顯著前移且與人體關(guān)鍵點(diǎn)的第一參數(shù)相連時(shí),選定待檢測(cè)對(duì)象為跟蹤目標(biāo),可便捷地選定跟蹤目標(biāo)。[0010]根據(jù)本申請(qǐng)的一些實(shí)施例,所述方法還包括:跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,或者跟蹤目標(biāo)與人體關(guān)鍵點(diǎn)的第一參數(shù)不相連,退出跟蹤。[0011]本申請(qǐng)?jiān)谌舾櫮繕?biāo)的深度信息的位置顯著后移或與人體關(guān)鍵點(diǎn)的第一參數(shù)不[0012]根據(jù)本申請(qǐng)的一些實(shí)施例,深度信息的位移值為像素點(diǎn)的平均深度變化值的絕對(duì)值。[0013]第二方面,本申請(qǐng)的一實(shí)施例提供一種目標(biāo)跟蹤裝置,所述裝置包括:獲取單元,用于獲取視頻流中的圖像幀的深度信息;確定單元,用于確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;所述確定單元,還用于確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,位置為深度信息的位置,位移值及位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;所述確定單元,還用于選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象。[0014]根據(jù)本申請(qǐng)的一些實(shí)施例,所述確定單元,還用于跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;所述確定單元,還用于確定第四圖像幀中跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;所述確定單元,還用于若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,退出跟蹤。[0015]根據(jù)本申請(qǐng)的一些實(shí)施例,所述確定單元,還用于檢測(cè)視頻流中的圖像幀中的人體關(guān)鍵點(diǎn);所述確定單元,還用于確定視頻流中第一相鄰圖像幀之間的與人體關(guān)鍵點(diǎn)的第一參數(shù)相連的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象;所述確定單元,還用于選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值,位移方向?yàn)榭拷蛊矫娴姆较?,且在圖像幀中與人體關(guān)鍵點(diǎn)的第二參數(shù)之間的深度信息差大于第三預(yù)設(shè)值的待檢測(cè)對(duì)象。[0016]根據(jù)本申請(qǐng)的一些實(shí)施例,所述確定單元,還用于跟蹤時(shí),確定跟蹤目標(biāo)在第二相鄰圖像幀中的位置,第二相鄰圖像幀包括第三圖像幀和第四圖像幀,第三圖像幀為位于第四圖像幀前面的圖像幀,位置為深度信息的位置;所述確定單元,還用于確定第四圖像幀中6跟蹤目標(biāo)的位置相比第三圖像幀中跟蹤目標(biāo)的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;所述確定單元,還用于若位移值大于第二預(yù)設(shè)值且位移方向?yàn)檫h(yuǎn)離焦平面的方向,或者跟蹤目標(biāo)與人體關(guān)鍵點(diǎn)的第一參數(shù)不相連,退出跟蹤。[0017]根據(jù)本申請(qǐng)的一些實(shí)施例,所述深度信息的位移值為像素點(diǎn)的平均深度變化值的絕對(duì)值。[0018]第三方面,本申請(qǐng)的一實(shí)施例提供一種電子設(shè)備,所述電子設(shè)備包括處理器和存儲(chǔ)器,所述存儲(chǔ)器用于存儲(chǔ)程序指令,所述處理器調(diào)用所述程序指令時(shí),實(shí)現(xiàn)如上任一項(xiàng)所述的目標(biāo)跟蹤方法。[0019]第四方面,本申請(qǐng)的一實(shí)施例提供一種服務(wù)器,所述服務(wù)器包括處理器和存儲(chǔ)器,所述存儲(chǔ)器用于存儲(chǔ)程序指令,所述處理器調(diào)用所述程序指令時(shí),實(shí)現(xiàn)如上任一項(xiàng)所述的目標(biāo)跟蹤方法。[0020]第五方面,本申請(qǐng)的一實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有程序,所述程序使得計(jì)算機(jī)設(shè)備實(shí)現(xiàn)如上任一項(xiàng)所述的目標(biāo)跟蹤方法。[0021]第六方面,本申請(qǐng)的一實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中;設(shè)備的至少一個(gè)處理器可以從所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中讀取所述計(jì)算機(jī)執(zhí)行指令,所述至少一個(gè)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令使得所述設(shè)備執(zhí)行如上任一項(xiàng)所述的目標(biāo)跟蹤方法。[0022]第二方面到第六方面及其各種實(shí)現(xiàn)方式的有益效果,可以參考第一方面及其各種實(shí)現(xiàn)方式中的有益效果分析,此處不再贅述。附圖說(shuō)明[0023]圖1為本申請(qǐng)實(shí)施例的跟蹤系統(tǒng)的示意圖。[0024]圖2為本申請(qǐng)實(shí)施例的電子設(shè)備的硬件結(jié)構(gòu)示意圖。[0025]圖3為本申請(qǐng)實(shí)施例的電子設(shè)備的軟件結(jié)構(gòu)框圖。[0026]圖4為本申請(qǐng)實(shí)施例的目標(biāo)跟蹤方法的流程圖。[0027]圖5A-圖5D為本申請(qǐng)實(shí)施例提供的人機(jī)交互界面圖。[0028]圖6A-6B為本申請(qǐng)實(shí)施例提供的另一些人機(jī)交互界面圖。[0029]圖7A-圖7D為本申請(qǐng)實(shí)施例提供的另一些人機(jī)交互界面圖。[0030]圖8A-8B為本申請(qǐng)實(shí)施例提供的另一些人機(jī)交互界面圖。[0031]圖9A-9B為本申請(qǐng)實(shí)施例提供的一些示意圖。[0032]圖10A-10E為本申請(qǐng)實(shí)施例提供的用戶界面。[0033]圖11A-11B為本申請(qǐng)實(shí)施例提供的另一些用戶界面。[0034]圖12為本申請(qǐng)實(shí)施例的人體關(guān)鍵點(diǎn)的示意圖。[0035]圖13A-13B為本申請(qǐng)實(shí)施例提供的另一些用戶界面。[0036]圖14為本申請(qǐng)實(shí)施例的服務(wù)器的硬件結(jié)構(gòu)示意圖。[0037]圖15為本申請(qǐng)的目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖。7具體實(shí)施方式隱含地包括一個(gè)或者更多個(gè)所述特征。在本申請(qǐng)實(shí)施例的描述中,“例如”等詞用于表示作例子、例證或說(shuō)明。本申請(qǐng)實(shí)施例中被描述為“例如”的任何實(shí)施例或設(shè)計(jì)方案不應(yīng)被解釋為比其它實(shí)施例或設(shè)計(jì)方案更優(yōu)選或更具優(yōu)勢(shì)。確切而言,使用“例如”等詞旨在以具體方式呈現(xiàn)相關(guān)概念。[0039]除非另有定義,本文所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本申請(qǐng)中的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本申請(qǐng)的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)多于兩個(gè)。[0040]參考圖1所示,為本申請(qǐng)實(shí)施例的跟蹤系統(tǒng)的示意圖。所述跟蹤系統(tǒng)10可包括電子設(shè)備11及服務(wù)器12。在本實(shí)施例中,所述電子設(shè)備11可為具有圖像拍攝功能的智能手機(jī)、平等電子設(shè)備。所述電子設(shè)備11可與所述服務(wù)器12之間建立網(wǎng)絡(luò)連接。所述網(wǎng)絡(luò)連接可為有線或無(wú)線連接。所述電子設(shè)備11可包括攝像模組111。所述攝像模組111可為雙目攝像頭、結(jié)構(gòu)光攝像頭、TOF(Timeofflight,飛行時(shí)間)攝像頭、普通單目攝像頭等攝像模組。所述攝像模組111用于攝取場(chǎng)景的圖像。所述圖像可供獲取被攝物體的深度信息。若所述攝像模組111為雙目攝像頭、結(jié)構(gòu)光攝像頭、或TOF(Timeof包括被攝物體的深度信息,后續(xù)可直接獲取所述圖像中的被攝物體的深度信息。若所述攝像模組111為普通單目攝像頭,后續(xù)可采用單目深度估計(jì)算法來(lái)獲得所述圖像中的被攝物體的深度信息。所述攝像模組111以固定的頻率采集所述圖像,例如30幀每秒。所述攝像模組111可固定不動(dòng)來(lái)攝取同一場(chǎng)景內(nèi)的圖像,也可被驅(qū)動(dòng)而移動(dòng)來(lái)對(duì)物體進(jìn)行跟蹤。所述電子設(shè)備11包括客戶端112。所述客戶端112可以是運(yùn)行于所述電子設(shè)備11上的具有攝像功能的應(yīng)用程序,例如相機(jī)應(yīng)用APP,提供直播帶貨的APP,提供視頻通話的APP,或者監(jiān)控應(yīng)用的APP等。所述客戶端112可通過(guò)應(yīng)用程序編碼接口(API)來(lái)調(diào)用相機(jī)應(yīng)用APP,以請(qǐng)求獲得調(diào)用攝像模組111的權(quán)限,并在獲得權(quán)限后,可控制調(diào)用攝像模組111.所述電子設(shè)備11可獲取所述攝像模組111采集的視頻流,并通過(guò)所述客戶端112將視頻流發(fā)送至服務(wù)器12。所述服務(wù)器12可將所述視頻流存儲(chǔ)到與直播頻道標(biāo)識(shí)相關(guān)聯(lián)的存儲(chǔ)位置以供播放端對(duì)所述視頻流進(jìn)行播放或者將所述視頻流發(fā)送至其他的電子設(shè)備進(jìn)行視頻通話。[0041]在本實(shí)施例中,所述電子設(shè)備11可獲取視頻流中的圖像幀的深度信息;確定視頻流中相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒉町悈^(qū)域;確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象。所述電子設(shè)備11還對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤,并隨后將處理后的視頻流發(fā)送至所述服務(wù)器12。[0042]為了減小電子設(shè)備的計(jì)算量,對(duì)視頻流的處理也可以由所述服務(wù)器12處理。具體地,在所述服務(wù)器接收所述電子設(shè)備通過(guò)客戶端發(fā)送的視頻流后,也可獲取視頻流中的圖8像幀的深度信息;確定視頻流中相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒆兓瘏^(qū)域;確定第二圖像幀中待檢測(cè)對(duì)象的位置相比第一圖像幀中待檢測(cè)對(duì)象的位置之間位移值及位移方向,所述位移值及所述位移方向?yàn)樯疃刃畔⒌奈灰浦导拔灰品较?;選定跟蹤目標(biāo),所述跟蹤目標(biāo)為位移值大于第一預(yù)設(shè)值且位移方向?yàn)榭拷蛊矫娴姆较虻拇龣z測(cè)對(duì)象。所述服務(wù)器12還可通過(guò)電子設(shè)備對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤,并隨后將處理后的視頻流通過(guò)客戶端發(fā)送給其他電子設(shè)備。即,在本申請(qǐng)實(shí)施例中,選定跟蹤目標(biāo),對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤可在所述電子設(shè)備11中實(shí)現(xiàn),也可在所述服務(wù)器12中實(shí)現(xiàn),此處并不作為限定。[0043]參考圖2所示,為本申請(qǐng)實(shí)施例的電子設(shè)備的硬件結(jié)構(gòu)示意圖。電子設(shè)備100可以手持計(jì)算機(jī)、筆記本電腦、超級(jí)移動(dòng)個(gè)人計(jì)算機(jī)(ultra-mobilepersonalcomputer,備、車載設(shè)備、或智能家居設(shè)備中的至少一種。本申請(qǐng)實(shí)施例對(duì)該電子設(shè)備100的具體類型不作特殊限制。[0044]電子設(shè)備100可以包括處理器110,外部存儲(chǔ)器接口120,內(nèi)部存儲(chǔ)器121,通用串行總線(universalserialbus,USB)接頭130,充電管理模塊140,電源管理模塊141,電池142,天線1,天線2,移動(dòng)通信模塊150,無(wú)線通信模塊160,音頻模塊170,揚(yáng)聲器170A,受話器170B,麥克風(fēng)170C,耳機(jī)接口170D,傳感器模塊180,按鍵190,馬達(dá)191,指示器192,攝像頭193,顯示屏194,以及用戶標(biāo)識(shí)模塊(subscriberidentificationmodule,SIM)卡接口195等。其中傳感器模塊180可以包括壓力傳感器180A,陀螺儀傳感器180B,氣壓傳感器180C,磁傳感器180D,加速度傳感器180E,距離傳感器180F,接近光傳感器180G,指紋傳感器180H,溫度傳感器180J,觸摸傳感器180K,環(huán)境光傳感器180L,骨傳導(dǎo)傳感器180M等。[0045]可以理解的是,本申請(qǐng)實(shí)施例示意的結(jié)構(gòu)并不構(gòu)成對(duì)電子設(shè)備100的具體限定。在本申請(qǐng)另一些實(shí)施例中,電子設(shè)備100可以包括比圖示更多或更少的部件,或者組合某些部件,或者拆分某些部件,或者不同的部件布置。圖示的部件可以以硬件,軟件或軟件和硬件的組合實(shí)現(xiàn)。[0046]處理器110可以包括一個(gè)或多個(gè)處理單元,例如:處理器110可以包括應(yīng)用處理器(applicationprocessor,AP),調(diào)制解調(diào)處理器,圖形處理器(graphicsprocessingunit,GPU),圖像信號(hào)處理器(imagesignalprocessor,ISP),控制器,視頻編解碼器,數(shù)字信號(hào)處理器(digitalsignalprocessor,DSP),基帶處理器,和/或神經(jīng)網(wǎng)絡(luò)處理器可以集成在一個(gè)或多個(gè)處理器中。[0047]處理器可以根據(jù)指令操作碼和時(shí)序信號(hào),產(chǎn)生操作控制信號(hào),完成取指令和執(zhí)行指令的控制。[0048]處理器110中還可以設(shè)置存儲(chǔ)器,用于存儲(chǔ)指令和數(shù)據(jù)。在一些實(shí)施例中,處理器110中的存儲(chǔ)器可以為高速緩沖存儲(chǔ)器。該存儲(chǔ)器可以保存處理器110用過(guò)或使用頻率較高的指令或數(shù)據(jù)。如果處理器110需要使用該指令或數(shù)據(jù),可從該存儲(chǔ)器中直接調(diào)用。避免了重復(fù)存取,減少了處理器110的等待時(shí)間,因而提高了系統(tǒng)的效率。9[0049]在一些實(shí)施例中,處理器110可以包括一個(gè)或多個(gè)接口。接口可以包括集成電路(inter-integratedcircuit,I2C)接口,集成電路內(nèi)置音頻(inter-integratedcircuitsound,I2S)接口,脈沖編碼調(diào)制(pulsecodemodulation,PCM)接口,通用異步收發(fā)傳輸器(universalasynchronousreceiver/transmitter,UART)接口,移動(dòng)產(chǎn)業(yè)處理器接口input/output,GPIO)接口,用戶標(biāo)識(shí)模塊(subscriberidentitymodule,SIM)接口,和/或通用串行總線(universalserialbus,USB)接口等。處理器110可以通過(guò)以上至少一種接[0050]可以理解的是,本申請(qǐng)實(shí)施例示意的各模塊間的接口連接關(guān)系,只是示意性說(shuō)明,并不構(gòu)成對(duì)電子設(shè)備100的結(jié)構(gòu)限定。在本申請(qǐng)另一些實(shí)施例中,電子設(shè)備100也可以采用上述實(shí)施例中不同的接口連接方式,或多種接口連接方式的組合。[0051]USB接頭130是一種符合USB標(biāo)準(zhǔn)規(guī)范的接口,可以用于連接電子設(shè)備100和外圍設(shè)接充電器,實(shí)現(xiàn)充電器為該電子設(shè)備100充電,也可以用于連接其他電子設(shè)備,實(shí)現(xiàn)電子設(shè)備100與其他電子設(shè)備之間傳輸數(shù)據(jù)。也可以用于連接耳機(jī),通過(guò)耳機(jī)輸出電子設(shè)備中存儲(chǔ)的音頻。該接頭還可以用于連接其他電子設(shè)備,例如VR設(shè)備等。在一些實(shí)施例中,通用串行[0052]充電管理模塊140用于接收充電器的充電輸入。其中,充電器可以是無(wú)線充電器,也可以是有線充電器。在一些有線充電的實(shí)施例中,充電管理模塊140可以通過(guò)USB接口130接收有線充電器的充電輸入。在一些無(wú)線充電的實(shí)施例中,充電管理模塊140可以通過(guò)電子設(shè)備100的無(wú)線充電線圈接收無(wú)線充電輸入。充電管理模塊140為電池142充電的同時(shí),還可以通過(guò)電源管理模塊141為電子設(shè)備供電。[0053]電源管理模塊141用于連接電池142,充電管理模塊140與處理器110。電源管理模塊141接收電池142和/或充電管理模塊140的輸入,為處理器110,內(nèi)部存儲(chǔ)器121,顯示屏194,攝像頭193,和無(wú)線通信模塊160等供電。電源管理模塊141還可以用于監(jiān)測(cè)電池容量,電池循環(huán)次數(shù),電池健康狀態(tài)(漏電,阻抗)等參數(shù)。在其他一些實(shí)施例中,電源管理模塊也可以設(shè)置于處理器110中。在另一些實(shí)施例中,電源管理模塊141和充電管理模塊140也可以設(shè)置于同一個(gè)器件中。[0054]電子設(shè)備100的無(wú)線通信功能可以通過(guò)天線1,天線2,移動(dòng)通信模塊150,無(wú)線通信模塊160,調(diào)制解調(diào)處理器以及基帶處理器等實(shí)現(xiàn)。[0055]天線1和天線2用于發(fā)射和接收電磁波信號(hào)。電子設(shè)備100中的每個(gè)天線可用于覆蓋單個(gè)或多個(gè)通信頻帶。不同的天線還可以復(fù)用,以提高天線的利用復(fù)用為無(wú)線局域網(wǎng)的分集天線。在另外一些實(shí)施例中,天線可以和調(diào)諧開(kāi)關(guān)結(jié)合使用。[0056]移動(dòng)通信模塊150可以提供應(yīng)用在電子設(shè)備100上的包括2G/3G/4G/5G等無(wú)線通信(lownoiseamplifier,LNA)等。移動(dòng)通信模塊150可以由天線1接收電磁波,并對(duì)接收的電磁波進(jìn)行濾波,放大等處理,傳送至調(diào)制解調(diào)處理器進(jìn)行解調(diào)。移動(dòng)通信模塊150還可以對(duì)經(jīng)調(diào)制解調(diào)處理器調(diào)制后的信號(hào)放大,經(jīng)天線1轉(zhuǎn)為電磁波輻射出去。在一些實(shí)施例中,移動(dòng)通信模塊150的至少部分功能模塊可以被設(shè)置于處理器110中。在一些實(shí)施例中,移動(dòng)通信模塊150的至少部分功能模塊可以與處理[0058]無(wú)線通信模塊160可以提供應(yīng)用在電子設(shè)備100上的包括無(wú)線局域網(wǎng)(wirelesslocalareanetworks,WLAN)(如無(wú)線保真(wirelessfidelity,Wi-Fi)網(wǎng)絡(luò)),藍(lán)牙(bluetooth,BT),藍(lán)牙低功耗(bluetoothlowenergy,BLE),超寬帶(ultrawideband,modulation,FM),近距離無(wú)線通信技術(shù)(nearfieldcommunication,NFC),紅外技術(shù)GSM),通用分組無(wú)線服務(wù)(generalpacketradioservice,GPRS),碼分多址接入(codedivisionmultipleaccess,CDMA),寬帶碼分多址(widebandcodedivisionmultipleaccess,WCDMA),時(shí)分碼分多址(time-divisioncodedivisionmultipleaccess,TD-GNSS可以包括全球衛(wèi)星定位系統(tǒng)(globalpositioningsystem,GPS),全球?qū)Ш叫l(wèi)星系統(tǒng)(globalnavigationsatellitesystenavigationsatellitesystem,BDS),準(zhǔn)天頂衛(wèi)星系統(tǒng)(quasi-zenithsatellitesystem,QZSS)和/或星基增強(qiáng)系統(tǒng)(晶顯示屏(liquidcrystaldisplay,LCD),有機(jī)發(fā)光二極管(organiclight-emittingdiode,OLED),有源矩陣有機(jī)發(fā)光二極體或主動(dòng)矩陣有機(jī)發(fā)光二極體(active-matrixdiode,FLED),Miniled,MicroLed,Micro-oLed,量子點(diǎn)發(fā)光二極管(quantumdo11[0063]攝像模組193可用于采集拍攝對(duì)象的彩色圖像數(shù)據(jù)以及深度數(shù)據(jù)。ISP可用于處理攝像模組193采集的彩色圖像數(shù)據(jù)。例如,拍照時(shí),打開(kāi)快門,光線通感光元件上,光信號(hào)轉(zhuǎn)換為電信號(hào),攝像頭感光元件將該電信號(hào)傳遞給ISP處理,轉(zhuǎn)化為肉眼可見(jiàn)的圖像。ISP還可以對(duì)圖像的噪點(diǎn),亮度,膚色進(jìn)行算法優(yōu)化。ISP還可以對(duì)拍[0064]在一些實(shí)施例中,攝像模組193可以由彩色攝像模組和3D感測(cè)模組組成。[0065]在一些實(shí)施例中,彩色攝像模組的攝像頭的感光元件可以是電荷耦合器件(chargecoupleddevice,CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(complementarymetal-oxide-semiconductor,CMOS)光電晶體管。感光元件把光信號(hào)轉(zhuǎn)換成電信號(hào),之后將電信號(hào)傳遞給ISP轉(zhuǎn)換成數(shù)字圖像信號(hào)。ISP將數(shù)字圖像信號(hào)輸出到DSP加工處理。DSP將數(shù)字圖像信號(hào)轉(zhuǎn)[0066]在一些實(shí)施例中,3D感測(cè)模組可以是(timeofflight,TOF)3D感測(cè)模塊或結(jié)構(gòu)光3D感測(cè)模組的基本零組件可包括紅外線(Infrared)發(fā)射器、IR相機(jī)模等。結(jié)構(gòu)光3D感測(cè)模組的工作原理是先對(duì)被拍攝物體發(fā)射特定圖案的光斑(pattern),再接收該物體表面上的光斑圖案編碼(lightcoding),進(jìn)而比對(duì)與原始投射光斑的異同,并利用三角原理計(jì)算出測(cè)可以是主動(dòng)式深度感測(cè)技術(shù),TOF3D感測(cè)模組的基本組件可包括紅外線(Infrared)發(fā)射器、IR相機(jī)模等。TOF3D感測(cè)模組的工作原理是通過(guò)紅外線折返的時(shí)間去計(jì)算TOF3D感測(cè)模組跟被拍攝物體之間的距離(即深度),以得到3D景深圖。[0067]結(jié)構(gòu)光3D感測(cè)模組還可應(yīng)用于人臉識(shí)別、體感游戲機(jī)、工業(yè)用機(jī)器視覺(jué)檢測(cè)等領(lǐng)域。TOF3D感測(cè)模組還可應(yīng)用于游戲機(jī)、增強(qiáng)現(xiàn)實(shí)(augmentedreality,AR)/虛擬現(xiàn)實(shí)[0068]在另一些實(shí)施例中,攝像模組193還可以由兩個(gè)或更多個(gè)攝像頭構(gòu)成。這兩個(gè)或更多個(gè)攝像頭可包括彩色攝像頭,彩色攝像頭可用于采集被拍攝物體的彩色圖像數(shù)據(jù)。這兩個(gè)或更多個(gè)攝像頭可采用立體視覺(jué)(stereovision)技術(shù)來(lái)采集被拍攝物體的深度數(shù)據(jù)。立體視覺(jué)技術(shù)是基于人眼視差的原理,在自然光源下,透過(guò)兩個(gè)或兩個(gè)以上的攝像頭從不同的角度對(duì)同一物體拍攝影像,再進(jìn)行三角測(cè)量法等運(yùn)算來(lái)得到電子設(shè)備100與被拍攝物[0069]在另一些實(shí)施例中,攝像模組193還可以由一個(gè)攝像頭構(gòu)成。這個(gè)攝像頭拍攝一張或者唯一視角下的RGB圖像。處理器110中GPU可根據(jù)單目深度估計(jì)算法估計(jì)圖像中每個(gè)像素相對(duì)攝像模組193的距離,即深度信息。[0070]在一些實(shí)施例中,攝像模組193可固定不動(dòng)去采集同一場(chǎng)景、同一視角的圖像,還可被驅(qū)動(dòng)而采集不同場(chǎng)景的圖像。攝像模組193可在選定跟蹤目標(biāo)之前,固定不動(dòng);在選定跟蹤目標(biāo)之后,可被驅(qū)動(dòng)進(jìn)行目標(biāo)跟蹤。[0071]在一些實(shí)施例中,電子設(shè)備100可以包括1個(gè)或多個(gè)攝像模組193。具體的,電子設(shè)備100可以包括1個(gè)前置攝像模組193以及1個(gè)后置攝像模組193。其中,前置攝像模組193通常可用于采集面對(duì)顯示屏194的拍攝者自己的彩色圖像數(shù)據(jù)以及深度數(shù)據(jù),后置攝像模組可用于采集拍攝者所面對(duì)的拍攝對(duì)象(如人物、風(fēng)景等)的彩色圖像數(shù)據(jù)以及深度數(shù)據(jù)。[0072]在一些實(shí)施例中,處理器110中的CPU或GPU或NPU可以對(duì)攝像模組193所采集的彩色圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行處理。在一些實(shí)施例中,NPU可以通過(guò)骨骼點(diǎn)識(shí)別技術(shù)所基于的神經(jīng)網(wǎng)絡(luò)算法,例如卷積神經(jīng)網(wǎng)絡(luò)算法(CNN),來(lái)識(shí)別攝像模組193(具體是彩色攝像模組)所采集的彩色圖像數(shù)據(jù),以確定被拍攝人物的骨骼點(diǎn)。CPU或GPU也可來(lái)運(yùn)行神經(jīng)網(wǎng)絡(luò)算法用于根據(jù)攝像模組193(可以是3D感測(cè)模組)所采集的深度數(shù)據(jù)和已識(shí)別出的骨骼點(diǎn)來(lái)確認(rèn)被拍攝人物的身材(如身體比例、骨骼點(diǎn)之間的身體部位的胖瘦情況),并可以進(jìn)一步確定針對(duì)該被拍攝人物的身體美化參數(shù),最終根據(jù)該身體美化參數(shù)對(duì)被拍攝人物的拍攝圖像進(jìn)行處理,以使得該拍攝圖像中該被拍攝人物的體型被美化。后續(xù)實(shí)施例中會(huì)詳細(xì)介紹如何基于攝像模組193所采集的彩色圖像數(shù)據(jù)和深度數(shù)據(jù)對(duì)被拍攝人物的圖像進(jìn)行美體處理,這里先不贅述。[0073]數(shù)字信號(hào)處理器用于處理數(shù)字信號(hào),還可以處理其他數(shù)字信號(hào)。例如,當(dāng)電子設(shè)備100在頻點(diǎn)選擇時(shí),數(shù)字信號(hào)處理器用于對(duì)頻點(diǎn)能量進(jìn)行傅里葉變換等。[0074]視頻編解碼器用于對(duì)數(shù)字視頻壓縮或解壓縮。電子設(shè)備100可以支持一種或多種視頻編解碼器。這樣,電子設(shè)備100可以播放或錄制多種編碼格式的視家組(movingpictureexpertsgroup,MPEG)1,MPEG2,MPEG3,MPEG4等。[0075]NPU為神經(jīng)網(wǎng)絡(luò)(neural-network,NN)計(jì)算處理器,通過(guò)借鑒生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),例如借鑒人腦神經(jīng)元之間傳遞模式,對(duì)輸入信息快速處理,還可以不斷的自學(xué)習(xí)。通過(guò)NPU可以實(shí)現(xiàn)電子設(shè)備100的智能認(rèn)知等應(yīng)用,例如:圖像識(shí)別,人臉[0076]外部存儲(chǔ)器接口120可以用于連接外部存儲(chǔ)卡,例如MicroSD卡,實(shí)現(xiàn)擴(kuò)展電子設(shè)備100的存儲(chǔ)能力。外部存儲(chǔ)卡通過(guò)外部存儲(chǔ)器接口120與處理器110通信,實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)功能。例如將音樂(lè),視頻等文件保存在外部存儲(chǔ)卡中。或?qū)⒁魳?lè),視頻等文件從電子設(shè)備傳輸至外部存儲(chǔ)卡中。[0077]內(nèi)部存儲(chǔ)器121可以用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行程序代碼,該可執(zhí)行程序代碼包括指令。內(nèi)部存儲(chǔ)器121可以包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū)。其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng),至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能,圖像播放功能等)等。存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)電子設(shè)備100使用過(guò)程中所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù),電話本等)等。此外,內(nèi)部存儲(chǔ)器121可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤(pán)存儲(chǔ)器件,閃存器件,通用閃存存儲(chǔ)器(universalflashstorage,U儲(chǔ)在內(nèi)部存儲(chǔ)器121的指令,和/或存儲(chǔ)在設(shè)置于處理器中的存儲(chǔ)器的指令,執(zhí)行電子設(shè)備100的各種功能方法或數(shù)據(jù)處理。[0078]電子設(shè)備100可以通過(guò)音頻模塊170,揚(yáng)聲器170A,受話器170B,麥克風(fēng)170C,耳機(jī)接口170D,以及應(yīng)用處理器等實(shí)現(xiàn)音頻功能。例如音樂(lè)播放,錄音等。[0079]音頻模塊170用于將數(shù)字音頻信息轉(zhuǎn)換成模擬音頻信號(hào)輸出,也用于將模擬音頻輸入轉(zhuǎn)換為數(shù)字音頻信號(hào)。音頻模塊170還可以用于對(duì)音頻信號(hào)編碼和解碼。在一些實(shí)施例中,音頻模塊170可以設(shè)置于處理器110中,或?qū)⒁纛l模塊170的部分功能模塊設(shè)置于處理器[0080]揚(yáng)聲器170A,也稱“喇叭”,用于將音頻電信號(hào)轉(zhuǎn)換為聲音信號(hào)。電子設(shè)備100可以通過(guò)揚(yáng)聲器170A收聽(tīng)音樂(lè),或輸出免提通話的音頻信號(hào)。[0081]受話器170B,也稱“聽(tīng)筒”,用于將音頻電信號(hào)轉(zhuǎn)換成聲音信號(hào)。當(dāng)電子設(shè)備100接聽(tīng)電話或語(yǔ)音信息時(shí),可以通過(guò)將受話器170B靠近人耳接聽(tīng)語(yǔ)音。或發(fā)送語(yǔ)音信息時(shí),用戶可以通過(guò)人嘴靠近麥克風(fēng)170C發(fā)聲,將聲音信號(hào)輸入到麥克風(fēng)170C。電子設(shè)備100可以設(shè)置至少一個(gè)麥克風(fēng)170C。在另一些實(shí)施例中,電子設(shè)備100可以設(shè)置兩個(gè)麥克風(fēng)170C,除了采集聲音信號(hào),還可以實(shí)現(xiàn)降噪功能。在另一些實(shí)施例中,電子設(shè)備100還可以設(shè)置三個(gè),四個(gè)或更多麥克風(fēng)170C,實(shí)現(xiàn)采集聲音信號(hào),降噪,還可以識(shí)別聲音[0083]耳機(jī)接口170D用于連接有線耳機(jī)。耳機(jī)接口170D可以是USB接口130,也可以是3.5mm的開(kāi)放移動(dòng)電子設(shè)備平臺(tái)(openmobileterminalplatform,OMTP)標(biāo)準(zhǔn)接口,美國(guó)蜂窩電信工業(yè)協(xié)會(huì)(cellulartelecommunicationsindustryasCTIA)標(biāo)準(zhǔn)接口。[0084]壓力傳感器180A用于感受壓力信號(hào),可以將壓力信號(hào)轉(zhuǎn)換成電信號(hào)。在一些實(shí)施例中,壓力傳感器180A可以設(shè)置于顯示屏194.壓力傳感器180A的種類很多,如電阻式壓力傳感器,電感式壓力傳感器,電容式壓力傳感器等。電容式壓力傳感器可以是包括至少兩個(gè)具有導(dǎo)電材料的平行板。當(dāng)有力作用于壓力傳感器180A,電極之間的電容改變。電子設(shè)備100根據(jù)電容的變化確定壓力的強(qiáng)度。當(dāng)有觸摸操作作用于顯示屏194,電子設(shè)備100根據(jù)壓力傳感器180A檢測(cè)該觸摸操作強(qiáng)度。電子設(shè)備100也可以根據(jù)壓力傳感器180A的檢測(cè)信號(hào)計(jì)算觸摸的位置。在一些實(shí)施例中,作用于相同觸摸位置,但不同觸摸操作強(qiáng)度的觸摸操作,可以對(duì)應(yīng)不同的操作指令。例如:當(dāng)有觸摸操作強(qiáng)度小于第一壓力閾值的觸摸操作作用于短消息應(yīng)用圖標(biāo)時(shí),執(zhí)行查看短消息的指令。當(dāng)有觸摸操作強(qiáng)度大于或等于第一壓力閾值的觸摸操作作用于短消息應(yīng)用圖標(biāo)時(shí),執(zhí)行新建短消息的指令。[0085]陀螺儀傳感器180B可以用于確定電子設(shè)備100的運(yùn)動(dòng)姿態(tài)。在一些實(shí)施例中,可以通過(guò)陀螺儀傳感器180B確定電子設(shè)備100圍繞三個(gè)軸(即,x,y和z軸)的角速度。陀螺儀傳感器180B可以用于拍攝防抖。示例性的,當(dāng)按下快門,陀螺儀傳感器180B檢測(cè)電子設(shè)備100抖動(dòng)的角度,根據(jù)角度計(jì)算出鏡頭模組需要補(bǔ)償?shù)木嚯x,控制鏡頭反向運(yùn)動(dòng)抵消電子設(shè)備100[0086]氣壓傳感器180C用于測(cè)量氣壓。在一些實(shí)施例中,電子設(shè)備100根據(jù)氣壓傳感器180C測(cè)得的氣壓值計(jì)算海拔高度,輔助定位和導(dǎo)航。[0087]磁傳感器180D包括霍爾傳感器。電子設(shè)備100可以利用磁傳感器180D檢測(cè)翻蓋皮套的開(kāi)合。當(dāng)電子設(shè)備為可折疊電子設(shè)備,磁傳感器180D可以用于檢測(cè)電子設(shè)備的折疊或展開(kāi),或折疊角度。在一些實(shí)施例中,當(dāng)電子設(shè)備100是翻蓋機(jī)時(shí),電子設(shè)備100可以根據(jù)磁傳感器180D檢測(cè)翻蓋的開(kāi)合。進(jìn)而根據(jù)檢測(cè)到的皮套的開(kāi)合狀態(tài)或翻蓋的開(kāi)合狀態(tài),設(shè)置翻蓋自動(dòng)解鎖等特性。[0088]加速度傳感器180E可檢測(cè)電子設(shè)備100在各個(gè)方向上(一般為三軸)加速度的大小。當(dāng)電子設(shè)備100靜止時(shí)可檢測(cè)出重力的大小及方向。還可以用于識(shí)別電子設(shè)備姿態(tài),應(yīng)[0089]距離傳感器180F,用于測(cè)量距離。電子設(shè)備100可以通過(guò)紅外或激光測(cè)量距離。在一些實(shí)施例中,拍攝場(chǎng)景,電子設(shè)備100可以利用距離傳感器180F測(cè)距以實(shí)現(xiàn)快速對(duì)焦。[0090]接近光傳感器180G可以包括例如發(fā)光二極管(LED)和光檢測(cè)器,例如光電二極管。發(fā)光二極管可以是紅外發(fā)光二極管。電子設(shè)備100通過(guò)發(fā)光二極管向外發(fā)射紅外光。電子設(shè)備100使用光電二極管檢測(cè)來(lái)自附近物體的紅外反射光。當(dāng)檢測(cè)到的反射光的強(qiáng)度大于閾值時(shí),可以確定電子設(shè)備100附近有物體。當(dāng)檢測(cè)到的反射光的強(qiáng)度小于閾值時(shí),電子設(shè)備100可以確定電子設(shè)備100附近沒(méi)有物體。電子設(shè)備100可以利用接近光傳感器180G檢測(cè)用戶手持電子設(shè)備100貼近耳朵通話,以便自動(dòng)熄滅屏幕達(dá)到省電的目的。接近光傳感器180G也可用于皮套模式,口袋模式自動(dòng)解鎖與鎖屏。[0091]環(huán)境光傳感器180L可以用于感知環(huán)境光亮度。電子設(shè)備100可以根據(jù)感知的環(huán)境光亮度自適應(yīng)調(diào)節(jié)顯示屏194亮度。環(huán)境光傳感器180L也可用于拍照時(shí)自動(dòng)調(diào)節(jié)白平衡。環(huán)境光傳感器180L還可以與接近光傳感器180G配合,檢測(cè)電子設(shè)備100是否被遮擋,例如電子設(shè)備在口袋里。當(dāng)檢測(cè)到電子設(shè)備被遮擋或在口袋里,可以使部分功能(例如觸控功能)處[0092]指紋傳感器180H用于采集指紋。電子設(shè)備100可以利用采集的指紋特性實(shí)現(xiàn)指紋[0093]溫度傳感器180J用于檢測(cè)溫度。在一些實(shí)施例中,電子設(shè)備100利用溫度傳感器180J檢測(cè)的溫度,執(zhí)行溫度處理策略。例如,當(dāng)通過(guò)溫度傳感器180J檢測(cè)的溫度超過(guò)閾值,電子設(shè)備100執(zhí)行降低處理器的性能,以便降低電子設(shè)備的功耗以實(shí)施熱保護(hù)。在另一些實(shí)施例中,當(dāng)通過(guò)溫度傳感器180J檢測(cè)的溫度低于另一閾值時(shí),電子設(shè)備100對(duì)電池142加熱。在其他一些實(shí)施例中,當(dāng)溫度低于又一閾值時(shí),電子設(shè)備100可以對(duì)電池142的輸出電壓升壓。[0094]觸摸傳感器180K,也稱“觸控器件”。觸摸傳感器180K可以設(shè)置于顯示屏194,由觸上或附近的觸摸操作。觸摸傳感器可以將檢測(cè)到的觸摸操作傳遞給應(yīng)用處理器,以確定觸摸事件類型??梢酝ㄟ^(guò)顯示屏194提供與觸摸操作相關(guān)的視覺(jué)輸出。在另一些實(shí)施例中,觸摸傳感器180K也可以設(shè)置于電子設(shè)備100的表面,與顯示屏194所處的位置不同。[0095]骨傳導(dǎo)傳感器180M可以獲取振動(dòng)信號(hào)。在一些實(shí)施例中,骨傳導(dǎo)傳感器180M可以獲取人體聲部振動(dòng)骨塊的振動(dòng)信號(hào)。骨傳導(dǎo)傳感器180M也可以接觸人體脈搏,接收血壓跳動(dòng)信號(hào)。在一些實(shí)施例中,骨傳導(dǎo)傳感器180M也可以設(shè)置于耳機(jī)中,結(jié)合成骨傳導(dǎo)耳機(jī)。音頻模塊170可以基于該骨傳導(dǎo)傳感器180M獲取的聲部振動(dòng)骨塊的振動(dòng)信號(hào),解析出語(yǔ)音信號(hào),實(shí)現(xiàn)語(yǔ)音功能。應(yīng)用處理器可以基于該骨傳導(dǎo)傳感器180M獲取的血壓跳動(dòng)信號(hào)解析心[0096]按鍵190可以包括開(kāi)機(jī)鍵,音量鍵等。按鍵190可以是機(jī)械按鍵。也可以是觸摸式按鍵。電子設(shè)備100可以接收按鍵輸入,產(chǎn)生與電子設(shè)備100的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。[0097]馬達(dá)191可以產(chǎn)生振動(dòng)提示。馬達(dá)191可以用于來(lái)電振動(dòng)提示,也可以用于觸摸振動(dòng)反饋。例如,作用于不同應(yīng)用(例如拍照,音頻播放等)的觸摸操作,可以對(duì)應(yīng)不同的振動(dòng)反饋效果。作用于顯示屏194不同區(qū)域的觸摸操作,馬達(dá)191也可對(duì)應(yīng)不同的振動(dòng)反饋效果。不同的應(yīng)用場(chǎng)景(例如:時(shí)間提醒,接收信息,鬧鐘,游戲等)也可以對(duì)應(yīng)不同的振動(dòng)反饋效果。觸摸振動(dòng)反饋效果還可以支持自定義。[0098]指示器192可以是指示燈,可以用于指示充電狀態(tài),電量變化,也可以用于指示消[0099]SIM卡接口195用于連接SIM卡。SIM卡可以通過(guò)插入SIM卡接口195,或從SIM卡接口195拔出,實(shí)現(xiàn)和電子設(shè)備100的接觸和分離。電子設(shè)備100可以支持1個(gè)或多個(gè)SIM卡接口。插入多張卡。多張卡的類型可以相同,也可以不同。SIM卡接口195也可以兼容不同類型的SIM卡。SIM卡接口195也可以兼容外部存儲(chǔ)卡。電子設(shè)備100通過(guò)SIM卡和網(wǎng)絡(luò)交互,實(shí)現(xiàn)通可以嵌在電子設(shè)備100中,不能和電子設(shè)備100分離。[0100]電子設(shè)備100的軟件系統(tǒng)可以采用分層架構(gòu),事件驅(qū)動(dòng)架構(gòu),微核架構(gòu),微服務(wù)架構(gòu),或云架構(gòu)。本申請(qǐng)實(shí)施例以分層架構(gòu)的Android系統(tǒng)為例,示例性說(shuō)明電子設(shè)備100的軟件結(jié)構(gòu)。[0101]圖3是本申請(qǐng)實(shí)施例的電子設(shè)備100的軟件結(jié)構(gòu)框圖。[0102]分層架構(gòu)將軟件分成若干個(gè)層,每一層都有清晰的角色和分工。層與層之間通過(guò)用程序框架層,安卓運(yùn)行時(shí)(Androidruntime,ART)和原生C/C++庫(kù),硬件抽象層(HardwareAbstractLayer,HAL)以及內(nèi)核層。[0103]應(yīng)用程序?qū)涌梢园ㄒ幌盗袘?yīng)用程序包。[0105]應(yīng)用程序框架層為應(yīng)用程序?qū)拥膽?yīng)用程序提供應(yīng)用編程接口(applicationprogramminginterface,API)和編程框架。應(yīng)用程序框架層包括一些預(yù)先定義的函數(shù)。[0107]窗口管理器提供窗口管理服務(wù)(WindowManagerService,WMS),WMS可以用于窗[0108]內(nèi)容提供器用來(lái)存放和獲取數(shù)據(jù),并使這些數(shù)據(jù)可以被應(yīng)用程序訪問(wèn)。該數(shù)據(jù)可[0109]視圖系統(tǒng)包括可視控件,例如顯示文字的控件,顯示圖片的控件等。視圖系統(tǒng)可用于構(gòu)建應(yīng)用程序。顯示界面可以由一個(gè)或多個(gè)視圖組成的。例如,包括短信通知圖標(biāo)的顯示界面,可以包括顯示文字的視圖以及顯示圖片的視圖。視頻文件等等。[0111]通知管理器使應(yīng)用程序可以在狀態(tài)欄中顯示通知信息,可以用于傳達(dá)告知類型的消息,可以短暫停留后自動(dòng)消失,無(wú)需用戶交互。比如通知管理器被用于告知下載完成,消息提醒等。通知管理器還可以是以圖表或者滾動(dòng)條文本形式出現(xiàn)在系統(tǒng)頂部狀態(tài)欄的通知,例如后臺(tái)運(yùn)行的應(yīng)用程序的通知,還可以是以對(duì)話窗口形式出現(xiàn)在屏幕上的通知。例如[0112]活動(dòng)管理器可以提供活動(dòng)管理服務(wù)(ActivityManagerService,AMS),AMS可以的管理和調(diào)度工作。[0113]輸入管理器可以提供輸入管理服務(wù)(InputManagerService,IMS),IMS可以用于管理系統(tǒng)的輸入,例如觸摸屏輸入、按鍵輸入、傳感器輸入等。IMS從輸入設(shè)備節(jié)點(diǎn)取出事[0114]安卓運(yùn)行時(shí)包括核心庫(kù)和安卓運(yùn)行時(shí)。安卓運(yùn)行時(shí)負(fù)責(zé)將源代碼轉(zhuǎn)換為機(jī)器碼。安卓運(yùn)行時(shí)主要包括采用提前(aheadortime,AOT)編譯技術(shù)和及時(shí)(justintime,JIT)編譯技術(shù)。[0115]核心庫(kù)主要用于提供基本的Java框架(MediaFramework),libc,OpenGLES、SQLite、Webkit等。[0117]其中,表面管理器用于對(duì)顯示子系統(tǒng)進(jìn)行管理,并且為多個(gè)應(yīng)用程序提供了2D和3D圖層的融合。媒體框架支持多種常用的音頻,視頻格式回放和錄制,以及靜態(tài)圖像文件OpenGLES提供應(yīng)用程序中2D圖形和3D圖形的繪制和操作。SQLite為電子設(shè)備100的應(yīng)用程序提供輕量級(jí)關(guān)系型數(shù)據(jù)庫(kù)。[0118]硬件抽象層運(yùn)行于用戶空間(userspace),對(duì)內(nèi)核層驅(qū)動(dòng)進(jìn)行封裝,向上層提供調(diào)用接口。[0119]內(nèi)核層是硬件和軟件之間的層。內(nèi)核層至少包含顯示驅(qū)動(dòng),攝像頭驅(qū)動(dòng),音頻驅(qū)[0120]下面結(jié)合捕獲拍照?qǐng)鼍?,示例性說(shuō)明電子設(shè)備軟件以及硬件的工作流程。[0121]當(dāng)觸摸傳感器180K接收到觸摸操作,相應(yīng)的硬件中斷被發(fā)給內(nèi)核層。內(nèi)核層將觸摸操作加工成原始輸入事件(包括觸摸坐標(biāo),觸摸操作的時(shí)間戳等信息)。原始輸入事件被存儲(chǔ)在內(nèi)核層。應(yīng)用程序框架層從內(nèi)核層獲取原始輸入事件,識(shí)別該輸入事件所對(duì)應(yīng)的控件。以該觸摸操作是觸摸單擊操作,該單擊操作所對(duì)應(yīng)的控件為相機(jī)應(yīng)用圖標(biāo)的控件為例,相機(jī)應(yīng)用調(diào)用應(yīng)用框架層的接口,啟動(dòng)相機(jī)應(yīng)用,進(jìn)而通過(guò)調(diào)用內(nèi)核層啟動(dòng)攝像頭驅(qū)動(dòng),通過(guò)攝像頭捕獲靜態(tài)圖像或視頻。[0122]請(qǐng)參考圖4,為本申請(qǐng)一實(shí)施例的目標(biāo)跟蹤方法的流程圖。所述目標(biāo)跟蹤方法應(yīng)用于電子設(shè)備上,為根據(jù)深度信息的變化選定跟蹤目標(biāo)并跟蹤。所述目標(biāo)跟蹤方法包括:[0123]S401:電子設(shè)備接收開(kāi)啟電子設(shè)備上的客戶端的操作。[0124]為了便于描述,以下以手機(jī)為例,對(duì)本申請(qǐng)進(jìn)行說(shuō)明。例如,用戶可點(diǎn)擊手機(jī)上的帶貨”客戶端,則攝像模組開(kāi)啟采集視頻流,獲取攝蹤模式已開(kāi)啟?!耙曨l通話”客戶端中的追蹤模式的開(kāi)件實(shí)現(xiàn)?!爸辈ж洝笨蛻舳酥械淖粉櫮J降拈_(kāi)啟可以通過(guò)“直播帶貨”客戶端中的控件實(shí)現(xiàn)。[0125]為了開(kāi)啟“視頻通話”客戶端中的追蹤模式,在一種具體的實(shí)現(xiàn)方式中,如圖5A所示,用戶可以在手機(jī)的主界面上點(diǎn)擊“視頻通話”客戶端。所述客戶端不僅局限于“視頻通話”客戶端,還可為其他包括視頻通話功能的客戶端或者其他類似視頻通話功能的客戶端,本申請(qǐng)并不對(duì)此做出限制。手機(jī)檢測(cè)到用戶點(diǎn)擊“視頻通話”客戶端后,可以顯示視頻通話可以理解的是,圖5B是視頻通話的用戶界面的一種示例,所述視頻通話的用戶界面還可包括窗口縮小控件等。本申請(qǐng)并不對(duì)視頻通話的用戶界面的內(nèi)容和形式進(jìn)行限定。[0126]視頻顯示區(qū)51用于顯示視頻聯(lián)系人的手機(jī)的攝像模組采集的視頻流。掛斷控件52用于中斷視頻通話。手機(jī)可以檢測(cè)作用在掛斷控件52的觸控操作(如在掛斷控件52上的點(diǎn)擊操作),并響應(yīng)于所述操作中斷視頻通話。攝像頭切換控件53用于切換攝像頭。手機(jī)可以檢測(cè)作用在攝像頭切換控件53的觸控操作(如在攝像頭切換控件53上的點(diǎn)擊操作),并響應(yīng)于所述操作將手機(jī)的攝像模組從前置攝像頭切換為后置攝像頭,或者將手機(jī)的攝像模組從后置攝像頭切換為前置攝像頭。更多選項(xiàng)控件54可包括窗口切換控件等。手機(jī)可以檢測(cè)作用在更多選項(xiàng)控件54的觸控操作(如在更多選項(xiàng)控件54上的點(diǎn)擊操作),顯示窗口切換控件。所述窗口切換控件用于顯示手機(jī)的攝像模組采集的視頻流,并切換視頻窗口。手機(jī)可以檢測(cè)作用在窗口切換控件的觸控操作(如在窗口切換控件上的點(diǎn)擊操作),并響應(yīng)于所述操作切換窗口切換控件及視頻顯示區(qū)51顯示的內(nèi)容。狀態(tài)欄55可以包括網(wǎng)絡(luò)、信號(hào)強(qiáng)度、電池[0127]設(shè)置控件56用于接收用戶輸入的設(shè)置指令。如圖5B中所示,用戶可點(diǎn)擊設(shè)置控件56。手機(jī)在檢測(cè)到用戶選擇的設(shè)置控件56后,顯示設(shè)置界面,如圖5C所示。所述設(shè)置界面可以包括默認(rèn)開(kāi)啟智能跟蹤控件及狀態(tài)欄。圖5C是設(shè)置界面的一種實(shí)例,所述視頻通話的設(shè)置界面還可包括比圖5C所示更多或更少的控件。本申請(qǐng)并不對(duì)視頻通話的用戶界面的內(nèi)容和形式進(jìn)行限定。所述默認(rèn)開(kāi)啟智能跟蹤控件包括默認(rèn)開(kāi)啟智能跟蹤字體及對(duì)應(yīng)的選擇控件。選擇控件可以有兩種狀態(tài),開(kāi)啟及關(guān)閉。當(dāng)用戶對(duì)默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件操作時(shí),可以切換跟蹤模式的狀態(tài)。例如,當(dāng)跟蹤模式處于關(guān)閉狀態(tài)時(shí),用戶選擇默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件(如圖5C所示),則手機(jī)切換為跟蹤模式開(kāi)啟狀態(tài)(如圖5D所示),在狀態(tài)時(shí),用戶選擇默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件,則手機(jī)切換為跟蹤模式關(guān)閉狀態(tài)。[0128]跟蹤模式開(kāi)關(guān)控件57用于接收用戶輸入的跟蹤模式開(kāi)啟或關(guān)閉指令。如圖6A所示,跟蹤模式處于關(guān)閉狀態(tài),用戶可點(diǎn)擊跟蹤模式開(kāi)關(guān)控件57。手機(jī)在檢測(cè)到用戶選擇跟蹤模式開(kāi)關(guān)控件57后,開(kāi)啟跟蹤模式,如圖6B所示。在圖6A中,所述跟蹤模式開(kāi)關(guān)控件包括標(biāo)志61,表示所述跟蹤模式處于關(guān)閉狀態(tài);在圖6B中,所述跟蹤模式開(kāi)關(guān)控件不包括標(biāo)志,表示所述跟蹤模式處于開(kāi)啟狀態(tài)。若跟蹤模式處于開(kāi)啟狀態(tài),用戶也可點(diǎn)擊跟蹤模式開(kāi)關(guān)控件,手機(jī)在檢測(cè)到用戶選擇跟蹤模式開(kāi)關(guān)控件后,關(guān)閉跟蹤模式。[0129]為了開(kāi)啟“直播帶貨”客戶端中的追蹤模式,在一種具體的實(shí)現(xiàn)方式中,如圖7A所示,用戶可以在手機(jī)的主界面上點(diǎn)擊“直播帶貨”客戶端。所述客戶端不僅局限于“直播帶貨”客戶端,還可為快手、淘寶等包括直播帶貨功能的客戶端或者其他類似直播帶貨功能的播帶貨的用戶界面的一種示例,直播帶貨的用戶界面可包括更多或更少的控件,本申請(qǐng)并不對(duì)直播帶貨的用戶界面的內(nèi)容和形式進(jìn)行限定。[0130]視頻顯示區(qū)71用于顯示手機(jī)的攝像模組采集的視頻流。播放/暫??丶?2用于暫停/播放直播。手機(jī)可以檢測(cè)作用在播放/暫??丶?2的觸控操作(如播放/暫??丶?2上的點(diǎn)擊操作),并響應(yīng)于所述操作暫停/播放直播。例如,若播放/暫停控件72處于播放狀態(tài)時(shí),用戶可選擇播放/暫??丶?2,手機(jī)響應(yīng)于所述選擇操作暫停直播;若播放/暫??丶?2處于暫停狀態(tài)時(shí),用戶可選擇播放/暫??丶?2,手機(jī)響應(yīng)于所述選擇操作播放直播。狀態(tài)欄[0131]設(shè)置控件74用于接收用戶輸入的設(shè)置指令。如圖7B中所示,用戶可點(diǎn)擊設(shè)置控件74。手機(jī)在檢測(cè)到用戶選擇的設(shè)置控件74后,顯示設(shè)置界面,如圖7C所示。所述設(shè)置界面可以包括默認(rèn)開(kāi)啟智能跟蹤控件及狀態(tài)欄。圖7C是設(shè)置界面的一種實(shí)例,所述視頻通話的設(shè)置界面還可包括比圖7C所示更多或更少的控件。本申請(qǐng)并不對(duì)視頻通話的用戶界面的內(nèi)容和形式進(jìn)行限定。所述默認(rèn)開(kāi)啟智能跟蹤控件包括默認(rèn)開(kāi)啟智能跟蹤字體及對(duì)應(yīng)的選擇控件。選擇控件可以有兩種狀態(tài),開(kāi)啟及關(guān)閉。當(dāng)用戶對(duì)默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件操作時(shí),可以切換跟蹤模式的狀態(tài)。例如,當(dāng)跟蹤模式處于關(guān)閉狀態(tài)時(shí),用戶選擇默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件(如圖7C所示),則手機(jī)切換為跟蹤模式開(kāi)啟狀態(tài)(如圖7D所示),在狀態(tài)時(shí),用戶選擇默認(rèn)開(kāi)啟智能跟蹤字體或選擇控件,則手機(jī)切換為跟蹤模式關(guān)閉狀態(tài)。[0132]跟蹤模式開(kāi)關(guān)控件75用于接收用戶輸入的跟蹤模式開(kāi)啟或關(guān)閉指令。如圖8A所示,跟蹤模式處于關(guān)閉狀態(tài),用戶可點(diǎn)擊跟蹤模式開(kāi)關(guān)控件75。手機(jī)在檢測(cè)到用戶選擇跟蹤模式開(kāi)關(guān)控件75后,開(kāi)啟跟蹤模式,如圖8B所示。在圖8A中,所述跟蹤模式開(kāi)關(guān)控件包括標(biāo)志81,表示所述跟蹤模式處于關(guān)閉狀態(tài);在圖8B中,所述跟蹤模式開(kāi)關(guān)控件不包括標(biāo)志,表示所述跟蹤模式處于開(kāi)啟狀態(tài)。若跟蹤模式處于開(kāi)啟狀態(tài),用戶也可點(diǎn)擊跟蹤模式開(kāi)關(guān)控件,手機(jī)在檢測(cè)到用戶選擇跟蹤模式開(kāi)關(guān)控件后,關(guān)閉跟蹤模式。[0133]為了方便后續(xù)的描述,以下以客戶端為“視頻通話”客戶端為例對(duì)本申請(qǐng)進(jìn)行說(shuō)[0134]S402,電子設(shè)備獲取攝像模組采集的視頻流,視頻流包括圖像幀。[0135]在客戶端開(kāi)啟之后,在跟蹤模式下,電子設(shè)備首先選定跟蹤目標(biāo),然后才對(duì)跟蹤目標(biāo)進(jìn)行跟蹤。在選定跟蹤目標(biāo)之前,攝像模組固定不動(dòng)去采集同一場(chǎng)景、同一視角的圖像幀。所述攝像頭以固定的頻率采集視頻流,例如30幀每秒。視頻流包括按照時(shí)間順序排序的多幀圖像幀。電子設(shè)備實(shí)時(shí)獲取攝像模組采集的視頻流,例如在時(shí)間t1,電子設(shè)備獲取攝像模組采集的視頻流中的圖像幀1(如圖9A所示);在時(shí)間t2,電子設(shè)備獲取攝像模組采集的視頻流中的圖像幀2(如圖9B所示)??衫斫獾氖牵m然在圖9A及圖9B中示出了電子設(shè)備顯示圖像幀1及圖像幀2,但這并不妨礙認(rèn)為攝像模組采集的圖像幀即為圖9A及圖9B中的圖像幀。[0136]S403,獲取視頻流中的圖像幀的深度信息。[0137]若所述攝像模組為雙目攝像頭、結(jié)構(gòu)光攝像頭、或TOF(Timeofflight,飛行時(shí)間)攝像頭,圖像幀中包括被攝物體的深度信息,可直接獲取圖像幀中的被攝物體的深度信息。若所述攝像模組為普通單目攝像頭,圖像幀中不包括被攝物體的深度信息,可采用單目深度估計(jì)算法來(lái)獲得圖像幀中的被攝物體的深度信息。電子設(shè)備實(shí)時(shí)獲取視頻流中的圖像取到圖9B所示的圖像幀2時(shí),獲取圖像幀2中的人、桌子、杯子及剃須刀等的深度信息。具體地,電子設(shè)備可獲取圖9A所示的圖像幀1中的人的所有像素點(diǎn)的深度信息、桌子的所有像素點(diǎn)的深度信息、杯子的所有像素點(diǎn)的深度信息、及剃須刀的所有像素點(diǎn)的深度信息等;電子設(shè)備可獲取圖9B所示的圖像幀2中的人的所有像素點(diǎn)的深度信息、桌子的所有像素點(diǎn)的深度信息、杯子的所有像素點(diǎn)的深度信息、及剃須刀的所有像素點(diǎn)的深度信息等。[0138]S404,確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象,第一相鄰圖像幀包括第一圖像幀和第二圖像幀,第一圖像幀為位于第二圖像幀前面的圖像幀,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域。[0139]攝像模組所采集的視頻流在時(shí)間上是連續(xù)的,被攝物體的位置也不會(huì)發(fā)生突變。如果場(chǎng)景中沒(méi)有運(yùn)動(dòng)的物體,則第一相鄰圖像幀之間的變化很小。如果場(chǎng)景中存在運(yùn)動(dòng)的物體,則相鄰圖像幀之間的變化會(huì)超過(guò)閾值。在本實(shí)施例中,確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象包括:[0140]確定視頻流中第一相鄰圖像幀之間的相似度,相似度為深度信息的相似度;若視頻流中第一相鄰圖像幀之間的相似度小于閾值,確定視頻流中第一相鄰圖像幀之間的變化區(qū)域,所述變化區(qū)域?yàn)樯疃刃畔⒌牟町悈^(qū)域;確定變化區(qū)域?yàn)榇龣z測(cè)對(duì)象。其中,在確定變化區(qū)域時(shí),可設(shè)置預(yù)設(shè)規(guī)則,例如將人從變化區(qū)域中排除,或者視頻流中第一相鄰圖像幀中的對(duì)象的整體的相似度小于閾值時(shí)才確定對(duì)象為變化區(qū)域,例如視頻流中第一相鄰圖像幀中的整個(gè)人的相似度小于閾值時(shí)才確定人為變化區(qū)域。[0141]所述第一相鄰圖像幀可為一個(gè)第一相鄰圖像幀或多個(gè)第一相鄰圖像幀。繼續(xù)以上述的圖9A及圖9B為例對(duì)本申請(qǐng)進(jìn)行說(shuō)明,一個(gè)第一相鄰圖像幀可包括圖9A所示的圖像幀1及圖9B所示的圖像幀2。其中,圖9A所示的圖像幀1為第一圖像幀,圖9B所示的圖像幀2為第二圖像幀,圖像幀1為位于圖像幀2前面的圖像幀。確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)榇龣z測(cè)對(duì)象可包括:確定視頻流中圖9A所示的圖像幀1中的人、桌子、杯子及剃須刀及圖9B所示的圖像幀2中的人、桌子、杯子及剃須刀之間的深度信息的相似度;圖9A所示的圖像幀1中的杯子、人的手臂及眼睛與圖9B所示的圖像幀2中的杯子、人的手臂及眼睛之間的相似度小于閾值。根據(jù)上述的預(yù)設(shè)規(guī)則,確定視頻流中第一相鄰圖像幀之間的變化區(qū)域?yàn)楸?,則確定杯子為待檢測(cè)對(duì)象。[0142]多個(gè)第一相鄰圖像幀可為,例如圖9A所示的圖像幀1、圖9B所示的圖像幀2、圖3及圖像幀4。這四個(gè)圖像幀為攝像模組攝取的連續(xù)的視頻流。則圖9A所示的圖像幀1與圖9B所示的圖像幀2、圖9B所示的圖像幀2與圖像幀3、及圖像幀3與圖像幀4為三個(gè)相鄰的圖像幀。多個(gè)第一相鄰圖像幀確定待檢測(cè)對(duì)象的過(guò)程與一個(gè)第一相鄰圖像幀確定待檢測(cè)對(duì)象的過(guò)程相似,在此不再贅述。其中,在多個(gè)第一相鄰圖像幀確定待檢測(cè)對(duì)象的過(guò)程中,若多個(gè)第一相鄰圖像幀中存在一個(gè)第一相鄰圖像幀中的對(duì)象(例如杯子)之間的相似度大于閾值,則可忽略此個(gè)第一相鄰圖像幀。[0143]第一相鄰圖像幀之間的相似度為第一相鄰圖像幀像素點(diǎn)之間的相似度。具體地,所述設(shè)備可通過(guò)比較第一相鄰圖像幀像素點(diǎn)之間的相似度;確定相鄰圖像幀之間的深度信息的變化值超過(guò)閾值的像素點(diǎn)為第一像素點(diǎn);確定相鄰圖像幀中第一像素點(diǎn)的深度變化值;根據(jù)所述第一像素點(diǎn)的深度變化值確定深度變化圖像;計(jì)算深度變化圖像中每個(gè)像素點(diǎn)與其空間上相鄰的像素點(diǎn)之間的最小深度變化值來(lái)形成距離差圖像;對(duì)所述距離差圖像進(jìn)行閾值二值化處理來(lái)獲得二值圖像;在所述二值圖像中,進(jìn)行連通域標(biāo)記,確定連通域;根據(jù)連通域確定待檢測(cè)對(duì)象。所述連通域即為上述的變化區(qū)域。[0144]繼續(xù)以上述的圖9A及圖9B為例來(lái)說(shuō)明如何在一個(gè)第一相鄰圖像幀的情況下根據(jù)像素點(diǎn)確定待檢測(cè)對(duì)象,圖9A所示的圖像幀1與圖9B所示的圖像幀2進(jìn)行比較時(shí),圖像幀1與[0145]連通域是指在圖像幀中具有相同像素值并且位置相鄰的像素組成的區(qū)域。所述連通域中的每個(gè)像素點(diǎn)和在空間上與其相鄰的相鄰像素點(diǎn)存在一定的相似性,則所述連通域中的每個(gè)像素點(diǎn)和所述相鄰的像素點(diǎn)之間的深度差不會(huì)發(fā)生突變,即所述連通域中的每個(gè)像素點(diǎn)和所述相鄰的像素點(diǎn)之間的深度差的絕對(duì)值小于一定的深度差。所述深度變化圖像的圖像數(shù)據(jù)如圖10A所示。所述深度變化圖像為單通道圖像。所述深度變化圖像中的每個(gè)像素點(diǎn)所表示的值為所述像素點(diǎn)的深度變化值。例如,在圖10A中,所述深度變化圖像的分辨率為100x100,所述深度變化圖像中數(shù)值為0的像素點(diǎn)表示第一相鄰圖像幀中的像素點(diǎn)的深度信息的變化值小于閾值,數(shù)值不為0的像素點(diǎn)表示第一相鄰圖像幀中的像素點(diǎn)的深度信息的變化值超過(guò)閾值。所述像素點(diǎn)與其空間上相鄰的像素點(diǎn)可如圖10B或如圖10C所示。圖10B及圖10C中以上述的第一像素點(diǎn)中的像素點(diǎn)f為例進(jìn)行說(shuō)明。在圖10B中,所述像素點(diǎn)f具有4個(gè)與其在空間上相鄰的像素點(diǎn),分別為像素點(diǎn)g、像素點(diǎn)h、像素點(diǎn)i及像素點(diǎn)j.所述像素點(diǎn)g、所述像素點(diǎn)h、所述像素點(diǎn)i及所述像素點(diǎn)j分別位于所述像素點(diǎn)f的正上方、正下方、正左方及正右方。在圖10C中,所述像素點(diǎn)f具有8個(gè)與其在空間上相鄰的像素點(diǎn),分別為像素及右下角。[0146]為了方便描述,繼續(xù)以上述的第一像素點(diǎn)中的像素點(diǎn)f及以像素點(diǎn)f具有4個(gè)與其在空間上相鄰的像素點(diǎn)為例進(jìn)行說(shuō)明如何計(jì)算深度變化圖像中每個(gè)像素點(diǎn)與其空間上相鄰的像素點(diǎn)之間的最小深度變化值。如圖10B所示,所述像素點(diǎn)f的深度變化值為0.21米、所述像素點(diǎn)g的深度變化值為0.25米、所述像素點(diǎn)h的深度變化值為0.27米、所述像素點(diǎn)i的深度變化值為0.2米、所述像素點(diǎn)j的深度變化值為0.3米,像素點(diǎn)f與其空間上相鄰的像素點(diǎn)素點(diǎn)f與其空間上相鄰的像素點(diǎn)之間的最小深度變化值為0.01米。所述距離差圖像的圖像數(shù)據(jù)如圖10D所示。所述距離差圖像為單通道圖像。所述距離差圖像中的每個(gè)像素點(diǎn)所表示的值為所述像素點(diǎn)與其空間上相鄰的像素點(diǎn)之間的最小深度變化值。[0147]對(duì)所述距離差圖像進(jìn)行閾值二值化處理可為,若像素點(diǎn)所表示的值小于預(yù)設(shè)值(例如0.03等),則所述像素點(diǎn)所表示的值進(jìn)行閾值二值化處理后為1;若像素點(diǎn)所表示的值大于預(yù)設(shè)值(例如0.03等),則所述像素點(diǎn)所表示的值進(jìn)行閾值二值化處理后為0。繼續(xù)以上述的第一像素點(diǎn)中的像素點(diǎn)f為例對(duì)本申請(qǐng)進(jìn)行說(shuō)明,像素點(diǎn)f所表示的值0.01小于預(yù)設(shè)值0.03,則所述像素點(diǎn)f所表示的值進(jìn)行閾值二值化處理后為1,即像素點(diǎn)f在二值圖像中的像素值為1。可理解,按照上述的確定像素點(diǎn)f在二值圖像中的像素值的過(guò)程,其他第一像素點(diǎn)的圖像數(shù)據(jù)如圖10E所示,所述二值圖像為單通道圖像。所述二值圖像中的每個(gè)像素點(diǎn)所表示的像素值為最小深度變化值進(jìn)行閾值二值化處理后的值。[0148]在所述二值圖像中,進(jìn)行連通域標(biāo)記,確定連通域。所述連通域的數(shù)量可為一個(gè)或多個(gè)。上述的圖10E所示的二值圖像進(jìn)行連通域標(biāo)記后,確定連通域H、連通域I和連通域J。連通域I包括像素點(diǎn)f、g,連通域J包括h。在確定連通域后,可根據(jù)上述的預(yù)設(shè)規(guī)則:將人從變化區(qū)域中排除,或者視頻流中第一相鄰圖像幀中的對(duì)象的整體之間的相似度小于閾值時(shí)才確定對(duì)象為變化區(qū)域,可排除連通域I及連通域J,進(jìn)而完成連通域的確定。然后,可確定具有最大的區(qū)域面積及/和第一相鄰圖像幀中的深度變化值最大的連通域?yàn)榇龣z測(cè)對(duì)象。例如,以另外的例子來(lái)進(jìn)行說(shuō)明,排除后的連通域的數(shù)量為兩個(gè),分別為連通域K及連通域L,若連通域K的區(qū)域面積大于連通域L的區(qū)域面積,則確定待檢測(cè)對(duì)象為連通域K,或者若第一相鄰圖像幀中連通域K的深度變化值大于連通域L的深度變化值,則確定待檢測(cè)對(duì)象為連通域K,從而在有多個(gè)連通域變化時(shí),可排除一些連通域,即可排除圖像幀中的一些雜訊。其象??衫斫?,本申請(qǐng)還可為在確定第一像素點(diǎn)時(shí),或者確定第一像素點(diǎn)的深度變化值時(shí),或者確定深度變化圖像時(shí),或者形成距離差圖像時(shí),或者獲得二值圖像時(shí),將人的手臂及人的眼睛從變化中排除。[0149]在多個(gè)第一相鄰圖像幀的情況下根據(jù)像素點(diǎn)確定待檢測(cè)對(duì)象的過(guò)程與在一個(gè)第一相鄰圖像幀的情況下根據(jù)像素點(diǎn)確定待檢測(cè)對(duì)象的過(guò)程相似,在此不再贅述。其中,在多個(gè)第一相鄰圖像幀的情況下根據(jù)像素點(diǎn)確定待檢測(cè)對(duì)象的過(guò)程中,根據(jù)所有第一相

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論