授課老師：連國云項(xiàng)目14：智能機(jī)器人認(rèn)臉識主人《智能機(jī)器人技術(shù)》課程任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)在ROS系統(tǒng)中使用OpenCV庫對人臉進(jìn)行識別，對識別出的人臉用粉色圓圈標(biāo)出，對識別出的眼睛用藍(lán)色圓圈標(biāo)出。任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝ROS系統(tǒng)中對攝像頭的操作主要是通過usb_cam功能包完成的，該package主要是依靠sensor_msgs/Image消息向其他節(jié)點(diǎn)發(fā)布圖像相關(guān)的數(shù)據(jù)在ROS中可以啟動(dòng)usb_cam功能包中usb_cam_node節(jié)點(diǎn)，實(shí)現(xiàn)sensor_msgs/Image消息的發(fā)布。任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝在ROS系統(tǒng)官方提供的usb_cam功能包中，包含用于啟動(dòng)usb_cam_node的launch文件，在啟動(dòng)master節(jié)點(diǎn)的條件下，輸入以下命令：$roslaunchusb_camusb_cam-test.launch通過rostopic命令查看該topic消息類型$rostopicinfo/usb_cam/image_raw任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝從輸出的消息中可以看到，圖像的話題名為usb_cam/image_raw，該消息的類型是sensor_msgs/Image，這是ROS定義的一種攝像頭原始圖像的消息類型，可以使用以下命令查看該圖像消息的詳細(xì)定義：$rosmsgshowsensor_msgs/Image任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝該類型圖像數(shù)據(jù)的具體內(nèi)容如下：header：消息頭，包含圖像的序號、時(shí)間戳和綁定坐標(biāo)系height：圖像的縱向分辨率，即圖像包含多少行的像素點(diǎn)，這里使用的攝像頭為720width：圖像的橫向分辨率，即圖像包含多少列的像素點(diǎn)，這里使用的攝像頭為1280encoding：圖像的編碼格式，包含RGB、YUV等常用格式，不涉及圖像壓縮編碼任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像數(shù)據(jù)封裝is_bigendian：圖像數(shù)據(jù)的大小端存儲模式step：一行圖像數(shù)據(jù)的字節(jié)數(shù)量，作為數(shù)據(jù)的步長參數(shù)，這里使用的攝像頭為widthX3=1280X3=3840字節(jié)data：存儲圖像數(shù)據(jù)的數(shù)組，大小為stepXheight字節(jié)，根據(jù)該公式可以算出這里使用的攝像頭產(chǎn)生一幀圖像的數(shù)據(jù)大小是3840X720=2764800字節(jié)，即2.7648MB任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定由于鏡頭在加工、裝配中難免會存在一些誤差，因此，攝像頭成像系統(tǒng)中不可避免的會引入鏡頭畸變。鏡頭的畸變破壞了理想的成像關(guān)系，導(dǎo)致像點(diǎn)偏離理想的位置，使得成像發(fā)生形變。通常情況下，鏡頭畸變模型可分為三大類即：徑向畸變、切向畸變、薄棱鏡畸變?nèi)蝿?wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定要使用攝像頭對物體進(jìn)行測量與識別，就需要獲知攝像頭的內(nèi)、外參數(shù)，以及畸變參數(shù)，而一般情況下，使用者難以事先知道這些參數(shù)，這就需要進(jìn)行攝像頭的標(biāo)定獲得這些參數(shù)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定ROS系統(tǒng)作為一個(gè)機(jī)器人控制平臺，在進(jìn)行機(jī)器視覺操作之前也需要進(jìn)行視覺標(biāo)定，ROS系統(tǒng)中專門提供了可以用于雙目和單目攝像頭標(biāo)定的功能包：camera_calibration。首先使用以下命令安裝攝像頭標(biāo)定功能包：$sudoapt-getinstallros-kinetic-camera-calibration任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定標(biāo)定需要用到如下圖所示棋盤格圖案的標(biāo)定靶任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定將USB攝像頭的USB接口插入到主機(jī)上，在啟動(dòng)master節(jié)點(diǎn)的條件下，新建一個(gè)終端，輸入下面的命令啟動(dòng)攝像頭$roslaunchusb_camusb_cam-test.launch啟動(dòng)成功后，將會出現(xiàn)圖像信息任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定首次啟動(dòng)攝像頭且沒有進(jìn)行過校準(zhǔn)的話，會出現(xiàn)Cameracalibrationfilenotfound的警告信息。這是正常的攝像頭啟動(dòng)完成以后，運(yùn)行下面的命令啟動(dòng)校準(zhǔn)程序$rosruncamera_calibrationcameracalibrator.py--size8x6--square0.024image:=/usb_cam/image_rawcamera:=/usb_camsize

指的是標(biāo)定棋盤格內(nèi)部角點(diǎn)一共幾行幾列square

指定每個(gè)棋盤格子的大小，單位為米image和camera

設(shè)置攝像頭發(fā)布的圖像話題任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定將出現(xiàn)的標(biāo)定程序放大后，手托著測試的棋盤進(jìn)入到攝像頭攝影范圍。同時(shí)出現(xiàn)X、Y、Size、Skew的指示信息X表示棋盤在視野中的左右移動(dòng)Y表示上下移動(dòng)Size表示前后移動(dòng)Skew表示傾斜移動(dòng)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定不斷在視野中移動(dòng)棋盤，直到“CALIBRATE“按鈕變成綠色，表示標(biāo)定程序所需要的參數(shù)已經(jīng)采集完成任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定點(diǎn)擊“CALIBRATE“按鈕，界面會變成灰色無響應(yīng)狀態(tài)。此時(shí)程序正在計(jì)算校準(zhǔn)參數(shù)，請不要關(guān)閉任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定參數(shù)計(jì)算完成后界面恢復(fù)正常，同時(shí)在終端上輸出了標(biāo)定結(jié)果。點(diǎn)擊界面中的“save“按鈕，會保存到默認(rèn)的文件夾下。點(diǎn)擊“COMMIT“按鈕，提交數(shù)據(jù)并退出程序任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)視覺標(biāo)定關(guān)閉上面所有的啟動(dòng)的節(jié)點(diǎn)，重新啟動(dòng)攝像頭。發(fā)現(xiàn)不再有無法找到校準(zhǔn)文件的警告任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫OpenCV庫(OpenSourceComputerVisionLibrary)是一個(gè)基于BSD許可發(fā)行的跨平臺開源計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和macOS等操作系統(tǒng)上?；贠penCV庫，開發(fā)者可以快速開發(fā)機(jī)器視資方面的應(yīng)用，而且ROS中已經(jīng)集成了OpenCV庫和相關(guān)的接口功能包，使用以下命令即可安裝：$sudoapt-getinstallros-melodic-vision-opencvlibopencv-devpycnon-opencv任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫ROS系統(tǒng)自身通過sensor_msgs/Image的消息指定傳送圖像格式，但ROS缺乏相關(guān)的圖像處理能力，無法完成進(jìn)一步的圖像處理與識別工作。OpenCV作為十分成熟的圖像處理庫，則提供了強(qiáng)大穩(wěn)定的圖像處理功能。ROS用戶更傾向使用OpenCV進(jìn)行圖像處理。ROS為開發(fā)者提供了與OpenCV的接口功能包：cv_bridge任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫下面通過一個(gè)簡單的例子了解如何使用cv_bridge完成ROS與OpenCV之間的圖像轉(zhuǎn)換。在該例程中，一個(gè)ROS節(jié)點(diǎn)訂閱攝像頭驅(qū)動(dòng)發(fā)布的圖像消息，然后將其轉(zhuǎn)換成OpenCV的圖像格式進(jìn)行顯示，最后再將該OpenCV格式的圖像轉(zhuǎn)換成ROS圖像消息進(jìn)行發(fā)布并顯示任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫通過以下命令啟動(dòng)該例程：$roslaunchusb_camusb_cam-test.launch$rosrunrobot_visioncv_bridge_test.py$rqt_image_view任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)OpenCV庫實(shí)現(xiàn)該例程的源碼robot_vision/scripts/cv_bridge_test.py的內(nèi)容如下：import

rospyimport

cv2from

cv_bridge

importCvBridge,CvBridgeErrorfrom

sensor_msgs.msg

importImage任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)class

image_converter:def_init_(self):

#創(chuàng)建cv_bridge，聲明圖像的發(fā)布者和訂閱者

self.image_pub=rospy.Publisher("cv_bridge_image",Image,queue_size=1)

self.bridge=CvBridge()

self.image_sub=rospy.subscriber("/usb_cam/image_raw",Image,self.callback)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)

def

callback(self,data):#使用cv_bridge將ROS的圖像數(shù)據(jù)轉(zhuǎn)換成OpenCV的圖像格式try:cv_image=self.bridge.imgmsg_to_cv2(data,"bgr8")

exceptCvBridgeErrorase:

printe任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)

#在opencv的顯示窗口中繪制一個(gè)圓作為標(biāo)記(rows,cols,channels)=cv_image.shape

ifcols>60androws>60:cv2.circle(cv_image,(60,60),30,(0,0,255),-1)#顯示OpenCV格式的圖像cv2.imshow("Imagewindow",cv_image)cv2.waitKey(3)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)

#再將OpenCV格式的數(shù)據(jù)轉(zhuǎn)換成ROSimage格式的數(shù)據(jù)發(fā)布try:

self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image,"bgr8"))

exceptCvBridgeErrorase:

printe任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)

#再將OpenCV格式的數(shù)據(jù)轉(zhuǎn)換成ROSimage格式的數(shù)據(jù)發(fā)布try:

self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image,"bgr8"))

exceptCvBridgeErrorase:

printe任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)if_name_=='_main_':

try:#初始化ROS節(jié)點(diǎn)rospy.init_node("cv_bridge_test")rospy.loginfo("Startingcv_bridge_testnode")image_converter()rospy.spin()

except

KeyboardInterrupt:

print

"Shutting

downcv_bridge_testnode."cv2.destroyAllWindows()任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(1)import

cv2from

cv_bridgeimportCvBridge,CvBridgeError要調(diào)用OpenCV，必須先導(dǎo)入OpenCV模塊，另外還應(yīng)導(dǎo)入cv_bridge所需要的一些模塊OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(2)self.image_pub=rospy.Publisher("cv_bridge_image",Image,queue_size=1)

self.bridge=CvBridge()

self.image_sub=rospy.subscriber("/usb_cam/image_raw",Image,self.callback)OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)在image_converter類中定義其_init_方法，在該方法中，發(fā)布了名字為cv_bridge_image的topic，該topic的消息為Image；訂閱了/usb_cam/image_raw的topic，通過該topic訂閱的消息為Image，訂閱該topic的callback函數(shù)為self.callback；初始化CvBridge

類的對象為bridgeOpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(3)try:cv_image=self.bridge.imgmsg_to_cv2(data,"bgr8")

exceptCvBridgeErrorase:

printe在callback函數(shù)中完成ROS圖像到OpenCV圖像的轉(zhuǎn)換，再由OpenCV圖像轉(zhuǎn)換為ROS圖像的操作。OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(4)(rows,cols,channels)=cv_image.shape

ifcols>60androws>60:cv2.circle(cv_image,(60,60),30,(0,0,255),-1)通過cv_image的shape方法獲取轉(zhuǎn)換后圖像的行數(shù)、列數(shù)和通道數(shù)，在行數(shù)、列數(shù)符合條件的情況下，在指定位置畫出紅色圓圈OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(5)cv2.imshow("Imagewindow",cv_image)cv2.waitKey(3)將由ROS圖像轉(zhuǎn)換為OpenCV的圖像顯示出來，延時(shí)時(shí)長為3msOpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(6)try:self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image,"bgr8"))

exceptCvBridgeErrorase:

printeOpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)使用CvBridge類中的cv2_to_imgmsg方法，將cv_image轉(zhuǎn)換為ROS的圖像消息，該方法同樣要求輸入圖像數(shù)據(jù)流和數(shù)據(jù)格式這兩個(gè)參數(shù)，轉(zhuǎn)換完之后將轉(zhuǎn)換得到的ROS圖像消息通過rospy中的publish類的publish方法發(fā)布出去OpenCV庫任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)圖像識別是智能機(jī)器人完成相關(guān)功能的重要方式與途徑，人臉識別是圖像識別中較為典型和成熟的應(yīng)用，在智能機(jī)器人中可以用于生物特征識別、視頻監(jiān)聽、人機(jī)交互等應(yīng)用中。人臉識別的處理主要是在輸入的圖像中確定人臉(如果存在)的位置、大小和姿態(tài)人臉識別任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)人臉識別是圖像識別一種典型的應(yīng)用，人臉識別與圖像識別的處理過程基本一致，其基本過程主要包括圖像預(yù)處理、圖像規(guī)范化、圖像識別三個(gè)基本階段。圖像識別算法是整個(gè)處理過程的核心，目前有多種算法可以實(shí)現(xiàn)圖像識別的功能，其中Haar

分類是較為成熟的一種算法，應(yīng)用也較為廣泛人臉識別任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)在ROS系統(tǒng)中調(diào)用OpenCV庫進(jìn)行人臉識別，主要涉及兩個(gè)主要操作，一是將ROS圖像轉(zhuǎn)換為OpenCV的圖像，二是對OpenCV的圖像進(jìn)行人臉識別OpenCV已經(jīng)集成了人臉識別算法，所以我們不需要重新開發(fā)該算法，只需要調(diào)用OpenCV相應(yīng)的接口就可以實(shí)現(xiàn)人臉識別的功能人臉識別任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)#coding=utf8from

cv_bridge.coreimportCvBridgeErrorimport

rospyfrom

cv_bridge

importCvBridgefrom

sensor_msgs.msgimportImageimport

cv2ascvimport

os人臉識別任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)bridge=CvBridge()img=Noneimg_topic="/usb_cam/image_raw"cwd=os.getcwd()face_cascade_name='/haarcascade_frontalface_alt.xml'eyes_cascade_name='/haarcascade_eye_tree_eyeglasses.xml'face_cascade=cv.CascadeClassifier()eyes_cascade=cv.CascadeClassifier()任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)if

noteyes_cascade.load(cwd+eyes_cascade_name):

print('--(!)Errorloadingeyescascade')

exit(0)if

notface_cascade.load(cwd+face_cascade_name):

print('--(!)Error

loading

face

cascade')

exit(0)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)def

shutdown():cv.destroyAllWindows()rospy.loginfo('bye')rospy.sleep(1.0)def

img_cb(data):

globalimg

try:img=bridge.imgmsg_to_cv2(data,desired_encoding='bgr8')detectAndDisplay(img)cv.waitKey(1)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)exceptCvBridgeErrorase:print(e)pass任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)#/master/db/d28/tutorial_cascade_classifier.htmldefdetectAndDisplay(frame):globalface_cascadeframe_gray=cv.cvtColor(frame,cv.COLOR_BGR2GRAY)frame_gray=cv.equalizeHist(frame_gray)#--Detectfacesfaces=face_cascade.detectMultiScale(frame_gray)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)for(x,y,w,h)infaces:center=(x+w//2,y+h//2)frame=cv.ellipse(frame,center,(w//2,h//2),0,0,360,(255,0,255),4)faceROI=frame_gray[y:y+h,x:x+w]#--Ineachface,detecteyeseyes=eyes_cascade.detectMultiScale(faceROI)for(x2,y2,w2,h2)ineyes:eye_center=(x+x2+w2//2,y+y2+h2//2)radius=int(round((w2+h2)*0.25))frame=cv.circle(frame,eye_center,radius,(255,0,0),4)cv.imshow("facedetection",frame)任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)if__name__=="__main__":rospy.init_node('face_detec',anonymous=False)rospy.on_shutdown(shutdown)rospy.subscriber(img_topic,Image,callback=img_cb)rospy.spin()在該程序中是通過訂閱ROS中的/usb_cam/image_raw話題的Image消息，通過callback函數(shù)，將訂閱的ROS圖像轉(zhuǎn)換為OpenCV圖像，再通過在callback函數(shù)中嵌套detectAndDisplay

函數(shù)，實(shí)現(xiàn)對人臉的識別與顯示功能任務(wù)要求知識導(dǎo)入任務(wù)實(shí)施任務(wù)評價(jià)(1)在PC端的ROS系統(tǒng)中安裝OpenCV庫使用以下命令安裝OpenCV功能包：$sudoapt-getinstallros-melodic-vision-opencvlibopencv-devpycnon-opencv(2)在PC端的catkin_ws工作空間中創(chuàng)建fa