--PAGE9---PAGE8-某激光投影鍵盤(pán)的硬件和軟件設(shè)計(jì)案例分析目錄TOC\o"1-3"\h\u19401某激光投影鍵盤(pán)的硬件和軟件設(shè)計(jì)案例分析 16110第1章硬件的設(shè)計(jì)與組裝 1164491.1硬件部分設(shè)計(jì)與研究 185471.2本章小結(jié) 911922第2章程序的編寫(xiě) 10304552.1攝像頭程序 1122742.2.1信號(hào)采集 1184512.2.2位圖轉(zhuǎn)二值圖 123622.2.3單片機(jī)圖像處理 13282922.2.4光斑的提取與比對(duì) 1387552.3閾值調(diào)節(jié)程序 17256922.4鍵盤(pán)坐標(biāo)程序 17234702.5其他程序 18第1章硬件的設(shè)計(jì)與組裝1.1硬件部分設(shè)計(jì)與研究硬件的設(shè)計(jì)和組裝主要研究了各電路的焊接、攝像頭和激光鍵盤(pán)圖案發(fā)射器以及整體的組合，還有外殼孔洞與杜邦線的焊接與整體系統(tǒng)調(diào)試。電路原理圖其中主要包括核心板電路圖、攝像頭原理圖、鍵盤(pán)圖案投射器及一字線激光器原理圖等。各原理圖簡(jiǎn)要研究如下：（1）核心板電路模塊：STM32F103RBT6單片機(jī)的工作電壓為1.3V，對(duì)應(yīng)于ov7670和TFT屏幕的電壓，有利于電路設(shè)計(jì)和模塊連接。單片機(jī)的兩端，分別連接復(fù)位引腳，還有1.3V的上拉電阻R3，具有限制電流的功能。設(shè)置單片機(jī)的復(fù)位方式，采用按鍵復(fù)位的方式。按鍵復(fù)位，按下時(shí)，電平變高，使單片機(jī)復(fù)位。當(dāng)S1按鍵按下時(shí)，復(fù)位引腳將會(huì)變?yōu)榈碗娖?，按鍵松開(kāi)時(shí)，復(fù)位引腳將會(huì)再變?yōu)楦唠娖?，這個(gè)過(guò)程復(fù)位引腳由高變低再變高，從而實(shí)現(xiàn)了硬件的復(fù)位；C5電容的作用為，過(guò)濾一些雜亂波形防止隨機(jī)復(fù)位，除此之外還可以在單片機(jī)剛剛上電的時(shí)候，電容的充放電過(guò)程，電平由低變高，以此實(shí)現(xiàn)上電復(fù)位。一般情況下，我們使用的晶振模式都是如圖所示。作為負(fù)載電容，其功能就是帶通，在某段頻率區(qū)間內(nèi)可以使電信號(hào)通過(guò)。圖3-1STM32F103RBT6單片機(jī)電路圖圖3-2核心板實(shí)物圖鍵盤(pán)圖案發(fā)射器及一字線激光器原理圖:調(diào)整好的鍵盤(pán)圖案發(fā)射器可以在平面上看到平整的激光鍵盤(pán)圖案，手指放到鍵盤(pán)圖案上，可以檢測(cè)到這些手指上的反射光斑，并確定和計(jì)算這些光斑的位置。通過(guò)處理，可以識(shí)別出用戶的“按鍵”操作，實(shí)現(xiàn)鍵盤(pán)功能。一字線激光器組裝和使用方便。它可以安裝在垂直的平面或者水平面上，以確保可見(jiàn)的激光標(biāo)記線，從而出現(xiàn)可見(jiàn)和非接觸的定位線，其優(yōu)點(diǎn)是生產(chǎn)操作舒適，提高了生產(chǎn)效率，激光線可以隨意設(shè)置在三維空間中，用來(lái)達(dá)到最佳效果。激光器發(fā)出的光需要盡可能靠近水平面，以確保用戶接觸水平面的事件能夠被準(zhǔn)確識(shí)別。如果發(fā)出的光線與其距離太大，處理軟件會(huì)為沒(méi)有按鍵動(dòng)作的手指觸發(fā)黏鍵事件，產(chǎn)生錯(cuò)誤。如果發(fā)出的光線離水平面太近，會(huì)照亮水平面，干擾軟件的正常運(yùn)行。圖3-3鍵盤(pán)圖案發(fā)射器原理圖和一字線激光器原理圖圖3-4鍵盤(pán)圖案發(fā)射器圖3-5一字線發(fā)射器（3）攝像頭模塊:在設(shè)計(jì)方案初期采用ov5640攝像機(jī)，但它的圖像質(zhì)量太高，圖像數(shù)據(jù)太大，因此傳輸速度很慢，所以采用ov7670攝像機(jī)，ov7670采用FIFO模塊，帶緩沖存儲(chǔ)器的模塊，對(duì)于速度較慢的mcu也可以進(jìn)行圖像采集控制。這種攝像頭具有3M以上的緩沖區(qū)，所收集的數(shù)據(jù)可以臨時(shí)存儲(chǔ)在該緩沖器中，并且在使用時(shí)可以讀取存儲(chǔ)的圖像數(shù)據(jù)。滿足單片機(jī)圖像數(shù)據(jù)采集和mcu的速度要求。圖3-6攝像頭原理圖圖3-7ov7670攝像頭攝像頭和單片機(jī)接口分別為：GDN接地點(diǎn)SIO_CSCCB接口的控制時(shí)鐘SIO_DSCCB接口的串行數(shù)據(jù)輸入（出）端VSYNC幀同步信號(hào)（輸出信號(hào)）HREF行同步信號(hào)（輸出信號(hào)）PCLK像素時(shí)鐘（輸出信號(hào)）XCLCK時(shí)鐘信號(hào)（輸入信號(hào)）D0-D7數(shù)據(jù)端口（輸出信號(hào)）RESTE復(fù)位端口（正常使用拉高）PWDN功耗選擇模式（正常使用拉低）STROBE—拍照閃光控制端口（正常使用可以不需要）FIFO_RCKFIFO內(nèi)存讀取時(shí)鐘控制端FIFO_WR_CTRFIFO寫(xiě)控制端(1為允許CMOS寫(xiě)入到FIFO，0為禁止)FIFO_OEFIFO關(guān)斷控制FIFO_WRST—FIFO寫(xiě)指針?lè)?wù)端FIFO_RRST—FIFO讀指針復(fù)位端攝像模塊的主要作用是捕獲反射的紅外信號(hào)，然后將圖像傳輸給單片機(jī)，在安裝攝像模塊時(shí)，必須選擇與投影面的合理角度，因此，在設(shè)計(jì)過(guò)程中要進(jìn)行簡(jiǎn)單的角度設(shè)計(jì)。將手指按下位置和水平面之間的角度設(shè)置為θ，用戶通常使用鍵盤(pán)時(shí)的θ為60°~75°。將攝像頭和水平面之間的角度設(shè)置為ɑ，通常攝像頭距水平面高度約10厘米能捕捉到手指按下的畫(huà)面。激光發(fā)射器與水平面的夾角設(shè)為β，距水平面高度約為15厘米，鍵盤(pán)有效范圍與光源的線性距離為[D1~D2]（D2>D1）。當(dāng)攝像機(jī)角度ɑ滿足激光發(fā)射器在攝像頭之間并符合公式的時(shí)候，攝像機(jī)可以正常捕獲鍵盤(pán)區(qū)域反射的所有紅外信號(hào)。根據(jù)已知條件可以得出ɑ為40°左右。因此可以得出上述部件的幾何模型如圖所示：圖3-8各部件幾何模型（4）TFT屏幕模塊:TFT屏幕可以“激活”屏幕上任何一個(gè)獨(dú)立的像素，可以顯著提高響應(yīng)時(shí)間，TFT屏幕的響應(yīng)時(shí)間比較快，大約80ms，視角比較大，甚至可以達(dá)到130度，所以可以顯示高速的屏幕信息，TFT是一種采用有源矩陣技術(shù)驅(qū)動(dòng)的有源矩陣液晶顯示器，包括使用薄層晶體管電極和使用掃描方法拉動(dòng)“有源”來(lái)控制任何顯示點(diǎn)的輸入和輸出。光源輻射時(shí)，先透過(guò)下偏光板向上穿透，利用液晶分子導(dǎo)光，通過(guò)遮光和光線傳遞達(dá)到顯示的目的。在設(shè)計(jì)和連接時(shí)，利用TFT屏幕觀察攝像頭拍攝的圖像，整體設(shè)計(jì)完畢后，TFT可以移除。圖3-9TFT電路圖圖3-10TFT屏幕圖3-11整體電路圖藍(lán)牙模塊集成藍(lán)牙模塊Hc-05有兩種操作模式：命令響應(yīng)模式和自動(dòng)連接模式。在自動(dòng)連接模式下，模塊可分為主、從、環(huán)回三個(gè)工作輪，當(dāng)模塊處于自動(dòng)連接模式時(shí)，將按默認(rèn)模式自動(dòng)連接數(shù)據(jù)傳輸；如果模塊處于命令響應(yīng)模式，它可以執(zhí)行所有命令。用戶可以向模塊發(fā)送不同的AT命令來(lái)設(shè)置控制參數(shù)或發(fā)出控制命令，通過(guò)控制模塊外部引腳的輸入電平，實(shí)現(xiàn)模塊工作狀態(tài)的動(dòng)態(tài)轉(zhuǎn)換。圖3-12藍(lán)牙組件圖1、配置波特率上電后，Key拉高，進(jìn)入AT指令，此時(shí)波特率為38400。2、配置為主模式AT+ROLE=1回車(chē)，成功返回OK3、設(shè)置為主模塊的步驟：=1\*GB3①PIO11置高。=2\*GB3②上電，模塊進(jìn)入AT命令響應(yīng)狀態(tài)。=3\*GB3③超級(jí)終端或其他串口工具，設(shè)置波特率38400，數(shù)據(jù)位8位，停止位1位，無(wú)校驗(yàn)位，無(wú)流控制。=4\*GB3④串口發(fā)送字符“AT+ROLE=1\r\n”，成功返回“OK\r\n”，其中\(zhòng)r\n為回車(chē)換行。PIO置低，重新上電，模塊為主模塊，自動(dòng)搜索從模塊，建立連接。4、任意地址配置，這樣可自動(dòng)識(shí)別、自動(dòng)連接AT+CMODE=1回車(chē)，成功返回OK1.2本章小結(jié)本章主要概述了各硬件部分的電路原理及連接方式，其中主要包括核心板電路模塊、鍵盤(pán)圖案發(fā)射器及一字線激光器、攝像頭和藍(lán)牙模塊。下圖為硬件部分核心組件設(shè)計(jì)連接圖。圖3-13硬件部分核心組件連接圖第2章程序的編寫(xiě)程序的編寫(xiě)主要包括圖像識(shí)別程序和上位機(jī)接口程序，中心點(diǎn)是對(duì)采集到的投影圖像進(jìn)行識(shí)別和處理，即對(duì)信號(hào)進(jìn)行定位和編碼，最后得到用戶實(shí)際的手指輸入信息，程序的主要部分是利用單片機(jī)強(qiáng)大的計(jì)算能力對(duì)采集到的信號(hào)進(jìn)行圖像處理，包括信號(hào)定位和灰度圖轉(zhuǎn)換為二值圖等工作。圖4-1程序流程圖2.1攝像頭程序圖像處理需要圖像，而圖像是由攝像機(jī)獲取的，因此攝像頭是整個(gè)過(guò)程的起點(diǎn)。設(shè)置攝像頭的通信方式為SCCB總線方式，SIDpin的用途是用作輸入或輸出，只需要將其配置為輸入pin或輸出pin就可以。FIFO讀取數(shù)據(jù)復(fù)位。攝像頭采集圖像數(shù)據(jù)首先是將其存儲(chǔ)在攝像頭的FIFO芯片中。進(jìn)入FIFO后，數(shù)據(jù)將被傳輸?shù)組CU，每次FIFO復(fù)位后，下一幅圖像將被存儲(chǔ)和傳輸。SCCB啟動(dòng)命令。STM32用這個(gè)命令調(diào)用ov7670，它是數(shù)據(jù)傳輸?shù)那皩?dǎo)信號(hào)。停止命令，SCCB將停止信號(hào)，單片機(jī)通過(guò)此命令完成對(duì)ov7670攝像機(jī)的調(diào)用，一組數(shù)據(jù)傳輸過(guò)程完成。MCU通過(guò)命令符號(hào)查詢數(shù)據(jù)發(fā)送是否成功，1成功，0失敗。從ov7670攝像機(jī)讀取一個(gè)字節(jié)的數(shù)據(jù)。另一行語(yǔ)句用于讀取數(shù)組。數(shù)組的值由后半部分表示，前半部分是地址。此數(shù)組用于保存數(shù)據(jù)。將上述數(shù)組逐個(gè)寫(xiě)入ov7670寄存器。讀取ov7670寄存器以讀取指定地址的寄存器值。然后，初始化攝像頭芯片，即配置陣列寄存器。成功配置返回1，失敗返回0。2.2信號(hào)收集與處理2.2.1信號(hào)采集從圖像中獲取目標(biāo)的坐標(biāo)是建立在圖像坐標(biāo)系空間的，而投影的鍵盤(pán)圖像是建立在世界坐標(biāo)系空間的，需要進(jìn)行坐標(biāo)變換，將其映射到投影鍵盤(pán)的坐標(biāo)系，才能將“單擊”事件轉(zhuǎn)換成鍵盤(pán)輸入指令，變換過(guò)程如式(1)所示：(4-1)其中，A為2×2非奇異像素坐標(biāo)旋轉(zhuǎn)矩陣；t為2×1的像素坐標(biāo)平移向量;A與t由原圖像和變換后圖像邊緣角點(diǎn)坐標(biāo)求解；x'為轉(zhuǎn)換后像素坐標(biāo)；x為轉(zhuǎn)換前像素坐標(biāo)。最后通過(guò)軟件對(duì)圖像中各鍵盤(pán)按鍵位置的坐標(biāo)進(jìn)行標(biāo)注。當(dāng)鍵盤(pán)區(qū)域發(fā)生“點(diǎn)擊”事件時(shí)，確定“點(diǎn)擊”事件坐標(biāo)對(duì)應(yīng)的鍵盤(pán)區(qū)域坐標(biāo)，然后將按鍵信息傳送給計(jì)算機(jī)，實(shí)現(xiàn)鍵盤(pán)輸入。2.2.2位圖轉(zhuǎn)二值圖單片機(jī)接收到圖像后，通過(guò)四個(gè)步驟完成對(duì)采集到的圖像的定位：位圖到二值圖、最大閉合區(qū)間定位、鍵盤(pán)編碼、上位機(jī)接收。這四步驟的作用分別是進(jìn)行圖像壓縮、按鍵的定位、坐標(biāo)與按鍵代碼交換、上位機(jī)接收與反饋。位圖被轉(zhuǎn)換成二值圖。位圖的四字節(jié)對(duì)齊是位圖每行中像素的對(duì)齊。每行像素占用的字節(jié)數(shù)必須是4字節(jié)的整數(shù)倍。如果不夠，就需要補(bǔ)足。此時(shí)，由于存儲(chǔ)器分配單元是32位，也就是4字節(jié)，所以每行中的讀取像素是連續(xù)的，不能與其他行共享存儲(chǔ)器單元。當(dāng)彩色圖像轉(zhuǎn)換為灰度圖像時(shí)，RGB有256個(gè)灰度分量，即當(dāng)R=G=B時(shí)，顏色是灰色的，因此可以用一個(gè)字節(jié)來(lái)表示。將彩色圖像轉(zhuǎn)換為灰度圖像就是使真彩色圖像的三個(gè)顏色分量相等。計(jì)算準(zhǔn)確值的方法有很多種，如取三個(gè)分量的平均值，取三個(gè)分量的最大值或使其中兩個(gè)分量等于另一個(gè)分量的值。另一種常用的方法是取加權(quán)平均值，Gray=R*0.299+G*0.587+b*0.114。將灰度圖像轉(zhuǎn)換為二值圖像。二值圖像只有兩種顏色，黑色和白色，而灰色有256種顏色。將灰度圖像轉(zhuǎn)換為二值圖像的方法是選擇一個(gè)閾值。如果灰度值大于閾值，則設(shè)置為白色。否則，它將是黑色的。關(guān)于如何選擇閾值及其作用范圍的方法有很多，為了簡(jiǎn)單起見(jiàn)，本文在全局范圍內(nèi)選擇了一個(gè)固定的閾值。二進(jìn)制圖只有兩個(gè)索引，可以用1bit表示。將RGB圖像轉(zhuǎn)換為灰度圖像。標(biāo)準(zhǔn)CCD采集的圖像包含R、G、B通道的數(shù)據(jù)，即傳統(tǒng)概念中的彩色圖像。根據(jù)圖像處理和目標(biāo)識(shí)別的需要，將RGB彩色圖像轉(zhuǎn)換為灰度圖像。Gray(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)(4-2)其中，Gray(i,j)表示位置為(i,j)的像素點(diǎn)對(duì)應(yīng)的灰度值，范圍為(0~255),R(i,j),G(i,j),B(i,j)分別表示彩色圖像中R,G,B通道(i,j)位置的像素值。2.2.3單片機(jī)圖像處理根據(jù)以上步驟進(jìn)行處理后，根據(jù)圖像中每個(gè)元素的值是高于還是低于閾值而對(duì)其進(jìn)行如下處理:（4-3）在公式中，Dst(i，j)是閾值化處理后的像素坐標(biāo)，當(dāng)滿足條件src(i，j)≥th，也就是源圖像像素點(diǎn)的值src(i，j)大于等于閾值時(shí)，該點(diǎn)的像素值設(shè)為255。如果不是，就把它設(shè)為0。定義A為圖像矩陣，B為結(jié)構(gòu)元素矩陣，A，B為Z2上的集合，圖像A被結(jié)構(gòu)B腐蝕的定義為:AΘB={x/(B)A}（4-4）其中x是表示集合平移的位移向量;Θ是腐蝕運(yùn)算的運(yùn)算符。設(shè)Φ為空集，那么圖像A被結(jié)構(gòu)元素B膨脹的定義為:AB={x(B^)x∩A≠Φ}（4-5）其中x是表示集合平移的位移向量;Θ是膨脹運(yùn)算的運(yùn)算符。在定義圖像矩陣和結(jié)構(gòu)元素矩陣的腐蝕與膨脹運(yùn)算之后，將結(jié)構(gòu)元素B對(duì)目標(biāo)圖像A的開(kāi)運(yùn)算定義為:A○B(yǎng)=(AΘB)B（4-6）其中○為開(kāi)運(yùn)算操作符。將結(jié)構(gòu)元素B對(duì)目標(biāo)圖像A的閉運(yùn)算定義為:AB=(AB)ΘB（4-7）其中為閉運(yùn)算操作符。2.2.4光斑的提取與比對(duì)采用小功率紅色激光發(fā)生器作為投射光源，將鍵盤(pán)字模覆蓋于激光光源表面，激光透過(guò)字模將鍵盤(pán)圖形投射到表面上，從而實(shí)現(xiàn)虛擬鍵盤(pán)的呈現(xiàn)工作。單片機(jī)對(duì)信號(hào)的采集擬采用攝像頭和一字紅外光源實(shí)現(xiàn)。主要做法是將一字紅外光源置于投影裝置底部，發(fā)射出的一字紅外信號(hào)用于檢測(cè)是否有手指按下。若有手指按下時(shí)，紅外線就會(huì)以一定角度被反射，如圖4-2所示。而攝像頭則安置于一字紅外光源上方，用于接收被反射的紅外信號(hào)。手指按下的時(shí)候，將一字線激光器發(fā)射出來(lái)的紅外線反射到攝像頭里面，攝像頭的圖像通過(guò)液晶顯示屏顯示出來(lái)。帶紅外濾光片的攝像頭，只有紅外線才能進(jìn)入，這樣就有效避免可見(jiàn)光的干擾，清晰的得到手指的反射光斑，即手指反射的紅外光斑，濾除可見(jiàn)光，最后得到手指按鍵信息。沒(méi)有加紅外濾光片的圖像如圖4-3所示。圖4-2手指按下圖像 圖4-3未加紅外濾光片的圖像加了紅外濾光片的效果如圖所示：圖4-4加了紅外濾光片的圖像得到了光斑后需要進(jìn)行二值化和閾值調(diào)節(jié)，再把鍵盤(pán)上每個(gè)字符的坐標(biāo)用測(cè)試函數(shù)找出來(lái)，然后將每個(gè)字符的坐標(biāo)作為基準(zhǔn)坐標(biāo)并存放到軟件中，系統(tǒng)運(yùn)行的時(shí)候，當(dāng)有按鍵事件發(fā)生時(shí)，系統(tǒng)在通過(guò)坐標(biāo)測(cè)試函數(shù)提取坐標(biāo)，提取出來(lái)的坐標(biāo)與坐標(biāo)進(jìn)行比對(duì)，在誤差允許的范圍內(nèi)輸出基準(zhǔn)坐標(biāo)的對(duì)應(yīng)字符。其工作流程圖如圖所示：圖4-5軟件部分工作示意圖2.3閾值調(diào)節(jié)程序閾值調(diào)節(jié)是一個(gè)測(cè)試程序，主要是在前期用作尋找合適的光斑大小，如下圖所示是一個(gè)比較合適的光斑大小，如果想獲得合適的光斑就需要使用此測(cè)試程序來(lái)調(diào)節(jié)閾值。這個(gè)閾值調(diào)節(jié)功能就是一個(gè)輸入的閥門(mén)，用這個(gè)閥門(mén)來(lái)控制獲取圖像的質(zhì)量。圖4-6調(diào)節(jié)過(guò)程圖2.4鍵盤(pán)坐標(biāo)程序與閾值測(cè)試程序一樣，它們也是一個(gè)預(yù)先準(zhǔn)備好的程序，將激光投影器固定在一字線性激光發(fā)射器和攝像頭中間后，在投影模型上模擬按鍵。按下時(shí)，相機(jī)捕捉到紅外線反射。二進(jìn)制之后，在TFT上顯示為白點(diǎn)。然后調(diào)用程序檢查光斑的像素坐標(biāo)。多次按下后，取坐標(biāo)的平均值作為按鍵的固定坐標(biāo)，在實(shí)際使用過(guò)程中，如果得到的點(diǎn)坐標(biāo)是固定坐標(biāo)，則確定按鍵被按下。每個(gè)按鍵的大體位置基本確定，以鍵盤(pán)第三行為例，如下為按鍵位置確定的坐標(biāo)系程序：KeyBoard_SendData(177,10,x,y,detia_x,detia_y,'t');//tabKeyBoard_SendData(178,22,x,y,detia_