一種多路圖像實時采集存儲系統(tǒng)的設(shè)計

1視頻監(jiān)控存儲在一些大型測量設(shè)備中，多傳感器集成，對設(shè)備的實時存儲能力提出了新的要求，這不僅要確保實時性，還要確?？煽啃院蛨D像質(zhì)量。在這項工作中，我們設(shè)計了一種多才多藝的實時存儲系統(tǒng)。存儲系統(tǒng)由四個圖像實時采集存儲系統(tǒng)組成。該系統(tǒng)采用嵌入式存儲結(jié)構(gòu)，嵌入式實時操作系統(tǒng)用作軟件平臺，磁盤為存儲介質(zhì)，結(jié)束視頻圖像的存儲過程。系統(tǒng)工作過程中,系統(tǒng)接收到主控計算機控制命令后開始圖像存儲記錄,通過串口控制模塊實時接收時間、編碼器等信息,并將時間、編碼器信息與當前幀的圖像一同記錄到存儲硬盤中。2系統(tǒng)組成和功能2.1數(shù)據(jù)交換機、上位機軟件存儲系統(tǒng)組成如圖1.1所示,系統(tǒng)主要由四個獨立的實時圖像存儲系統(tǒng)組成(其中包括1個SDI輸入圖像存儲系統(tǒng),3個CameraLink輸入圖像存儲系統(tǒng))、一個數(shù)據(jù)交換機、一套上位機軟件組成,四根串口線以及5根千兆網(wǎng)線組成。上位機軟件具有控制、實時顯示、回放,以及導(dǎo)出存儲視頻文件的功能;數(shù)據(jù)交換機與千兆網(wǎng)線配合使用將上位機與四套實時圖像存儲系統(tǒng)進行集群式連接;存儲系統(tǒng)用于保存視頻文件;串口線可用于存儲系統(tǒng)實時接收疊加信息進行存儲操作。圖像數(shù)據(jù)在采集系統(tǒng)的控制下完成圖像數(shù)據(jù)采集,同時存儲控制器接收綜合控制器發(fā)來的數(shù)據(jù)信息,將該信息按每幀與圖像對應(yīng)幀組成圖像與數(shù)據(jù)的整合幀,并將整合后的數(shù)據(jù)在存儲系統(tǒng)的控制下寫入SSD固態(tài)硬盤中,完成逐幀的數(shù)據(jù)記錄。2.2存儲圖像的信息(1)實時無損大容量存儲數(shù)字圖像;(2)接收主控計算機系統(tǒng)的控制命令,回送存儲狀態(tài)信息;(3)記錄數(shù)字圖像及相關(guān)信息,在存儲圖像中疊加與圖像對應(yīng)時刻的時間碼、編碼器等信息;(4)能通過計算機控制存儲系統(tǒng)開始記錄、停止和下載視頻圖像數(shù)據(jù);(5)下載的圖像可復(fù)原回放,顯示時疊加與圖像對應(yīng)的時間碼、方位角、高低角信息,可連續(xù)回放、單幀回放;(6)圖像格式轉(zhuǎn)換,把圖像數(shù)據(jù)及文件數(shù)據(jù)轉(zhuǎn)換成含有時間信息、方位角及高低角信息的標準BMP圖像;(7)具有自檢功能和故障診斷能力,故障診斷到線路板。3系統(tǒng)設(shè)計3.1基于sa3的sd-sd存儲圖像高速存儲系統(tǒng)以Xilinx公司最新的K7系列FPGA作為系統(tǒng)的核心處理器,實現(xiàn)數(shù)據(jù)的采集和解碼,并在FPGA中實現(xiàn)完整的SATA3協(xié)議,通過SATA3協(xié)議,將數(shù)據(jù)以RAID0或RAID1的形式存儲于后端所連接的SATA3固態(tài)硬盤中,該架構(gòu)的存儲速率可以完全滿足CamlinkFull工作模式,或HD-SDI工作模式。如果需要,可以進行更多塊SSD的堆疊,在提高容量的同時,線性提高讀寫帶寬。系統(tǒng)組成框圖如圖2.1所示。3.2fpga軟件的設(shè)計系統(tǒng)采用FPGA編程的方式進行控制,FPGA軟件主要負責系統(tǒng)的相機解碼、串口收發(fā)、圖像存儲、圖像實時顯示和事后回顯導(dǎo)出等。軟件流程如圖2.2所示。4關(guān)鍵技術(shù)4.1支持千通網(wǎng)口通信該存儲系統(tǒng)是一套圖像實時采集存儲系統(tǒng),支持四路相機同時采集數(shù)據(jù),并對采集數(shù)據(jù)進行回放、導(dǎo)出、刪除等操作;支持通過千兆網(wǎng)實時顯示圖像、導(dǎo)出采集數(shù)據(jù);支持串口通信方式、千兆網(wǎng)通信方式;支持串口、千兆網(wǎng)口控制存儲設(shè)備;支持系統(tǒng)自檢及誤碼計算功能。系統(tǒng)采用嵌入式存儲構(gòu)架,利用嵌入式實時操作系統(tǒng)作為軟件平臺,磁盤為存儲介質(zhì),完成視頻圖像的存儲過程。4.2讀取或讀取圖像系統(tǒng)工作過程中,系統(tǒng)接收到主控計算機控制命令后開始圖像存儲記錄,通過串口控制模塊實時接收時間、編碼器等信息,并將時間、編碼器信息與當前幀的圖像一同記錄到存儲硬盤中。記錄完成后,利用主控計算機通過網(wǎng)絡(luò)連接可以將存儲系統(tǒng)的圖像進行下載、圖像回放。下載圖像數(shù)據(jù)經(jīng)格式轉(zhuǎn)換后生成規(guī)定格式圖像用于判讀。同時存儲系統(tǒng)設(shè)計成具有上電復(fù)位自檢功能,一方面檢查系統(tǒng)工作是否正常,另一方面檢查信道是否正常。一旦檢測到系統(tǒng)工作狀態(tài)不正常時,輸出故障標志,故障診斷到線路板級。4.3同幀畫與同幀空間同步圖像與當幀時刻的時間嚴格對齊、對程序的時序和中斷處理等提出了較高的要求。圖像數(shù)據(jù)是在FPGA控制下進行采集,FPGA實時檢測圖像數(shù)據(jù)的幀同步信息,而系統(tǒng)通過異步串口傳來的通訊數(shù)據(jù)也連接到FPGA上,FPGA負責解析異步通訊數(shù)據(jù)的起始時間位置,并記錄其檢測的圖像數(shù)據(jù)幀同步的特征時刻。通過軟件分析,如果串口通訊數(shù)據(jù)落在兩幀場同步之間,則認為此時接收到的當幀信息與當幀圖像為同幀畫幅,并將數(shù)據(jù)與信息一同送入SDRAM的指定區(qū)域中,在接收到嵌入式處理器寫入命令時將該同幀畫幅送到SSD硬盤的DMA中。如果兩者時間超過規(guī)定域值,可以追溯問題產(chǎn)生的原因。4.4同步控制獲取同時記錄時間在系統(tǒng)正常工作時,如果存在干擾(如場同步干擾、同步信息干擾),而系統(tǒng)僅完成圖像與信息的排序一一對應(yīng),會造成信息與圖像的錯誤,而且無法恢復(fù),系統(tǒng)中采用多個自由計數(shù)器完成圖像同步與信息的起始時間的準確記錄。系統(tǒng)中設(shè)置了場同步時刻計數(shù)器、嵌入式處理器相應(yīng)時刻計數(shù)器、同步信息起始位時刻等,每個計數(shù)器均為32位,計數(shù)器分辨率為1s,可以保證一次記錄時間不會溢出。在寫入圖像數(shù)據(jù)的同時,將對應(yīng)該幀的每個計數(shù)器的值一同追加到信息中,當下載的數(shù)據(jù)或圖像存在問題時,可以通過這些計數(shù)器恢復(fù)同幀畫幅,也可以判定圖像受到干擾還是通訊受到干擾。4.5圖像幀格式的選擇待存儲的數(shù)據(jù)可以看成是有一定物理順序的數(shù)據(jù)流,由于數(shù)據(jù)傳輸過程中可能出現(xiàn)干擾等因素的影響而使得某幀圖像數(shù)據(jù)量改變,從而會導(dǎo)致后續(xù)的數(shù)據(jù)流物理順序的改變,會給圖像恢復(fù)造成很大影響。為了避免這種情況的發(fā)生,針對待采集的圖像幀格式,使得采集到的每一幀圖像都有固定的行列數(shù),而不受干擾的影響。具體實現(xiàn)的方法是通過狀態(tài)機在橫縱兩個方向上對二維圖像進行嚴格的采集控制。4.6系統(tǒng)運行區(qū)域設(shè)定為防止圖像存儲過程中意外斷電導(dǎo)致已存儲任務(wù)丟失,每次存儲啟動后,系統(tǒng)預(yù)先為存儲任務(wù)分配安全區(qū)域(大小可預(yù)先設(shè)定),并記錄該區(qū)域起始結(jié)束扇區(qū)等參數(shù)。當存儲進行過程中意外斷電后,重新上電系統(tǒng)可通過已記錄的安全存儲區(qū)域參數(shù)保證已存儲數(shù)據(jù)不丟失。5統(tǒng)上位機軟件在硬件設(shè)計方面,核心技術(shù)采用FPGA編寫SSD接口時序,直接讀寫SSD,效率、可靠性都要比操作系統(tǒng)對SSD操作要高得多。而且相機采集的接口時序和串口等通訊功能,都由FPGA直接完成減少了系統(tǒng)的復(fù)雜度,降低了過多使用芯片帶來的不可靠性。軟件方面,本存儲系統(tǒng)上位機軟件采用MFC、OpenCV實現(xiàn),MFC是一個微軟公司提供的類庫,以C++類的形式封裝了WindowsAPI,并且包含一個應(yīng)用程序框架,以減少應(yīng)用程序開發(fā)人員的工作量。其中包含的類包含大量Windows句柄封裝類和很多Windows的內(nèi)建控件和組件的封裝類。OpenCV是一個基于(開源)發(fā)行的跨平臺計算機視覺庫,可以運行在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級而且高效——由一系列C函數(shù)和少量C++類構(gòu)成,同時提供了Python、Ruby、MATLAB等語言的接口,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。OpenCV用C++語言編寫,它的主要接口也是C++語言,但是依然保留了大量的C語言接口。該庫也有大量的Python,JavaandMATLAB/OCTAVE(版本2.5)的接口。這些語言的API接口函數(shù)可以通過在線文檔獲得。6支持多路機同時采集存儲本存儲系統(tǒng)采用嵌入式存儲構(gòu)架,利用FPGA做為核心處理器,磁盤為存儲介質(zhì),完成視頻圖像的采集、存儲過程。系統(tǒng)工作過程中,系統(tǒng)可接收到主控計算機控制命令后開始圖像存儲記錄,通過串口控制模塊實時接收時間、編碼器等信息,并將時間、編碼器信息與當前幀的圖像一同記錄到存儲硬盤中。系統(tǒng)支持多路相機同時采集數(shù)據(jù),并對采集數(shù)據(jù)進行回放、導(dǎo)出、刪除等操作