基于WEB的嵌入式視頻采集壓縮瘦身服務(wù)器的設(shè)計西安交通大學(xué)信號與信息處理研究所

報告人：王黎明8/18/2023歐賽爾電子工作室概述1.系統(tǒng)的開發(fā)背景2.系統(tǒng)實現(xiàn)的主要功能3.系統(tǒng)實現(xiàn)具體方案4.主要使用的技術(shù)

8/18/2023歐賽爾電子工作室1、系統(tǒng)的開發(fā)背景8/18/2023歐賽爾電子工作室嵌入式視頻采集壓縮系統(tǒng)開發(fā)背景嵌入式32位微控制器系統(tǒng)與高性能數(shù)字信號處理器相結(jié)合視頻實時性要求進(jìn)行硬壓縮以及要求可以實現(xiàn)幾種壓縮標(biāo)準(zhǔn)未來智能化網(wǎng)絡(luò)化的需要8/18/2023歐賽爾電子工作室1.嵌入式視頻采集壓縮系統(tǒng)開發(fā)背景（1）（1）運行嵌入式操作系統(tǒng)的32位微控制器系統(tǒng)與數(shù)字信號處理器相結(jié)合

數(shù)字信號處理（DSP）芯片技術(shù)發(fā)展很快，因其強大的計算能力廣泛應(yīng)用于通信、控制、信號分析等領(lǐng)域。但作為一種專用處理器，通常不能完成一些通用微處理器完成的工作，也就不能有效地支持各種網(wǎng)絡(luò)協(xié)議如TCP/IP或者UDP/IP。而運行嵌入式操作系統(tǒng)的32位微控制器系統(tǒng)能夠有效支持各種網(wǎng)絡(luò)協(xié)議，但是在處理一些運算量較大的任務(wù)（如語音和圖像信號的壓縮和解壓縮、數(shù)據(jù)通信中的加解密算法等）有時就不能夠勝任。因此本系統(tǒng)就是將兩者結(jié)合起來，共同實現(xiàn)一個任務(wù)。8/18/2023歐賽爾電子工作室1.嵌入式視頻采集壓縮系統(tǒng)開發(fā)背景（2）（2）視頻實時性要求進(jìn)行硬壓縮以及要求可以實現(xiàn)幾種壓縮標(biāo)準(zhǔn)當(dāng)前PC機通用CPU的處理能力和操作系統(tǒng)的結(jié)構(gòu)，壓縮實時性不高硬件的實時壓縮是專用芯片。對于用戶很難能進(jìn)行二次開發(fā)。

通用DSP作為編解碼芯片的視頻壓縮具有較強的擴展性和二次開發(fā)能力8/18/2023歐賽爾電子工作室1.嵌入式視頻采集壓縮系統(tǒng)開發(fā)背景（3）（3）未來網(wǎng)絡(luò)化的需要

Internet和Intranet已經(jīng)滲透到社會生活的每個角落，當(dāng)一臺設(shè)備具有網(wǎng)絡(luò)智能時，人們可以在任何地方、任何時間、任何地點、使用任何平臺隨時瀏覽實時的狀態(tài)，并在遠(yuǎn)程實現(xiàn)對這臺設(shè)備的監(jiān)視、控制、診斷、測試和配置。

預(yù)計在不遠(yuǎn)的未來，每個設(shè)備中都將有一個IP地址，每個設(shè)備都具有遠(yuǎn)程維護(hù)功能并都能從Internet獲取智能控制。也就是嵌入式操作系統(tǒng)設(shè)備作為網(wǎng)絡(luò)服務(wù)器，擁有自己的IP地址，所面向的設(shè)備作為客戶機。8/18/2023歐賽爾電子工作室1.嵌入式視頻采集壓縮系統(tǒng)開發(fā)背景（4）

本系統(tǒng)將運行嵌入式操作系統(tǒng)的32位微處理器系統(tǒng)與數(shù)字信號處理器相結(jié)合，構(gòu)成一個基于視頻采集壓縮系統(tǒng)的瘦身WEB服務(wù)器。8/18/2023歐賽爾電子工作室2、系統(tǒng)實現(xiàn)的功能8/18/2023歐賽爾電子工作室2.嵌入式視頻采集壓縮系統(tǒng)實現(xiàn)的功能1)支持PAL/NTSC合成視頻的捕捉和采集，可以接受CCD攝像頭輸出的模擬視頻信號，將其采樣量化為復(fù)合CCIR.601標(biāo)準(zhǔn)的數(shù)字視頻信號2)能夠?qū)?shù)字視頻數(shù)據(jù)進(jìn)行壓縮和編碼處理，具體采用的多媒體壓縮標(biāo)準(zhǔn)可以H.263、MJPEGMJPEG2000、MPEG1、MPEG2等3)帶有音頻擴展接口，可以很方便的構(gòu)成音頻視頻同步的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)，Audio/Video流的復(fù)合，完全實現(xiàn)音視頻同步4)視頻亮度﹑對比度﹑飽和度﹑色度﹑灰度可調(diào)等

5）監(jiān)控系統(tǒng)可對鏡頭進(jìn)行光圈、焦距、景深距離的控制操作對云臺可做全方位控制，系統(tǒng)可以對云臺的上下左右的轉(zhuǎn)動以及配套的云臺護(hù)罩的相應(yīng)設(shè)備進(jìn)行全方位的控制6）通過局域網(wǎng)或者因特網(wǎng)和提供在線監(jiān)控，可以在遠(yuǎn)程工作站查看，通過局域網(wǎng)或者因特網(wǎng)和實現(xiàn)遠(yuǎn)程搖攝/傾斜/放縮8）系統(tǒng)留有進(jìn)一步完善和二次開發(fā)的余地，具有良好的軟硬件接口，可以方便的集成到其它視頻處理之中8/18/2023歐賽爾電子工作室3.系統(tǒng)的實現(xiàn)方案8/18/2023歐賽爾電子工作室3.嵌入式視頻采集壓縮系統(tǒng)的實現(xiàn)方案

1）系統(tǒng)總體實現(xiàn)方案

2）系統(tǒng)總體實現(xiàn)框圖

3）系統(tǒng)實現(xiàn)的創(chuàng)新性

4）系統(tǒng)實現(xiàn)的主要模塊

5）系統(tǒng)的軟件模塊8/18/2023歐賽爾電子工作室3.1.系統(tǒng)的總體實現(xiàn)方案

本用于視頻會議或者監(jiān)控的嵌入式視頻壓縮卡系統(tǒng)是以SAMSUNG公司的嵌入式ARM-S3C4510B芯片技術(shù)和TI公司的高性能C62x系列定點DSP芯片技術(shù)為基礎(chǔ)，以太網(wǎng)絡(luò)（Ethernet）接口結(jié)構(gòu)的嵌入式視頻圖像采集壓縮系統(tǒng)，其主要功能是將由CCD攝像頭獲得的模擬視頻信號經(jīng)A/D轉(zhuǎn)換為數(shù)字視頻信號后，視頻信號通過高速DSP壓縮成各種符合不同壓縮標(biāo)準(zhǔn)的數(shù)據(jù)碼流。視頻壓縮后的數(shù)據(jù)流由嵌入式微控制芯片ARM-S3C4510B通過DSP的擴展總線xBUS讀出，通過嵌入式操作系統(tǒng)的UDP/IP協(xié)議棧，將數(shù)據(jù)打包，并運行web服務(wù)器，等待客戶服務(wù)端通過網(wǎng)絡(luò)訪問數(shù)據(jù)流。

從而實現(xiàn)一個基于web的嵌入式視頻壓縮瘦身服務(wù)器。

DSP（SLAVEmode）ARM（MASTERmode）8/18/2023歐賽爾電子工作室3.2.系統(tǒng)總體實現(xiàn)框圖8/18/2023歐賽爾電子工作室3.3.系統(tǒng)實現(xiàn)的創(chuàng)新性（1）采用獨立的雙處理器的結(jié)構(gòu)，一個處理器用于視頻的壓縮，一個處理器用于運行操作系統(tǒng)實現(xiàn)控制功能，實現(xiàn)DSP的強大運算功能與嵌入式微處理器的強大控制功能相結(jié)合。（2）操作系統(tǒng)uClinux內(nèi)核嵌入到微處理器中，這種嵌入式操作系統(tǒng)內(nèi)核源代碼是公開的，易于在此基礎(chǔ)上進(jìn)行開發(fā)，同時uClinux操作系統(tǒng)本身帶有完整的網(wǎng)絡(luò)協(xié)議棧，無需開發(fā)者移植網(wǎng)絡(luò)協(xié)議。（3）獨立的雙處理器通信中采用DSP的擴展總線xBUS，這樣可以充分利用DSP的雙總線結(jié)構(gòu)，盡量減少總線帶寬的沖突。（4）壓縮算法上使用了國際上最新的Motion－JPEG2000的壓縮算法。（5）對攝像頭現(xiàn)場控制也可以通過網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程控制。

8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊DSP處理器模塊8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊嵌入式微處理器模塊8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊視頻采集模塊：

該模塊的主要功能是將從CCD攝像頭輸入的模擬視頻信號轉(zhuǎn)換為數(shù)字信號。普通CCD攝像頭的輸出是NTSC制式(或PAL制式)的復(fù)合全電視信號CVBS或是S-Video信號，二者均為模擬信號。通過PHILIPS公司的TV

解碼芯片SAA7114H將模擬TV信號解碼并且模數(shù)轉(zhuǎn)換為符合CCIR.601標(biāo)準(zhǔn)的數(shù)字視頻信號，并且存儲到專用的視頻FIFO芯片AL440B中，等待DSP處理。

CPLD通過SAA7114H的輸出狀態(tài)信號以及C6202BDSP的相應(yīng)輸出控制信號生成FIFOAL440B的控制信號。通過檢測SAA7114H輸出的同步信號來生成DSP中斷，通知DSP讀取視頻FIFO中已滿的一場圖像數(shù)據(jù)。

8/18/2023歐賽爾電子工作室3.4

系統(tǒng)的主要模塊主處理器模塊

模塊主要是由TMS320C6202BDSP芯片，以及時鐘電路等DSP外圍器件構(gòu)成。DSP運行的內(nèi)部時鐘是264MHz，外部的SDRAM運行在132MHz時鐘。主要實現(xiàn)的功能：完成對視頻AD模塊輸出的數(shù)字視頻流的壓縮編碼完成對整個硬件系統(tǒng)各模塊的控制功能，實現(xiàn)數(shù)字視頻流的傳輸控制通過C6202BDSP的xBUS總線將壓縮后的視頻流傳送到微控制器上通過C6202BDSP的McBSP1模擬I2C總線，對視頻AD芯片SAA7114H進(jìn)行初始化，對視頻FIFO通過模擬I2C總線進(jìn)行配置。對于需要進(jìn)行語音處理的，完成相應(yīng)的語音壓縮編碼的功能。8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊EMIF數(shù)據(jù)總線技術(shù)8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊EMIF地址總線技術(shù)8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊音頻模塊

系統(tǒng)的音頻模塊主要是以一塊語音AD/DA芯片TLC320AD50C以及與之配套的模擬音頻輸入輸出電路構(gòu)成。TLC320AD50C芯片最高采樣率到22.05KHz，可以滿足絕大多數(shù)語音應(yīng)用的要求。該芯片的數(shù)字音頻輸入輸出接口采用SPI模式，直接和C6202BDSP的McBSP0無縫連接。

系統(tǒng)中AD50采用主模式方式，而DSP的McBSP接口采用從模式形式，SPI總線通信中所需要的時鐘CLK和分幀信號FS均由AD50產(chǎn)生并輸入到DSP。8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊電源模塊DSP的電源采用兩種電壓供電，DSP對這兩種電壓有上電順序的要求，要求內(nèi)核電源（CVdd）先于I/O電源（DVdd）上電。考慮到DSP的功耗問題，采用TI公司的電源模塊TPS56300對DSP分別供電。為了保證C6202B芯片在電源低于要求的電平時會產(chǎn)生失控狀態(tài)，在系統(tǒng)中加入了電源監(jiān)控電路。該電路能確保DSP在系統(tǒng)加電過程中及電源電壓低于一定門限值時始終處于復(fù)位狀態(tài)。電源監(jiān)控電路采用TI公司的TPS3707-33，同時它還可接手工復(fù)位開關(guān)以便人工控制?？紤]到因為整個系統(tǒng)的器件比較多，功耗可能比較大，因此使用了一片LM1117為系統(tǒng)提供3.3V的備用電源。整個系統(tǒng)的電源為：模擬3.3v，5.0V數(shù)字1.5v，3.3v，5.0v

8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊

以太網(wǎng)控制模塊

因為S3C4510B微控制器本身內(nèi)置的以太網(wǎng)控制器，因此在硬件的設(shè)計上只需用實現(xiàn)物理層的一些協(xié)議要求。如電平轉(zhuǎn)換，隔離濾波等。8/18/2023歐賽爾電子工作室3.4系統(tǒng)的主要模塊C6202BDSP與S3C4510B接口模塊

DSP與微控制器的接口是通過C6202B的擴展總線xBUS實現(xiàn)的。這樣做的優(yōu)點是充分利用DSP的帶寬資源，減少總線上的沖突，減輕EMIF總線壓力。接口DSP采用異步從模式，即DSP（slave），S3C4510B（master）DSP為高速器件，S3C4510B為低速器件，況且DSP工作在從模式下，這樣就無需加入共享存儲器模塊，節(jié)省了開發(fā)的成本，同時也降低了開發(fā)的難度。8/18/2023歐賽爾電子工作室3.5系統(tǒng)的軟件模塊DSP初始化程序包1）C6202B上電初始化配置2）EMIF總線控制寄存器以及McBSP寄存器配置3）設(shè)置DMA傳輸寄存器4）設(shè)置中斷向量表視頻AD和FIFO初始化程序包

1）I2C總線模擬軟件包2）視頻AD配置軟件包3）視頻FIFO配置軟件包音頻AD/DA程序包

1）設(shè)置DMA傳輸通道寄存器8/18/2023歐賽爾電子工作室3.5系統(tǒng)的軟件模塊視頻壓縮程序包1）DMA傳輸奇數(shù)場圖像和偶數(shù)場圖像插成一幀圖像程序2）YUV圖像轉(zhuǎn)換成JPEG2000要求的圖像格式3）視頻壓縮編碼程序包嵌入式操作系統(tǒng)

1）嵌入式操作系統(tǒng)的內(nèi)核uClinux2）引導(dǎo)操作系統(tǒng)的bootloader程序包視頻碼流傳輸程序包

1）Socket接口的視頻傳輸程序包2）視頻解碼程序包UART控制的程序包通過UART控制云臺的程序包ARM從DSP的xBUS總線讀取數(shù)據(jù)程序包

8/18/2023歐賽爾電子工作室3.6系統(tǒng)的軟模塊DSP視頻壓縮流程圖8/18/2023歐賽爾電子工作室3.6系統(tǒng)的軟件模塊嵌入式微處理器軟件流程圖8/18/2023歐賽爾電子工作室4.主要使用的技術(shù)8/18/2023