第9章

數(shù)字音視頻技術(shù)的

交叉應(yīng)用9.1數(shù)字圖像視頻處理技術(shù)在空間物理中的應(yīng)用9.2數(shù)字圖像視頻處理技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用9.3生成模型概覽9.4本章小結(jié)

9.1數(shù)字圖像視頻處理技術(shù)在空間物理中的應(yīng)用

9.1.1概述空間物理主要研究地球空間、日地空間和行星際空間的物理現(xiàn)象，是人類進入太空時代以來迅速發(fā)展起來的新興學(xué)科，主要利用空間飛行器對太陽、行星際空間、地球和行星的大氣層、電離層、磁層等進行研究，并研究空間環(huán)境對地球生態(tài)環(huán)境的影響。

空間物理研究需要借助極光成像設(shè)備和雷達觀測設(shè)備獲得極光數(shù)據(jù)，極光數(shù)據(jù)從極區(qū)臺站傳輸至中國極地研究中心，并進行后續(xù)的雷達信號處理、極光圖像和視頻數(shù)據(jù)分析、建模和預(yù)測等工作。這些數(shù)據(jù)傳輸和處理過程都需要圖像、視頻壓縮編碼等電子信息技術(shù)支撐，比如極光圖像和視頻分析前需要完成圖像的降噪、增強、目標(biāo)分割。因此，將音視頻處理技術(shù)與空間物理學(xué)融合并交叉發(fā)展很有必要，且將更好地促進空間物理學(xué)發(fā)展。

9.1.2極光圖像分類

極光是太陽風(fēng)通過日側(cè)極隙區(qū)注入地球磁層時沉降粒子沿磁力線與地球高層大氣相互作用而產(chǎn)生的絢麗光輝。極光是極區(qū)空間天氣物理過程的觀測窗口，直接反映了太陽風(fēng)與地磁層的耦合過程，蘊含著大量日地空間的電磁活動信息，有著深刻的研究意義。目前，中國極地研究中心已經(jīng)對極光觀測圖像進行了初步分析，從形態(tài)上將其大致分為弧狀和冕狀兩類，而冕狀又可細分為輻射型冕狀、熱點型冕狀和帷幔型冕狀，如圖9-1所示。

圖9-14種極光圖像形態(tài)

1.基于分層小波模型的極光圖像分類算法

基于分層小波模型的極光圖像分類系統(tǒng)流程如圖9-2所示，主要包括預(yù)處理、特征提取、特征降維和分類器訓(xùn)練4個部分。

(1)預(yù)處理。由于原始圖片中鏡頭邊緣處有燈光等干擾，所以需要對其進行一定的剪裁和掩膜操作，以達到位置校準、光線歸一化的目的。

(2)特征提取。將預(yù)處理后的圖像按分層小波模型提取全局和局部特征，進行歸一化處理后，構(gòu)成極光圖像的特征向量。

(3)特征降維。由于特征向量的高維數(shù)會導(dǎo)致計算時間的消耗，特征向量之間的相關(guān)性也會造成特征冗余，影響特征的區(qū)分性，因此，這里采用主成分分析(PCA)對特征進行降維。

(4)分類器訓(xùn)練。對降維后的特征向量采用支持向量機(SVM)訓(xùn)練分類器，并將其用于測試圖像的分類。

圖9-2基于分層小波模型的極光圖像分類系統(tǒng)流程

特征提取主要采用二維小波離散變換對預(yù)處理的極光圖像進行處理。二維小波分解示意圖如圖9-3所示，首先對圖像按行進行一維小波變換，生成大小相同的低頻子圖像和高頻子圖像，然后按列進行一維小波變換，將每個子圖像又分解為低頻部分和高頻部分。

圖9-3二維小波分解示意圖

圖9-4所示為極光圖像進行兩層小波分解后的偽彩圖結(jié)果，從中可以看出，小波分解將極光圖像的高頻紋理部分和低頻平滑部分分解，各個分解圖的特征可以很好地表示不同極光圖像的紋理分布，從而用于最終的極光圖像分類決策。

圖9-4極光圖像小波分解偽彩圖

2.融合顯著信息的LDA極光圖像分類算法

融合顯著信息的潛在狄利克雷分配(ScaleInvariantLinearDiscriminant，SI-LDA)極光圖像分類算法流程如圖9-5所示，主要分為5個步驟：極光圖像的頂帽變換、極光圖像的視覺單詞提取、極光圖像的譜殘差顯著圖獲取、譜殘差顯著圖的視覺單詞提取、極光圖像的SI-LDA表示。

圖9-5SI-LDA算法流程圖

1)極光圖像的頂帽變換

在極光圖像拍攝過程中，由于拍攝設(shè)備的暗電流以及大氣層的影響，極光圖像存在亮度不均勻的現(xiàn)象，我們可以通過頂帽變換來改善這一現(xiàn)象，圖9-6為頂帽變換后圖像與原極光圖像對比圖。頂帽變換的定義為

其中I

表示原極光圖像，Itophat表示頂帽變換后圖像，I°e表示原極光圖像的開運算。

圖9-6頂帽變換后圖像與原極光圖像對比圖

3)極光圖像的譜殘差顯著圖獲取

譜殘差是專門針對灰度圖像提取顯著圖的方法，其算法流程十分簡潔，步驟如下：

圖9-7所示為極光圖像的譜殘差顯著圖實例。圖9-7極光圖像原圖與其譜殘差顯著圖

4)譜殘差顯著圖的視覺單詞提取與步驟2)相同。

5)極光圖像的SI-LAD表示

對極光圖像IN

的語義加強型文檔CN進行一定次數(shù)的Gibbs采樣迭代，就可以得到極光圖像的SI-LDA表示。其步驟如下：

(1)對于文檔中的單詞wi，隨機設(shè)定其所屬主題zi，令{

zi={1，2，…，T}}，i=1，2，…，K。其中，T

為主題個數(shù)；K

為單詞總數(shù)，即字典大小。該狀態(tài)為Markov鏈的初始狀態(tài)。

(2)從1循環(huán)到

K，根據(jù)公式將詞匯分配給某個主題，獲取Markov鏈的下一個狀態(tài)。

(3)第(2)步迭代足夠次數(shù)以后，認為Markov鏈接近目標(biāo)分布，就取zi(i從1循環(huán)到K)的當(dāng)前值作為樣本記錄下來。

(4)統(tǒng)計每篇文檔中單詞分配到各個主題的次數(shù)，即完成SI-LAD表示。

9.1.3極光視頻分類

極光是一種非剛體運動，其圖像包含豐富的細節(jié)及隨機性很強的形狀變化，極光序列中蘊含著豐富的時間相關(guān)信息，提取其動態(tài)特征對實現(xiàn)極光序列識別很重要。典型極光序列如圖9-8所示。

圖9-8典型極光序列

1.基于張量動態(tài)紋理模型的極光視頻分類

基于極光視頻動態(tài)紋理建模的極光視頻事件識別步驟：首先對四類極光視頻進行普適性動態(tài)紋理建模，然后利用矩陣奇異值分解(SingularValueDecomposition，SVD)對動態(tài)紋理模型求解，最后用模型參數(shù)間的馬丁距離衡量極光序間的差異性，采用最小距離分類器和支持向量機(SVM)分類器實現(xiàn)四類典型形態(tài)的極光序列的自動分類識別。為進一步提高模型緊湊度，引入張量分解，建立張量動態(tài)紋理模型。

不同于動態(tài)紋理模型只關(guān)注序列幀間的重復(fù)相關(guān)性，張量動態(tài)紋理模型同時分析序列幀間的重復(fù)相關(guān)性和圖像幀內(nèi)各個部分間的重復(fù)相關(guān)性，從時間和空間維度上同時進行分解，減少模型冗余的同時提高了分類準確率。整體流程圖如圖9-9所示。

圖9-9-基于張量動態(tài)紋理模型的極光視頻分類算法流程圖

2.基于黏性流體粒子運動模型的視頻序列分類

該方法的具體實現(xiàn)步驟如下：對輸入的極光序列進行預(yù)處理；運用黏性流體力學(xué)模型計算預(yù)處理后的極光粒子的運動場；提取極光粒子運動場的局部二值模式特征，作為極光序列的動態(tài)特征P1；提取極光序列每幀極光圖像像素值的局部二值模式特征，作為極光序列的靜態(tài)特征P2；將P1與P2相結(jié)合，得到能夠表征不同形態(tài)極光序列的特征P=(P1，P2)，將這些不同形態(tài)極光序列的特征P

輸入SVM分類器中完成分類。整體流程圖如圖9-10所示。

圖9-10基于黏性流體粒子運動模型的視頻序列分類方法算法流程圖

9.2數(shù)字圖像視頻處理技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用

9.2.1概述醫(yī)學(xué)影像學(xué)是研究借助于某種介質(zhì)與人體相互作用，把人體內(nèi)部組織器官結(jié)構(gòu)、密度以影像方式表現(xiàn)出來，供診斷醫(yī)師根據(jù)影像提供的信息進行判斷，從而對人體健康狀況進行評價的一門科學(xué)。醫(yī)學(xué)影像技術(shù)與臨床緊密相關(guān)，是臨床不可或缺的輔助學(xué)科。

9.2.2AI輔助診斷

1.病理圖像分類

傳統(tǒng)病理圖像分類是指臨床醫(yī)生借助醫(yī)學(xué)圖像來輔助診斷人體是否有病灶，并對病灶的輕重程度進行量化分級。隨著AI技術(shù)的發(fā)展，深度學(xué)習(xí)在計算機視覺領(lǐng)域取得了巨大的成功，激發(fā)了許多國內(nèi)外學(xué)者將其應(yīng)用于醫(yī)療圖像分析。下面簡單介紹一下如何利用深度學(xué)習(xí)進行甲狀腺病理圖像分類。

1)基于深度主動學(xué)習(xí)的甲狀腺癌病理圖像分類方法

該方法引入將卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks，CNN)和主動學(xué)習(xí)相結(jié)

合的分類方法，無須標(biāo)記所有數(shù)據(jù)，僅選擇少量樣本進行標(biāo)注。該方法利用CNN提取病理圖像的特征，進而使用該特征計算未標(biāo)注樣本的不確定性和相似性，選擇“有價值”的樣本，然后由病理學(xué)家對選定的樣本進行標(biāo)注，并不斷微調(diào)網(wǎng)絡(luò)以增強模型的分類性能。

該方法主要包括三個部分：深度CNN框架、樣本不確定性評估與相似性評估、樣本選擇與模型更新。深度CNN框架包括兩個模塊，如圖9-11所示，虛線框①內(nèi)模塊用于計算無標(biāo)簽樣本的信息熵以及模型參數(shù)更新，虛線框②內(nèi)模塊為特征哈希碼提取模塊，用于學(xué)習(xí)輔助數(shù)據(jù)集中的樣本和甲狀腺數(shù)據(jù)集中樣本的深度哈希碼。該方法通過評估樣本的不確定性與樣本間的相似性來選擇標(biāo)注樣本，較高的不確定性表示樣本有較高的信息量，樣本間相似性的評估能夠輔助去除冗余樣本，以更少的標(biāo)注樣本獲得最優(yōu)的分類模型。注釋樣本的選擇綜合考慮樣本的不確定性以及代表性。

圖9-11基于深度主動學(xué)習(xí)的甲狀腺癌病理圖像分類方法算法框架圖

2)基于深度學(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法

該方法具體方案是：(1)讀取放大因子為20的甲狀腺乳頭狀癌病理切片圖像，并將其輸入改進后VGG-f卷積神經(jīng)網(wǎng)絡(luò)，獲得注意力熱圖；(2)將注意力圖歸一化，獲得判別力熱圖；讀取40倍放大的甲狀腺癌病理并根據(jù)判別力區(qū)域位置獲得圖像塊；(3)將圖像塊輸入原始VGG-f網(wǎng)絡(luò)并構(gòu)建損失函數(shù)，對該網(wǎng)絡(luò)進行監(jiān)督訓(xùn)練；(4)提取訓(xùn)練好的VGG-f網(wǎng)絡(luò)卷積特征并進行分類處理得到圖像塊的類別；(5)根據(jù)圖像塊的類別判斷出甲狀腺癌病理圖像的類別。基于深度學(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法算法框圖如圖9-12所示。

圖9-12基于深度學(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法算法框圖

2.BioMind新冠肺炎CT影像AI定性輔助診斷系統(tǒng)

疫情初期，為了緩解新冠病毒疫情診斷對基層醫(yī)療單位的巨大壓力，在2020年大年初四，由工信部牽頭，天壇醫(yī)院、解放軍總醫(yī)院、BioMind聯(lián)合開始了“新冠病毒感染CT影像人工智能輔助診斷”專題攻關(guān)任務(wù)，并成功推出了一套專門的AI定性診斷系統(tǒng)。這套新冠AI定性診斷系統(tǒng)不僅能夠?qū)崿F(xiàn)新冠病毒感染診斷，還能實現(xiàn)新冠病毒感染與病毒性肺炎、細菌性肺炎等的進一步鑒別診斷，如圖9-13所示。

圖9-13BioMind新冠肺炎CT影像AI定性輔助診斷系統(tǒng)界面示例

西安交大一附院郭佑民教授團隊研制的“新冠病毒肺部感染輔助診斷系統(tǒng)”，實現(xiàn)了對新冠病毒感染者肺內(nèi)病變部位的快速檢出，定量評價病變范圍和病變演變過程，其準確率高達95%以上。該診斷系統(tǒng)依托專家訓(xùn)練、人工智能結(jié)合傳統(tǒng)的計算機視覺技術(shù)對新冠病毒感染患者肺部的病變區(qū)域進行分割和計算(見圖9-14)，可以同時獲取病變區(qū)域的體積、密度、磨玻璃成分等定量參數(shù)(見圖9-15)，尤其是對于患者隨訪的數(shù)據(jù)可以實時進行圖像配準，精準定位病灶的位置和大小，方便比較病變的消長。

圖9-14肺部CT圖像分割可視化結(jié)果

圖9-15基于圖像可視化技術(shù)定量展示病變的分布和范圍

9.2.3疫情狀態(tài)分析

疫情發(fā)生以來，大數(shù)據(jù)、機器學(xué)習(xí)、人工智能等技術(shù)的價值同樣在這場抗疫戰(zhàn)斗中得到充分的展現(xiàn)。這些技術(shù)的優(yōu)勢在于可根據(jù)疫情的不同發(fā)展階段、不同地區(qū)政府的政策措施對模型進行適應(yīng)性調(diào)試和改進，通過歷史數(shù)據(jù)利用機器學(xué)習(xí)算法進行學(xué)習(xí)訓(xùn)練，得到預(yù)測疫情發(fā)展的數(shù)學(xué)模型，并能夠根據(jù)疫情的最新數(shù)據(jù)不斷學(xué)習(xí)優(yōu)化模型，來提供實時預(yù)測。如圖9-16所示，清華大學(xué)的AMiner團隊以官方公布數(shù)據(jù)為基礎(chǔ)，預(yù)測確診人數(shù)、治愈人數(shù)等數(shù)據(jù)上的變化趨勢，尋找疫情拐點。

圖9-16疫情感染人數(shù)預(yù)測

9.2.4疫情風(fēng)險評估

在匯集大量的健康狀態(tài)數(shù)據(jù)之后，結(jié)合確診人數(shù)、治愈人數(shù)，地區(qū)人口數(shù)量、面積、醫(yī)療指數(shù)等，研究人員利用數(shù)據(jù)進行深入分析，推出了基于知識的全球新冠疫情風(fēng)險評估和輔助決策系統(tǒng)。該系統(tǒng)主要在于預(yù)測地區(qū)新冠疫情的風(fēng)險指數(shù)，從而可以輔助決策何時復(fù)工復(fù)產(chǎn)、開學(xué)等。該風(fēng)險指數(shù)的評估不僅涵蓋了全球各地區(qū)，同時還是多級別、細粒度風(fēng)險指數(shù)評估。針對面積較大、疫情較為嚴重的國家，預(yù)測還可以具體到省或州等更小級別的評估。

除此之外，該評估指數(shù)會隨著疫情數(shù)據(jù)的變化、關(guān)鍵事件的發(fā)生進行動態(tài)更新。如圖9-17和圖9-18所示，該系統(tǒng)除了可以可視化展示各地區(qū)的風(fēng)險評估指數(shù)以外，還提供了全球疫情事件時間軸、全球?qū)崟r疫情數(shù)據(jù)和

預(yù)

測，幫助大家了解全球疫情傳播狀況。

圖9-17全球新冠肺炎疫情預(yù)測地圖

圖9-18全球疫情事件時間軸

9.2.5病毒變異預(yù)測

雖然新冠病毒大流行已經(jīng)進入全民免疫階段，但全球范圍內(nèi)的新冠病毒變異株多達幾十種，迄今為止，其基因序列還在發(fā)生變化。因此，了解和預(yù)測包括新冠病毒在內(nèi)的冠狀病毒未來變種，有望促進下一代抗體療法及疫苗的研發(fā)，同時，也可以為制定公共衛(wèi)生政策提供重要參考。

9.3生成模型概覽

9.3.1概述在概率統(tǒng)計理論中，生成模型是指能夠在給定某些隱含參數(shù)的條件下，隨機生成觀測數(shù)據(jù)的模型，它給觀測值和標(biāo)注數(shù)據(jù)序列指定一個聯(lián)合概率分布。在機器學(xué)習(xí)中，生成模型可以用來直接對數(shù)據(jù)建模，對于輸入的隨機樣本能夠產(chǎn)生我們所期望生成的數(shù)據(jù)。

生成模型可以分為兩個類型：第一種類型的生成模型可以完全表示出數(shù)據(jù)確切的分布函數(shù)；第二種類型的生成模型只能做到新數(shù)據(jù)的生成，數(shù)據(jù)分布函數(shù)則是模糊的。IanGoodfellow在NIPS2016的演講中給出了很多生成模型的研究意義。

9.3.2ChatGPT

ChatGPT是由OpenAI基

于GPT-4架

構(gòu)

開

發(fā)

的

大

型

語

言

模

型。GPT(GenerativePre-trainTransformer)是目前最先進的自然語言處理技術(shù)，讓AI具備了強大的語言理解與表達能力。ChatGPT可以幫助用戶處理各種語言任務(wù)，如寫作、閱讀、翻譯、解答問題等。它覆蓋了多種語言，為全球用戶提供服務(wù)。

G代表生成模型(GenerativeModel)，是一種計算機程序，仿照人腦結(jié)構(gòu)并通過大量數(shù)據(jù)學(xué)習(xí)來完成指令任務(wù)，它可以學(xué)習(xí)數(shù)據(jù)的特征，并創(chuàng)造出類似的新數(shù)據(jù)。簡單來說，生成模型就像是一個藝術(shù)家，觀察并學(xué)習(xí)現(xiàn)實世界的樣子，然后創(chuàng)作出新的作品。和傳統(tǒng)計算機系統(tǒng)的不同之處在于，它給出的結(jié)果往往是不確定的，每次的反應(yīng)都可能不同，生成模型會隨著系統(tǒng)進步而變得更快、更聰明。

P代表預(yù)訓(xùn)練模型(Pre-trainedModel)，是一個通過大量數(shù)據(jù)進行訓(xùn)練并被保存的網(wǎng)絡(luò)?？梢詫⑵渫ㄋ椎乩斫鉃檠芯空邽榱私鉀Q類似問題所創(chuàng)造出來的一個模型，有了先前的模型，當(dāng)我們遇到新的問題時，便不再需要從零開始訓(xùn)練新模型，而可以直接用這個模型入手，進行簡單的學(xué)習(xí)便可解決該新問題。

T代表Transformer，是一種用于語言理解的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，是Google團隊2017年6月提出的自然語言處理(NaturalLanguageProcessing，NLP)領(lǐng)域具有突破性意義的研究成果，是在AshishVaswani等人發(fā)表的論文“AttentionIsAllYouNeed”中提出的。

ChatGPT能幫你寫出各種類型的文章，如軟文、公關(guān)稿、博客、小說等。無論你是創(chuàng)作高手還是寫作新手，ChatGPT都能為你提供專業(yè)的寫作建議，讓你的文字更加精彩。

1.ChatGPT的演變歷程

算法模式經(jīng)歷了GPT-1(2018年)、GPT-2(2019年)、GPT-3(2020年)和InstructGPT(2022年初)四個版本。

GPT-1(2018年)：僅需要對預(yù)訓(xùn)練的語言模型作很小的結(jié)構(gòu)改變，即加一層線性層，即可方便地應(yīng)用于下游各種任務(wù)。

GPT-2(2019年)：使用zero-shot設(shè)定，基本實現(xiàn)一勞永逸，訓(xùn)練一個模型，在多個任務(wù)上都能使用。

GPT-3(2020年)：不通過任何樣例學(xué)習(xí)，而是利用少量樣本去學(xué)習(xí)，更接近人腦學(xué)習(xí)模式。

InstructGPT(2022年初)：經(jīng)過多任務(wù)的微調(diào)后，能在其他任務(wù)上實現(xiàn)zero-shot預(yù)測，泛化能力極大提升。InstuctGPT可以理解成是GPT-3的微調(diào)版本，與GPT-3相比更擅長遵循指令，回答更真實，且有害情緒輸出大幅下降。

ChatGPT可以理解成GPT-3.5的微調(diào)版本，相較于InstructGPT，ChatGPT效果更加真實，模型的無害性實現(xiàn)些許提升，編碼能力更強。

ChatGPT使用的新的AI訓(xùn)練方法，加大“人”的反饋權(quán)重。訓(xùn)練過程包括訓(xùn)練監(jiān)督策略模型、訓(xùn)練獎勵模型(RewardMode，RM)、采用PPO(ProximalPolicyOptimization，近端策略優(yōu)

化)三個階段，在持續(xù)參數(shù)迭代的過程中，輸入獎勵模型，得到優(yōu)化參數(shù)。ChatGPT會不斷重復(fù)第二和第三階段，通過迭代，訓(xùn)練出更高質(zhì)量的ChatGPT模型。

2.ChatGPT的應(yīng)用

(1)寫文本，如圖9-19、圖9-20和圖9-21所示。

(2)問題解答，如圖9-22、圖9-23所示。

(3)翻譯助手，如圖9-24所示。

(4)心理輔導(dǎo)專家，如圖9-25所示。

圖9-19-ChatGPT寫文本示例

圖9-20ChatGPT寫論文大綱

圖9-21ChatGPT寫郵件示例

圖9-22ChatGPT解決數(shù)學(xué)問題

圖9-23ChatGPT解答高數(shù)題目

圖9-24ChatGPT翻譯文本示例

圖9-25ChatGPT心理輔導(dǎo)文本示例

9.3.3BingChat

基于