PAGEPAGE18一種基于多層級三維全卷積網(wǎng)絡(luò)的神經(jīng)元圖像分割算法設(shè)計1緒論1.1研究背景及意義從公元前800年的古希臘的哲學家開始，人們就不斷思考著人類思維的起源，由此興起的是對大腦功能及結(jié)構(gòu)的不斷探索和研究。從1796年德國科學家弗朗茲·約瑟夫·加爾（Gall）首次提出“顱相學”的概念，到19世紀中期，電子顯微鏡的發(fā)明使人們對大腦的認知突破了形狀、大小等宏觀層面，開始深入到細胞維度的探索。1873年,意大利科學家高爾基(Golgi)發(fā)明了重鉻酸銀染色法，成功標記出了腦神經(jīng)細胞，使得歷史上人們第一次在顯微鏡下觀察到神經(jīng)元的胞體及樹狀結(jié)構(gòu)。19世紀末期，被后世譽為“現(xiàn)代神經(jīng)科學之父”的西班牙神經(jīng)學家Cajar在重鉻酸銀染色法的技術(shù)基礎(chǔ)之上進行改良，第一次觀察并手繪出了完整的神經(jīng)元細胞結(jié)構(gòu)，從此翻開了神經(jīng)科學研究領(lǐng)域的新篇章。Cajal后來稱這種作為大腦結(jié)構(gòu)功能最基本單位的細胞為神經(jīng)元的說法也被沿用至今。近年來，隨著計算機視覺學科和高精度光學顯微鏡制作工藝的迅猛發(fā)展，科學家對于大腦神經(jīng)元圖像的獲取愈發(fā)便利。得益于此，生物醫(yī)學圖像領(lǐng)域也迎來了發(fā)展的新浪潮。在人工智能蓬勃興起的當下，生物醫(yī)學領(lǐng)域的科學家們開始追求利用計算機強大的數(shù)據(jù)處理能力和深度學習算法對三維神經(jīng)元進行追蹤與形態(tài)結(jié)構(gòu)重建，以此得到比傳統(tǒng)顯微觀測方法更直觀、清晰的神經(jīng)元三維空間姿態(tài)和結(jié)構(gòu)。但是，想要用計算機從顯微鏡下觀測到的圖像中提取繪制出完整而清晰的神經(jīng)元結(jié)構(gòu)和大規(guī)模連接網(wǎng)絡(luò)絕非易事，噪聲信號的干擾、神經(jīng)元結(jié)構(gòu)斷裂、弱信號等等問題是擺在當前生物醫(yī)學圖像研究領(lǐng)域研究前沿所面臨的難題，而現(xiàn)有的神經(jīng)元重建方法往往難以實現(xiàn)重建準確率與計算成本之間的平衡。19世紀，當人們第一次觀測到神經(jīng)元圖像卻因為儀器等客觀條件限制而只能看到模糊的聚集成一團的塊狀物時，Golgi利用了銀染色法將神經(jīng)元標記凸顯了出來。而今，面臨著相似的問題，圖像分割的技術(shù)被迅速引入生物醫(yī)學圖像研究領(lǐng)域，以期望能夠解決三維神經(jīng)元追蹤與形態(tài)結(jié)構(gòu)重建的難題。圖1.1三維神經(jīng)元結(jié)構(gòu)重建示意圖研究神經(jīng)元圖像分割的意義在于,我們通過對神經(jīng)元圖像進行分割,將神經(jīng)元圖像從背景當中提取出來，對其三維空間信號進行增強，這對于神經(jīng)元形態(tài)重建的結(jié)果將有非常明顯的提升。傳統(tǒng)的圖像分割方法已經(jīng)能夠很好的滿足常規(guī)神經(jīng)元圖像的分割要求,但是，這些分割算法在處理具有挑戰(zhàn)性的圖片例如低信噪比或者弱信號圖片時,其分割結(jié)果往往差強人意。因此，當今醫(yī)學圖像研究領(lǐng)域愈發(fā)渴求一種能夠適應普遍情況的神經(jīng)元圖像分割方法，不僅在處理常規(guī)神經(jīng)元圖像時能夠做到簡單高效，在面對非常規(guī)的、具有挑戰(zhàn)性的數(shù)據(jù)集時也能得到很好的分割結(jié)果。1.2神經(jīng)元圖像分割算法的發(fā)展1.2.1圖像分割算法研究現(xiàn)狀在我國計算機視覺領(lǐng)域，圖像分割的技術(shù)應用問題已經(jīng)發(fā)展成為了一個重要且具有挑戰(zhàn)性的熱點問題。所謂的圖像分割就是指根據(jù)不同的特征,例如圖像紋理、灰度等等,把圖像中具有特征表現(xiàn)一致性或相似性的部分劃分到同一區(qū)域，劃分后的不同區(qū)域在特征表現(xiàn)上有明顯的不同。簡而言之就是對圖像區(qū)域進行劃分并提取出我們所需要特定對象。從圖像的獲取、預處理到后續(xù)深入的研究這一整個圖像研究過程當中，圖像分割是進行圖像預處理工作的重要一環(huán),高效而準確的分割結(jié)果不僅能夠方便后續(xù)過程中對圖像的進一步研究工作，其對于整個研究過程的準確性與效率性的提升也有著十分重要的作用。由于現(xiàn)有的圖像分割技術(shù)本身的關(guān)鍵地位和挑戰(zhàn)性,自20世紀70年代以來許多研究工作者就開始積極地從事與其相關(guān)領(lǐng)域的研究并且投入了大量的心血。然而迄今為止,仍然沒有一個普遍而且完美的能夠解決所有問題的圖像分割方法。不過,經(jīng)過長期的發(fā)展和實踐研究,人們對于現(xiàn)代數(shù)字圖像分割技術(shù)的普遍性特征和規(guī)律已經(jīng)基本達成了一致意見,并在這個過程中也產(chǎn)生了許多新的研究成果，極大的豐富了研究人員在面對不同領(lǐng)域的圖像處理問題時的算法選擇。在生物醫(yī)學圖像處理領(lǐng)域，雖然常用的圖像分割算法能夠滿足基礎(chǔ)的醫(yī)療影像分割需求,適用于很多的場景，但仍然存在抗干擾能力較差、無監(jiān)督學習能力薄弱等缺陷。而在神經(jīng)元圖像處理領(lǐng)域,由于大部分神經(jīng)元圖像具有前、背景體素差距過大、噪聲干擾嚴重、突觸圖像易間斷等問題,傳統(tǒng)的圖像分割技術(shù)很難高效地完成神經(jīng)元圖像分割的任務(wù)。幸運的是，隨著計算機數(shù)據(jù)處理技術(shù)的成熟和人工智能時代的蓬勃興起,深度機器學習慢慢地被運用于各種圖像信號處理等信息技術(shù)應用領(lǐng)域。深度機器學習(DeepLearning)的概念起源于人工神經(jīng)網(wǎng)絡(luò),屬于人類機器深度學習組成的一部分。由于其強大的學習自主性,深度學習被應用在諸多領(lǐng)域。目前,國內(nèi)外對三維神經(jīng)元圖像分割的深度學習算法的研究越來越多。Liu提出了一種TC-2.5DCNN來消除背景噪音并修復斷裂的神經(jīng)元結(jié)構(gòu)，但是由于對三維圖像處理能力的不足而導致三維信息的缺失可能會限制該網(wǎng)絡(luò)的性能。Tan等人通過使用各向異性卷積核替換傳統(tǒng)的卷積核，改進了3DU-Net的體系結(jié)構(gòu)來提高分支點檢測數(shù)目，但是神經(jīng)元圖像中前景類別和背景類別之間體素的不平衡可能會妨礙該網(wǎng)絡(luò)對前景特征提取的有效性。同時,在處理具有挑戰(zhàn)性的圖片例如低信噪比與弱信號圖片時,這些網(wǎng)絡(luò)的分割結(jié)果往往差強人意。因此,急需研究出一種既簡單又高效的神經(jīng)元圖像分割算法,使得在處理低信噪比與弱信號圖片時不影響圖像分割效果，同時又能夠大大提高效率。1.2.2研究基礎(chǔ)MinLiu等人對V-Net加以改進,來分割具有噪聲和間斷結(jié)構(gòu)的神經(jīng)元圖像。與經(jīng)典的U-Net網(wǎng)絡(luò)不同，該網(wǎng)絡(luò)能夠直接對三維圖像進行處理，輸入的三維神經(jīng)元圖像經(jīng)由該網(wǎng)絡(luò)的分割，最終輸出的分割圖與原始圖像相比能夠明顯地提高前景中神經(jīng)元結(jié)構(gòu)的信號強度并削弱背景噪聲的干擾。但該網(wǎng)絡(luò)的不足在于，其卷積方式的局限性影響了該網(wǎng)絡(luò)提取神經(jīng)元結(jié)構(gòu)空間信息的效率，限制了其性能的進一步提升。本文是以Alom等人提出的R2U-Net模型為基礎(chǔ)進行研究。他們在U-Net的基礎(chǔ)上修改了卷積層結(jié)構(gòu)，引入了循環(huán)殘差卷積模塊來提高深層次卷積網(wǎng)絡(luò)的穩(wěn)定性。本文將從以下幾點對此算法進行改進：加入各向異性卷積核，以解決神經(jīng)元圖像在三維空間X,Y,Z軸上尺寸相距過大的問題。引入循環(huán)殘差卷積模塊，對卷積神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，讓隱藏層的神經(jīng)元相互交流。引入加權(quán)交叉熵損失函數(shù)，用以處理前、背景體素數(shù)量的不平衡問題。2全卷積神經(jīng)網(wǎng)絡(luò)的簡單介紹2.1人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元網(wǎng)絡(luò)(ArtificialNeuralNetwork,ANN)的靈感來源于動物的中樞神經(jīng)系統(tǒng)，用計算機模擬出類似于神經(jīng)元的結(jié)構(gòu)和連接方式，因此被稱為人工神經(jīng)元網(wǎng)絡(luò)。我們可以將其理解為一種運算模型，不同的網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過特定的學習訓練過程能夠構(gòu)建起我們所需要的輸入與輸出之間的關(guān)系。2.1.1神經(jīng)元模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)中的最基本結(jié)構(gòu)和組成單元。圖2.1神經(jīng)元模型示意圖每一個神經(jīng)元結(jié)構(gòu)都包含輸入、輸出和權(quán)重三個部分。如圖2.1所示：，，是該神經(jīng)元的輸入，在不同的場合神經(jīng)元的輸入往往不同，而在同一個人工神經(jīng)網(wǎng)絡(luò)中，某一個神經(jīng)元的輸入既有可能來自輸入層，也有可能來自隱藏層。“”是偏置量，也屬于輸入的一部分。，，是各個輸入對應的權(quán)重。每一個輸入量乘以相對應的權(quán)重再相加，最后加上偏置量就得到了神經(jīng)元的輸出：(2.1)是一個激活函數(shù)(ActivationFunction)，其作用是為網(wǎng)絡(luò)添加非線性因素，使最終的分類結(jié)果不再局限于線性分類。神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)有很多，而本文所用的到激活函數(shù)是ReLU函數(shù)：(2.2)圖2.2ReLU函數(shù)2.1.2人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)就是由上文提到的一個個神經(jīng)元模型相互連接組合而成，一部分神經(jīng)元單元并列組成“層”，不同層之間的神經(jīng)元相互連接，后一層的神經(jīng)元的輸入對接前一層神經(jīng)元的輸入，以此類推，數(shù)據(jù)信息就在層與層之間傳遞，構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)。常見的神經(jīng)網(wǎng)絡(luò)如圖2.3所示：圖2.3簡單神經(jīng)網(wǎng)絡(luò)模型,,是該神經(jīng)網(wǎng)絡(luò)的輸入值，“”是偏置量。網(wǎng)絡(luò)的第一層叫做輸入層，用于接受原始數(shù)據(jù)信息。最后一個神經(jīng)元模型為輸出層，它的輸出作為網(wǎng)絡(luò)的最終輸出。夾在輸入層與輸出層之間的所有層統(tǒng)稱為隱藏層。2.2全卷積神經(jīng)網(wǎng)絡(luò)概述2.2.1卷積神經(jīng)網(wǎng)絡(luò)的不足卷積神經(jīng)網(wǎng)絡(luò)在圖像劃分、道路監(jiān)控、人臉識別、聲學檢索等視覺研究的諸多領(lǐng)域都已經(jīng)得到了廣泛的運用。而其所包含的卷積、池化技術(shù)也使得卷積神經(jīng)網(wǎng)絡(luò)在大規(guī)模的實際運用中均能夠取得不錯的成果。究其原理，卷積化的操作具有局部相互連接、權(quán)值共享的特殊性,因此多個卷積層的加入使網(wǎng)絡(luò)能夠很好地保存輸入圖像的二維數(shù)據(jù)信息，多次卷積和池化操作對圖像特征的壓縮也使得特征的提取更為方便,這些都能夠有效提高網(wǎng)絡(luò)的分類能力。然而卷積神經(jīng)網(wǎng)絡(luò)的缺陷在于其預測結(jié)果的單一性，即一次僅能夠?qū)σ粋€輸入信息進行預測，且預測的結(jié)果也是唯一的，而這樣的預測已經(jīng)無法滿足日益發(fā)展的現(xiàn)代視覺技術(shù)領(lǐng)域的需求。我們往往需要摒棄以往一對一預測的網(wǎng)絡(luò)模型，選擇使用密集式的預測,即輸入對象中的每一個元素都需要被提取并進行預測，以此來滿足日益復雜化和高效化的實際任務(wù)需求，這都是傳統(tǒng)的卷積式神經(jīng)網(wǎng)絡(luò)所無法實現(xiàn)的,全卷積神經(jīng)網(wǎng)絡(luò)就在這種需求下被提出。2.2.2全卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與卷積神經(jīng)網(wǎng)絡(luò)不同,全卷積神經(jīng)網(wǎng)絡(luò)以卷積層為主,部分網(wǎng)絡(luò)還會額外添加池化層以適應特殊任務(wù)的需要。與卷積神經(jīng)網(wǎng)絡(luò)不同，全卷積神經(jīng)網(wǎng)絡(luò)將卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層用卷積層取代，即全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)當中僅保留了卷積層和池化層。在具備了卷積神經(jīng)網(wǎng)絡(luò)的種種由卷積層和池化層所帶來的優(yōu)點之外,全卷積神經(jīng)網(wǎng)絡(luò)還表現(xiàn)出對于任何一種輸入都具有很好的包容性,可以直接用來處理不同大小的輸入信號，這是卷積神經(jīng)網(wǎng)絡(luò)難以企及的。目前，全卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應用于計算機視覺圖像處理領(lǐng)域，并大放異彩。2.3全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)2.3.1輸入層輸入層的主要作用是讀取原始圖像中大量的非線性的信息輸入網(wǎng)絡(luò)，并將標準化處理后的數(shù)據(jù)傳遞給后續(xù)網(wǎng)絡(luò)結(jié)構(gòu)。所謂標準化，即將像素分布為0至255范圍內(nèi)的輸入圖片按比例壓縮調(diào)整到0至1的像素范圍。這種對輸入數(shù)據(jù)進行標準化的操作是在后續(xù)的網(wǎng)絡(luò)訓練中使用梯度下降法的基礎(chǔ)。2.3.2卷積層卷積層是全卷積神經(jīng)網(wǎng)絡(luò)當中最重要的部分。卷積層由若干卷積單元組成，每一個卷積單元的參數(shù)可隨機初始化，并在網(wǎng)絡(luò)訓練的過程中通過反向傳播算法得到最適合的參數(shù)。卷積層的目的是對輸入信號進行特征提取，而特征提取的操作主要通過卷積層與原始圖像的每一個像素進行卷積來完成。圖像的卷積運算是指隨著感受野掃過原始圖像的每一個像素，帶有權(quán)重的卷積核與輸入圖像被特定尺寸所框選出的數(shù)據(jù)求加權(quán)平均數(shù)。卷積層對圖像特征的提取并非一蹴而就，每一個卷積層能夠提取的圖像特征都是有限的，例如位于神經(jīng)網(wǎng)絡(luò)初始位置的卷積層既能夠提取邊緣、線條等宏觀信息，而深層網(wǎng)絡(luò)能夠從低級特征中迭代提取出深層特征。圖2.4卷積層卷積方式如圖2.4展示了一種卷積核與的原始圖像進行的卷積操作。卷積核按特定步長掃過輸入的圖像，帶有權(quán)重的卷積核與輸入圖像被感受野所框選出的數(shù)據(jù)求加權(quán)平均數(shù)便得到了特征圖對應位置的像素值。如圖2.5所示，最終就可以獲得一個的特征圖。2.3.3池化層池化層的作用是對卷積后的特征圖進行壓縮。一方面，池化層的加入會使特征圖變小，每經(jīng)過一次池化操作，特征圖將按照預設(shè)步長縮小，以此簡化該網(wǎng)絡(luò)計算的時間和空間復雜度；另一方面由于特征圖的壓縮，特征也將隨之壓縮，便于后續(xù)對主要特征的提取。2.3.4反卷積層全卷積神經(jīng)網(wǎng)絡(luò)中的反卷積層與卷積層功能恰好相反。卷積層的輸入一般為原始圖像，而輸出為經(jīng)過卷積提取出的特征圖像，而反卷積層則恰好相反，反卷積層的輸入為下采樣過程當中得到的特征圖像，通過對特征圖像進行卷積操作，最后輸出圖像的原始值。簡單來說，我們通過反卷積層將特征圖像還原成原輸入圖像，因此反卷積層的輸出圖像的像素尺寸會大于輸入圖像。我們用相同數(shù)量的卷積層與反卷積層分別構(gòu)建下采樣通道與上采樣通道，從而得到尺寸與原始輸入圖像相同的輸出結(jié)果。圖2.5反卷積層示意圖2.3.5輸出層在全卷積神經(jīng)網(wǎng)絡(luò)中,信息經(jīng)由輸入層被傳遞到網(wǎng)絡(luò)中,通過一系列加權(quán)求和再激活在隱藏層中不斷傳遞，并最終通過輸出層來完成一個輸出。2.4經(jīng)典的全卷積神經(jīng)網(wǎng)絡(luò)算法2.4.1FCN全卷積網(wǎng)絡(luò)（FCN）在保留了基本的卷積層和池化層之外，用卷積層替換了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，以此實現(xiàn)對圖像每一個像素點特征的精細追蹤和預測，由于網(wǎng)絡(luò)結(jié)構(gòu)中的所有層都是卷積層（部分網(wǎng)絡(luò)根據(jù)需要會添加池化層），因此這一結(jié)構(gòu)被命名為全卷積結(jié)構(gòu)。全卷積神經(jīng)網(wǎng)絡(luò)最終輸出的預測圖具有與原始圖像大小尺寸完全相同的特點。后續(xù)人們也對該網(wǎng)絡(luò)進行了一系列的改進，例如在網(wǎng)絡(luò)的上采樣過程中，人們提出了一種雙線性上采樣法，其特點是修正了傳統(tǒng)上采樣過程中的固定參數(shù)，使得上采樣參數(shù)具有自學習能力，在實驗測試中該方法表現(xiàn)出了明顯的優(yōu)勢。此外，為了提高圖像分割結(jié)果的精細程度，F(xiàn)CN摒棄了傳統(tǒng)的裁剪和復制單元而采用了跳級結(jié)構(gòu)，將不同層級之間的特征圖經(jīng)過上采樣操作得到的相同尺寸的圖片通過求和的方式進行融合連接，提高了預測結(jié)果的精細程度。2.4.1U-NetU-Net是一種對稱型網(wǎng)絡(luò)結(jié)構(gòu)，具有下采樣和上采樣兩個階段。在下采樣階段，網(wǎng)絡(luò)主要的功能是獲取的輸入的圖片的特征圖。上采樣階段與下采樣階段結(jié)構(gòu)和功能完全對稱。此外，U-Net還通過跳級連接的方式同時獲取不同階段的特征信息。在U-Net網(wǎng)絡(luò)中，每一次卷積操作都會使圖像的像素大小隨步長持續(xù)減小，因此隨著卷積層的疊加，特征圖像便會逐漸減小。同時特征在向下傳遞的過程中還會進行裁剪，比便于不同特征之間進行連接。U-Net的另一大突破在于提出了一個加權(quán)交叉熵損失函數(shù)專門用于處理生物醫(yī)學圖像：(2.3)其中，ω代表權(quán)重圖譜，它可以根據(jù)形態(tài)學操作的方式計算得到：(2.4)損失函數(shù)也叫代價函數(shù)，它能夠?qū)τ柧毤邪牟煌N類的像素出現(xiàn)的不同頻率進行差異補償，從而使網(wǎng)絡(luò)能夠針對相連神經(jīng)元之間的細微結(jié)構(gòu)進行針對性訓練。圖2.6經(jīng)典U-Net結(jié)構(gòu)2.5本章小結(jié)本章首先對單個神經(jīng)元模型的結(jié)構(gòu)與原理進行介紹，并探討多個節(jié)點組成的神經(jīng)網(wǎng)絡(luò)的工作方式。然后對比了全卷積神經(jīng)元網(wǎng)絡(luò)和傳統(tǒng)的卷積神經(jīng)元網(wǎng)絡(luò)的優(yōu)缺點，介紹了全卷積神經(jīng)元網(wǎng)絡(luò)的發(fā)展。隨后對全卷積神經(jīng)元網(wǎng)絡(luò)的概念進行了簡單介紹，并對全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與組成成分進行由淺入深的學習與研究。最后舉例介紹了FCN、U-Net兩種常見的全卷積神經(jīng)元網(wǎng)絡(luò)的特點。3基于多層級三維全卷積網(wǎng)路的神經(jīng)元圖像分割算法3.1多層級三維全卷積網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)圖3.1多層級三維全卷積網(wǎng)絡(luò)的結(jié)構(gòu)本文所使用的多層級三維全卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖3.1所示。它由左側(cè)的收縮路徑和右側(cè)的擴張路徑組成。我們執(zhí)行卷積不僅是從數(shù)據(jù)中提取特征，而且會在每個階段結(jié)束時以適當?shù)牟介L降低其分辨率。網(wǎng)絡(luò)的左側(cè)由四個不同分辨率的階段組成，每一個階段都包含兩次卷積操作。在神經(jīng)網(wǎng)絡(luò)左側(cè)的每個階段的卷積操作結(jié)束之后，應用下采樣來減小輸入信號的大小，并增加后續(xù)網(wǎng)絡(luò)層中計算特征的感受野。當數(shù)據(jù)沿著壓縮路徑經(jīng)過不同的階段時，由于使用了步長為2的2×2×2卷積，其分辨率被降低。同時，在每個階段結(jié)束時，通道的數(shù)量會翻倍。此外，我們從基本的U-Net模型中移除了裁剪和復制單元，只使用了跳級連接操作，從而產(chǎn)生了一個更加精細的體系結(jié)構(gòu)，以帶來更好的性能。3.2循環(huán)殘差卷積模塊為了提高網(wǎng)絡(luò)的效率和分割性能，我們在編碼和解碼路徑中使用循環(huán)殘差卷積結(jié)構(gòu)來代替多層級三維全卷積網(wǎng)絡(luò)中的常規(guī)卷積層。循環(huán)殘差卷積結(jié)構(gòu)是一個包含了循環(huán)卷積結(jié)構(gòu)和殘差卷積運算的模塊。所謂循環(huán)卷積結(jié)構(gòu)，它包括一個卷積層，后面是兩個相繼的循環(huán)卷積層。循環(huán)卷積結(jié)構(gòu)中的時間步長t=2(0~2)，指的是循環(huán)卷積運算的次數(shù)，它的加入能夠讓隱藏層的神經(jīng)元相互交流，確保了更好和更強的特征表示。殘差卷積運算是一種網(wǎng)絡(luò)連接方式。在網(wǎng)絡(luò)中加入殘差運算能夠在不影響原有網(wǎng)絡(luò)空間復雜度的前提下增加網(wǎng)絡(luò)深層擴展的性能，同時也能夠有效減輕淺層網(wǎng)絡(luò)訓練工作的負荷，防止深層網(wǎng)絡(luò)退化問題的出現(xiàn)。圖3.2循環(huán)殘差卷積模塊結(jié)構(gòu)示意圖我們把循環(huán)卷積與殘差運算相結(jié)合，使用一種循環(huán)殘差卷積模塊加入到我們的網(wǎng)絡(luò)當中。這種模塊有助于開發(fā)出更穩(wěn)定的深層模型，提供了有效的特征累積方法。同時，由于模型內(nèi)部的特征積累，使用循環(huán)殘差卷積模塊的多層級三維全卷積神經(jīng)元網(wǎng)絡(luò)在訓練和測試階段各項指標都有提升。此外，不同時間步長的特征累積也確保了更好和更強的特征表示，因此，循環(huán)殘差卷積模塊有助于網(wǎng)絡(luò)提取出更為低級的特征，這些特征對于神經(jīng)元圖像分割是必不可少的。在添加了循環(huán)殘差卷積模塊的基礎(chǔ)上，我們又對卷積核進行了一定的改進。由于所用數(shù)據(jù)集中的三維圖像X軸和Y軸的分辨率都大于Z軸的分辨率，因此我們選擇尺寸為7×7×3的各向異性卷積核替代普通的卷積核(5×5×5濾波器)來處理三維空間上的對象分類問題，以解決圖像尺寸不平衡的情況。3.3加權(quán)交叉熵損失函數(shù)交叉熵用于判斷輸出和輸入期望之間的兩個輸入概率接近的程度。假設(shè)一個概率分布函數(shù)p為其實際期望需求輸入,概率分布q為其實際期望輸入,為交叉概率熵，則(3.3)在實際的神經(jīng)元圖像分割中，由于前景與背景之間體素數(shù)量差距過大，因此我們引入加權(quán)交叉熵損失函數(shù)來處理前、背景體素數(shù)量的不平衡問題，從而提高分割網(wǎng)絡(luò)的訓練效率與分割效果。3.4本章小結(jié)本章首先對多層級三維全卷積網(wǎng)絡(luò)的結(jié)構(gòu)進行了介紹，然后提出了一種循環(huán)殘差卷積模塊并對其結(jié)構(gòu)特點進行了詳細的介紹，我們基于該模塊對多層級三維全卷積網(wǎng)絡(luò)的卷積結(jié)構(gòu)進行了改進，減輕淺層網(wǎng)絡(luò)訓練工作的負荷,以期獲得網(wǎng)絡(luò)性能的提升。最后介紹了一種加權(quán)交叉熵損失函數(shù)用于解決前、背景體素數(shù)量的不平衡問題。4實驗結(jié)果和數(shù)據(jù)分析4.1實驗平臺本次畢業(yè)設(shè)計所進行的算法編寫、分割網(wǎng)絡(luò)的訓練及測試工作均在Windows10系統(tǒng)下完成，其中代碼編寫使用的是PyCharm開發(fā)環(huán)境，實驗使用設(shè)備為筆記本電腦，顯卡型號為：NVIDIAGeforceRTX2070super，顯存：8GB。對原始圖像和最終分割結(jié)果進行追蹤及形態(tài)重建工作所使用的工具為Vaa3D軟件中部分開源的神經(jīng)元結(jié)構(gòu)重建算法。Vaa3D（3DVisualization-AssistedAnalysis）是由珍妮莉婭法姆研究學院(JFRC．HHMI)的研發(fā)團隊開發(fā)的一款開源軟件。Vaa3D的特點在于其功能代碼對于用戶而言是完全開放的，因此用戶不僅可以免費下載使用到這款軟件，而且可以借助其開源代碼對軟件功能進行二次開發(fā)，創(chuàng)造一些滿足特定要求的功能。Vaa3D的研發(fā)團隊開發(fā)了很多適用于3D圖像的分析方法，例如：神經(jīng)元結(jié)構(gòu)重建，細胞分割，神經(jīng)元細節(jié)對比等。豐富的功能使Vaa3D適用于各種圖像的信息處理，尤其是在生物學領(lǐng)域得到了廣泛的應用，是用戶研究新的三維圖像分析算法的一個基礎(chǔ)平臺。4.2實驗數(shù)據(jù)本次用于網(wǎng)絡(luò)訓練的數(shù)據(jù)集取自BigNeuron數(shù)據(jù)庫，其中的三維圖像數(shù)據(jù)由激光掃描顯微鏡觀測得到的一系列二維神經(jīng)元圖像切片疊加而成，該數(shù)據(jù)集中的圖像種類主要來自人腦神經(jīng)元還有果蠅，老鼠等物種。這些圖像棧的尺寸變化范圍很大，有X,Y,Z軸上尺寸相距過大的如，也有X,Y,Z軸上尺寸近似的如等等，圖片尺寸并不統(tǒng)一。本次實驗使用500張包含原圖與通過合成中心線尺度變換生成的對應標簽作為數(shù)據(jù)集來訓練含有循環(huán)殘差卷積模塊的多層級三維全卷積網(wǎng)絡(luò)，考慮到計算資源的限制和神經(jīng)元圖像大小不均衡等問題，訓練塊的大小統(tǒng)一裁剪為128×128×32。其中噪聲類圖片與弱信號類圖片的比例為1:1。4.3實驗結(jié)果4.3.1神經(jīng)元圖像分割結(jié)果神經(jīng)元圖像的分割結(jié)果如圖4.1所示，首先使用肉眼觀察比較，對原始圖像與分割圖像進行主觀評價。部分實驗結(jié)果如圖所示，圖a1、b1、c1為原始圖像，圖a2、b2、c2為分割圖像。我們發(fā)現(xiàn)經(jīng)過本文使用的分割算法分割出來的結(jié)果很好的保留了完整的神經(jīng)元突觸結(jié)構(gòu)。對比第一行的原始圖像與第二行的分割結(jié)果，分割結(jié)果有明顯的亮度和粗細上的提升，說明本文使用的分割算法對前景對象的信號有明顯的增強，并且對于神經(jīng)元間斷結(jié)構(gòu)也進行了有效修復。圖4.1神經(jīng)元圖像分割結(jié)果為了觀察到更精細的結(jié)果，我們單獨拿出兩張具有代表性的圖像，并對實驗結(jié)果進行細節(jié)對比。其中，圖a1為原始圖像，圖a2為原圖調(diào)整圖片對比度后呈現(xiàn)的圖像。（該操作的目的是通過調(diào)整對比度，使背景的噪聲更容易被觀察到）圖b1為分割圖像，圖b2為分割圖像調(diào)整圖片對比度后所呈現(xiàn)的圖像。圖c1、c2分別為a2、b2所對應的局部放大圖。比較圖c1和圖c2，原始圖像中的背景噪聲經(jīng)過對比度調(diào)整和局部放大后變得顯而易見（如圖c1所示），而對分割結(jié)果進行同樣的操作后該圖像依舊一片漆黑（如圖c2所示），說明原始圖像在經(jīng)過分割網(wǎng)絡(luò)后，背景中的噪聲已經(jīng)被大大削弱，因此可以認為本文使用的分割算法在抑制背景噪聲方面表現(xiàn)優(yōu)越。圖4.2神經(jīng)元圖像分割結(jié)果（細節(jié)放大）除了能夠增強信號、削弱噪聲干擾之外，分割網(wǎng)絡(luò)對于神經(jīng)元斷裂結(jié)構(gòu)的修復也有所幫助。由于圖片斷裂結(jié)構(gòu)較小，因此也將圖片進行局部放大以便于觀察。通過比較圖d1與圖d2，可以觀察到原始圖像在神經(jīng)元的分支上存在細微的間斷現(xiàn)象，而在分割后的圖像上這部分間斷處已被修補完整。圖4.3神經(jīng)元圖像分割結(jié)果（細節(jié)放大）4.3.2神經(jīng)元圖像形態(tài)結(jié)構(gòu)重建圖像分割的目的最終是為了提高神經(jīng)元形態(tài)重建的效果，因此我們以重建結(jié)果為比較對象對分割算法的優(yōu)劣進行定性評估。如圖4.4所示，第一行為原始圖像及其重建結(jié)果，從左至右，圖a1為原始圖像，圖a2是直接在原始圖像上運用APP1算法進行重建得到的結(jié)果，圖a3是直接在原始圖像上運用APP2算法進行重建得到的結(jié)果。第二行為分割圖像及其重建結(jié)果。圖b1為分割圖像，圖b2是在分割圖像上運用APP1算法進行重建得到的結(jié)果，圖b3是在分割圖像上運用APP2算法進行重建得到的結(jié)果。比較第一行與第二行的圖像，尤其是圖a3與圖b3，可以觀察到相較于圖b3，圖a3在左側(cè)有額外部分（紅框標示處），分析原始圖像可知，該部分實為背景噪聲，不應當出現(xiàn)在重建結(jié)果當中。由此可以看出，使用基于分割算法得到的重建結(jié)果不僅抑制了噪聲信號干擾，還有效修復了間斷的神經(jīng)元結(jié)構(gòu)。圖4.4神經(jīng)元圖像形態(tài)結(jié)構(gòu)重建4.3.3算法SD、SSD指標定量評估空間距離(SD)和實際空間距離(SSD)是人為定義的兩個數(shù)據(jù)指標，用于定量化衡量神經(jīng)元圖像追蹤結(jié)果與真實數(shù)據(jù)之間的差異，因其權(quán)威性和準確性，成為了研究人員在進行神經(jīng)元重建效果的評估時最常用到的兩個數(shù)據(jù)指標。通過計算給定的神經(jīng)元的重建結(jié)果的每一個像素點與其對應的真實重建結(jié)構(gòu)每一個像素點之間的最小歐氏距離，并將所有的最小距離求和取均值就得到了給定的神經(jīng)元圖像的空間距離SD數(shù)據(jù)。實際空間距離SSD則在空間距離SD的基礎(chǔ)上引入了閾值機制，當給定閾值后，通過計算出所有最小歐式距離中小于閾值的個數(shù)，將SD數(shù)值除以該數(shù)據(jù)就得到了實際空間距離SSD。SD和SSD均可用于定量化衡量神經(jīng)元圖像分割算法的優(yōu)劣。SD和SSD數(shù)據(jù)越小，說明重建結(jié)果與真實數(shù)據(jù)結(jié)構(gòu)越接近，即重建結(jié)果越好。如果分割圖像的SD和SSD數(shù)據(jù)小于原始圖像的SD和SSD數(shù)據(jù)，則說明該神經(jīng)元圖像分割算法具有良好的圖像分割能力，能夠有效幫助神經(jīng)元進行三維形態(tài)重建。如下表4.1和表4.2選取了部分測試集結(jié)果的SD和SSD數(shù)據(jù)。表4.1原始圖像與分割圖像重建結(jié)果SD分數(shù)比較(部分)數(shù)據(jù)集APP1R2V-Net+APP1APP2R2V-Net+APP2fly_utokyo_19.13724.04387.25863.5911fly_utokyo_39.13633.80669.32544.5362flycirciut_taiwan_14119.74652.07553.48643.2804flylight_janelia_1114.36554.53827.51045.2582fruitfly_1023.99626.227236.57472.4009flylight_janelia_part1_81.70291.69802.05981.8968flylight_janelia_part2_71.88481.47682.67232.3666human_Cambridge_114.43223.254134.95523.5430human_Cambridge_336.46393.031751.32313.0683human_Cambridge_448.864629.515752.819927.3498mouse_92.88652.25842.82062.3709mouse_105.03883.74254.98123.7617mouse_1114.55957.06237.53986.6055表4.2原始圖像與分割圖像重建結(jié)果SSD分數(shù)比較(部分)數(shù)據(jù)集APP1R2V-Net+APP1APP2R2V-Net+APP2fly_utokyo_113.65898.638413.82145.5559fly_utokyo_311.87745.758813.86046.4893flycirciut_taiwan_14120.56642.99736.23673.6600flylight_janelia_1119.53908.69638.90077.4224fruitfly_1041.456910.989160.67665.6875flylight_janelia_part1_87.35854.37773.65993.4230flylight_janelia_part2_78.28093.33844.53633.2511human_Cambridge_141.25889.752354.68189.0854human_Cambridge_374.40108.537761.1603