神經(jīng)網(wǎng)絡模型智能控制技術(shù)產(chǎn)品質(zhì)量特性波動5MIE分析法智能控制技術(shù)BP神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡循環(huán)神經(jīng)網(wǎng)絡內(nèi)容神經(jīng)網(wǎng)絡模型產(chǎn)品質(zhì)量特性波動5MIE分析法智能控制技術(shù)

卷積神經(jīng)網(wǎng)絡1神經(jīng)網(wǎng)絡模型5MIE分析法智能控制技術(shù)神經(jīng)網(wǎng)絡模型概述卷積神經(jīng)網(wǎng)絡（簡稱CNN）是一種擅長模擬人類視覺對圖像進行識別的網(wǎng)絡模型。CNN經(jīng)常被用于解決將圖像作為輸入數(shù)據(jù)的分類問題。圖1CNN網(wǎng)絡識別動物的案例將貓的照片輸入學習完畢的CNN網(wǎng)絡中后，會得到類似90%的是貓、5%是狗、3%是兔子、1%是老鼠等描述照片中物體可能是哪種動物的概率最高的輸出數(shù)據(jù)。其中，卷積層就是負責對輸出結(jié)果只受部分輸入數(shù)據(jù)影響的需要對局部性特征進行強調(diào)處理的網(wǎng)絡層，池化層則是負責實現(xiàn)對需要識別對象的位置進行靈活對應的機制。

5MIE分析法智能控制技術(shù)卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)神經(jīng)網(wǎng)絡模型在CNN中，網(wǎng)絡層主要分為卷積層、池化層和全連接層三種。圖像最初被輸入到卷積層中，之后又經(jīng)過多個卷積層和池化層的處理，最后連接到全連接層，也可能在多個全連接層中，位于最后的全連接層將作為輸出層。圖像數(shù)據(jù)依次經(jīng)過這些層次的處理，最終完成特征提取和分類任務。圖2CNN網(wǎng)絡結(jié)構(gòu)圖

5MIE分析法智能控制技術(shù)（1）卷積層神經(jīng)網(wǎng)絡模型通過對圖像進行卷積運算，可以對圖像的某個特征進行選擇性地增強或者減弱。卷積層是利用圖像的局部性對圖像的特征進行檢測。在卷積層匯總使用多個過濾器對輸入圖像的特征進行偵測，不同的過濾器所提取出來的圖像特征也不同。假設輸入的圖像是4*4像素大小，過濾器的數(shù)量為1，尺寸為2*2。則卷積運算就是將過濾器移動到輸入圖像的不同位置上，并在過濾器所覆蓋的像素點的值之間進行乘法運算。然后將相乘的結(jié)果根據(jù)過濾器的位置進行相加，并將結(jié)果作為新的像素的值，最終得到一個3*3大小的新圖像。圖3輸入圖像卷積處理過程

5MIE分析法智能控制技術(shù)（1）卷積層神經(jīng)網(wǎng)絡模型在一般圖像數(shù)據(jù)中，每個像素點都包含RGB三種顏色。這幅圖像的張數(shù)通常成為通道數(shù)。單色圖像的通道數(shù)為1，實際應用的CNN通常使用多個過濾器對包含多個通道的圖像進行卷積處理。通道數(shù)有3個，過濾器數(shù)量有4個，每個過濾器都擁有與輸入圖像相同數(shù)量的通道。即輸入圖像對應的是RGB格式，則每個過濾器都必須有對應的通道。在各個過濾器中，每個通道分別進行卷積后會產(chǎn)生三幅圖像，然后再將這些圖像中的每個像素點相加，最終輸出的是一幅圖像。每個過濾器分別處理的結(jié)果所生成的圖像張數(shù)與過濾器的總數(shù)量是相同的。圖4RGB圖像卷積處理后與偏置相加處理

5MIE分析法智能控制技術(shù)（1）卷積層神經(jīng)網(wǎng)絡模型將通過卷積處理生成的圖像中的每個像素與偏置相加，再交由激勵函數(shù)進行處理，如右圖所示。卷積層輸入的是通道數(shù)為3的圖像，輸出的是通道數(shù)為4的圖像，由于進行了卷積處理，每張圖像的尺寸都縮小了，卷積層所輸出的圖像將被作為池化層、全連接層或者其他卷積層的輸入數(shù)據(jù)使用。圖5卷積處理后的圖像與偏置相加處理后再由激勵函數(shù)進行處理

5MIE分析法智能控制技術(shù)（2）池化層神經(jīng)網(wǎng)絡模型池化層通常是作為卷積層的下一層，其主要作用是將圖像的各個區(qū)域進行劃分，并將各個區(qū)域的代表帖子抽取出來，重新排列組合成一幅新的圖像，這種處理過程就被稱之為池化。如圖6所示，每個區(qū)域中的最大值被作為代表該區(qū)域的值，這種池化方法通常成為最大池化。除此之外，還可以利用整個區(qū)域的平均值的池化方式，這種通常稱之為平均池化。在CNN模型中使用較多的是最大池化。顯而易見，經(jīng)過池化后的圖像尺寸也被縮小了。圖中6*6像素的圖像經(jīng)過2*2區(qū)域的池化處理后，得到的圖像尺寸就是3*3像素大小。圖6卷積處理后的數(shù)據(jù)進行池化處理

5MIE分析法智能控制技術(shù)（3）全連接層神經(jīng)網(wǎng)絡模型全連接層通常設置在卷積層和池化層多次疊加后的下一層，主要作用是對卷積層和池化層提取出來的特征量進行運算處理，并輸出結(jié)果，是普通神經(jīng)網(wǎng)絡中所使用的網(wǎng)絡層。全連接層與全連接層之間的鏈接，與普通神經(jīng)網(wǎng)絡匯中的神經(jīng)層是一樣的，每個神經(jīng)元都與相鄰網(wǎng)絡層的全部神經(jīng)元連接在一起。當卷積層和池化層的輸出被傳遞到全連接層的輸入時，圖像會被轉(zhuǎn)換成平坦的向量。這與卷積層的結(jié)構(gòu)是有所區(qū)別的。卷積層主要是以過濾器為單位進行數(shù)據(jù)的處理，因此其網(wǎng)絡層之間的鏈接是局部的，適合于局部特征的捕捉，而全連接層則是全部連接的圖7卷積層與全連接層與下一層之間的區(qū)別產(chǎn)品質(zhì)量特性波動5MIE分析法智能控制技術(shù)BP神經(jīng)網(wǎng)絡2神經(jīng)網(wǎng)絡模型5MIE分析法智能控制技術(shù)神經(jīng)網(wǎng)絡模型概述BP神經(jīng)網(wǎng)絡也是由輸入層、隱藏層和輸出層組成，如圖3所示，通過誤差逆向傳播算法訓練。CNN則是由卷積層、池化層以及全連接層組成，通常用于處理圖像數(shù)據(jù)方面。圖8BP神經(jīng)網(wǎng)絡算法流程圖神經(jīng)網(wǎng)絡模型5MIE分析法智能控制技術(shù)參數(shù)優(yōu)化方式BP神經(jīng)網(wǎng)絡利用誤差逆向傳播算法調(diào)整所有的參數(shù)。CNN則通過局部連接、參數(shù)共享等方法進行訓練，可顯著減少學習的參數(shù)數(shù)量，更好地處理具有平移不變性的輸入，如圖像等。應用場景BP神經(jīng)網(wǎng)絡適用于各種回歸和分類問題。CNN則一般用于圖像識別、自然語言處理等領(lǐng)域，尤其是圖像數(shù)據(jù)，CNN往往比BP網(wǎng)絡具有更好的性能。與CNN的關(guān)鍵區(qū)別產(chǎn)品質(zhì)量特性波動5MIE分析法智能控制技術(shù)

循環(huán)神經(jīng)網(wǎng)絡2神經(jīng)網(wǎng)絡模型5MIE分析法智能控制技術(shù)神經(jīng)網(wǎng)絡模型應用前提標準神經(jīng)網(wǎng)絡采用的是單向信息流動，這簡化了學習過程，但也限制了模型處理復雜任務的能力。在許多實際情況下，網(wǎng)絡的輸出不僅取決于當前輸入，還依賴于歷史輸出。此外，對于視頻、語音和文本等時序數(shù)據(jù)，由于時間維度的不確定性，傳統(tǒng)神經(jīng)網(wǎng)絡難以有效處理，并且前饋網(wǎng)絡通常處理的是固定長度的輸入和輸出數(shù)據(jù)。鑒于此，循環(huán)神經(jīng)網(wǎng)絡（RNN）能夠更好地應對這類問題。5MIE分析法智能控制技術(shù)神經(jīng)網(wǎng)絡模型概述循環(huán)神經(jīng)網(wǎng)絡是一種具備序列數(shù)據(jù)處理能力和短期記憶特性的深度學習模型。在RNN中，神經(jīng)元不單單接收來自其他神經(jīng)元的信息，還能自我循環(huán)，接收自己先前狀態(tài)的信息，這就構(gòu)成了一個包含循環(huán)路徑的網(wǎng)絡結(jié)構(gòu)。

5MIE分析法智能控制技術(shù)循環(huán)神經(jīng)網(wǎng)絡（RNN）神經(jīng)網(wǎng)絡模型RNN的結(jié)構(gòu)允許信息在時間步之間進行傳遞，從而更好地處理序列相關(guān)的任務。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡不同，RNN在處理每個神經(jīng)元的輸入時都會保留一個隱藏狀態(tài)，該隱藏狀態(tài)也會傳遞到下一個時間步，使其能夠記憶之前的信息，也就是神經(jīng)元的輸出可以作為下一個時間步的輸入，這種對自身信息進行循環(huán)處理的方式也稱之為遞歸。圖9循環(huán)神經(jīng)網(wǎng)絡流程圖產(chǎn)品質(zhì)量特性波動5MIE分析法智能控制技術(shù)工業(yè)控制系統(tǒng)的定義自然語言處理：如文本生成、語言建模、機器翻譯等場景，因為NLP任務通常涉及理解詞序和上下文信息。

語音識別：在處理音頻信號時，RNN可以利用其時序特性來提高識別準確率。時間序列預測：例如股票價格、氣象預報等領(lǐng)域，RNN可以根據(jù)歷史數(shù)據(jù)預測未來趨勢。神經(jīng)網(wǎng)絡模型RNN適用場合

5MIE分析法智能控制技術(shù)RNN的基本原理神經(jīng)網(wǎng)絡模型1）循環(huán)結(jié)構(gòu)：RNN與其他傳統(tǒng)前饋神經(jīng)網(wǎng)絡不同的關(guān)鍵點在于其具有循環(huán)結(jié)構(gòu)，可允許信息在不同的時間步之間進行傳遞。因此，在每個時間步，RNN都會接收到當前時間步對應的數(shù)據(jù)同時還會接收到上一個時間步的隱藏狀態(tài)，然后生成一個新的隱藏狀態(tài)。這個新的隱藏狀態(tài)既包含了當前時間步的信息也包含了過去時間步的信息，因此RNN可以捕捉到序列數(shù)據(jù)的上下文信息。2）共享權(quán)重：在RNN中，權(quán)重參數(shù)是共享的，換句話說也就是每個時間步使用的權(quán)重矩陣或者參數(shù)都是相同的?？梢栽诖_保不同時間步的數(shù)據(jù)都是用相同的模型進行處理，保持模型參數(shù)數(shù)量的相對較小。3）隱藏狀態(tài)：RNN的隱藏狀態(tài)是模型的記憶部分，在每個時間步都會被更新。隱藏狀態(tài)由于包含了之前步的信息和數(shù)據(jù)，因此可以用來捕獲長期依賴關(guān)系。4）輸入和輸出：RNN接收輸入序列，然后在每個時間步產(chǎn)生一個輸出。這些輸出可被用于不通過的任務，如文本生成、情感分析、機器翻譯等。

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)神經(jīng)網(wǎng)絡模型圖10不同類型的RNN結(jié)構(gòu)示意圖

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)——一對一神經(jīng)網(wǎng)絡模型一對一結(jié)構(gòu)是最基本的單層網(wǎng)絡，接受一個輸入，經(jīng)過變換和激活函數(shù)后得到一個輸出。圖11一對一RNN結(jié)構(gòu)示意圖

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)——一對多神經(jīng)網(wǎng)絡模型一對多結(jié)構(gòu)的輸入不是序列但輸出是序列的結(jié)構(gòu)，在序列開始進行輸入計算。這種結(jié)構(gòu)通?？捎糜谔幚韽膱D像生成文字的情況，一般就是圖像作為輸入，輸出則是對應的一段文字，類似于我們通常所受的看圖說話，也可用于從類別生成語音或音樂等情況。圖11一對多RNN結(jié)構(gòu)示意圖

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)——多對一神經(jīng)網(wǎng)絡模型多對一結(jié)構(gòu)即有多個輸入序列且只有一個輸出的結(jié)構(gòu)。只需要在最后一個隱藏層h上進行輸出變化即可。這種結(jié)構(gòu)通常用于處理序列分類問題，例如輸入一段文字判別它所屬的類別，輸入一個句子判斷其感情傾向或者輸入一段視頻判斷類別等。圖12多對一RNN結(jié)構(gòu)示意圖

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)——多對多神經(jīng)網(wǎng)絡模型多對多結(jié)構(gòu)是一種最經(jīng)典的RNN結(jié)構(gòu)，通常有兩種，一種是輸入和輸出都是相等長度的序列數(shù)據(jù)，另一種是輸入和輸出不等長的序列數(shù)據(jù)，是RNN的一個變種，這是因為大部分的問題輸入和輸出都是不等長的。這種不等長多對多結(jié)構(gòu)也可以稱作編碼-解碼結(jié)構(gòu)，應用范圍十分的廣泛，如機器翻譯、文本摘要、閱讀理解以及語音識別等場合。圖13多對多RNN結(jié)構(gòu)示意圖

5MIE分析法智能控制技術(shù)RNN的結(jié)構(gòu)——多對多神經(jīng)網(wǎng)絡模型不等長的多對多架構(gòu)主要的限制在于，編碼器和解碼器之間的聯(lián)系僅限于固定長度的語義向量c，這個向量無法完全捕捉整個序列的信息。引入注意力機制可解決這一問題。以中文“我愛中國”翻譯成英文為例，輸入的四個字可以分別由編碼器中的h1、h2、h3和h4表示，分別對應“我”“愛”“中”和“國”。在翻譯過程中，第一個上下文c1應與“我”最為相關(guān)，因此相應的權(quán)重a11會較大，而a12、a13和a14則較小。同理，c2與“愛”關(guān)系最大，所以a22會較大。對于c3