(19)國(guó)家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號(hào)CN111742333B(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)(30)優(yōu)先權(quán)數(shù)據(jù)(85)PCT國(guó)際申請(qǐng)進(jìn)入國(guó)家階段日(86)PCT國(guó)際申請(qǐng)的申請(qǐng)數(shù)據(jù)(87)PCT國(guó)際申請(qǐng)的公布數(shù)據(jù)WO2019/164251EN20(73)專利權(quán)人三星電子株式會(huì)社號(hào)(74)專利代理機(jī)構(gòu)北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司11204專利代理師王達(dá)佐楊莘US2018046597A1,2018.02.15US2016307098A1,2016.1(54)發(fā)明名稱執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法及其裝置存儲(chǔ)器編碼電路編碼裝置連接至深度神經(jīng)網(wǎng)絡(luò)的處理學(xué)習(xí)的學(xué)習(xí)電路，并且編碼裝置配置為執(zhí)行編碼以用于使用邊緣序列重新配置深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的連接或斷開連接，其中邊緣序列基于隨機(jī)數(shù)序列和丟棄信息生成，丟棄信息指示包2將圖像數(shù)據(jù)傳輸?shù)缴疃壬窠?jīng)網(wǎng)絡(luò)；接收所述深度神經(jīng)網(wǎng)絡(luò)的第一邊緣序列，所述第一邊緣序列指示所述深度神經(jīng)網(wǎng)絡(luò)的第一層中包括的多個(gè)第一邊緣的連接或斷開連接；通過基于所述隨機(jī)數(shù)序列中的具有比特值0的比特與所述隨機(jī)數(shù)序列中的具有比特值1的比特之間的第一比率值以及所述第一邊緣序列中的具有指示斷開連接邊緣的比特值的比特與所述第一邊緣序列中的具有指示連接邊緣的比特值的比特之間的第二比率值處理所述隨機(jī)數(shù)序列，生成指示所述深度神經(jīng)網(wǎng)絡(luò)的第二層中包括的多個(gè)第二邊緣的連接或斷開連接的第二邊緣序列；輸出所述第二邊緣序列以用于配置所述多個(gè)第二邊緣的連接或斷開連接；以及接收從所述深度神經(jīng)網(wǎng)絡(luò)輸出的輸出數(shù)據(jù)，其中所述輸出數(shù)據(jù)是通過其中所述多個(gè)第二邊緣已經(jīng)基于所述第二邊緣序列被配置的所述第二層對(duì)所述圖像數(shù)據(jù)執(zhí)行學(xué)習(xí)而生成確定所述第一比率值和所述第二比率值是否在相同范圍內(nèi)；以及基于確定出所述第一比率值和所述第二比率值在所述相同范圍內(nèi)，通過基于所述第一邊緣序列處理所述隨機(jī)數(shù)序列生成與所述第一邊緣序列和所述隨機(jī)數(shù)序列中的至少一個(gè)不在所述相同范圍內(nèi)的所述第二邊緣序列，或者基于確定出所述第一比率值和所述第二比率值不在所述相同范圍內(nèi)，提供所述隨機(jī)數(shù)序列作為所述第二邊緣序列。2.根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述隨機(jī)數(shù)序列基于所述隨機(jī)數(shù)生成器的時(shí)鐘信號(hào)。3.根據(jù)權(quán)利要求2所述的編碼裝置，其中，所述隨機(jī)數(shù)序列的大小基于所述第一層的所述多個(gè)第一邊緣的數(shù)目來確定。4.根據(jù)權(quán)利要求2所述的編碼裝置，其中，所述第一邊緣序列、所述隨機(jī)數(shù)序列和所述第二邊緣序列具有由二進(jìn)制數(shù)形成的比特寬度。5.根據(jù)權(quán)利要求3所述的編碼裝置，其中，所述隨機(jī)數(shù)序列的大小等于所述第一層的所述多個(gè)第一邊緣的數(shù)量。6.根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述深度神經(jīng)網(wǎng)絡(luò)的第二層中所包括的所述多個(gè)第二邊緣基于所述第二邊緣序列而連接或斷開。7.根據(jù)權(quán)利要求2所述的編碼裝置，其中，所述編碼器還配置為：獲得所述多個(gè)第一邊緣的權(quán)重，基于所述權(quán)重與預(yù)設(shè)閾值權(quán)重比較的結(jié)果對(duì)所述隨機(jī)數(shù)序列執(zhí)行修剪操作，以及基于所述修剪操作，生成所述第二邊緣序列。8.根據(jù)權(quán)利要求1所述的編碼裝置，經(jīng)由選擇器接收中間操作結(jié)果中是否已發(fā)生溢出的確定結(jié)果，所述選擇器配置為選擇多種類型的輸入信號(hào)之一并輸出所選擇的信號(hào)；以及基于是否已發(fā)生溢出執(zhí)行對(duì)所述深度神經(jīng)網(wǎng)絡(luò)中使用的信息的可表示范圍進(jìn)行修改3的動(dòng)態(tài)定點(diǎn)操作。9.根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述編碼器還配置為：基于所述第一比率值和所述第二比率值之差是否等于或小于預(yù)設(shè)值來確定所述第一比率值和所述第二比率值是否在所述相同范圍內(nèi)。10.一種編碼裝置的編碼方法，所述編碼方法包括：將圖像數(shù)據(jù)傳輸?shù)缴疃壬窠?jīng)網(wǎng)絡(luò)；存儲(chǔ)由隨機(jī)數(shù)生成器生成的隨機(jī)數(shù)序列；接收所述深度神經(jīng)網(wǎng)絡(luò)的第一邊緣序列，所述第一邊緣序列指示所述深度神經(jīng)網(wǎng)絡(luò)的第一層中包括的多個(gè)第一邊緣的連接或斷開連接；通過基于所述隨機(jī)數(shù)序列中的具有比特值0的比特與所述隨機(jī)數(shù)序列中的具有比特值1的比特之間的第一比率值以及所述第一邊緣序列中的具有指示斷開連接邊緣的比特值的比特與所述第一邊緣序列中的具有指示連接邊緣的比特值的比特之間的第二比率值處理所述隨機(jī)數(shù)序列，生成指示所述深度神經(jīng)網(wǎng)絡(luò)的第二層中包括的多個(gè)第二邊緣的連接或斷開連接的第二邊緣序列；輸出所述第二邊緣序列以用于配置所述多個(gè)第二邊緣的連接或斷開連接；以及接收從所述深度神經(jīng)網(wǎng)絡(luò)輸出的輸出數(shù)據(jù)，其中所述輸出數(shù)據(jù)是通過其中所述多個(gè)第二邊緣已經(jīng)基于所述第二邊緣序列被配置的所述第二層對(duì)所述圖像數(shù)據(jù)執(zhí)行學(xué)習(xí)而生成確定所述第一比率值和所述第二比率值是否在相同范圍內(nèi)；以及基于確定出所述第一比率值和所述第二比率值在所述相同范圍內(nèi)，通過基于所述第一邊緣序列處理所述隨機(jī)數(shù)序列生成與所述第一邊緣序列和所述隨機(jī)數(shù)序列中的至少一個(gè)不在所述相同范圍內(nèi)的所述第二邊緣序列，或者基于確定出所述第一比率值和所述第二比率值不在所述相同范圍內(nèi)，提供所述隨機(jī)數(shù)序列作為所述第二邊緣序列。11.根據(jù)權(quán)利要求10所述的編碼方法，其中，所述隨機(jī)數(shù)序列基于所述隨機(jī)數(shù)生成器的時(shí)鐘信號(hào)。12.根據(jù)權(quán)利要求11所述的編碼方法，其中，所述隨機(jī)數(shù)序列的大小基于所述第一層的所述多個(gè)第一邊緣的數(shù)目來確定。13.根據(jù)權(quán)利要求11所述的編碼方法，其中，所述第一邊緣序列、所述隨機(jī)數(shù)序列和所述第二邊緣序列具有由二進(jìn)制數(shù)形成的比特寬度。14.根據(jù)權(quán)利要求12所述的編碼方法，其中，所述隨機(jī)數(shù)序列的大小等于所述第一層的所述多個(gè)第一邊緣的數(shù)量。15.根據(jù)權(quán)利要求11所述的編碼方法，其中，所述深度神經(jīng)網(wǎng)絡(luò)的第二層中所包括的所述多個(gè)第二邊緣基于所述第二邊緣序列而連接或斷開。16.根據(jù)權(quán)利要求11所述的編碼方法，還包括：獲得所述多個(gè)第一邊緣的權(quán)重；基于所述多個(gè)第一邊緣的權(quán)重與預(yù)設(shè)閾值權(quán)重進(jìn)行比較的結(jié)果對(duì)所述隨機(jī)數(shù)序列執(zhí)4基于所述修剪操作，生成所述第二邊緣序列。17.根據(jù)權(quán)利要求11所述的編碼方法，其中，確定所述第一比率值和所述第二比率值是否在相同范圍內(nèi)包括：基于所述第一比率值和所述第二比率值之差是否等于或小于預(yù)設(shè)值來確定所述第一比率值和所述第二比率值是否在所述相同范圍內(nèi)。5執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法及其裝置技術(shù)領(lǐng)域[0001]本公開涉及用于執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)以使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行推斷的方法和裝置。背景技術(shù)[0002]人工智能(AI)系統(tǒng)是實(shí)施或嘗試模仿人類層次智能的計(jì)算機(jī)系統(tǒng)。與常規(guī)的基于規(guī)則的智能系統(tǒng)不同，AI系統(tǒng)學(xué)習(xí)并進(jìn)行判斷。隨著AI系統(tǒng)的使用越來越多，AI系統(tǒng)的識(shí)別率越高，例如更準(zhǔn)確地理解用戶偏好。因此，常規(guī)的基于規(guī)則的智能系統(tǒng)正逐漸被基于深度學(xué)習(xí)的AI系統(tǒng)所取代。[0003]AI技術(shù)包括機(jī)器學(xué)習(xí)(深度學(xué)習(xí))和利用機(jī)器學(xué)習(xí)的元素技術(shù)。[0004]機(jī)器學(xué)習(xí)是分類或?qū)W習(xí)輸入數(shù)據(jù)的特征的算法技術(shù)。元素技術(shù)是使用機(jī)器學(xué)習(xí)算法，諸如深度學(xué)習(xí)的技術(shù)，并且包括諸如語言理解、視覺理解、推斷控制的技術(shù)領(lǐng)域。[0005]應(yīng)用AI技術(shù)的各個(gè)領(lǐng)域如下：語言理解是用于識(shí)別和應(yīng)用/處理人類語言/字符的技術(shù)并且包括自然語言處理、機(jī)器翻譯、對(duì)話系統(tǒng)、查詢響應(yīng)、語音是用于像人類視覺一樣識(shí)別和處理對(duì)象的技術(shù)并且包括對(duì)象識(shí)別、對(duì)象跟蹤、圖像搜索、人且包括基于知識(shí)/概率的推斷、優(yōu)化預(yù)測(cè)、基于偏好的規(guī)劃、推薦等；經(jīng)驗(yàn)信息自動(dòng)化為知識(shí)數(shù)據(jù)的技術(shù)并且包括知識(shí)構(gòu)建(數(shù)據(jù)生成/分類)、知識(shí)管理(數(shù)據(jù)利用)等；運(yùn)動(dòng)控制是用于控制車輛自主駕駛和機(jī)器人運(yùn)動(dòng)的技術(shù)并且包括運(yùn)動(dòng)控制(導(dǎo)航、碰撞和駕駛)、操作控制(行為控制)等。發(fā)明內(nèi)容[0006]問題的解決方案[0007]使用深度神經(jīng)網(wǎng)絡(luò)的推斷過程可用于準(zhǔn)確地分類或分配輸入信息。為了深度神經(jīng)網(wǎng)絡(luò)的更高推斷精確度，可能需要相對(duì)大量的操作過程，并因而增加了形成深度神經(jīng)網(wǎng)絡(luò)的層數(shù)量或深度。隨著形成深度神經(jīng)網(wǎng)絡(luò)的層數(shù)量的增加，通過深度神經(jīng)網(wǎng)絡(luò)獲得推斷所需的操作量增加。因此，已經(jīng)使用各種方法在提高深度神經(jīng)網(wǎng)絡(luò)推斷精度的同時(shí)減少運(yùn)算量。例如，使用通過省略構(gòu)成形成深度神經(jīng)網(wǎng)絡(luò)的層的某些邊緣、節(jié)點(diǎn)等以執(zhí)行學(xué)習(xí)的方法，以減少執(zhí)行學(xué)習(xí)的過程中發(fā)生的操作量，從而提高深度神經(jīng)網(wǎng)絡(luò)的推斷精度。[0008]然而，在減少操作量的方法中，任意去除構(gòu)成層的某些邊緣或節(jié)點(diǎn)的過程將由軟件實(shí)現(xiàn)，因而需要另一操作并使得深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化變得困難。詳細(xì)地，上述軟件的實(shí)現(xiàn)方案可通過操作系統(tǒng)來執(zhí)行。詳細(xì)地，需要執(zhí)行諸如存儲(chǔ)器分配的操作或執(zhí)行用于隨機(jī)數(shù)生成以生成用于去除某些邊緣或節(jié)點(diǎn)的信號(hào)的系統(tǒng)調(diào)用。因此，當(dāng)使用軟件實(shí)現(xiàn)方案來減少與使用人工智能獲得推斷相關(guān)的操作量時(shí)，由于執(zhí)行復(fù)雜操作和所執(zhí)行的計(jì)算操作，等6[0009]因此，可能需要解決在上述軟件實(shí)現(xiàn)方案中發(fā)生的操作量增加和等待時(shí)間增加的方法和裝置。[0010]其他方面將部分地在隨后的說明中闡述，并且部分地將通過說明書中顯而易見，或者可通過本公開所呈現(xiàn)的實(shí)施方式的實(shí)踐獲知。附圖說明[0011]本公開的某些實(shí)施方式的以上和其他方面、特征和優(yōu)勢(shì)將結(jié)合附圖通過以下描述[0012]圖1A是示出根據(jù)本公開的實(shí)施方式、生成并處理執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所需的信息的編碼裝置和學(xué)習(xí)電路的框圖；[0013]圖1B是描述根據(jù)本公開的實(shí)施方式、在處理深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的學(xué)習(xí)電路上執(zhí)行的深度神經(jīng)網(wǎng)絡(luò)操作的視圖；[0014]圖2是根據(jù)本公開的實(shí)施方式的通過使用編碼裝置執(zhí)行的編碼方法的流程圖；[0015]圖3是示出根據(jù)本公開的實(shí)施方式的編碼裝置、學(xué)習(xí)電路和隨機(jī)數(shù)生成電路的框[0016]圖4是描述根據(jù)本公開的實(shí)施方式、在編碼裝置中的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中使用的輸出邊緣序列的方法的視圖；[0017]圖5是根據(jù)本公開的另一實(shí)施方式的通過使用編碼裝置執(zhí)行的編碼裝置的流程[0018]圖6是描述根據(jù)本公開的實(shí)施方式、通過使用編碼裝置將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較以確定第二邊緣序列的方法的視圖；[0019]圖7是根據(jù)本公開的實(shí)施方式、通過將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較以確定第二邊緣序列的方法的流程圖；[0020]圖8是描述根據(jù)本公開的實(shí)施方式的連接至編碼裝置的深度神經(jīng)網(wǎng)絡(luò)的視圖；[0021]圖9是示出根據(jù)本公開的實(shí)施方式的包括在深度神經(jīng)網(wǎng)絡(luò)的每個(gè)層中的邊緣的連接或斷開連接狀態(tài)的視圖；[0022]圖10A示出了由根據(jù)本公開的實(shí)施方式的學(xué)習(xí)電路執(zhí)行的在學(xué)習(xí)過程中調(diào)整每個(gè)層的權(quán)重的過程；[0023]圖10B示出了由根據(jù)本公開的實(shí)施方式的學(xué)習(xí)電路執(zhí)行的在學(xué)習(xí)過程中調(diào)整每個(gè)層的權(quán)重的過程；[0024]圖11是根據(jù)本公開的實(shí)施方式、通過使用在先前操作周期中確定的邊緣的權(quán)重以執(zhí)行編碼的編碼裝置的框圖；[0025]圖12是根據(jù)本公開的實(shí)施方式、由編碼裝置執(zhí)行的基于存儲(chǔ)在寄存器上的多個(gè)邊緣的權(quán)重生成第二邊緣序列的過程的流程圖；[0026]圖13是示出根據(jù)本公開的實(shí)施方式的編碼裝置、學(xué)習(xí)電路及計(jì)數(shù)器的框圖；[0027]圖14是示出根據(jù)實(shí)施方式的編碼裝置、學(xué)習(xí)電路和選擇器的框圖；以及[0028]圖15是示出根據(jù)本公開的實(shí)施方式的編碼裝置、學(xué)習(xí)電路、寄存器、計(jì)數(shù)器數(shù)生成電路及選擇器的框圖。7具體實(shí)施方式[0029]實(shí)施發(fā)明的優(yōu)選方式[0030]根據(jù)本公開的實(shí)施方式，提供了編碼裝置，其包括存儲(chǔ)器和編碼器，存儲(chǔ)器存儲(chǔ)由隨機(jī)數(shù)生成器生成的隨機(jī)數(shù)序列，編碼器配置為接收深度神經(jīng)網(wǎng)絡(luò)的丟棄信息(dropoutinformation),丟棄信息指示包括在深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣中的連接邊緣與斷開連接邊緣之間的比率；基于丟棄信息與隨機(jī)數(shù)序列生成指示多個(gè)邊緣的連接或斷開連接的邊緣序列；并輸出邊緣序列以用于重新配置多個(gè)邊緣的連接或斷開連接。[0031]隨機(jī)數(shù)序列可以基于隨機(jī)數(shù)生成器的時(shí)鐘信號(hào)。[0032]隨機(jī)數(shù)序列的大小可基于深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的數(shù)目確定。[0033]丟棄信息、隨機(jī)數(shù)序列和邊緣序列可各自具有由二進(jìn)制數(shù)形成的比特寬度。[0034]編碼器可以基于第一比率和第二比率來生成邊緣序列，其中第一比率為隨機(jī)數(shù)序列中具有比特值0的比特與隨機(jī)數(shù)序列中具有比特值1的比特之間的比率，第二比率為丟棄信息中具有指示連接邊緣的比特值的比特與丟棄信息中具有指示斷開連接邊緣的比特值的比特之間的比率。[0035]編碼器可以基于隨機(jī)數(shù)序列中具有比特值0的比特和隨機(jī)數(shù)序列中具有比特值1的比特的模式、以及丟棄信息中具有指示連接邊緣的比特值的比特和丟棄信息中具有指示斷開連接邊緣的比特值的比特的模式，來生成邊緣序列。[0036]隨機(jī)數(shù)序列的大小可與深度神經(jīng)網(wǎng)絡(luò)的層中的邊緣的數(shù)目相等。[0037]邊緣序列可作為深度神經(jīng)網(wǎng)絡(luò)的層中進(jìn)行丟棄操作的基礎(chǔ)。[0038]編碼器可獲得深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的權(quán)重、基于權(quán)重與預(yù)設(shè)閾值權(quán)重比較的結(jié)果執(zhí)行修剪操作、并基于修剪操作生成邊緣序列以生成深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的連接或斷開連接。[0039]編碼裝置可進(jìn)一步包括選擇器，選擇器配置為選擇多種類型的輸入信號(hào)之一并輸出所選擇的信號(hào)，其中，編碼器從深度神經(jīng)網(wǎng)絡(luò)接收操作結(jié)果以確定操作結(jié)果中是否已發(fā)生溢出，并基于是否已發(fā)生溢出執(zhí)行對(duì)深度神經(jīng)網(wǎng)絡(luò)中使用的可表示信息范圍進(jìn)行修改的動(dòng)態(tài)定點(diǎn)操作。[0040]根據(jù)本公開的實(shí)施方式，提供了由編碼裝置執(zhí)行的編碼方法，編碼方法包括：存儲(chǔ)由隨機(jī)數(shù)生成器生成的隨機(jī)數(shù)序列；接收深度神經(jīng)網(wǎng)絡(luò)的丟棄信息，丟棄信息指示包括在深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣中的連接邊緣與斷開連接邊緣之間的比率；基于丟棄信息和隨機(jī)數(shù)序列生成指示多個(gè)邊緣的連接或斷開連接的邊緣序列；以及輸出邊緣序列以用于重新配置多個(gè)邊緣的連接或斷開連接。[0041]隨機(jī)數(shù)序列可基于隨機(jī)數(shù)生成器的時(shí)鐘信號(hào)。[0042]隨機(jī)數(shù)序列的大小可基于深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的數(shù)目確定。[0043]丟棄信息、隨機(jī)數(shù)序列和邊緣序列可具有由二進(jìn)制數(shù)形成的比特寬度。[0044]生成邊緣序列可包括基于第一比率和第二比率來生成邊緣序列，其中第一比率為隨機(jī)數(shù)序列中具有比特值0的比特與隨機(jī)數(shù)序列中具有比特值1的比特之間的比率，第二比率為丟棄信息中具有指示連接邊緣的比特值的比特與丟棄信息中具有指示斷開連接邊緣的比特值的比特之間的比率。[0045]生成邊緣序列可包括基于隨機(jī)數(shù)序列中具有比特值0的比特和隨機(jī)數(shù)序列中具有8比特值1的比特的模式、以及丟棄信息中具有指示連接邊緣的比特值的比特和丟棄信息中具有指示斷開連接邊緣的比特值的比特的模式，來生成邊緣序列。[0046]隨機(jī)數(shù)序列的大小可與深度神經(jīng)網(wǎng)絡(luò)的層中的邊緣的量相等。[0047]邊緣序列可作為深度神經(jīng)網(wǎng)絡(luò)的層中的丟棄操作的基礎(chǔ)。[0048]編碼方法可進(jìn)一步包括：獲得深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的權(quán)重；基于多個(gè)邊緣的權(quán)重與預(yù)設(shè)閾值權(quán)重比較的結(jié)果執(zhí)行修剪操作；以及基于修剪操作，生成邊緣序列以指示深度神經(jīng)網(wǎng)絡(luò)的層中的多個(gè)邊緣的連接或斷開連接。[0049]編碼方法可進(jìn)一步包括：接收來自深度神經(jīng)網(wǎng)絡(luò)的操作結(jié)果；確定操作結(jié)果中是否已發(fā)生溢出；以及基于是否發(fā)生溢出，執(zhí)行修改深度神經(jīng)網(wǎng)絡(luò)中使用的值的可表示范圍的動(dòng)態(tài)定點(diǎn)操作。[0050]發(fā)明的實(shí)施方式[0051]本申請(qǐng)基于并要求在韓國(guó)知識(shí)產(chǎn)權(quán)局于2018年2月20日提交的第10-2018-0020005號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，其全部?jī)?nèi)容通過引用并入本文中。[0052]現(xiàn)將詳細(xì)參考本公開的實(shí)施方式，其示例在附圖中示出，其中相同的附圖標(biāo)記始終表示相同的元素。在這方面，本公開的實(shí)施方式可以具有不同的形式，并且不應(yīng)被解釋為限于本文所述的描述。因此，以下僅通過參考附圖來說明本公開的實(shí)施方式以解釋各方面。諸如“至少一個(gè)”的表述在一列元素之后時(shí)，修飾整列元素且不修飾該列中的單個(gè)元素。在[0053]可以根據(jù)功能塊組件和各種處理步驟描述本公開。這些功能塊中的一些或全部可通過配置成執(zhí)行指定功能的任何數(shù)量的硬件和/或軟件組件實(shí)現(xiàn)。例如，根據(jù)本公開的功能塊可使用用于某些功能的一個(gè)或多個(gè)微處理器或電路組件實(shí)現(xiàn)。此外，根據(jù)本公開的功能塊可使用各種編程或腳本語言實(shí)現(xiàn)。可使用在一個(gè)或多個(gè)處理器上執(zhí)行的軟件中實(shí)現(xiàn)的算法來實(shí)現(xiàn)功能塊。此外，本公開可以采用任何數(shù)量的相關(guān)技術(shù)用于電子配置、信號(hào)處理和/或數(shù)據(jù)處理等。[0054]此外，在所呈現(xiàn)的各個(gè)附圖中示出的連接線或連接器旨在表示各個(gè)元件之間的示例性功能關(guān)系和/或物理或邏輯聯(lián)接。應(yīng)當(dāng)注意，實(shí)際裝置中可存在許多替代或附加的功能質(zhì)中并且通過可由處理器執(zhí)行的程序?qū)崿F(xiàn)。[0057]在本文中，“推斷”在從輸入到輸入層的輸入數(shù)據(jù)獲得將從輸出層輸出的輸出數(shù)據(jù)的方向上執(zhí)行，并且“學(xué)習(xí)”可在將輸出層的輸出數(shù)據(jù)作為輸入到輸入層的輸入數(shù)據(jù)的方向上執(zhí)行。[0058]在通過深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息的分類或劃分中，通過將輸入數(shù)據(jù)輸入到輸入層并通過形成深度神經(jīng)網(wǎng)絡(luò)的隱藏層的多個(gè)層執(zhí)行操作，可以從輸出層輸出其中輸入數(shù)據(jù)被9分類或分配的輸出數(shù)據(jù)或?qū)?yīng)于輸入數(shù)據(jù)的輸出數(shù)據(jù)。[0059]為了提高輸出數(shù)據(jù)的精確度，在輸出輸出數(shù)據(jù)之后，可以通過學(xué)習(xí)來調(diào)整應(yīng)用于形成深度神經(jīng)網(wǎng)絡(luò)的多個(gè)層的權(quán)重值。在調(diào)整權(quán)重以提高輸出數(shù)據(jù)的精度的同時(shí)，可能發(fā)生過擬合。由于過擬合，訓(xùn)練數(shù)據(jù)的精確度可增加，但是與新輸入數(shù)據(jù)有關(guān)的輸出精確度可能降低。為了解決由于過擬合而導(dǎo)致的精確度降低，可使用丟棄操作。[0060]在下文中，將參考附圖詳細(xì)描述能夠快速執(zhí)行丟棄操作的編碼裝置。[0061]圖1A是示出根據(jù)本公開的實(shí)施方式、生成并處理執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所需的信息的編碼裝置100的框圖。[0062]參照?qǐng)D1A,編碼裝置100包括存儲(chǔ)器110和編碼電路130或編碼器。此外，編碼裝置100可以連接至執(zhí)行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的學(xué)習(xí)電路120。編碼裝置100可以接收在學(xué)習(xí)電路120的操作過程期間輸出的信息，并且還可以將在編碼裝置100中生成的信息發(fā)送至學(xué)習(xí)電路120。[0063]學(xué)習(xí)電路120可以通過包括輸入層、隱藏層和輸出層的深度神經(jīng)網(wǎng)絡(luò)執(zhí)行操作。隱[0064]將參考圖1B描述在學(xué)習(xí)電路120中執(zhí)行的深度神經(jīng)網(wǎng)絡(luò)的操作。[0065]參考圖1B,深度神經(jīng)網(wǎng)絡(luò)150包括輸入層155、隱藏層165和輸出層170。在圖1B中，深度神經(jīng)網(wǎng)絡(luò)150對(duì)包括在輸入數(shù)據(jù)中的分類信息執(zhí)行深度神經(jīng)網(wǎng)絡(luò)操作并且輸出該信息作為示例示出。詳細(xì)地，當(dāng)輸入數(shù)據(jù)是圖像數(shù)據(jù)時(shí)，深度神經(jīng)網(wǎng)絡(luò)150輸出包括圖像數(shù)據(jù)中包含的圖像對(duì)象的分類類型的結(jié)果數(shù)據(jù)作為輸出數(shù)據(jù)。[0066]形成深度神經(jīng)網(wǎng)絡(luò)150的多個(gè)層可包括接收數(shù)據(jù)的多個(gè)節(jié)點(diǎn)，例如輸入層155的節(jié)點(diǎn)分配權(quán)重值，并且深度神經(jīng)網(wǎng)絡(luò)150可以基于對(duì)輸入信號(hào)執(zhí)行的操作和權(quán)重值獲得輸出數(shù)據(jù)。例如，節(jié)點(diǎn)175可以執(zhí)行輸入信號(hào)與權(quán)重值的乘法運(yùn)算，以生成輸入信號(hào)和權(quán)重值的乘積作為輸出值。如果執(zhí)行操作的節(jié)點(diǎn)存在于輸出層170中，則輸出值可以作為輸出層170中深度神經(jīng)網(wǎng)絡(luò)150的結(jié)果輸出，或者如果執(zhí)行操作的節(jié)點(diǎn)存在于隱藏層165中，則輸出值可以作為隱藏層165之一中的中間結(jié)果輸出，并且輸出值可以通過邊緣177傳送到相鄰層165中的另一節(jié)點(diǎn)176。[0067]參考圖1B所示的本公開的實(shí)施方式，輸入層155接收輸入數(shù)據(jù)，例如，包括貓作為圖像對(duì)象的圖像數(shù)據(jù)180。[0068]此外，參考圖1B,深度神經(jīng)網(wǎng)絡(luò)150可包括形成在輸入層155與第一隱藏層之間的第一層181(層1)、形成在第一隱藏層與第二隱藏層之間的第二層182、形成在第二隱藏層與第三隱藏層之間的第三層183、以及形成在第三隱藏層與輸出層170之間的第四層184。[0069]包括在深度神經(jīng)網(wǎng)絡(luò)150的輸入層155中的多個(gè)節(jié)點(diǎn)接收對(duì)應(yīng)于圖像數(shù)據(jù)180的信號(hào)。此外，已由深度神經(jīng)網(wǎng)絡(luò)150分析的、與圖像數(shù)據(jù)180對(duì)應(yīng)的輸出數(shù)據(jù)185可以通過包括在隱藏層165中的多個(gè)層中的操作從輸出層170輸出。在所示示例中，在深度神經(jīng)網(wǎng)絡(luò)150中執(zhí)行用于對(duì)包括在輸入圖像中的圖像對(duì)象的類型進(jìn)行分類的操作，并因此可以通過輸出數(shù)據(jù)輸出結(jié)果值“貓的概率：98%(Catprobability:98%)”。為了提高通過深度神經(jīng)網(wǎng)絡(luò)150輸出的輸出數(shù)據(jù)的精確度，通過迭代地將分析結(jié)果從輸出層170傳送到輸入層155來執(zhí)行學(xué)習(xí)，并可迭代地評(píng)估權(quán)重值以提高輸出數(shù)據(jù)的精確度。[0070]返回參考圖1A,根據(jù)本公開的實(shí)施方式的編碼裝置100可以包括：存儲(chǔ)器110和編等于或大于兩個(gè)比特的比特大小或?qū)挾鹊亩M(jìn)制數(shù)。根據(jù)本公開的實(shí)施方式的學(xué)習(xí)電路[0071]上述二進(jìn)制序列可以是指示構(gòu)成深度神經(jīng)網(wǎng)絡(luò)150的多個(gè)層的節(jié)點(diǎn)某個(gè)層(例如第一層181)中包括的多個(gè)邊緣177中的每一個(gè)是否被連接或斷開連接的邊緣[0073]參照?qǐng)D1A,編碼裝置100可包括存儲(chǔ)器110和編碼電路130。存儲(chǔ)器110可以存儲(chǔ)已經(jīng)在第一操作周期輸出的第一邊緣序列。編碼電路130可以基于在不同于第一操作周期的指示包括在深度神經(jīng)網(wǎng)絡(luò)中的某一層中的多個(gè)邊緣是連接還是斷開連接。學(xué)習(xí)電路120可先發(fā)生的操作周期可以被稱為第一操作周期，第二操作周期可在第一操作周期之后發(fā)生。可以在第一操作周期與第二操作周期之間的一個(gè)或多個(gè)居間操作周期的情況下在時(shí)間上以基于存儲(chǔ)在存儲(chǔ)器110中的第一邊緣序列生成第二邊緣序列，并且將第二邊緣序列傳送緣序列可已經(jīng)在與編碼電路130將生成第二邊緣序列的操作周期不同的操作周期生成，并的每一個(gè)的連接或斷開連接的二進(jìn)制序列，存儲(chǔ)器110可以將第一邊緣序列存儲(chǔ)為與某一11期分別輸出的至少一個(gè)邊緣序列中的每個(gè)。[0077]根據(jù)另一示例，存儲(chǔ)在存儲(chǔ)器110中的第一邊緣序列可以作為指示包括在深度神經(jīng)網(wǎng)絡(luò)中的多個(gè)層中的所有邊緣的連接狀態(tài)的一個(gè)序列被存儲(chǔ)。稍后將參考本公開的各種實(shí)施方式詳細(xì)描述可由編碼裝置100執(zhí)行的操作。[0078]圖2是根據(jù)本公開的實(shí)施方式通過使用編碼裝置100執(zhí)行的編碼方法的流程圖。[0079]在操作S200中，編碼裝置100可以存儲(chǔ)從隨機(jī)數(shù)生成電路或隨機(jī)數(shù)生成器接收的第一數(shù)據(jù)。第一數(shù)據(jù)可以是包括通過隨機(jī)數(shù)生成電路的時(shí)鐘信號(hào)輸出的隨機(jī)數(shù)序列的數(shù)據(jù)。將參考圖4和圖5詳細(xì)描述隨機(jī)數(shù)序列。[0080]同時(shí)，編碼裝置100不僅可以存儲(chǔ)從隨機(jī)數(shù)生成電路接收的第一數(shù)據(jù)，還可以存儲(chǔ)在深度神經(jīng)網(wǎng)絡(luò)的第一操作周期處輸出的第一邊緣序列。根據(jù)本公開的實(shí)施方式，第一邊緣序列可已經(jīng)用于在第一操作周期執(zhí)行的學(xué)習(xí)電路120的學(xué)習(xí)過程的期間，使深度神經(jīng)網(wǎng)絡(luò)的層之間形成的多個(gè)邊緣中的至少一個(gè)斷開連接。[0081]在操作S202中，編碼裝置100可以從學(xué)習(xí)電路120接收深度神經(jīng)網(wǎng)絡(luò)的丟棄信息。丟棄信息可以指邊緣序列的丟棄率(dropoutratio)。[0082]在操作S204中，編碼裝置100可通過使用丟棄信息和第一數(shù)據(jù)來生成第二數(shù)據(jù)。第二數(shù)據(jù)可以指示關(guān)于第二操作周期的第二邊緣序列。第二邊緣序列可以具有與隨機(jī)數(shù)序列相等的值，但是也可以是不同于其它邊緣序列的新類型的邊緣序列。詳細(xì)地，還可通過基于第一邊緣序列校正包括在隨機(jī)數(shù)序列中的至少一個(gè)隨機(jī)數(shù)值，來產(chǎn)生第二邊緣序列。隨機(jī)數(shù)序列可以僅從外部設(shè)備(例如，隨機(jī)數(shù)生成電路)發(fā)送。然而，隨機(jī)數(shù)生成電路不限于上述示例，且也可集成在編碼裝置100內(nèi)。同樣地，學(xué)習(xí)電路120也可集成在編碼裝置100內(nèi)。[0083]例如，根據(jù)本公開的實(shí)施方式的編碼電路130可執(zhí)行將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較的操作，以使得第二操作周期的學(xué)習(xí)過程不通過使用與學(xué)習(xí)電路120的第一操作周期的學(xué)習(xí)過程中使用的第一邊緣序列相同的邊緣序列來執(zhí)行第二操作周期的學(xué)習(xí)過[0084]可替換地，根據(jù)本公開的實(shí)施方式的編碼電路130可基于隨機(jī)數(shù)序列和第一邊緣序列來產(chǎn)生第二邊緣序列，使得第一邊緣序列和第二邊緣序列中的每一者的丟棄率維持在恒定值。這里，丟棄率可指包括在某一層中的多個(gè)邊緣的連接邊緣與斷開連接邊緣之間的比率。例如，當(dāng)包括在第二邊緣序列中的值0指示邊緣的斷開連接并且值1指示邊緣的連接時(shí)，丟棄率可以表示具有值0的比特?cái)?shù)目與包括在第二邊緣序列中的比特總數(shù)目之間的比[0085]將參考本公開的實(shí)施方式來描述基于第一邊緣序列和隨機(jī)數(shù)序列生成第二邊緣[0086]在操作S206中，編碼裝置100可將第二數(shù)據(jù)輸出至學(xué)習(xí)電路120,以使得第二數(shù)據(jù)分配給深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)元。[0087]圖3是示出根據(jù)本公開的實(shí)施方式的編碼裝置300、學(xué)習(xí)電路320和隨機(jī)數(shù)生成電路340的框圖。圖3的編碼裝置300、存儲(chǔ)器310和編碼電路330可分別對(duì)應(yīng)于圖1A的編碼裝置100,存儲(chǔ)器110和編碼電路130。此外，圖3的學(xué)習(xí)電路320可以對(duì)應(yīng)于圖1A的學(xué)習(xí)電路120。也即，與圖1A所示的編碼裝置100相比，圖3的編碼裝置300可進(jìn)一步包括隨機(jī)數(shù)生成電路[0088]根據(jù)本公開的實(shí)施方式，隨機(jī)數(shù)生成電路340連續(xù)地生成多個(gè)隨機(jī)數(shù)。從隨機(jī)數(shù)生成電路340輸出的多個(gè)隨機(jī)數(shù)為序列形式并且在時(shí)間上相繼生成，因此，在隨機(jī)數(shù)生成電路340中生成的多個(gè)隨機(jī)數(shù)可被稱為隨機(jī)數(shù)序列。[0089]詳細(xì)地，根據(jù)本公開的實(shí)施方式的隨機(jī)數(shù)生成電路340可基于時(shí)鐘信號(hào)生成隨機(jī)數(shù)作為包括多個(gè)寄存器單元的寄存器。多個(gè)寄存器單元中的每一個(gè)可以形成為觸發(fā)器(flip-flop)。此外，隨機(jī)數(shù)生成電路340可以存儲(chǔ)所生成的隨機(jī)數(shù)。隨機(jī)數(shù)生成電路340可以存儲(chǔ)包括每個(gè)時(shí)鐘周期中生成的至少一個(gè)隨機(jī)數(shù)的隨機(jī)數(shù)序列，并且根據(jù)時(shí)鐘信號(hào)將所存儲(chǔ)的隨機(jī)數(shù)序列發(fā)送到編碼電路330。根據(jù)本公開的實(shí)施方式，為了防止在隨機(jī)數(shù)生成電路340中產(chǎn)生具有相等值或相同模式的隨機(jī)數(shù)序列，隨機(jī)數(shù)生成電路340可以包括至少一個(gè)連接到觸發(fā)器的邏輯電路門。[0090]編碼電路330可以接收在隨機(jī)數(shù)生成電路340中生成的隨機(jī)數(shù)序列，并且可以基于隨機(jī)數(shù)序列確定是將接收到的隨機(jī)數(shù)序列作為與接收到的隨機(jī)數(shù)序列相同的第二邊緣序列輸出，還是處理接收到的隨機(jī)數(shù)序列并將處理后的隨機(jī)數(shù)序列作為第二邊緣序列輸出。[0091]圖4是用于描述根據(jù)本公開的實(shí)施方式輸出將在編碼裝置中的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中使用的邊緣序列的方法的視圖。[0092]根據(jù)本公開的實(shí)施方式的隨機(jī)數(shù)生成電路410可以包括生成隨機(jī)數(shù)序列的線性反饋移位寄存器(LFSR)。[0093]例如，隨機(jī)數(shù)生成電路410可包括移位寄存器411,移位寄存器411包括多個(gè)寄存器單元以及連接到移位寄存器411的至少一個(gè)異或(XOR)門412、413和414。至少一個(gè)XOR門可對(duì)輸入值進(jìn)行異或運(yùn)算，且可至少將經(jīng)運(yùn)算的輸出值輸出到移位寄存器411的輸入端。因此，隨機(jī)數(shù)生成電路410可生成具有根據(jù)時(shí)間連續(xù)變化的值的隨機(jī)數(shù)序列。此外，隨機(jī)數(shù)生成電路410可以包括生成隨機(jī)數(shù)的各種類型的硬件組件。[0094]隨機(jī)數(shù)生成電路410可響應(yīng)于輸入時(shí)鐘信號(hào)來移動(dòng)存儲(chǔ)在移位寄存器411中的比特值，并產(chǎn)生隨機(jī)數(shù)序列。詳細(xì)地，隨機(jī)數(shù)生成電路410可在時(shí)鐘信號(hào)的上升邊緣或下降邊緣處移動(dòng)存儲(chǔ)在移位寄存器411中的比特值，并生成隨機(jī)數(shù)序列。[0095]此外，隨機(jī)數(shù)序列可包括在第一時(shí)鐘周期獲得的多個(gè)隨機(jī)數(shù)。第一時(shí)鐘周期可指產(chǎn)生具有特定大小的隨機(jī)數(shù)序列所需的時(shí)鐘信號(hào)的周期。例如，當(dāng)隨機(jī)數(shù)生成電路410在時(shí)鐘信號(hào)的上升邊緣和下降邊緣中的每一個(gè)處移動(dòng)存儲(chǔ)在移位寄存器411中的比特值時(shí)，可以從一個(gè)時(shí)鐘周期生成2比特隨機(jī)數(shù)。因此，為了產(chǎn)生具有100比特大小的隨機(jī)數(shù)序列，需要50個(gè)時(shí)鐘周期，且在此情況下，第一時(shí)鐘周期可包括包含50個(gè)時(shí)鐘周期的時(shí)間區(qū)段。[0096]這里，可基于包括在深度神經(jīng)網(wǎng)絡(luò)150中的某一層的邊緣數(shù)目來確定隨機(jī)數(shù)序列的大小。例如，當(dāng)在深度神經(jīng)網(wǎng)絡(luò)150的某個(gè)層(例如，第一層181)中形成的邊緣的數(shù)目是100時(shí)，可以形成具有100比特大小的隨機(jī)數(shù)序列，并且包括在100比特中的比特值可以各自具有對(duì)應(yīng)于100個(gè)邊緣的連接或斷開連接的信息。此外，由編碼電路426生成的邊緣序列(包括第一邊緣序列)的大小可以基于包括在深度神經(jīng)網(wǎng)絡(luò)150的某一層中的邊緣數(shù)目來確定，并且可以與隨機(jī)數(shù)序列的大小相同。[0097]然而，隨機(jī)數(shù)生成電路410僅僅是通過使用根據(jù)時(shí)鐘信號(hào)操作的硬件組件以生成隨機(jī)數(shù)的元件的示例，因此可以包括生成隨機(jī)數(shù)的各種硬件組件。[0098]圖5是根據(jù)本公開的另一實(shí)施方式通過使用編碼裝置執(zhí)行的編碼方法的流程圖。[0099]在操作S500中，編碼裝置420的存儲(chǔ)器422可以存儲(chǔ)從隨機(jī)數(shù)生成電路410接收的第一數(shù)據(jù)。第一數(shù)據(jù)可以是包括通過隨機(jī)數(shù)生成電路410的時(shí)鐘信號(hào)輸出的隨機(jī)數(shù)序列的數(shù)據(jù)。此外，編碼裝置420可以存儲(chǔ)已經(jīng)在第一操作周期輸出的第一邊緣序列。[0100]根據(jù)本公開的實(shí)施方式，在隨機(jī)數(shù)生成電路410中生成的隨機(jī)數(shù)序列的大小可與第一邊緣序列的大小相同。根據(jù)本公開的實(shí)施方式，第一邊緣序列可以是指示在第一操作周期的某一層中包括的多個(gè)邊緣的學(xué)習(xí)過程中實(shí)現(xiàn)的連接狀態(tài)的信息。也即，第一邊緣序列可以是指示包括在某一層中的邊緣在先前學(xué)習(xí)過程中是連接還是斷開連接的信息，并且具有與包括在某一層中的邊緣數(shù)目相等的比特寬度。[0101]在根據(jù)本公開的實(shí)施方式的隨機(jī)數(shù)生成電路410中可生成的比特?cái)?shù)可具有比在學(xué)習(xí)電路424中使用的深度神經(jīng)網(wǎng)絡(luò)的每個(gè)層中的最大邊緣數(shù)更大的比特寬度。根據(jù)本公開的實(shí)施方式，隨機(jī)數(shù)生成電路410可以在生成將被發(fā)送到編碼電路426的隨機(jī)數(shù)序列的過程期間，生成具有與某一層的邊緣的數(shù)目相對(duì)應(yīng)的大小的二進(jìn)制序列。根據(jù)本公開的另一實(shí)施方式，基于包括在某一層中的邊緣的數(shù)目，編碼電路426可使用在隨機(jī)數(shù)生成電路410中生成的二進(jìn)制序列的一部分作為待與第一邊緣序列進(jìn)行比較的隨機(jī)數(shù)序列。[0102]在操作S502中，編碼裝置420可以從學(xué)習(xí)電路424接收深度神經(jīng)網(wǎng)絡(luò)的丟棄信息。[0103]在操作S504中，編碼裝置420可以通過使用丟棄信息和第一數(shù)據(jù)來生成第二數(shù)據(jù)。換句話說，編碼裝置420可以基于隨機(jī)數(shù)序列和第一邊緣序列生成第二邊緣序列，該第二邊緣序列指示包括于深度神經(jīng)網(wǎng)絡(luò)中的某一層中的多個(gè)邊緣的連接或斷開連接。[0104]在操作S506中，編碼裝置420可將第二數(shù)據(jù)輸出至學(xué)習(xí)電路424以分配給深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)元。也即，編碼裝置420可將第二邊緣序列輸出到學(xué)習(xí)電路424,并因此，學(xué)習(xí)電路424可以基于第二邊緣序列，連接或斷開連接某一層中的多個(gè)邊緣中的每一個(gè)并通過該層執(zhí)行學(xué)習(xí)。[0105]詳細(xì)地，編碼電路426可產(chǎn)生第二邊緣序列使得包括于深度神經(jīng)網(wǎng)絡(luò)150的所有層的每一層中的連接邊緣的數(shù)目與斷開連接邊緣的數(shù)目之間的比率是恒定的。[0106]參考圖1B所示的深度神經(jīng)網(wǎng)絡(luò)150,提供了以下示例，其中第一邊緣序列指示包括在第三層183中的多個(gè)邊緣中的每一個(gè)的連接或斷開連接，第二邊緣序列包括指示包括在第二層182中的多個(gè)邊緣中的每一個(gè)的連接或斷開連接的信息段。此外，第一比率值為具有值0的比特?cái)?shù)相對(duì)于第一邊緣序列中的總比特?cái)?shù)的比率，其可以指示包括在第三層183中的多個(gè)邊緣的數(shù)量與斷開連接的邊緣數(shù)量之間的比率。此外，第二比率值為具有值0的比特?cái)?shù)相對(duì)于第二邊緣序列中的總比特?cái)?shù)的比率，其可以指示包括在第二層182中的多個(gè)邊緣的數(shù)量與斷開連接的邊緣數(shù)量之間的比率。當(dāng)?shù)谝槐嚷手凳?0%并且包括在深度神經(jīng)網(wǎng)絡(luò)150中的總邊緣之中斷開連接邊緣的比率的目標(biāo)值是50%時(shí)，編碼電路426可以處理隨機(jī)數(shù)序列，使得第二邊緣序列的第二比率值為60%,從而使得總邊緣之中的斷開連接邊緣的比率為50%。目標(biāo)比率值可以由用戶設(shè)置或由學(xué)習(xí)電路424本身設(shè)置。[0107]可替換地，編碼電路426也可產(chǎn)生第二邊緣序列，使得輸出邊緣序列具有恒定的相等比率值的目標(biāo)值。[0108]例如，當(dāng)目標(biāo)值被設(shè)置為50%時(shí)，編碼電路426可生成第二邊緣序列，使得在輸出第二邊緣序列中具有值0的比特?cái)?shù)的比率值為50%。在這種情況下，可以對(duì)第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較，以將隨機(jī)數(shù)序列校正為具有與第一邊緣序列不同的模式，并且可以生成校正后的隨機(jī)數(shù)序列作為第二邊緣序列。例如，當(dāng)隨機(jī)數(shù)序列是1000100111并且先前輸出的第一邊緣序列是1000100111時(shí)，隨機(jī)數(shù)序列和第一邊緣序列中的每一個(gè)的比率值是50%,即相等的值。因此，編碼電路426可生成通過對(duì)隨機(jī)數(shù)序列進(jìn)行反向操作(NOT)而獲得的0111011000作為第二邊緣序列，使得第一邊緣序列和第二邊緣序列具有不同的模式。[0109]如上所述，當(dāng)將形成深度神經(jīng)網(wǎng)絡(luò)150的每個(gè)層中的相對(duì)于邊緣總數(shù)的斷開連接邊緣的數(shù)目定義為“比率值”或“丟棄比率”時(shí)，可以將一致地調(diào)整包括在深度神經(jīng)網(wǎng)絡(luò)150中的多個(gè)層中的比率值的操作稱為平衡操作。如在上述示例中，編碼電路426可執(zhí)行平衡操作以生成第二邊緣序列。[0110]在操作S508中，編碼裝置420可基于第二數(shù)據(jù)來連接或斷開連接某一層中的多個(gè)邊緣中的每一個(gè)，并通過該層執(zhí)行學(xué)習(xí)。[0111]圖6是描述根據(jù)本公開的實(shí)施方式通過使用編碼裝置將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較以確定第二邊緣序列的方法的視圖。[0112]根據(jù)本公開的實(shí)施方式的存儲(chǔ)器602、學(xué)習(xí)電路604和編碼電路606可分別對(duì)應(yīng)于圖1A的存儲(chǔ)器110、學(xué)習(xí)電路120和編碼電路1[0113]圖7是根據(jù)本公開的實(shí)施方式通過將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較以確定第二邊緣序列的方法的流程圖。[0114]在操作S700中，根據(jù)本公開的實(shí)施方式，存儲(chǔ)器602可存儲(chǔ)已經(jīng)在第一操作周期輸出的第一邊緣序列。[0115]在操作S702中，根據(jù)本公開的實(shí)施方式，編碼電路606可確定隨機(jī)數(shù)序列和第一邊緣序列是否處于相同范圍內(nèi)。隨機(jī)數(shù)序列可包括在第一時(shí)鐘周期處獲得的至少一個(gè)隨機(jī)數(shù)序列。[0116]根據(jù)本公開的實(shí)施方式，編碼電路606可以確定構(gòu)成第一邊緣序列的二進(jìn)制數(shù)和隨機(jī)數(shù)序列是否相同(S702)。在操作S702中，術(shù)語“相同”可表示兩個(gè)序列具有基本上相同的模式以具有相等的二進(jìn)制值。此外，術(shù)語“相同”可表示包括在隨機(jī)數(shù)序列或第一邊緣序之間具有不同值的比特?cái)?shù)量是否等于或小于預(yù)設(shè)閾值來確定。例如，當(dāng)?shù)谝贿吘壭蛄信c第二邊緣序列之間具有不同值的比特?cái)?shù)量是總比特?cái)?shù)量的10%或更小時(shí)，可以確定隨機(jī)數(shù)序列和第一邊緣序列具有相同范圍內(nèi)的值。也即，為了確定是否生成與隨機(jī)數(shù)序列相同的第二邊緣序列，編碼電路606可確定包括在序列中的值0或1的比率是否處于相同范圍內(nèi)，即使隨機(jī)數(shù)序列和第一邊緣序列完全相同或不完全相同。根據(jù)本公開的實(shí)施方式，編碼電路606可包括將隨機(jī)數(shù)序列與第一邊緣序列進(jìn)行比較的比較器。[0117]編碼電路606可基于操作S702的確定結(jié)果生成第二隨機(jī)數(shù)序列(S703)。[0118]詳細(xì)地，根據(jù)本公開的實(shí)施方式，當(dāng)?shù)谝贿吘壭蛄泻碗S機(jī)數(shù)序列處于相同范圍內(nèi)(S702-是)時(shí)，在操作S704中，編碼電路606可基于第一邊緣序列處理隨機(jī)數(shù)序列，并生成與第一邊緣序列和隨機(jī)數(shù)序列中的至少一個(gè)不在相同范圍內(nèi)的第二邊緣序列。[0119]關(guān)于下文將描述的本公開的實(shí)施方式，包括圖6的實(shí)施方式，將描述深度神經(jīng)網(wǎng)絡(luò)150中包括的某一層中的邊緣數(shù)目是10且邊緣序列具有二進(jìn)制10比特大小的示例。[0120]參照?qǐng)D6,根據(jù)本公開的實(shí)施方式，當(dāng)用于在第一操作周期連接或斷開連接某一層中的邊緣的邊緣序列是1010101010時(shí)，存儲(chǔ)器602可存儲(chǔ)二進(jìn)制數(shù)序列1010101010作為第一邊緣序列。[0121]根據(jù)本公開的實(shí)施方式，隨機(jī)數(shù)生成電路608可基于某一層中的邊緣數(shù)目生成包括多個(gè)隨機(jī)數(shù)的隨機(jī)數(shù)序列。編碼電路606可將隨機(jī)數(shù)序列與存儲(chǔ)在存儲(chǔ)器602中的第一邊緣序列進(jìn)行比較。根據(jù)本公開的實(shí)施方式，在將隨機(jī)數(shù)序列與第一邊緣序列進(jìn)行比較之后，當(dāng)確定出兩個(gè)序列不處于相同范圍內(nèi)時(shí)，編碼電路606可生成與隨機(jī)數(shù)序列相同的二進(jìn)制數(shù)序列作為第二邊緣序列。[0122]根據(jù)本公開的實(shí)施方式，為了確定第一邊緣序列和隨機(jī)數(shù)序列是否被包括在相同范圍內(nèi)，編碼電路606可將第一邊緣序列的每個(gè)比特與隨機(jī)數(shù)序列的每個(gè)比特進(jìn)行比較，以確定不同比特的數(shù)目。當(dāng)在第一邊緣序列和隨機(jī)數(shù)序列之間具有不同值的比特?cái)?shù)目等于或大于預(yù)設(shè)閾值時(shí)，編碼電路606可以確定第一邊緣序列和隨機(jī)數(shù)序列不處于相同范圍內(nèi)。[0123]參考圖6,例如當(dāng)閾值是3時(shí)，編碼電路606可基于閾值3將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較，并且由于第一邊緣序列(1010101010)和隨機(jī)數(shù)序列(0010100001)中的每個(gè)在相應(yīng)位置的比特之中四個(gè)比特具有不同的值，并且在第一邊緣序列和隨機(jī)數(shù)序列中相應(yīng)定位的比特的不同比特值的數(shù)目大于3,所以第一邊緣序列和隨機(jī)數(shù)序列可確定為不處于相同范圍內(nèi)。在這種情況下，編碼電路606可以將隨機(jī)數(shù)序列(0010100001)確定為第二邊緣[0124]根據(jù)本公開的另一實(shí)施方式，編碼電路606可基于閾值3將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較。參照?qǐng)D6,第一邊緣序列(1010101010)和隨機(jī)數(shù)序列(1010101110)中的每一個(gè)的每個(gè)對(duì)應(yīng)比特的僅一個(gè)值是不同的，因此，第一邊緣序列和隨機(jī)數(shù)序列中對(duì)應(yīng)位置的比特的不同比特值的數(shù)目等于或小于閾值3,從而編碼電路606可確定第一邊緣序列和隨機(jī)數(shù)序列處于相同范圍內(nèi)。在這種情況下，編碼電路606可通過處理隨機(jī)數(shù)序列(1010101110)來生成與第一邊緣序列不處于相同范圍內(nèi)的新邊緣序列，并且可生成處理后的邊緣序列作為第二邊緣序列并輸出該第二邊緣序列。[0125]例如，編碼電路606可以對(duì)隨機(jī)數(shù)序列執(zhí)行比特反轉(zhuǎn)操作(NOT操作),以通過處理包括在與第一邊緣序列的相同范圍內(nèi)的隨機(jī)數(shù)序列來生成新的邊緣序列。參照?qǐng)D6,編碼電路606可將隨機(jī)數(shù)序列(1010101110)中具有值0的比特的二進(jìn)制值改變?yōu)?,并將1改變?yōu)?,以生成第二邊緣序列(0101010001)。然而，對(duì)隨機(jī)數(shù)序列進(jìn)行比特反轉(zhuǎn)操作的編碼電路606僅僅是本公開用于描述處理隨機(jī)數(shù)序列的方法的實(shí)施方式，可執(zhí)行各種方法使得由編碼電路606執(zhí)行的處理隨機(jī)數(shù)序列的方法包括隨機(jī)數(shù)序列與第一邊緣序列不處于相同范圍內(nèi)。[0126]根據(jù)本公開的實(shí)施方式，編碼電路606可基于第一比率值和第二比率值在第二操作周期生成不同于第一邊緣序列的第二邊緣序列，該第一比率值是包括在隨機(jī)數(shù)序列中的比特值0與1的比率，該第二比率值是包括在第一邊緣序列中的比特值0與1的比率?！氨嚷手怠笨啥x為一定大小的序列中的比特值的比率。根據(jù)本公開的實(shí)施方式，編碼電路606可確定第一比率值和第二比率值是否在相同范圍內(nèi)。根據(jù)本公開的實(shí)施方式，當(dāng)?shù)谝槐嚷手岛偷诙嚷手挡辉谙嗤秶鷥?nèi)時(shí)，編碼電路606可生成與隨機(jī)數(shù)序列相同的第二邊緣序列；當(dāng)?shù)谝槐嚷手岛偷诙嚷手蛋ㄔ谙嗤秶鷥?nèi)時(shí)，編碼電路606可以處理隨機(jī)數(shù)序列以生成與第一邊緣序列不在相同范圍內(nèi)的第二邊緣序列。[0127]根據(jù)本公開的實(shí)施方式，當(dāng)?shù)谝槐嚷手岛偷诙嚷手抵畹扔诨蛐∮?0%時(shí)，第一比率值和第二比率值可確定為處于相同范圍內(nèi)。例如，當(dāng)?shù)谝槐嚷手禐?0%且第二比率值小于10%且大于50%時(shí)，第二比率值不包括在與第一比率值相同的范圍內(nèi)，因此，編碼電路606可產(chǎn)生與隨機(jī)數(shù)序列相同的第二邊緣序列。另一方面，當(dāng)?shù)谝槐嚷手禐?0%且第二比率值等于或大于10%且等于或小于50%時(shí)，第二比率值包括在與第一比率值相同的范圍內(nèi)，因此編碼電路606可處理隨機(jī)數(shù)序列以產(chǎn)生與第一邊緣序列不處于相同范圍內(nèi)的第二邊緣序列。編碼電路606可對(duì)第一比率值執(zhí)行運(yùn)算(例如，對(duì)第一比率值執(zhí)行某一值的加法、減法或乘法)以處理第一邊緣序列并可根據(jù)運(yùn)算結(jié)果生成第二邊緣序列。[0128]根據(jù)本公開的實(shí)施方式，編碼電路606可基于包括在隨機(jī)數(shù)序列中的比特值0和1的模式以及包括在第一邊緣序列中的比特值0和1的模式，在第二操作周期產(chǎn)生不同于第一邊緣序列的第二邊緣序列。根據(jù)本公開的實(shí)施方式，編碼電路606可確定包括在隨機(jī)數(shù)序列和第一邊緣序列中的比特值0和1是否以特定模式配置(例如，以特定間隔重復(fù)至少一個(gè)二進(jìn)制數(shù))。根據(jù)本公開的實(shí)施方式，編碼電路606可確定隨機(jī)數(shù)序列和第一邊緣序列是否具有特定模式。當(dāng)隨機(jī)數(shù)序列和第一邊緣序列被確定為處于相同范圍內(nèi)時(shí)，編碼電路606可以處理隨機(jī)數(shù)序列以確定與第一邊緣序列不在相同范圍內(nèi)的第二邊緣序列。由編碼電路606執(zhí)行的處理隨機(jī)數(shù)序列的方法可以是參考本公開中的各種方法所描述的方法。[0129]根據(jù)本公開的實(shí)施方式，編碼電路606可通過使用可執(zhí)行使得隨機(jī)數(shù)序列不在相同范圍內(nèi)的多種處理方法之一來處理隨機(jī)數(shù)序列。根據(jù)本公開的實(shí)施方式，可由編碼電路606執(zhí)行的多種處理方法中的一些的執(zhí)行結(jié)果可與第一邊緣序列處于相同范圍內(nèi)。編碼電路606可以通過選擇除了具有與第一邊緣序列包括在相同范圍內(nèi)的結(jié)果的那些處理方法之外的一些其它處理方法來處理第一邊緣序列以確定第二邊緣序列。[0130]根據(jù)本公開的實(shí)施方式，當(dāng)確定第一邊緣序列和隨機(jī)數(shù)序列不處于相同范圍內(nèi)時(shí)(S702-否),在操作S706中，編碼電路606可以將隨機(jī)數(shù)序列確定為第二邊緣序列。[0131]根據(jù)本公開的實(shí)施方式，在操作S708中，編碼電路606可將第二邊緣序列輸出至學(xué)習(xí)電路604,因此，學(xué)習(xí)電路604可基于第二邊緣序列連接或斷開連接某一層中的多個(gè)邊緣[0132]圖8是描述根據(jù)本公開的實(shí)施方式連接至編碼裝置的深度神經(jīng)網(wǎng)絡(luò)800的視圖。在圖8中，學(xué)習(xí)電路120可通過深度神經(jīng)網(wǎng)絡(luò)800進(jìn)行操作。深度神經(jīng)網(wǎng)絡(luò)800對(duì)應(yīng)于圖1B所示的深度神經(jīng)網(wǎng)絡(luò)150,因此將省略關(guān)于圖1B的實(shí)施方式的重復(fù)描述。[0133]根據(jù)本公開的實(shí)施方式，深度神經(jīng)網(wǎng)絡(luò)800可以通過學(xué)習(xí)電路120實(shí)現(xiàn)，并且學(xué)習(xí)電路120可以包括各種處理器，包括中央處理單元(CPU)、圖形處理單元(GPU)、神經(jīng)處理單元(NPU)、神經(jīng)網(wǎng)絡(luò)處理器(NNP)等。也即，學(xué)習(xí)電路120可以是對(duì)應(yīng)于通過包括半導(dǎo)體等硬件組件實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)的元件。[0134]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路120可以制造為實(shí)現(xiàn)AI的深度神經(jīng)網(wǎng)絡(luò)的專用硬件形式。此外，在本公開的各種實(shí)施方式中公開的學(xué)習(xí)電路120的數(shù)據(jù)處理過程的一部分可以通過用于深度神經(jīng)網(wǎng)絡(luò)的另一專用硬件組件來實(shí)現(xiàn)。此外，學(xué)習(xí)電路120的數(shù)據(jù)處理過程的一部分可以由通用處理器(例如，CPU或應(yīng)用處理器)或僅可處理圖形的處理器(例如，GPU)的一部分處理。當(dāng)由通用處理器或僅可處理圖形的處理器處理數(shù)據(jù)時(shí)，數(shù)據(jù)可通過至少一個(gè)軟件模塊處理，并且至少一個(gè)軟件模塊可通過操作系統(tǒng)(OS)或應(yīng)用程序提供。[0135]根據(jù)本公開的實(shí)施方式，深度神經(jīng)網(wǎng)絡(luò)800可包括具有各種配置的深度神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)。[0136]參照?qǐng)D8,深度神經(jīng)網(wǎng)絡(luò)800可包括卷積層805和完全連接層810,卷積層805通過基于針對(duì)輸入信號(hào)的濾波核執(zhí)行卷積運(yùn)算以生成特征映射，完全連接層810對(duì)作為卷積運(yùn)算的結(jié)果生成的多個(gè)特征映射執(zhí)行推斷或分類處理。在卷積層805中執(zhí)行的卷積運(yùn)算需要運(yùn)算量，因?yàn)榫矸e運(yùn)算是通過在每個(gè)層的輸入上移動(dòng)多個(gè)濾波核一段距離來執(zhí)行的，并且在通過卷積層805生成的特征映射的推斷或分類過程中需要大的存儲(chǔ)容量。因此，當(dāng)在卷積層805和完全連接層810上執(zhí)行學(xué)習(xí)時(shí)，通過去除重復(fù)的權(quán)重或邊緣或通過執(zhí)行尺度改變，可以有效地減少操作量和存儲(chǔ)容量，而不會(huì)顯著降低推斷的精確度。因此，不僅在圖8所示的CNN中，而且在僅包括完全連接層的RNN中，可以有效地控制在本公開的各種實(shí)施方式的網(wǎng)絡(luò)中使用的權(quán)重和邊緣。根據(jù)本公開的實(shí)施方式控制在深度神經(jīng)網(wǎng)絡(luò)中使用的權(quán)重和邊緣[0137]根據(jù)本公開的實(shí)施方式，深度神經(jīng)網(wǎng)絡(luò)800的推斷方向820和學(xué)習(xí)方向822可以彼此相反。也即，學(xué)習(xí)電路120可執(zhí)行在從輸入層830到輸出層850的方向上執(zhí)行推斷的正向推斷過程，以通過深度神經(jīng)網(wǎng)絡(luò)800對(duì)輸入執(zhí)行推斷過程。根據(jù)本公開的實(shí)施方式，對(duì)于基于推斷方向820執(zhí)行的推斷的更精確結(jié)果，可以執(zhí)行反向?qū)W習(xí)過程，其中可在從輸出層850到輸入層830的方向上執(zhí)行學(xué)習(xí)。根據(jù)本公開的實(shí)施方式，通過反向執(zhí)行的學(xué)習(xí)過程，學(xué)習(xí)電路120可順序地執(zhí)行從接近輸出端的層到接近輸入端的層調(diào)整權(quán)重或邊緣的操作。[0138]圖9是示出根據(jù)本公開的實(shí)施方式的包括在深度神經(jīng)網(wǎng)絡(luò)900的每個(gè)層中的邊緣的連接或斷開連接狀態(tài)的視圖。[0139]如圖9所示，為了執(zhí)行丟棄操作，所有連接邊緣之中的每個(gè)層中的某些連接邊緣被斷開連接。[0140]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路120可基于第二邊緣序列連接或斷開連接包括在深度神經(jīng)網(wǎng)絡(luò)900中的層910中的多個(gè)邊緣。根據(jù)本公開的實(shí)施方式通過學(xué)習(xí)電路120使用的邊緣序列指示某一層的節(jié)點(diǎn)是否被連接，并且可以是以某一順序排列的二進(jìn)制數(shù)。例如，邊緣序列可以基于深度神經(jīng)網(wǎng)絡(luò)900的學(xué)習(xí)方向922來確定層910的邊緣是否被連接，并且層910的邊緣序列可按如下順序?qū)R。下表的每一列可表示邊緣序列的每一比特。下表中具有值0的比特可以指示在該列中指示的節(jié)點(diǎn)之間的邊緣不存在或斷開連接。下表中具有值1的比特可以指示在該列中指示的節(jié)點(diǎn)之間的邊緣存在或連接。c_1->b_1…c_1…->b_1此外，圖9所示的“c_1→b_4”表示將節(jié)點(diǎn)c_1連接至節(jié)點(diǎn)b_4的邊緣。在上述邊緣序列中，當(dāng)[0143]然而，上述對(duì)齊邊緣序列的方法僅僅是確定學(xué)習(xí)電路120要連接或斷開連接邊緣的順序的示例，因此可包括對(duì)齊二進(jìn)制數(shù)序列的各種方法，其中二進(jìn)制數(shù)序列可生成以容易地確定多個(gè)節(jié)點(diǎn)的邊緣連接狀態(tài)。[0144]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路120可基于所獲得的第二邊緣序列來確定包含在層910中的一些邊緣處于斷開連接狀態(tài)。如在上述示例中，由于邊緣序列包括與包括在某一層中的邊緣的連接或斷開連接有關(guān)的信息，所以學(xué)習(xí)電路120可基于從編碼電路130輸出的邊緣序列，將包括在深度神經(jīng)網(wǎng)絡(luò)中的至少一個(gè)層或所有層中的至少一些邊緣斷開連接。此外，可以通過基于邊緣序列校正的深度神經(jīng)網(wǎng)絡(luò)來執(zhí)行上述丟棄操作。[0145]此外，參考圖9,學(xué)習(xí)電路120可基于第二邊緣序列在層910的學(xué)習(xí)過程中將連接至節(jié)點(diǎn)c_3的所有邊緣斷開連接。因此，在輸入到節(jié)點(diǎn)c_3的信息和從節(jié)點(diǎn)c_3輸出的信息都被阻擋的情況下，可以執(zhí)行層910的學(xué)習(xí)。參照?qǐng)D9,學(xué)習(xí)電路120可以在層910的節(jié)點(diǎn)b_2、b_5、c_3和c_5的邊緣全部斷開連接時(shí)執(zhí)行學(xué)習(xí)，并且可以通過斷開連接節(jié)點(diǎn)b_2、b_5、c_3和c_5的邊緣，而且將連接至層910的其它節(jié)點(diǎn)的一些邊緣斷開連接來執(zhí)行學(xué)習(xí)。[0146]圖10A示出根據(jù)本公開的實(shí)施方式由學(xué)習(xí)電路120執(zhí)行的在學(xué)習(xí)過程中調(diào)整每個(gè)層的權(quán)重的過程。圖10B示出根據(jù)本公開的實(shí)施方式由學(xué)習(xí)電路120執(zhí)行的在學(xué)習(xí)過程中調(diào)整每個(gè)層的權(quán)重的過程。[0147]參照?qǐng)D10A,根據(jù)本公開的實(shí)施方式的學(xué)習(xí)電路120可通過使用包括第一層1010和第二層1012的多個(gè)層來執(zhí)行推斷過程，并且可在作為推斷結(jié)果的輸出值的精確度增加的方向上執(zhí)行學(xué)習(xí)過程。根據(jù)本公開的實(shí)施方式，由學(xué)習(xí)電路120執(zhí)行的學(xué)習(xí)過程可與推斷過程中執(zhí)行的方法處于相反的方向，因此，在第一層1010上的學(xué)習(xí)結(jié)束之后開始在第二層1012上的學(xué)習(xí)。[0148]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路120可基于第二邊緣序列連接或斷開連接包括在深度神經(jīng)網(wǎng)絡(luò)1000中的第二層1012的多個(gè)邊緣。由根據(jù)本公開的實(shí)施方式的學(xué)習(xí)電路120使用的邊緣序列指示每個(gè)節(jié)點(diǎn)是否被連接，并且可以是以特定順序排列的二進(jìn)制數(shù)。參照?qǐng)D10A,學(xué)習(xí)電路120可基于由編碼電路130生成的第二邊緣序列，來省略連接第二層1012使用在學(xué)習(xí)過程中未被省略的邊緣在深度神經(jīng)網(wǎng)絡(luò)的推斷精度增加的方向上執(zhí)行學(xué)習(xí)，并且可以修改分配給在學(xué)習(xí)過程中未被省略的邊緣的權(quán)重。也即，學(xué)習(xí)電路120可基于根據(jù)第二邊緣序列確定的邊緣連接狀態(tài)，執(zhí)行修改第二層1012的權(quán)重的學(xué)習(xí)過程。[0149]根據(jù)本公開的實(shí)施方式，當(dāng)學(xué)習(xí)電路120結(jié)束第二層1012中的學(xué)習(xí)過程時(shí)，可以開始第一層1010的學(xué)習(xí)過程。參照?qǐng)D10A,學(xué)習(xí)電路120可基于通過在第二操作周期使用編碼電路130生成的第二邊緣序列來執(zhí)行修改第二層1012的權(quán)重的學(xué)習(xí)過程，并由此可以將第二層1012修改為圖10B中經(jīng)訓(xùn)練的第二層1022。經(jīng)訓(xùn)練的第二層1022可影響第一層1020的學(xué)習(xí)過程，因此，第一層1020可在考慮第二層1022的權(quán)重的情況下執(zhí)行修改包括在第一層1020中的權(quán)重的學(xué)習(xí)過程。[0150]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路120可基于通過在第二操作周期執(zhí)行的學(xué)習(xí)而確定的深度神經(jīng)網(wǎng)絡(luò)的多個(gè)層的權(quán)重，來執(zhí)行推斷過程。為了提高在第二操作周期之后作為推斷結(jié)果輸出的結(jié)果值的精確度，學(xué)習(xí)電路120可迭代地重復(fù)根據(jù)本公開的上述實(shí)施方式的學(xué)習(xí)過程。因此，編碼裝置100可在存儲(chǔ)器110中存儲(chǔ)與第二操作周期處的層有關(guān)的第操作周期的第三操作周期處從存儲(chǔ)器110獲得第三邊緣序列。第三邊緣序列可對(duì)應(yīng)于在第示包括在深度神經(jīng)網(wǎng)絡(luò)中的某一層中的多個(gè)邊三邊緣序列和第四邊緣序列對(duì)應(yīng)于分別在編碼電路130的每個(gè)操作周期生成并輸出至學(xué)習(xí)[0152]圖11是根據(jù)本公開的實(shí)施方式用于通過使用在先前操作周期中確定的邊緣的權(quán)[0153]根據(jù)本公開的實(shí)施方式，編碼裝1110存儲(chǔ)指示在第一操作周期確定的構(gòu)成某一層的多個(gè)邊緣的連接狀態(tài)的第一邊緣序列，編碼電路1120在不同于第一操作周期的第二操作周期生成第[0156]圖12是根據(jù)本公開的實(shí)施方式由編碼裝置1100基于存儲(chǔ)在寄存器1140中的多個(gè)作周期中存儲(chǔ)包括構(gòu)成某一層的多個(gè)邊緣的權(quán)重的第一邊緣權(quán)重。根據(jù)本公開的實(shí)施方定為學(xué)習(xí)結(jié)果的多個(gè)邊緣的權(quán)重再次存儲(chǔ)在寄存器1140中，并且可在下一操作周期中使執(zhí)行的操作的特征可以是與參考本公開的各種實(shí)施方式描述的學(xué)習(xí)電路的特征類似的特[0161]根據(jù)本公開的實(shí)施方式，編碼裝置1100可通過使用指示存儲(chǔ)在寄存器1140中的第一邊緣權(quán)重的邊緣序列以及某一層的邊緣連接狀態(tài)，來執(zhí)行深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路1130可通過使用基于將存儲(chǔ)在存儲(chǔ)器1110中的第一邊緣序列與從隨機(jī)數(shù)生成電路獲得的隨機(jī)數(shù)序列進(jìn)行比較的結(jié)果而生成的第二邊緣序列，來執(zhí)行學(xué)習(xí)過程。根據(jù)學(xué)習(xí)結(jié)果確定的第一邊緣權(quán)重可存儲(chǔ)在寄存器1140中，并且在下一操作周期中，編碼電路1120可通過將第一邊緣權(quán)重與預(yù)設(shè)閾值權(quán)重進(jìn)行比較以生成新的邊緣權(quán)重。學(xué)習(xí)電路1130可通過使用在上述過程中生成的邊緣序列來執(zhí)行學(xué)習(xí)過程。[0162]圖13是示出根據(jù)本公開的實(shí)施方式的編碼裝置1300、學(xué)習(xí)電路1330和計(jì)數(shù)器1340的框圖。[0163]根據(jù)本公開的實(shí)施方式，圖13的存儲(chǔ)器1310、編碼電路1320和學(xué)習(xí)電路1330的特征可以與以上所描述的圖1A的存儲(chǔ)器110、編碼電路130和學(xué)習(xí)電路120的特征類似，因此將省略其詳細(xì)說明。在下文中，將描述使用存儲(chǔ)在寄存器中的權(quán)重的特征。[0164]根據(jù)本公開的實(shí)施方式，計(jì)數(shù)器1340可在編碼電路1320生成第二邊緣序列的過程中對(duì)滿足某一條件的次數(shù)進(jìn)行計(jì)數(shù)。根據(jù)本公開的實(shí)施方式，計(jì)數(shù)器1340可包括對(duì)發(fā)生次數(shù)進(jìn)行計(jì)數(shù)并在達(dá)到發(fā)生次數(shù)的最大計(jì)數(shù)時(shí)重新開始計(jì)數(shù)的計(jì)數(shù)機(jī)，其中計(jì)數(shù)機(jī)可以是被設(shè)計(jì)成以預(yù)定順序轉(zhuǎn)變觸發(fā)器的狀態(tài)的元件，并且包括寄存器，其狀態(tài)根據(jù)輸入脈沖以預(yù)定順序改變。[0165]例如，計(jì)數(shù)器1340可對(duì)在編碼電路1320將第一邊緣序列與隨機(jī)數(shù)序列進(jìn)行比較的處理中、第一邊緣序列的比特和隨機(jī)數(shù)序列的比特為相同的次數(shù)進(jìn)行計(jì)數(shù)。編碼電路1320可以基于計(jì)數(shù)器1340的計(jì)算結(jié)果，在沒有任何改變的情況下使用隨機(jī)數(shù)序列來確定是否生成第二邊緣序列，或者通過處理隨機(jī)數(shù)序列來生成第二邊緣序列。此外，計(jì)數(shù)器1340可通過計(jì)算包括在第一邊緣序列中的比特值0的比率(丟棄率)和包括在隨機(jī)數(shù)序列中的比特值0的比率來生成第二邊緣序列。上面參考本公開的各種實(shí)施方式描述了通過使用丟棄率以生成第二邊緣序列的過程，因此將省略對(duì)其的詳細(xì)說明。[0166]根據(jù)另一示例，編碼電路1320可將存儲(chǔ)在圖11的寄存器1140或存儲(chǔ)器1110中的某一層的第一邊緣權(quán)重與預(yù)設(shè)閾值權(quán)重進(jìn)行比較，且計(jì)數(shù)器1340可計(jì)算構(gòu)成某一層的多個(gè)邊緣之中具有比預(yù)設(shè)閾值權(quán)重更大的權(quán)重的邊緣的數(shù)目。編碼電路1320可基于計(jì)數(shù)器1340的計(jì)算結(jié)果確定某一層的多個(gè)邊緣之中處于連接狀態(tài)的邊緣的數(shù)目(或者處于斷開連接狀態(tài)的邊緣的數(shù)目),并且可基于所確定的邊緣數(shù)目生成第二邊緣序列。由編碼電路1320基于根據(jù)計(jì)數(shù)器1340的計(jì)算結(jié)果確定的丟棄率生成第二邊緣序列的方法在上文參考本公開的各種實(shí)施方式進(jìn)行了描述，因此將省略對(duì)其的詳細(xì)說明。[0167]也即，可在本公開的各種實(shí)施方式中使用的計(jì)數(shù)器1340可廣泛地用于計(jì)算在比較第一邊緣序列和隨機(jī)數(shù)序列、第一邊緣權(quán)重等的過程中滿足特定條件的次數(shù)。計(jì)數(shù)器1340的示例可包括在各種觸發(fā)器結(jié)構(gòu)中實(shí)現(xiàn)的計(jì)數(shù)器，例如異步計(jì)數(shù)器、同步計(jì)數(shù)器、UP計(jì)數(shù)器[0168]圖14是示出根據(jù)本公開的實(shí)施方式的編碼裝置1400、學(xué)習(xí)電路1430和選擇器1440的框圖。[0169]根據(jù)本公開的實(shí)施方式，編碼裝置1400可包括存儲(chǔ)器1410和編碼電路1420,并且可以連接至學(xué)習(xí)電路1430。此外，編碼裝置1400可以連接至選擇器1440、寄存器1442和隨機(jī)數(shù)生成電路1444.根據(jù)本公開的實(shí)施方式，存儲(chǔ)器1410、編碼電路1420和學(xué)習(xí)電路1430的特征可與上文描述的存儲(chǔ)器110、編碼電路130和學(xué)習(xí)電路120的特征相類似，因此將省略其詳細(xì)說明。此外，圖14的寄存器1442和隨機(jī)數(shù)生成電路1444的特征也可以與圖11的寄存器1140和圖3的隨機(jī)數(shù)生成電路340的特征相類似，因此將省略其詳細(xì)說明。[0170]參考圖14,選擇器1440可以從寄存器1442和隨機(jī)數(shù)生成電路1444中的每一個(gè)獲得特定信息，并選擇性地輸出這兩條信息。根據(jù)本公開的實(shí)施方式，選擇器1440可包括多路復(fù)用器，其獲得n比特(n>0)的特定選擇信號(hào)且選擇性地輸出從寄存器1442和隨機(jī)數(shù)生成電路1444獲得的特定信息，寄存器1442或隨機(jī)數(shù)生成電路1444的輸出信息可由存儲(chǔ)器1410、編碼電路1420和學(xué)習(xí)電路1430使用，如本公開的上述各種實(shí)施方式。也即，選擇器1440可選擇性地輸出可基于n比特選擇信號(hào)確定的2^n種類型的輸入信息。[0171]也即，連接至選擇器1440的編碼裝置1400可選擇性地使用基于將存儲(chǔ)在寄存器1442中的第一邊緣權(quán)重與預(yù)設(shè)閾值權(quán)重進(jìn)行比較的結(jié)果確定第二邊緣序列的過程，以及基于將存儲(chǔ)在存儲(chǔ)器1410中的第一邊緣序列與從隨機(jī)數(shù)生成電路1444獲得的隨機(jī)數(shù)序列進(jìn)行比較的結(jié)果確定第二邊緣序列的過程。[0172]詳細(xì)地，為了使學(xué)習(xí)電路1430執(zhí)行上述丟棄操作，選擇器1440可操作使得在隨機(jī)數(shù)生成電路1444中生成的信號(hào)被輸出。因此，從隨機(jī)數(shù)生成電路1444輸出的隨機(jī)數(shù)序列可發(fā)送至編碼電路1420,并且編碼電路1420可通過使用所發(fā)送的隨機(jī)數(shù)序列來生成邊緣序列，并將該邊緣序列發(fā)送至學(xué)習(xí)電路1430。[0173]此外，為了使學(xué)習(xí)電路1430執(zhí)行上述修剪操作，選擇器1440可操作使得存儲(chǔ)在寄存器1442中的權(quán)重值被輸出。因此，從寄存器1442輸出的權(quán)重值可發(fā)送至學(xué)習(xí)電路1430。因此，學(xué)習(xí)電路1430可基于從寄存器1442發(fā)送的權(quán)重值來執(zhí)行學(xué)習(xí)，或者可以在精確度增加的方向上執(zhí)行權(quán)重值的校正操作。[0174]圖15是示出根據(jù)本公開的實(shí)施方式的編碼裝置1500、學(xué)習(xí)電路1530、寄存器1542、計(jì)數(shù)器1544、隨機(jī)數(shù)生成電路1546和選擇器1540的框圖。[0175]根據(jù)本公開的實(shí)施方式，圖15的存儲(chǔ)器1510、編碼電路1520和學(xué)習(xí)電路1530的特征可與圖1A的存儲(chǔ)器110、編碼電路130和學(xué)習(xí)電路120的特征相類似，因此將省略其詳細(xì)說明。此外，圖15的寄存器1542、計(jì)數(shù)器1544和隨機(jī)數(shù)生成電路1546的特征可以分別與圖11的寄存器1140、圖13的計(jì)數(shù)器1340和圖3的隨機(jī)數(shù)生成電路340的特征相類似，因此將省略其詳細(xì)說明。[0176]根據(jù)本公開的實(shí)施方式，選擇器1540可包括多路復(fù)用器，其可以從寄數(shù)器1544和隨機(jī)數(shù)生成電路1546獲得特定信息，并選擇性地輸出該信息；以及多路分解器，其獲得學(xué)習(xí)電路1530的中間操作結(jié)果，并輸出該中間操作結(jié)果，以使得該結(jié)果被存儲(chǔ)在寄存器1542中。[0177]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路1530可基于第一邊緣序列或第二邊緣序列執(zhí)行學(xué)習(xí)過程，并基于學(xué)習(xí)結(jié)果執(zhí)行推斷過程。學(xué)習(xí)電路1530可通過選擇器1540在寄存器1542中的第二操作周期處存儲(chǔ)學(xué)習(xí)過程的中間操作結(jié)果，并且根據(jù)本公開的實(shí)施方式，計(jì)數(shù)器1544可基于中間操作結(jié)果的值確定是否已發(fā)生溢出(overflow),并可以基于確定的結(jié)果計(jì)算已發(fā)生溢出的次數(shù)。編碼裝置1500可通過使用動(dòng)態(tài)定點(diǎn)方法控制深度神經(jīng)網(wǎng)絡(luò)以執(zhí)行推斷和學(xué)習(xí)，在該動(dòng)態(tài)定點(diǎn)方法中，可基于由計(jì)數(shù)器1544計(jì)算的第二操作周期的溢出次數(shù)動(dòng)態(tài)地改變定點(diǎn)。也即，當(dāng)通過使用學(xué)習(xí)電路1530的深度神經(jīng)網(wǎng)絡(luò)執(zhí)行推斷和學(xué)習(xí)過程時(shí)，為了在防止寄存器1542中溢出的同時(shí)有效地控制輸入和輸出信息，中間操作結(jié)果可以存儲(chǔ)在寄存器1542中，并且計(jì)數(shù)器1544可以計(jì)數(shù)溢出的次數(shù)。[0178]根據(jù)本公開的實(shí)施方式，學(xué)習(xí)電路1530可將由計(jì)數(shù)器1544計(jì)算的溢出次數(shù)與溢出閾值次數(shù)進(jìn)行比較，以確定是否通過使用動(dòng)態(tài)定點(diǎn)方法執(zhí)行學(xué)習(xí)和推斷過程。也即，學(xué)習(xí)電路15