(12)發(fā)明專利(10)授權(quán)公告號CN114902339B(65)同一申請的已公布的文獻號(43)申請公布日2022.08.12(30)優(yōu)先權(quán)數(shù)據(jù)(85)PCT國際申請進入國家階段日(86)PCT國際申請的申請數(shù)據(jù)PCT/US2020/0492352020(87)PCT國際申請的公布數(shù)據(jù)(73)專利權(quán)人硅存儲技術(shù)股份有限公司地址美國加利福尼亞州(74)專利代理機構(gòu)上海專利商標事務(wù)所有限公司31100US2007285990A1,2007.用于補償人工神經(jīng)網(wǎng)絡(luò)中的模擬神經(jīng)存儲器中的數(shù)據(jù)漂移的電路提供了用于補償模擬神經(jīng)形態(tài)存儲器系統(tǒng)提供了一種用于補償在讀取操作期間的漂移誤差的電路，該電路包括數(shù)據(jù)漂移監(jiān)測電路，該數(shù)據(jù)漂移監(jiān)測電路耦接到該陣列以生成指示數(shù)據(jù)漂移的輸出；以及位線補償電路，該位線補償電路用于響應(yīng)于來自該數(shù)據(jù)漂移監(jiān)測電路的輸出3610 21.一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，所述電路包數(shù)據(jù)漂移監(jiān)測電路，所述數(shù)據(jù)漂移監(jiān)測電路耦接到所述矢量矩陣乘法陣列以監(jiān)視所述矢量矩陣乘法陣列中的數(shù)據(jù)漂移量并且生成指示所述數(shù)據(jù)漂移量的輸出；以及位線補償電路，所述位線補償電路用于生成補償電流，并且將所述補償電流注入從所述矢量矩陣乘法陣列的一個或多個位線接收的陣列輸出電流中，其中所述補償電流的水平是基于來自所述數(shù)據(jù)漂移監(jiān)測電路的數(shù)據(jù)漂移量來選擇的。2.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括第一可調(diào)電流源和第二可調(diào)電流源，并且所述補償電流是由所述第一可調(diào)電流源生成的電流與由所述第二可調(diào)電流源生成的電流之間的差值。3.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括運算放大器、第一可調(diào)電阻器和第二可調(diào)電阻器。4.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括運算放大器、電流源和可調(diào)電容器。5.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括M:N電流鏡。6.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括運算放大器、第一可調(diào)電阻器、第二可調(diào)電阻器和第三可調(diào)電阻器。7.根據(jù)權(quán)利要求1所述的電路，其中所述位線補償電路包括運算放大器、電流源、電流移位器和可調(diào)電容器。8.一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，所述電路包位線補償電路，所述位線補償電路用于縮放從所述陣列的一個或多個位線接收的陣列輸出電流以補償在所述陣列的讀取操作期間的漂移誤差，其中所述位線補償電路包括運算放大器、電流源、開關(guān)和可調(diào)積分輸出電容器；所述運算放大器在其同相端子上接收參考電壓，并且在其反相端子上接收與所述陣列輸出電流相對應(yīng)的輸入電壓，并且生成輸出電壓，所述可調(diào)積分輸出電容器被耦接在所述輸入電壓和所述輸出電壓之間，并且所述輸出電壓的值基于所述可調(diào)積分輸出電容器的配置值和/或可調(diào)積分時間來縮放以補償數(shù)據(jù)漂移，或者其中所述位線補償電路包括具有M:N比率的電流鏡，所述陣列輸出電流通過配置所述M和/或N參數(shù)來縮放。9.根據(jù)權(quán)利要求8所述的電路，其中所述位線補償電路使所述輸出移位。10.根據(jù)權(quán)利要求8所述的電路，其中所述縮放包括放大。11.根據(jù)權(quán)利要求8所述的電路，其中所述縮放包括縮小。12.根據(jù)權(quán)利要求8所述的電路，其中所述矢量矩陣乘法陣列由分裂柵非易失性存儲器單元形成。13.根據(jù)權(quán)利要求8所述的電路，所述電路進一步包括：位線補償電路，所述位線補償電路用于對從所述陣列的一個或多個位線接收的陣列輸出電流進行移位以補償在所述陣列的讀取操作期間的漂移誤差。14.根據(jù)權(quán)利要求13所述的電路，其中所述矢量矩陣乘法陣列由分裂柵非易失性存儲3器單元形成。15.根據(jù)權(quán)利要求13所述的電路，其中所述矢量矩陣乘法陣列中的一個或多個單元使用福勒-諾德海姆隧穿來編程。16.根據(jù)權(quán)利要求14所述的電路，其中所述矢量矩陣乘法陣列中的一個或多個單元使用福勒-諾德海姆隧穿來編程。17.一種補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的方法，所述方法包括：監(jiān)測矢量矩陣乘法陣列中的數(shù)據(jù)漂移量；生成位線補償電流，其中所述位線補償電流的水平是基于所述數(shù)據(jù)漂移量來選擇的；以及在讀取操作期間將所述位線補償電流注入從所述矢量矩陣乘法陣列的一個或多個位線接收的陣列輸出電流中以補償漂移誤差。18.根據(jù)權(quán)利要求17所述的方法，其中所述矢量矩陣乘法陣列由分裂柵非易失性存儲器單元形成。4用于補償人工神經(jīng)網(wǎng)絡(luò)中的模擬神經(jīng)存儲器中的數(shù)據(jù)漂移的電路[0002]本申請要求于2020年1月3日提交的標題為“PreciseDataTuningMethodandApparatusforAnalogNeur國臨時專利申請?zhí)?2/957,013和于2020年3月26日提交的標題為“CircuitrytoCompensateforDataDriftinAnNetwork”的美國專利申請?zhí)?6/830,733的優(yōu)先權(quán)。技術(shù)領(lǐng)域[0003]提供了用于補償模擬神經(jīng)形態(tài)存儲器系統(tǒng)中的VMM陣列內(nèi)的非易失性存儲器單元中的漂移誤差的許多實施方案。背景技術(shù)[0004]人工神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)(動物的中樞神經(jīng)系統(tǒng)，特別是大腦),并且用于估計或近似可取決于大量輸入并且通常未知的函數(shù)。人工神經(jīng)網(wǎng)絡(luò)通常包括互相交換消息[0005]圖1示出了人工神經(jīng)網(wǎng)絡(luò)，其中圓圈表示神經(jīng)元的輸入或?qū)?。連接部(稱為突觸)用箭頭表示，并且具有可以根據(jù)經(jīng)驗進行調(diào)整的數(shù)值權(quán)重。這使得人工神經(jīng)網(wǎng)絡(luò)適應(yīng)于輸入并且能夠?qū)W習(xí)。通常，人工神經(jīng)網(wǎng)絡(luò)包括多個輸入的層。通常存在神經(jīng)元的一個或多個中間層，以及提供神經(jīng)網(wǎng)絡(luò)的輸出的神經(jīng)元的輸出層。處于每一級別的神經(jīng)元分別地或共同地根據(jù)從突觸所接收的數(shù)據(jù)作出決定。[0006]在開發(fā)用于高性能信息處理的人工神經(jīng)網(wǎng)絡(luò)方面的主要挑戰(zhàn)中的一個挑戰(zhàn)是缺乏足夠的硬件技術(shù)。實際上，實際人工神經(jīng)網(wǎng)絡(luò)依賴于大量的突觸，從而實現(xiàn)神經(jīng)元之間的高連通性，即非常高的計算并行性。原則上，此類復(fù)雜性可通過數(shù)字超級計算機或?qū)Ｓ脠D形處理單元集群來實現(xiàn)。然而，相比于生物網(wǎng)絡(luò)，這些方法除了高成本之外，能量效率也很普通，生物網(wǎng)絡(luò)主要由于其執(zhí)行低精度的模擬計算而消耗更少的能量。CMOS模擬電路已被用[0007]申請人先前在美國專利申請?zhí)?5/594,439(公開為美國專利公布2017/0337466)中公開了一種利用一個或多個非易失性存儲器陣列作為突觸的人工(模擬)神經(jīng)網(wǎng)絡(luò)，該專利申請以引用方式并入本文。非易失性存儲器陣列作為模擬神經(jīng)形態(tài)存儲器操作。如本文所用的術(shù)語“神經(jīng)形態(tài)”是指實現(xiàn)神經(jīng)系統(tǒng)模型的電路。模擬神經(jīng)形態(tài)存儲器包括被配置成接收第一多個輸入并從其生成第一多個輸出的第一多個突觸，以及被配置成接收第一多個輸出的第一多個神經(jīng)元。第一多個突觸包括多個存儲器單元，其中存儲器單元中的每個存儲器單元包括：形成于半導(dǎo)體襯底中的間隔開的源極區(qū)和漏極區(qū)，其中溝道區(qū)在源極區(qū)和漏極區(qū)之間延伸；設(shè)置在溝道區(qū)的第一部分上方并且與第一部分絕緣的浮柵；以及設(shè)置在溝道區(qū)的第二部分上方并且與第二部分絕緣的非浮柵。多個存儲器單元中的每個存儲器單5元被配置成存儲與浮柵上的多個電子相對應(yīng)的權(quán)重值。多個存儲器單元被配置成將第一多個輸入乘以所存儲的權(quán)重值以生成第一多個輸出。以這種方式布置的存儲器單元陣列可被稱為矢量矩陣乘法(VMM)陣列。[0008]必須擦除和編程用于VMM中的每個非易失性存儲器單元，以在浮柵中保持非常特定且精確的電荷量(即電子數(shù)量)。例如，每個浮柵必須保持N個不同值中的一個，其中N是可以不同N值所需的精度和粒度對所選單元進行編程。例如，如果所選單元可包括64個不同值中的一個值，則在編程操作中需要極高精度。[0009]由于這些系統(tǒng)需要如此高的精度，因此諸如數(shù)據(jù)漂移等現(xiàn)象所產(chǎn)生的任何誤差都可能很顯著。[0010]需要用于補償模擬神經(jīng)形態(tài)存儲器中的VMM陣列中的數(shù)據(jù)漂移的經(jīng)改進的補償電路和方法。發(fā)明內(nèi)容[0011]提供了用于補償模擬神經(jīng)形態(tài)存儲器系統(tǒng)中的VMM陣列內(nèi)的非易失性存儲器單元中的漂移誤差的許多實施方案。[0012]在一個實施方案中，提供了一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，該電路包括數(shù)據(jù)漂移監(jiān)測電路，該數(shù)據(jù)漂移監(jiān)測電路耦接到該陣列以生成指示數(shù)據(jù)漂移的輸出；以及位線補償電路，該位線補償電路用于響應(yīng)于來自該數(shù)據(jù)漂移監(jiān)測電路的輸出而生成補償電流，并且將該補償電流注入該陣列的一個或多個位線中。[0013]在另一個實施方案中，提供了一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，該電路包括位線補償電路，該位線補償電路用于生成補償電流并且將該補償電流注入該陣列的一個或多個位線中以補償漂移誤差。[0014]在另一個實施方案中，提供了一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，該電路包括位線補償電路，該位線補償電路用于縮放該陣列的輸出以補償漂移誤差。[0015]在另一個實施方案中，提供了一種用于補償矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的電路，該電路包括位線補償電路，該位線補償電路用于使該陣列的輸出移位以補償漂移誤差。[0016]在另一個實施方案中，提供了一種補償在矢量矩陣乘法陣列中的讀取操作期間的漂移誤差的方法，該方法包括監(jiān)測該矢量矩陣乘法陣列中的數(shù)據(jù)漂移。附圖說明[0017]圖1為示出現(xiàn)有技術(shù)的人工神經(jīng)網(wǎng)絡(luò)的示意圖。[0018]圖2示出現(xiàn)有技術(shù)分裂柵閃存存儲器單元。[0019]圖3示出另一現(xiàn)有技術(shù)的分裂柵閃存存儲器單元。[0020]圖4示出另一現(xiàn)有技術(shù)的分裂柵閃存存儲器單元。[0021]圖5示出另一現(xiàn)有技術(shù)的分裂柵閃存存儲器單元。[0022]圖6示出另一現(xiàn)有技術(shù)的分裂柵閃存存儲器單元。6[0023]圖7示出現(xiàn)有技術(shù)的堆疊柵閃存存儲器單元。[0024]圖8為示出使用一個或多個VMM陣列的示例性人工神經(jīng)網(wǎng)絡(luò)的不同層級的示意圖。[0025]圖9為示出包括VMM陣列和其他電路的VMM系統(tǒng)的框圖。[0026]圖10為示出使用一個或多個VMM系統(tǒng)的示例性人工神經(jīng)網(wǎng)絡(luò)的框圖。[0027]圖11示出VMM陣列的另一實施方案。[0028]圖12示出VMM陣列的另一實施方案。[0029]圖13示出VMM陣列的另一實施方案。[0030]圖14示出VMM陣列的另一實施方案。[0031]圖15示出VMM陣列的另一實施方案。[0032]圖16示出VMM陣列的另一實施方案。[0033]圖17示出VMM陣列的另一實施方案。[0034]圖18示出VMM陣列的另一實施方案。[0035]圖19示出VMM陣列的另一實施方案。[0036]圖20示出VMM陣列的另一實施方案。[0037]圖21示出VMM陣列的另一實施方案。[0038]圖22示出VMM陣列的另一實施方案。[0039]圖23示出VMM陣列的另一實施方案。[0040]圖24示出VMM陣列的另一實施方案。[0041]圖25示出現(xiàn)有技術(shù)的長短期存儲器系統(tǒng)。[0042]圖26示出在長短期存儲器系統(tǒng)中使用的示例性單元。[0043]圖27示出圖26的示例性單元的一個實施方案。[0044]圖28示出圖26的示例性單元的另一實施方案。[0045]圖29示出現(xiàn)有技術(shù)的柵控遞歸單元系統(tǒng)。[0046]圖30示出在柵控遞歸單元系統(tǒng)中使用的示例性單元。[0047]圖31示出圖30的示例性單元的一個實施方案。[0048]圖32示出圖30的示例性單元的另一實施方案。[0049]圖33示出VMM系統(tǒng)。[0050]圖34示出調(diào)諧校正方法。[0051]圖35A示出調(diào)諧校正方法。[0052]圖35B示出扇區(qū)調(diào)諧校正方法。[0053]圖36A示出溫度對存儲在單元中的值的影響。[0054]圖36B示出在VMM系統(tǒng)的操作期間由數(shù)據(jù)漂移造成的問題。[0055]圖36C示出用于補償數(shù)據(jù)漂移的塊。[0056]圖36D示出數(shù)據(jù)漂移監(jiān)測器。[0057]圖37示出位線補償電路。[0058]圖38示出另一位線補償電路。[0059]圖39示出另一位線補償電路。[0060]圖40示出另一位線補償電路。[0061]圖41示出另一位線補償電路。7[0062]圖42示出另一位線補償電路。[0063]圖43示出神經(jīng)元電路。[0064]圖44示出另一神經(jīng)元電路。[0065]圖45示出另一神經(jīng)元電路。[0066]圖46示出另一神經(jīng)元電路。[0067]圖47示出另一神經(jīng)元電路。[0068]圖48示出另一個神經(jīng)元電路。[0069]圖49A示出輸出電路的框圖。[0070]圖49B示出另一輸出電路的框圖。[0071]圖49C示出另一輸出電路的框圖。具體實施方式[0072]本發(fā)明的人工神經(jīng)網(wǎng)絡(luò)利用CMOS技術(shù)和非易失性存儲器陣列的組合。[0073]非易失性存儲器單元引用方式并入本文，公開了分裂柵非易失性存儲器單元的陣列，它是一種閃存存儲器單元。此類存儲器單元210在圖2中示出。每個存儲器單元210包括形成于半導(dǎo)體襯底12中的源極區(qū)14和漏極區(qū)16,其間具有溝道區(qū)18.浮柵20形成在溝道區(qū)18的第一部分上方并且與其絕緣(并控制其電導(dǎo)率),并且形成在源極區(qū)14的一部分上方。字線端子22(其通常被耦接到字線)具有設(shè)置在溝道區(qū)18的第二部分上方并且與該溝道區(qū)的第二部分絕緣(并且控制其電導(dǎo)率)的第一部分，以及向上延伸并且位于浮柵20上方的第二部分。浮柵20和字線端子22通過柵極氧化物與襯底12絕緣。位線端子24耦接到漏極區(qū)16。[0075]通過將高的正電壓置于字線端子22上來對存儲器單元210進行擦除(其中電子從浮柵去除),這導(dǎo)致浮柵20上的電子經(jīng)由福勒-諾德海姆隧穿從浮柵20到字線端子22隧穿通過中間絕緣體。[0076]通過將正的電壓置于字線端子22上以及將正的電壓置于源極區(qū)14上來編程存儲器單元210(其中電子被置于浮柵上)。電子電流將從源極區(qū)14(源極線端子)流向漏極區(qū)16。當(dāng)電子到達字線端子22和浮柵20之間的間隙時，電子將加速并且變熱。由于來自浮柵20的靜電引力，一些加熱的電子將通過柵極氧化物被注入到浮柵20上。[0077]通過將正的讀取電壓置于漏極區(qū)16和字線端子22(其接通溝道區(qū)18的在字線端子下方的部分)上來讀取存儲器單元210。如果浮柵20帶正電(即，電子被擦除),則溝道區(qū)18的在浮柵20下方的部分也被接通，并且電流將流過溝道區(qū)18,該溝道區(qū)被感測為擦除狀態(tài)或“1”狀態(tài)。如果浮柵20帶負電(即，通過電子進行了編程),則溝道區(qū)的在浮柵20下方的部分被大部分或完全關(guān)斷，并且電流將不會(或者有很少的電流)流過溝道區(qū)18,該溝道區(qū)被感[0078]表1示出可施加到存儲器單元110的端子用于執(zhí)行讀取操作、擦除操作和編程操作的典型電壓范圍：[0079]表1:圖2的閃存存儲器單元210的操作8讀取12-0.1V擦除約11-13V編程極線端子上輸出的讀取模式。[0082]圖3示出了存儲器單元310,其與圖2的存儲器單元210類似，但增加了控制柵(CG)端子28?？刂茤哦俗?8在編程中被偏置在高電壓處(例如，10V),在擦除中被偏置在低電壓或負電壓處(例如，0v/-8V),在讀取中被偏置在低電壓或中等電壓處(例如，0v/2.5V)。其他端子類似于圖2那樣偏置。[0083]圖4示出了四柵極存儲器單元410,其包括源極區(qū)14、漏極區(qū)16、在溝道區(qū)18的第一部分上方的浮柵20、在溝道區(qū)18的第二部分上方的選擇柵22(通常耦接到字線WL)、在浮柵20上方的控制柵28、以及在源極區(qū)14上方的擦除柵30。這種配置在美國專利6,747,310中有所描述，該專利以引用方式并入本文以用于所有目的。這里，除了浮柵20之外，所有的柵極均為非浮柵，這意味著它們電連接到或能夠電連接到電壓源。編程由來自溝道區(qū)18的將自身注入到浮柵20的加熱的電子執(zhí)行。擦除通過從浮柵20隧穿到擦除柵30的電子來執(zhí)行。[0084]表2示出可施加到存儲器單元410的端子用于執(zhí)行讀取操作、擦除操作和編程操作的典型電壓范圍：[0085]表2:圖4的閃存存儲器單元410的操作讀取12-0.1V擦除編程[0087]“讀取1”是其中單元電流在位線上輸出的讀取模式?！皹O線端子上輸出的讀取模式。[0088]圖5示出了存儲器單元510,除了不含擦除柵EG端子，存儲器單元510與圖4的存儲器單元410類似。通過將襯底18偏置到高電壓并將控制柵CG端子28偏置到低電壓或負電壓來執(zhí)行擦除。另選地，通過將字線端子22偏置到正電壓并將控制柵端子28偏置到負電壓來執(zhí)行擦除。編程和讀取類似于圖4的那樣。[0089]圖6示出三柵極存儲器單元610,其為另一種類型的閃存存儲器單元。存儲器單元610與圖4的存儲器單元410相同，除了存儲器單元610沒有單獨的控制柵端子。除了沒有施加控制柵偏置，擦除操作(通過使用擦除柵端子進行擦除)和讀取操作類似于圖4的操作。在沒有控制柵偏置的情況下，編程操作也被完成，并且結(jié)果，在編程操作期間必須在源極線端子上施加更高的電壓，以補償控制柵偏置的缺乏。[0090]表3示出可施加到存儲器單元610的端子用于執(zhí)行讀取操作、擦除操作和編程操作的典型電壓范圍：[0091]表3:圖6的閃存存儲器單元610的操作9讀取12-0.1V擦除編程極線端子上輸出的讀取模式。[0094]圖7示出堆疊柵存儲器單元710,其為另一種類型的閃存存儲器單元。存儲器單元710與圖2的存儲器單元210類似，不同的是浮柵20在整個溝道區(qū)18上方延伸，并且控制柵端子22(其在這里將耦接到字線)在浮柵20上方延伸，由絕緣層(未示出)分開。擦除、編程和讀取操作以與先前針對存儲器單元210所述類似的方式操作。[0095]表4示出可以施加到存儲器單元710和襯底12的端子用于執(zhí)行讀取、擦除和編程操作的典型電壓范圍：[0096]表4:圖7的閃存存儲器單元710的操作[0097]CGBLSL襯底讀取10-5V0.1-2V0-2V0V讀取20.5-2V0-2V2-0.1VOV擦除-8至-10V/OVFLTFLT8-10V/15-20V編程8-12V3-5V/0VOV/3-5VOV和列的陣列中，源極線可耦接到一行存儲器單元或相鄰的兩行存儲器單元。即，源極線端子可由相鄰行的存儲器單元共享。[0099]為了在人工神經(jīng)網(wǎng)絡(luò)中利用包括上述類型的非易失性存儲器單元之一的存儲器讀取，而不會不利地影響陣列中的其他存儲器單元的存儲器狀態(tài)，如下文進一步解釋。第二，提供存儲器單元的連續(xù)(模擬)編程。[0100]具體地，陣列中的每個存儲器單元的存儲器狀態(tài)(即，浮柵上的電荷)可在獨立地并且對其他存儲器單元的干擾最小的情況下連續(xù)地從完全擦除狀態(tài)變?yōu)橥耆幊虪顟B(tài)。在另一個實施方案，陣列中的每個存儲器單元的存儲器狀態(tài)(即，浮柵上的電荷)可在獨立地并且對其他存儲器單元的干擾最小的情況下連續(xù)地從完全編程狀態(tài)變?yōu)橥耆脸隣顟B(tài)，反之亦然。這意味著單元存儲裝置是模擬的，或者至少可存儲許多離散值(諸如16或64個不同的值)中的一個離散值，這允許對存儲器陣列中的所有單元進行非常精確且單獨的調(diào)諧，并且這使得存儲器陣列對于存儲和對神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重進行微調(diào)調(diào)整是理想的。[0101]本文所述的方法和裝置可應(yīng)用于其他非易失性存儲器技術(shù)，諸如但不限于SONOS法和裝置可應(yīng)用于用于神經(jīng)網(wǎng)絡(luò)的易失性存儲器技術(shù)，諸如但不限于SRAM、DRAM和/或易失性突觸單元。[0102]采用非易失性存儲器單元陣列的神經(jīng)網(wǎng)絡(luò)[0103]圖8概念性地示出本實施方案的使用非易失性存儲器陣列的神經(jīng)網(wǎng)絡(luò)的非限制性示例。該示例將非易失性存儲器陣列神經(jīng)網(wǎng)絡(luò)用于面部識別應(yīng)用，但任何其他適當(dāng)?shù)膽?yīng)用也可使用基于非易失性存儲器陣列的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。[0104]對于該示例，S0為輸入層，其為具有5位精度的32×32像素RGB圖像(即，三個32×32像素陣列，分別用于每個顏色R、G和B,每個像素為5位精度)。從輸入層SO到層C1的突觸CB1在一些情況下應(yīng)用不同的權(quán)重集，在其他情況下應(yīng)用共享權(quán)重，并且用3×3像素重疊濾波器(內(nèi)核)掃描輸入圖像，將濾波器移位1個像素(或根據(jù)模型所指示的多于1個像素)。具體地，將圖像的3×3部分中的9個像素的值(即，稱為濾波器或內(nèi)核)提供給突觸CB1,其中將這9個輸入值乘以適當(dāng)?shù)臋?quán)重，并且在對該乘法的輸出求和之后，由CB1的第一突觸確定并提供單個輸出值以用于生成特征映射的其中一層C1的像素。然后將3×3濾波器在輸入層SO內(nèi)向右移位一個像素(即，添加右側(cè)的三個像素的列，并釋放左側(cè)的三個像素的列),由此將該新定位的濾波器中的9個像素值提供給突觸CB1,其中將它們乘以相同的權(quán)重并且由相關(guān)聯(lián)的突觸確定第二單個輸出值。繼續(xù)該過程，直到3×3濾波器在輸入層SO的整個32×32像素圖像上掃描所有三種顏色和所有位(精度值)。然后使用不同組的權(quán)重重復(fù)該過程以生成C1的不同特征映射，直到計算出層C1的所有特征[0105]在層C1處，在本示例中，存在16個特征映射，每個特征映射具有30×30像素。每個像素是從輸入和內(nèi)核的乘積中提取的新特征像素，因此每個特征映射是二維陣列，因此在該示例中，層C1由16層的二維陣列構(gòu)成(記住本文所引用的層和陣列是邏輯關(guān)系，而不必是物理關(guān)系，即陣列不必定向于物理二維陣列)。在層C1中的16個特征映射中的每個特征映射均由應(yīng)用于濾波器掃描的十六個不同組的突觸權(quán)重中的一組生成。C1特征映射可全部涉及相同圖像特征的不同方面，諸如邊界識別。例如，第一映射(使用第一生成該第一映射的所有掃描而共享)可識別圓形邊緣，第二映射(使用與第一權(quán)重組不同的第二權(quán)重組生成)可識別矩形邊緣，或某些特征的縱橫比，以此類推。[0106]在從層C1轉(zhuǎn)到層S1之前，應(yīng)用激活函數(shù)P1(池化),該激活函數(shù)將來自每個特征映射中連續(xù)的非重疊2×2區(qū)域的值進行池化。池化函數(shù)的目的是對鄰近位置求均值(或者也可使用max函數(shù)),以例如減少邊緣位置的依賴性，并在進入下一階段之前減小數(shù)據(jù)大小。在層S1處，存在16個15×15特征映射(即，十六個每個特征映射15×15像素的不同陣列)。從層存在22個12×12特征映射。在從層C2轉(zhuǎn)到層S2之前，應(yīng)用激活函數(shù)P2(池化),該激活函數(shù)將來自每個特征映射中連續(xù)的非重疊2×2區(qū)域的值進行池化。在層S2處，存在22個6×6特征映射。將激活函數(shù)(池化)應(yīng)用于從層S2到層C3的突觸CB3,其中層C3中的每個神經(jīng)元經(jīng)由CB3的相應(yīng)突觸連接至層S2中的每個映射。在層C3處，存在64個神經(jīng)元。從層C3到輸出層S3的突觸CB4完全將C3連接至S3,即層C3中的每個神經(jīng)元都連接到層S3中的每個神經(jīng)元。S3處的輸出包括10個神經(jīng)元，其中最高輸出神經(jīng)元確定類。例如，該輸出可指示對原始圖像的內(nèi)容的識別或分類。[0107]使用非易失性存儲器單元的陣列或陣列的一部分來實現(xiàn)每層的突觸。[0108]圖9為可用于該目的的系統(tǒng)的框圖。VMM系統(tǒng)32包括非易失性存儲器單元，并且用11陣列33(包括以行和列布置的非易失性存儲器單元)、擦除柵和字線柵解碼器34、控制柵解碼器35、位線解碼器36和源極線解碼器37,這些解碼器對非易失性存儲器單元陣列33的相應(yīng)輸入進行解碼。對VMM陣列33的輸入可來自擦除柵和字線柵解碼器34或來自控制柵解碼33有效地將輸入與存儲在VMM陣列33中的權(quán)重相乘并且每個輸出線(源極線或位線)將它們相加以產(chǎn)生輸出，該輸出將作為下一層的輸入或最終層的輸入。通過執(zhí)行乘法和加法函數(shù)，VMM陣列33消除了對單獨的乘法和加法邏輯電路的需要，并且由于其原位存儲器計算也是高功效的。[0110]將VMM陣列33的輸出提供至差分求和器(諸如求和運算放大器或求和電流鏡)38,該差分求和器對VMM陣列33的輸出進行求和，以為該卷積創(chuàng)建單個值。差分求和器38被布置用于執(zhí)行正權(quán)重輸入和負權(quán)重輸入兩者的求和，以輸出單個值。[0111]然后將差分求和器38的輸出值求和后提供至激活函數(shù)電路39,該激活函數(shù)電路對輸出進行修正。激活函數(shù)電路39可提供sigmoid、tanh、活函數(shù)電路39的經(jīng)修正的輸出值成為作為下一層(例如，圖8中的層C1)的特征映射的元素，然后被應(yīng)用于下一個突觸以產(chǎn)生下一個特征映射層或最終層。因此，在該示例中，VMM陣列33構(gòu)成多個突觸(其從現(xiàn)有神經(jīng)元層或從輸入層諸如圖像數(shù)據(jù)庫接收它們的輸入),并且求和器38和激活函數(shù)電路39構(gòu)成多個神經(jīng)元。進制電平、數(shù)字脈沖(在這種情況下，可能需要脈沖-模擬轉(zhuǎn)換器PAC來將脈沖轉(zhuǎn)換至合適的輸入模擬電平)或數(shù)字位(在這種情況下，提供DAC以將數(shù)字位轉(zhuǎn)換至合適的輸入模擬電平);輸出可為模擬電平、二進制電平、數(shù)字脈沖或數(shù)字位(在這種情況下，提供輸出ADC以將輸出模擬電平轉(zhuǎn)換成數(shù)字位)。的框圖。如圖10所示，通過數(shù)模轉(zhuǎn)換器31將輸入(表示為Inputx)從數(shù)字轉(zhuǎn)換為模擬，并將其提供至輸入VMM系統(tǒng)32a。轉(zhuǎn)換的模擬輸入可以是電壓或電流。第一層的輸入D/A轉(zhuǎn)換可通過使用將輸入Inputx映射到輸入VMM系統(tǒng)32a的矩陣乘法器的適當(dāng)模擬電平的函數(shù)或LUT(查找表)來完成。輸入轉(zhuǎn)換也可由模擬至模擬(A/A)轉(zhuǎn)換器完成，以將外部模擬輸入轉(zhuǎn)換成到輸入VMM系統(tǒng)32a的映射模擬輸入。輸入轉(zhuǎn)換也可由數(shù)字至數(shù)字脈沖(D/P)轉(zhuǎn)換器完成，以將外部數(shù)字輸入轉(zhuǎn)換成到輸入VMM系統(tǒng)32a的映射的一個或多個數(shù)字脈沖。供，該輸入繼而生成作為下一VMM系統(tǒng)(隱藏級別2)32c的輸入而提供的輸出，以此類推。VMM系統(tǒng)32的各層用作卷積神經(jīng)網(wǎng)絡(luò)(CNN)的突觸和神經(jīng)元的不同層。每個VMM系統(tǒng)32a、32b、32c、32d和32e可以是包括相應(yīng)非易失性存儲器陣列的獨立物理系統(tǒng)、或者多個VMM系統(tǒng)可利用相同物理非易失性存儲器陣列的不同部分、或者多個VMM系統(tǒng)可利用相同物理非易失的不同部分進行時分復(fù)用。圖10所示的示例包含五個層(32a,32b,32c,32d,32e):一個輸入層(32a)、兩個隱藏層(32b,32c)和兩個完全連接的層(32d,32e)。本領(lǐng)域的普通技術(shù)人員將元310,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。VMM陣列1100包括非易失性存儲器單元的存儲器陣列1101和非易失性參考存儲器單元的參考陣列1102(在陣列的頂列1102在行方向上與控制柵線1103正交),并且擦除柵線(諸如擦除柵線1104)在水平方向[0123]對于使用存儲器單元(諸如參考存儲器單元或外圍存儲器單元)或晶體管將輸入[0126]對于使用存儲器單元(諸如參考存儲器單元或外圍存儲器單元)或晶體管將輸入[0136]另選地，本文所述的VMM陣列的非易失性存儲器單元可被配置成在線性區(qū)域中操[0137]Ids=β*(Vgs-Vth)*Vds;β=u*Cox*Wt/L,[0140]字線或控制柵或位線或源極線可以用作在線性區(qū)域中操作的存儲器單元的輸入。位線或源極線可用作存儲器單元的輸出。[0141]對于I到V線性轉(zhuǎn)換器，在線性區(qū)域工作的存儲器單元(例如參考存儲器單元或外圍存儲器單元)或晶體管或電阻器可以用來將輸入/輸出電流線性轉(zhuǎn)換成輸入/輸出電壓。[0142]另選地，本文所述的VMM[0143]Ids=1/2*β*(Vgs-Vth)2;β=u*Cox*Wt/L[0144]Wa(Vgs-Vth)2,意指權(quán)重W與(Vgs-Vth)2成比例[0145]字線、控制柵或擦除柵可以用作在飽和區(qū)域中操作的存儲器單元的輸入。位線或源極線可用作輸出神經(jīng)元的輸出。[0146]另選地，本文所述的VMM陣列的存儲器單元可用于所有區(qū)域或其組合(亞閾值、線性或飽和區(qū)域)。[0147]美國專利申請第15/826,345號中描述了圖9的VMM陣列33的其他實施方案，該申請以引用方式并入本文。如本文所述，源極線或位線可以用作神經(jīng)元輸出(電流求和輸出)。[0148]圖12示出神經(jīng)元VMM陣列1200,該神經(jīng)元VMM陣列特別適用于圖2所示的存儲器單元210,并且用作輸入層與下一層之間的突觸。VMM陣列1200包括非易失性存儲器單元的存儲器陣列1203、第一非易失性參考存儲器單元的參考陣列1201和第二非易失性參考存儲器單元的參考陣列1202.沿陣列的列方向布置的參考陣列1201和1202用于將流入端子BLRO、考存儲器單元和第二非易失性參考存儲器單元通過多路復(fù)用器1214(僅部分示出)二極管式連接，其中電流輸入流入其中。參考單元被調(diào)諧(例如，編程)為目標參考電平。目標參考電平由參考微陣列矩陣(未示出)提供。[0149]存儲器陣列1203用于兩個目的。首先，它將VMM陣列1200將使用的權(quán)重存儲在其相應(yīng)的存儲器單元上。第二，存儲器陣列1203有效地將輸入(即，在端子BLRO、BLR1、BLR2和BLR3中提供的電流輸入，參考陣列1201和1202將它們轉(zhuǎn)換成輸入電壓以提供給字線WL0、WL1、WL2和WL3)乘以存儲在存儲器陣列1203中的權(quán)重，然后將所有結(jié)果(存儲器單元電流)相加以在相應(yīng)的位線(BLO-BLN)上產(chǎn)生輸出，該輸出將是下一層的輸入或最終層的輸入。通過執(zhí)行乘法和加法函數(shù)，存儲器陣列1203消除了對單獨的乘法邏輯電路和加法邏輯電路的讀取(推斷)操作期間出現(xiàn)在相應(yīng)位線(BLO-BLN)上。置于位線BL0-BLN中的每個位線上的電流執(zhí)行來自連接到該特定位線的所有非易失性存儲器單元的電流的求和函數(shù)。[0150]表5示出用于VMM陣列1200的工作電壓。表中的列指示置于用于所選單元的字線、用于未選單元的字線、用于所選單元的位線、用于未選單元的位線、用于所選單元的源極線和用于未選單元的源極線上的電壓，其中FLT指示浮動，即未施加電壓。行編程操作。[0151]表5:圖12的VMM陣列1200的操作約5-13VVinh約2.5V元210,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。VMM陣列1300包括非易失性存儲器單元的存儲器陣列1303、第一非易失性參考存儲器單元的參考陣列1301和第二非易失性參考存儲器單元的參考陣列1302。參考陣列1301和1302在VMM陣列1300的行方向上延上，并且輸出在讀取操作期間出現(xiàn)在源極線(SLO、SL1)上。置于各源極線上的電流執(zhí)行來自連接到該特定源極線的存儲器單元的所有電流的求和函數(shù)。[0154]表6示出用于VMM陣列1300的工作電壓。表中的列指示置于用于所選單元的字線、用于未選單元的字線、用于所選單元的位線、用于未選單元的位線、用于所選單元的源極線和用于未選單元的源極線上的電壓。行指示讀取、擦除和編程操作。表6:圖13的VMM陣列1300的操作約0.3-1V(Ineuron)SL-禁止(約4-8V)Vinh約2.5V元310,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。VMM陣列1400包括非易失性存儲器單元的存儲器陣列1403、第一非易失性參考存儲器單元的參考陣列1401和第二非易失性參考存儲器單元的參考陣列1402。參考陣列1401和1402用于將流入端子BLRO、BLR1、考存儲器單元和第二非易失性參考存儲器單元通過多路復(fù)用器1412(僅部分示出)二極管應(yīng)的多路復(fù)用器1405和共源共柵晶體管1404,以確保在讀取操作期間第一非易失性參考存儲器單元和第二非易失性參考存儲器單元中的每一者的位線(諸如BLRO)上的恒定電壓。將參考單元調(diào)諧至目標參考電平。在存儲器陣列中的權(quán)重，然后將所有結(jié)果(單元電流)相加以產(chǎn)生輸出，該輸出出現(xiàn)在BLO-BLN并且將是下一層的輸入或最終層的輸入。通過執(zhí)行乘法和加法函數(shù)，存儲器陣列消除了對單獨的乘法和加法邏輯電路的需要，并且也是高功效的。這里，輸入提供在控制柵線流執(zhí)行來自連接到該特定位線的存儲器單元的所有電流的求和函數(shù)。[0159]VMM陣列1400為存儲器陣列1403中的非易失性存儲器單元實現(xiàn)單向調(diào)諧。也就是說，每個非易失性存儲器單元被擦除，然后被部分編程，直到達到浮柵上的所需電荷。這可例如使用下文所述的精確編程技術(shù)來執(zhí)行。如果在浮柵上放置過多電荷(使得錯誤的值存儲在單元中),則必須擦除單元，并且部分編程操作的序列必須重新開始。如圖所示，共享同一擦除柵(諸如EGO或EG1)的兩行需要一起擦除(其被稱為頁面擦除),并且此后，每個單元被部分編程，直到達到浮柵上的所需電荷。[0160]表7示出用于VMM陣列1400的工作電壓。表中的列指示置于用于所選單元的字線、用于未選單元的字線、用于所選單元的位線、用于未選單元的位線、用于所選單元的控制柵、用于與所選單元相同扇區(qū)中的未選單元的控制柵、用于與所選單元不同扇區(qū)中的未選單元的控制柵、用于所選單元的擦除柵、用于未選單元的擦除柵、用于所選單元的源極線、用于未選單元的源極線上的電壓。行指示讀取、擦除和編程操作。[0161]表7:圖14的VMM陣列1400的操作選選相同扇區(qū)選選選[0163]圖15示出神經(jīng)元VMM陣列1500,該神經(jīng)元VMM陣列特別適用于圖3所示的存儲器單元310,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。VMM陣列1500包括非易失性存儲器單元的存儲器陣列1503、第一非易失性參考存儲器單元的參考陣列1501和第二非易程和部分擦除，以由于使用單獨的EG線而在浮柵上達到期望的電荷量。如圖所示，參考陣列元的動作)。電流輸出(神經(jīng)元)在位線BLO-BLN中，其中每個位線對來自連接到該特定位線的非易失性存儲器單元的所有電流求和。[0164]表8示出用于VMM陣列1500的工作電壓。表中的列指示置于用于所選單元的字線、用于未選單元的字線、用于所選單元的位線、用于未選單元的位線、用于所選單元的控制柵、用于與所選單元相同扇區(qū)中的未選單元的控制柵、用于與所選單元不同扇區(qū)中的未選單元的控制柵、用于所選單元的擦除柵、用于未選單元的擦除柵、用于所選單元的源極線、用于未選單元的源極線上的電壓。行指示讀取、擦除和編程操作。[0165]表8:圖15的VMM陣列1500的操作選相同扇區(qū)選7[0167]圖16示出神經(jīng)元VMM陣列1600,該神經(jīng)元VMM陣列特別適用于圖2所示的存儲器單元210,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在VMM陣列1600中，輸入[0168]圖17示出神經(jīng)元VMM陣列1700,該神經(jīng)元VMM陣列特別適用于圖2所示的存儲器單元210,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT?、[0169]圖18示出神經(jīng)元VMM陣列1800,該神經(jīng)元VMM陣列特別適用于圖2所示的存儲器單BL?,…,BL上生成。[0170]圖19示出神經(jīng)元VMM陣列1900,該神經(jīng)元VMM陣列特別適用于圖3所示的存儲器單BL?,…,BL上生成。[0171]圖20示出神經(jīng)元VMM陣列2000,該神經(jīng)元VMM陣列特別適用于圖4所示的存儲器單元410,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT?…,和SL?上生成。[0172]圖21示出神經(jīng)元VMM陣列2100,該神經(jīng)元VMM陣列特別適用于圖4所示的存儲器單元410,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT?至INPUT分別在位線控制柵極2901-1、2901-2至2901-(N-1)和2901-N的柵極上被接收，這些[0173]圖22示出神經(jīng)元VMM陣列2200,該神經(jīng)元VMM陣列特別適用于圖3所示的存儲器單元310、圖5所示的存儲器單元510和圖7所示的存儲器單元710,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT?,…,INPUT?在字線WL?,…,WLM上被接[0174]圖23示出神經(jīng)元VMM陣列2300,該神經(jīng)元VMM陣列特別適用于圖3所示的存儲器單元310、圖5所示的存儲器單元510和圖7所示的存儲器單元710,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT。至INPUT在控制柵線CG?至CG上被接到列i中的所有存儲器單元的源極線。[0175]圖24示出神經(jīng)元VMM陣列2400,該神經(jīng)元VMM陣列特別適用于圖3所示的存儲器單元310、圖5所示的存儲器單元510和圖7所示的存儲器單元710,并且用作輸入層與下一層之間的神經(jīng)元的突觸和部件。在該示例中，輸入INPUT。至INPUT在控制柵線CG?至CG上被接i中的所有存儲器單元的位線。[0177]現(xiàn)有技術(shù)包括被稱為長短期存儲器(LSTM)的概念。LSTM通常用于人工神經(jīng)網(wǎng)絡(luò)。LSTM允許人工神經(jīng)網(wǎng)絡(luò)在預(yù)定的任意時間間隔內(nèi)記住信息并在后續(xù)操作中使用該信息。常規(guī)的LSTM包括單元、輸入柵、輸出柵和忘記柵。三個柵調(diào)控進出單元的信息流以及信息在LSTM中被記住的時間間隔。VMM在LSTM中特別有用。2504。單元2501接收輸入矢量x?并生成輸出矢量h?和單元狀態(tài)矢量c?單元2502接收輸入矢量x?、來自單元2501的輸出矢量(隱藏狀態(tài))h?和來自單元2501的單元狀態(tài)c?,并生成輸出矢量h?和單元狀態(tài)矢量c?。單元2503接收輸入矢量x?、來自單元2502的輸出矢量(隱藏狀態(tài))h?和來自單元2502的單元狀態(tài)c?,并生成輸出矢量h?和單元狀態(tài)矢量c?單元2504接收輸入矢量x?、來自單元2503的輸出矢量(隱藏狀態(tài))h?和來自單元2503的單元狀態(tài)c?,并生成輸出矢量h??？梢允褂昧硗獾膯卧?，并且具有四個單元的LSTM僅僅是示例。[0179]圖26示出可用于圖25中的單元2501、2502、2503和2504的LSTM單元2600的示例性具體實施。LSTM單元2600接收輸入矢量x(t)、來自前一單元的單元狀態(tài)矢量c(t-1)和來自前一單元的輸出矢量h(t-1),并生成單元狀態(tài)矢量c(t)和輸出矢量h(t)。[0180]LSTM單元2600包括sigmoid函數(shù)設(shè)備2601、2602和2603,每個sigmoid函數(shù)設(shè)備應(yīng)用0至1之間的數(shù)字來控制允許輸入矢量中的每個分量通過到輸出矢量的數(shù)量。LSTM單元2600還包括用于將雙曲線正切函數(shù)應(yīng)用于輸入矢量的tanh設(shè)備2604和2605、用于將兩個矢量相乘在一起的乘法器設(shè)備2606、2607和2608以及用于將兩個矢量相加在一起的加法設(shè)備2609。輸出矢量h(t)可被提供給系統(tǒng)中的下一個LSTM單元，或者其可被訪問[0181]圖27示出LSTM單元2700,該LSTM單元為LST2603以及tanh設(shè)備2604各自包括多個VMM陣列2701和激活電路區(qū)塊2702.因此，可以看出，[0182]LSTM單元2700的另選形式(以及LSTM單元2600的具體實施的另一示例)在圖28中示出。在圖28中，sigmoid函數(shù)設(shè)備2601、2602和2603以及tanh設(shè)備2604以時分復(fù)用方式共享相同的物理硬件(VMM陣列2801和激活函數(shù)塊2802)。LSTM單元2800還包括將兩個矢量相乘在一起的乘法器設(shè)備2803,將兩個矢量相加在一起的加法設(shè)備2808,tanh設(shè)備2605(其包括激活電路區(qū)塊2802),當(dāng)從sigmoid函數(shù)塊2802輸出值i(t)時存儲值i(t)的寄存器2807,當(dāng)值f(t)*c(t-1)通過多路復(fù)用器2810從乘法器設(shè)備2803輸出時存儲該值的寄存器2804,當(dāng)值i(t)*u(t)通過多路復(fù)用器2810從乘法器設(shè)備2803輸出時存儲該值的寄存器2805,當(dāng)值o(t)*c～(t)通過多路復(fù)用器2810從乘法器設(shè)備2803輸出時存儲該值的寄存器2806,和多路復(fù)用器2809。[0183]LSTM單元2700包含多組VMM陣列2701和相應(yīng)的激活函數(shù)塊2702,而LSTM單元2800僅包含一組VMM陣列2801和激活函數(shù)塊2802,它們用于表示LSTM單元2800的實施方案中的某些電路區(qū)塊(諸如求和器和激活電路區(qū)塊以及高電壓生成區(qū)塊)提供的功能。為每個VMM陣列提供單獨的電路區(qū)塊將需要半導(dǎo)體設(shè)備內(nèi)的大量空間，并且將在一定程度上是低效[0185]柵控遞歸單元[0186]模擬VMM具體實施可用于GRU(柵控遞歸單元)。GRU是遞歸人工神經(jīng)網(wǎng)絡(luò)中的柵控[0187]圖29示出了示例性GRU2900。該示例中的GRU2900包括單元2901、2902、2903和2904。單元2901接收輸入矢量x?并生成輸出矢量h。。單元2902接收輸入矢量x?、來自單元2901的輸出矢量h?并生成輸出矢量h?。單元2903接收輸入矢量x?和來自單元2902的輸出矢量(隱藏狀態(tài))h,并生成輸出矢量h?單元2904接收輸入矢量x?和來自單元2903的輸出矢量(隱藏狀態(tài))h?并生成輸出矢量h??？梢允褂昧硗獾膯卧⑶揖哂兴膫€單元的GRU僅僅是示例。[0188]圖30示出可用于圖29的單元2901、2902、2903和2904的GRU單元3000的示例性具體實施。GRU單元3000接收輸入矢量x(t)和來自前一個GRU單元的輸出矢量h(t-1),并生成輸出矢量h(t)。GRU單元3000包括sigmoid函數(shù)設(shè)備3001和3002,這些設(shè)備中的每個設(shè)備將介于0和1之間的數(shù)應(yīng)用于來自輸出矢量h(t-1)和輸入矢量x(t)的分量。GRU單元3000還包括用于將雙曲線正切函數(shù)應(yīng)用于輸入矢量的tanh設(shè)備3003、用于將兩個矢量相乘在一起的多個乘法器設(shè)備3004、3005和3006、用于將兩個矢量相加在一起的加法設(shè)備3007,以及用于從1中減去輸入以生成輸出的互補設(shè)備3008。[0189]圖31示出GRU單元3100,該GRU單元為G陣列在某些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中使用的GRU單元中特別有用。[0190]GRU單元3100的另選形式(以及GRU單元3000的具體實施的另一示例)在圖32中示sigmoid函數(shù)時，應(yīng)用0與1之間的數(shù)字來控制允許輸入矢量中的每個分量有多少通過到輸出矢量。在圖32中，sigmoid函數(shù)設(shè)備3001和3002以及tanh設(shè)備3003以時分復(fù)用方式共享相同的物理硬件(VMM陣列3201和激活函數(shù)塊3202)。GRU單元3200還包括將兩個矢量相乘在一起的乘法器設(shè)備3203,將兩個矢量相加在一起的加法設(shè)備3205,從1減去輸入以生成輸出的互補設(shè)備3209,多路復(fù)用器3204,當(dāng)值h(t-1)*r(t)通過多路復(fù)用器3204從乘法器設(shè)備3203輸出時保持該值的寄存器3206,當(dāng)值h(t-1)*z(t)通過多路復(fù)用器3204從乘法器設(shè)備3203輸出時保持該值的寄存器3207,和當(dāng)值h^(t)*(1-z(t))通過多路復(fù)用器3204從乘法器設(shè)備3203輸出時保持該值的寄存器3208。[0191]GRU單元3100包含多組VMM陣列3101和激活函數(shù)塊3102,而GRU單元3200僅包含一其1/3的空間用于VMM和激活函數(shù)塊。VMM陣列之外的某些電路區(qū)塊(諸如求和器和激活電路區(qū)塊以及高電壓生成區(qū)塊)提供的功能。為每個VMM陣列提供單獨的電路區(qū)塊將需要度上是低效的。因此，下文所述的實施方案試圖最小化VMM陣列本身之外所需的電路。流或電壓轉(zhuǎn)換成數(shù)字位)。[0194]對于VMM陣列中的每個存儲器單元，每個權(quán)重w可由單個存儲器或由兩個混合存儲器單元(2個或更多個單元的平均值)來實現(xiàn)。在差分單元的情況下，需要兩個存儲器單元來實現(xiàn)權(quán)重w作為差分權(quán)重(w=w+-w-)。在兩個混合存儲器單元中，需要兩個存儲器單元來實現(xiàn)權(quán)重w作為兩個單元的平均值。[0195]用于對VMM中的單元進行精確調(diào)諧的實施方案部件3308和偏置發(fā)生器3309.VMM系統(tǒng)3300還包括高電壓生成塊3310,該高電壓生成塊包括電荷泵3311、電荷泵調(diào)節(jié)器3312和高電壓電平發(fā)生器3313.VMM系統(tǒng)3300還包括算法控制器3314、模擬電路3315、控制邏輯部件3316和測試控制邏輯部件3317。下文描述的系統(tǒng)和方法可以在VMM系統(tǒng)3300中實現(xiàn)。[0197]輸入電路3306可以包括電路，諸如DAC(數(shù)模轉(zhuǎn)換器)、DPC(數(shù)字到脈沖轉(zhuǎn)換器)、AAC(模擬到模擬轉(zhuǎn)換器，諸如電流到電壓轉(zhuǎn)換器)、PAC(脈沖到模擬電平轉(zhuǎn)換器)或任何其他類型的轉(zhuǎn)換器。輸入電路3306可以實現(xiàn)歸一化、尺度函數(shù)或算術(shù)函數(shù)。輸入電路3306可以[0198]輸出電路3307可以包括電路，諸如ADC(模數(shù)轉(zhuǎn)換器，用于將神經(jīng)元模擬輸出轉(zhuǎn)換任何其他類型的轉(zhuǎn)換器。輸出電路3307可以實現(xiàn)激活函數(shù)，諸如ReLU或sigmoid函數(shù)。輸出電路3307可以實現(xiàn)用于神經(jīng)元輸出的歸一化、尺度函數(shù)或算術(shù)函數(shù)。輸出電路3307可以實現(xiàn)用于神經(jīng)元輸出或陣列輸出(諸如位線輸出)的溫度補償函數(shù)，如下所述。[0199]圖34示出調(diào)諧校正方法3400,其可以由VMM系統(tǒng)3300中的算法控制器3314執(zhí)行。調(diào)諧校正方法3400基于由單元輸出和單元初始目標產(chǎn)生的最終誤差生成自適應(yīng)目標。該方法通常響應(yīng)于接收到調(diào)諧命令而開始(步驟3401)。使用預(yù)測目標模型(諸如通過使用函數(shù)或查找表)確定所選單元或所選單元組Itargetv(i)的初始電流目標(用于編程/驗證算法),并且將可變DeltaError設(shè)置為0(步驟3402)。目標函數(shù)(如果使用的話)將基于所選存儲器單元或單元組的I-V編程曲線。目標函數(shù)還取決于由陣列特性引起的各種變化，這些陣列特性諸如單元表現(xiàn)出的編程干擾程度(其取決于扇區(qū)內(nèi)的單元地址和單元層級，其中如果單元表現(xiàn)出相對較大的干擾，則該單元在抑制條件下經(jīng)受更多編程時間，其中具有較高電流的單元通常具有更多干擾)、單元間的耦合和各種類型的陣列噪聲?？梢栽赑VT(工藝、電壓、溫度)方面表征針對硅的這些變化。查找表(如果使用的話)可以以相同的方式表征以模擬I-V曲線和各種變化。[0200]然后，對VMM中的所有單元執(zhí)行軟擦除，該軟擦除將所有單元擦除到中間弱擦除電單元施加增量擦除脈沖電壓直至達到中間單元電流來執(zhí)行軟擦除。接下來，對所有未使用的單元執(zhí)行深度編程操作(步驟3404),以便達到<pA電流水平。然后執(zhí)行基于誤差結(jié)果的目標調(diào)整(校正)。如果DeltaError>0,意味著該單元已在編程中經(jīng)歷過沖，則將Itargetv(i+1)設(shè)置為Itarget+0*DeltaError,其中θ例如為1或接近1的數(shù)字(步驟3405A)。[0201]也可以基于先前Itarget(i)以適當(dāng)?shù)恼`差目標調(diào)整/校正來調(diào)整Itarget(i+1)。如果DeltaError<0,意味著該單元已在編程中經(jīng)歷下沖，這意味著單元電流尚未達到目標，則將Itargetv(i+1)設(shè)置為先前目標Itargetv(i)(步驟3405B)。[0202]接下來，執(zhí)行粗略和/或精細編程和驗證操作(步驟3406)?？墒褂枚鄠€自適應(yīng)粗略編程方法來加速編程，諸如通過在執(zhí)行精確(精細)編程步驟之前瞄準多個逐漸變小的粗略目標。自適應(yīng)精確編程例如以精細(精確)增量編程電壓脈沖或恒定編程定時脈沖來完成。用于執(zhí)行粗略編程和精細編程的系統(tǒng)和方法的實施例在由與本申請相同的受讓人提交于2019年11月11日并且標題為“PreciseProgrammingMethodandApparatusforAnalogNeuralMemoryinaDeepLearningArtifi第62/933,809號中有所描述，該申請以引用的方式并入本文。[0203]測量所選單元中的Icell(步驟3407)。例如，可以通過電流計電路測量單元電流。位表示。例如，可以通過I-V(電流-電壓轉(zhuǎn)換器)電路測量單元電流，其中在這種情況下，輸出由模擬電壓表示。計算DeltaError,即Icell-Itarget,其表示所測量單元中的實際電流(Icell)與目標電流(Itarget)之間的差值。如果|DeltaError|<DeltaMargin,則單元已在某個容差(DeltaMargin)內(nèi)達到目標電流，并且該方法結(jié)束(步驟3410)。|DeltaError|=abs(DeltaError)=DeltaError的絕對值。如果不是，則該方法返回到步驟3403并且再次按順序執(zhí)行步驟(步驟3410)。[0204]圖35A和圖35B示出調(diào)諧校正方法3500,其可以由VMM系統(tǒng)3300中的算法控制器3314執(zhí)行。參考圖35A,該方法的開始(步驟3501)通常響應(yīng)于接收到調(diào)諧命令而進行。諸如通過軟擦除方法擦除整個VMM陣列(步驟3502)。對所有未使用的單元執(zhí)行深度編程操作(步驟3503)以便達到單元電流<pA水平。使用粗略和/或精細編程循環(huán)將VMM陣列中的所有單元編程為中間值，諸如0.5μA-1.0μA(步驟3504)。用于執(zhí)行粗略編程和精細編程的系統(tǒng)和方法的實施例在由與本申請相同的受讓人提交于2019年11月11日并且標題為“PreciseProgrammingMethodandArtificialNeuralNetwork”的美國臨時專利申請第62/933,809號中有所描述，該申請以引用的方式并入本文。使用如上所述的函數(shù)或查找表來設(shè)置用于已使用單元的預(yù)測目標(步驟3505)。然后，對VMM中的每個扇區(qū)執(zhí)行扇區(qū)調(diào)諧方法3507(步驟3506)。扇區(qū)通常由陣列中的兩個或更多個相鄰行組成。[0205]圖35B示出自適應(yīng)目標扇區(qū)調(diào)諧方法3507。使用單獨或組合編程/驗證(P/V)方法將扇區(qū)中的所有單元編程為最終期望值(例如，1nA-50nA),這些方法諸如：(1)粗略/精細/(3)首先進行最深編程單元(諸如漸進式分組，意味著將單元分為不同組，具有最低電流的進到步驟3509。如果否，則該方法重復(fù)步驟3508A。在步驟3509中，測量DeltaEr所測量的Icell-Itarget(i+1)(步驟3509)。確定|DeltaError|是否<DeltaMargin(步驟意味著該單元已在編程中經(jīng)歷過沖，則通過將新目標設(shè)置為Itarget+0*DeltaError來調(diào)整目標，其中θ通常=1(步驟3512A)。也可以基于先前Itarget(i)以適當(dāng)?shù)恼`差目標調(diào)整/校正來調(diào)整Itarget(i+1)。如果DeltaError<0,意味著該單元已在編程中經(jīng)歷下沖，這意味著單元尚未達到目標，則通過保持先前目標來調(diào)整目標，即Itargetv(i+1)=Itargetv(i)(步驟3512B)。對扇區(qū)進行軟擦除(步驟3513)。將扇區(qū)中的所有單元編程為中間值(步驟3514),并返回到步驟3509。[0206]典型的神經(jīng)網(wǎng)絡(luò)可以具有正權(quán)重w+和負權(quán)重w-以及組合權(quán)重=w+-W-。W+和w-由存儲器單元(分別為Iw+和Iw-)來實現(xiàn)，并且組合權(quán)重(Iw=Iw+-Iw-,電流相減)可以在外圍電路電平處(諸如在陣列位線輸出電路處)執(zhí)行。因此，用于組合權(quán)重的權(quán)重調(diào)諧實施方案先前參考圖34/圖35A/圖35B描述的編程/驗證和誤差目標調(diào)整方法來執(zhí)行調(diào)諧?？梢詢H針對組合權(quán)重(例如，測量/讀取組合的權(quán)重電流而不是單獨的正w+單元電流或w-單元電流)、僅針對w+單元電流或僅針對w-單元電流來執(zhí)行驗證。[0207]例如，對于3na的組合Iw,Iw+可以是3na并且Iw-可以是Ona;或者，Iw+可以是13na并且Iw-可以是10na,意味著正權(quán)重Iw+和負權(quán)重Iw-均不為零(例如，其中零將表示深度編程單元)。在某些操作條件下，這可能是優(yōu)選的，因為其將使得Iw+和Iw-均不那么容易受噪聲影響。[0208]表8:權(quán)重調(diào)諧方法說明調(diào)諧Iw+和Iw-調(diào)諧Iw+和Iw-調(diào)諧Iw+和Iw-新目標僅調(diào)諧Iw+新目標調(diào)諧Iw+和Iw-新目標僅調(diào)諧Iw-新目標調(diào)諧Iw+和Iw-新目標調(diào)諧Iw+和Iw-新目標調(diào)諧Iw+和Iw-[0210]圖36A示出隨溫度變化的數(shù)據(jù)行為(I-V曲線)(例如，在亞閾值區(qū)域中),圖36B示出在VMM系統(tǒng)的操作期間由數(shù)據(jù)漂移產(chǎn)生的問題，并且圖36C和圖36D示出用于補償數(shù)據(jù)漂移的塊并且關(guān)于圖36C,示出用于補償溫度變化的塊。易失性存儲器單元中的感測電流在亞閾值區(qū)域中增加，在飽和區(qū)域中減小或者通常在線性區(qū)域中減小。[0212]圖36B示出隨時間使用的陣列電流分布(數(shù)據(jù)漂移),并且其示出來自VMM陣列的合計輸出(其為來自VMM陣列中的所有位線的電流的總和)隨著工作時間使用向右(或向左，這取決于所使用的技術(shù))偏移，這意味著總的合計輸出將隨著VMM系統(tǒng)的壽命使用而漂移。這種現(xiàn)象被稱為數(shù)據(jù)漂移，因為數(shù)據(jù)由于使用條件而漂移并且由于環(huán)境因素而劣化。[0213]圖36C示出位線補償電路3600,該位線補償電路可以包括將補償電流icoMp注入位線輸出電路3610的輸出以補償數(shù)據(jù)漂移。位線補償電路3600可以包括基于電阻器或電容器網(wǎng)絡(luò)由縮放器電路對輸出進行放大或縮小。位線補償電路3600可以包括基于其電阻器或電容器網(wǎng)絡(luò)由移位器電路對輸出進行移位或偏移。[0214]圖36D示出檢測數(shù)據(jù)漂移量的數(shù)據(jù)漂移監(jiān)測器3620。該信息繼而用作位線補償電路3600的輸入，以便可以選擇適當(dāng)水平的icp°[0215]圖37示出位線補償電路3700,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路3700包括可調(diào)電流源3701和可調(diào)電流源3702,該兩者共同生成i1coup,其中icoP等于由可調(diào)電流源3701生成的電流減去由可調(diào)電流源3701生成的電流。[0216]圖38示出位線補償電路3700,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路3800包括運算放大器3801、可調(diào)電阻器3802和可調(diào)電阻器3803。運算放大器3801在其同相端子上接收參考電壓VREF,并且在其反相端子上接收VINPUT,其中VINPUT是從圖本，以基于電阻器3803和3802的比率補償數(shù)據(jù)漂移。通過配置電阻器3803和/或3802的值，[0217]圖39示出位線補償電路3900,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路3900包括運算放大器3901、電流源3902、開關(guān)3904和可調(diào)積分輸出電容器3903。這里，電流源3902實際上是VMM陣列中的單條位線上或多條位線(諸如一條用于求和正權(quán)重w+,一條用于求和負權(quán)重w-)的集合上的輸出電流。運算放大器3901在其同相端子上路3610接收的電壓。位線補償電路3900充當(dāng)積分器，其對在可調(diào)積分時間內(nèi)通過電容器值基于電容器3903的配置值和/或積分時間來縮放以補償數(shù)據(jù)漂移。[0218]圖40示出位線補償電路4000,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路4000包括具有M:N比率的電流鏡4010,這意味著Icowp=(M/N)*inut電流鏡[0219]圖41示出位線補償電路4100,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路4100包括運算放大器4101、可調(diào)縮放電阻器4102、可調(diào)移位電阻器4103和可調(diào)電阻器4104。運算放大器4101在其同相端子上接收參考電壓VRE,并且在其反相端子上接的經(jīng)縮放和移位版本，以補償數(shù)據(jù)漂移。[0221]圖42示出位線補償電路4200,其為圖36中的位線補償電路3600的一個實施方案。位線補償電路4200包括運算放大器4201、輸入電流源Ineu4202、電流移位器4203、開關(guān)4205和4206以及可調(diào)積分輸出電容器4204。這里，電流源4202多條位線上的輸出電流Ineu。運算放大器4201在其同相端子上接收參考電壓VREF,并且在其反相端子上接收I,其中I是Ineu與電流移位器4203輸出的電流的總和，并且生成輸出被縮放(基于電容器4204)和移位(基于Ishifter4203)以補償數(shù)據(jù)漂移。[0222]圖43至圖48示出可以用于在編程或讀取操作期間提供待編程或讀取到每個所選[0223]圖43示出神經(jīng)元輸出電路4300,其包括可調(diào)電流源4301和可調(diào)電流源4302,該兩者共同生成IoU,其中Iour等于由可調(diào)電流源4301生成的電流I+減去由可調(diào)電流源4302生成的電流I_?？烧{(diào)電流Iw+4301是單元電流或神經(jīng)元電流(諸如位線電流)用于實現(xiàn)正權(quán)重的縮放電流?？烧{(diào)電流Iw-4302是單元電流或神經(jīng)元電流(諸如位線電流)用于實現(xiàn)負權(quán)重的縮放電流。電流縮放諸如通過M:N比率電流鏡電路來完成，其中Iout=(M/N)[0224]圖44示出神經(jīng)元輸出電路4400,其包括可調(diào)電容器4401、控制晶體管4405、開關(guān)4402、開關(guān)4403和可調(diào)電流源4404Iw+,該電流是諸如M:N電流鏡電路的單元電流或(位線)神經(jīng)元電流的縮放輸出電流。晶體管4405用于例如對電流4404施加固定偏置電壓。電路4404生成VoU,其中V?ur與電容器4401成反比，與可調(diào)積分時間(開關(guān)4403閉合和開關(guān)4402斷開的時間)成正比，并且與由可調(diào)電流源4404Iw生成的電流成正比。Vou等于V+-((Iw+*積分[0225]圖45示出神經(jīng)元電路4500,其包括電容器4401和可調(diào)電流源4502,該電流是諸如M:N電流鏡的單元電流或(位線)神經(jīng)元電流的縮放電流。電路4500生成VoUT,其中Vour與電容器4401成反比，與可調(diào)積分時間(開關(guān)4501斷開的時間)成正比，并且與由可調(diào)電流源4502Iw生成的電流成正比。電容器4401在完成其對電流Iw+積分的操作之后從神經(jīng)元輸出電路44重新使用。然后，正端子和負端子(V+和V-)在神經(jīng)元輸出電路45中交換，其中正端子連接到輸出電壓VoUT,該輸出電壓由電流Iw-去積分。負端子通過鉗位電路(未示出)保持在先前的電壓值。實際上，輸出電路44用于正權(quán)重具體實施，并且電路45用于負權(quán)重具體實施，其中電容器4401上的最終電荷有效地表示組合權(quán)重(Qw=Qw+-Qw-)。[0226]圖46示出神經(jīng)元電路4600,其包括可調(diào)電容器4601、開關(guān)4602、控制晶體管4604和可調(diào)電流源4603。電路4600生成VoU,其中Vour與電容器4601成反比，與可調(diào)積分時間(開關(guān)4602斷開的時間)成正比，并且與由可調(diào)電流源4603Iw.生成的電流成正比。電容器4601的負端子V-例如等于接地。電容器4601的正端子V+例如在對電流Iw-進行積分之前初始地被預(yù)充電到正電壓。神經(jīng)元電路4600可用于取代神經(jīng)元電路4500與神經(jīng)元電路4400以實現(xiàn)組合[0227]圖47示出神經(jīng)元電路4700,其包括運算放大器4703和4706;可調(diào)電流源Iw+4701和Iw-4702;和可調(diào)電阻器4704、4705和4707。神經(jīng)元電路4700生成VoU,該電壓等于R4707*(Iw+-Iw-)。可調(diào)電阻器4707實現(xiàn)對輸出的縮放?？烧{(diào)電流源Iw+4701和Iw-4702也實現(xiàn)對輸出[0228]圖48示出神經(jīng)元電路4800,其包括運算放大器4803和4806;開關(guān)4808和4809;可調(diào)電流源Iw-4802和Iw+4801;可調(diào)電容器4804、4805和4807。神經(jīng)元電路4800生成VoU,該電壓與(Iw+-Iw-)成正比，與積分時間(開關(guān)4808和4809斷開的時間)成正比，并且與電容器4807的電容成反比?？烧{(diào)電容器4807實現(xiàn)對輸出的縮放?？烧{(diào)電流源Iw+4801和Iw-4802也實現(xiàn)對輸出的縮放，例如通過M:N比率電流鏡電路(Iout=(M/N)*Iin)。積分時間也可以調(diào)整輸[0229]圖49A、圖49B和圖49C示出輸出電路諸如圖33中的輸出電路3307的框圖。[0230]在圖49A中，輸出電路4901包括ADC電路4911,其用于直接將模擬神經(jīng)元輸出4910數(shù)字化以提供數(shù)字輸出位4912。[0231]在圖49B中，輸出電路4902包括神經(jīng)元輸出電路4921和ADC4911。神經(jīng)元輸出電路4921接收神經(jīng)元輸出4920并對其進行整形，然后由ADC電路4911數(shù)字化以生成輸出4912。神前所描述。ADC電路可以是串行(斜坡式或躍升式或計數(shù)式)ADC、SARADC、流水線型ADC、2-△型ADC或任何類型的ADC。[0232]在圖49C中，輸出電路包括神經(jīng)元輸出電路4921和轉(zhuǎn)換器電路4931,該神經(jīng)元輸出電路接收神經(jīng)元輸出4930,并且該轉(zhuǎn)換器電路用于將來自神經(jīng)元輸出電路4921的輸出轉(zhuǎn)換換器)、APC(模擬到脈沖轉(zhuǎn)換器)或任何其他類型的轉(zhuǎn)換器。ADC4911或轉(zhuǎn)換器4