(12)發(fā)明專利專利代理師黃曉軍GO6N3/045(2023.01)GO6N3/0464(2023.01)GO6N3/0495(20一種多位寬量化的深度卷積神經網絡的獲本發(fā)明提供了一種多位寬量化的深度卷積過最小-隨機-最大位寬協(xié)同訓練以及自適應標會阜2根據(jù)需求設置目標約束，根據(jù)所述目標約束對訓練好的多位建立權重共享的多位寬感知量化模型，該多位寬感知量化模型是一個多層結構的超網{(b?,b?),(b2,b2),…,(b",bi),…,(b,b)},b",bi分別表示層1的權重和激活的集合,則多位寬感知量化模型訓練的目標函數(shù)表示為：采用最小-隨機-最大位寬協(xié)同訓練方式在每一次訓練迭代中，y;表示對應的真實標簽，定義A={A?,A1,…,Ae,…,AE-1}作為每一輪的類級別的軟3達到設定的訓練次數(shù)，則所述多位寬感知量化模型的訓練過程結束；所述的根據(jù)需求設置目標約束，根據(jù)所述目標約束對訓練好的多位寬感知量化模型進行混合精度搜索，得到滿足約束的子網絡，利用各個滿足約束的子網絡組成多位寬量化的將訓練完成后的多位寬感知量化模型看作一個包含很多個子網絡的模型池，根據(jù)需要的多位寬量化的深度卷積神經網絡設置目標約束，該目標約束包括平均比特約束，根據(jù)目標約束采用蒙特卡洛采樣、量化感知準確率預測器、遺傳算法三種方法對訓練好的多位寬感知量化模型進行混合精度搜索，搜索出滿足約束的子網絡；根據(jù)滿足約束的目標子網絡組成需要的多位寬量化的深度卷積神經網絡，各個目標子網絡分別單獨作為多位寬量化的深度卷積神經網絡中的獨立單元。2.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)目標約束采用蒙特卡洛采樣、量化感知準確率預測器、遺傳算法三種方法對訓練好的多位寬感知量化模型進行混合精度搜利用蒙特卡洛采樣構建量化感知準確率預測器的訓練數(shù)據(jù)集，構建針對混合精度搜索的遺傳算法中采樣初始滿足約束的種群，利用量化感知準確率預測器對混合精度搜索的精度進行估計；根據(jù)子網絡的配置和不同層的比特數(shù)設定采用蒙特卡洛采樣生成若干條染色體，將所述若干條染色體作為初始帕累托解集，使用蒙特卡羅采樣生成結構-精度數(shù)據(jù)對，針對不同的染色體，采用量化感知準確率預測器的預測輸出作為該染色體的適應度分數(shù)，將適應度得分最高的染色體保存并添加到精英集合中，根據(jù)預定的概率選擇精英進行變異和交叉以獲得新的種群，選擇-變異-交叉的過程重復進行，直到算法達到滿足權重和激活平均位寬目標的帕累托解。4技術領域[0001]本發(fā)明涉及神經網絡技術領域，尤其涉及一種對深度卷積神經網絡進行多位寬量化的方法。背景技術[0002]神經網絡量化指將32位浮點格式的神經網絡模型壓縮到8～1比特定點數(shù)格式，以減少存儲和計算代價，神經網絡量化技術是目前流行的用于壓縮深度神經網絡的一種技術，用于對神經網絡進行壓縮，使得神經網絡能夠在進行定點計算的邊緣設備上部署。而一次量化，多場景部署的技術路線是新的量化方向，目前的技術方案有apq,oqa,coquant,anyprecision,robustquantization。一次量化多場景部署的多位寬感知的量化方法，僅需一次量化訓練即可實現(xiàn)多次部署，解決傳統(tǒng)量化方法對每一個場景下的單獨模型進行量化訓練而造成的訓練成本。[0003]目前，現(xiàn)有技術中的神經網絡壓縮量化的方法都聚焦于固定位寬(單一精度)的量化模型，模型針對不同的硬件設備特性(處理器計算精度)和約束(模型準確度)時都要進行獨立的模型量化和壓縮，在面對不同場景的部署(比如有時需要進行云端計算、有時需要進行邊緣計算)需求時容易造成較大的計算資源、人力資源和時間上的開銷。[0004]而現(xiàn)有技術中的其他一次量化多場景部署的技術方案也存在比較多的缺陷。其中，apq方法不能夠實現(xiàn)較低比特的量化，只能做到4,6,8比特3種比特之間的混合精度量化而沒有做到4比特以下的量化。oqa只能實現(xiàn)統(tǒng)一比特位寬量化，不能做到混合比特量化(指不同神經網絡層的比特精度必須一致，不能實現(xiàn)不同層壓縮到不一樣的比特精度),靈活性較差。其他如coquant,anyprecision,robustquantization在低比特量化時精度損失較發(fā)明內容[0005]本發(fā)明的實施例提供了一種多位寬量化的深度卷積神經網絡的獲取，以克服現(xiàn)有技術的問題。[0006]為了實現(xiàn)上述目的，本發(fā)明采取了如下技術方案。[0007]一種對深度卷積神經網絡進行多位寬量化的方法，包括：[0008]建立權重共享的多位寬感知量化模型；[0009]對所述多位寬感知量化模型進行多位寬感知的量化超網訓練；[0010]根據(jù)需求設置目標約束，根據(jù)所述目標約束對訓練好的多位寬感知量化模型進行混合精度搜索，得到滿足約束的子網絡，利用各個滿足約束的子網絡組成多位寬量化的深度卷積神經網絡。[0011]優(yōu)選地，所述的建立權重共享的多位寬感知量化模型[0012]建立權重共享的多位寬感知量化模型，該多位寬感知量化模型是一個多層結構的超網絡，多位寬感知量化模型的子網絡包括最低比特位寬模型、最高比特位寬模型和隨機5比特位寬模型，對所述多位寬感知量化模型中的多種子網絡同時進行量化并訓練；[0013]設多位寬感知量化模型的量化配置表示成B={(b,b),(b2,b2),…,(b",b9),…,(b",b)},b,bi分別表示層1的權重和激活的位寬，給定一個浮點的權重w、激活v,可學習的量化步長集合s={s,b,si,b}和zero-point集合z={Z,b,z,b},則多位寬感知量化模型訓練的目標函數(shù)表示為：[0016]優(yōu)選地，所述的對所述多位寬感知量化模型進行多位寬感知的量化超網訓練，包[0017]采用最小-隨機-最大位寬協(xié)同訓練方式在每一次訓練迭代中，對多位寬感知量化模型中的最低比特位寬模型、最高比特位寬模型和M個隨機比特位寬模型M+2種子網絡同時進行優(yōu)化，訓練目標為公式1所示的目標函數(shù)，M+2種不同的模型由公式1中不同的B進行表[0018]自適應標簽軟化，給定一個數(shù)據(jù)集Dtrain={(x;,yi)}包含N個類別，x;表示輸入圖像，y;表示對應的真實標簽，定義A={A?,A1,…,A°,…,AE-1}作為每一輪的類級別的軟標簽，A是一個N行N列的方陣，A中的每一列對應著一個類別的軟標簽，當一個輸入樣本(x,y;)被任[0022]A;n表示e輪時矩陣A在坐標(n[0023]p?(x:),p(x:),pa(x)分別是最高比特位寬模型、隨機比特位寬模型以及最低比特位寬模型的logit輸出；[0024]每一輪迭代iteration下都做一次公式3的更新，在每一個輪次epoch結束后對A°進行歸一化，在下一個輪次epoch時的公式4中使用，直到多位寬感知量化模型收斂為止或者達到設定的訓練次數(shù)，則所述多位寬感知量化模型的訓練過程結束。[0025]優(yōu)選地，所述的根據(jù)需求設置目標約束，根據(jù)所述目標約束對訓練好的多位寬感知量化模型進行混合精度搜索，得到滿足約束的子網絡，利用各個滿足約束的子網絡組成多位寬量化的深度卷積神經網絡，包括：[0026]將訓練完成后的多位寬感知量化模型看作一個包含很多個子網絡的模型池，根據(jù)需要的多位寬量化的深度卷積神經網絡設置目標約束，該目標約束包括平均比特約束，根據(jù)目標約束采用蒙特卡洛采樣、量化感知準確率預測器、遺傳算法三種方法對訓練好的多位寬感知量化模型進行混合精度搜索，搜索出滿足約束的子網絡；[0027]根據(jù)滿足約束的目標子網絡組成需要的多位寬量化的深度卷積神經網絡，各個目標子網絡分別單獨作為多位寬量化的深度卷積神經網絡中的獨立單元。6[0028]優(yōu)選地，所述根據(jù)目標約束采用蒙特卡洛采樣、量化感知準確率預測器、遺傳算法三種方法對訓練好的多位寬感知量化模型進行混合精度搜索，搜索出滿足約束的子網絡，[0029]利用蒙特卡洛采樣構建量化感知準確率預測器的訓練數(shù)據(jù)集，構建針對混合精度搜索的遺傳算法中采樣初始滿足約束的種群，利用量化感知準確率預測器對混合精度搜索的精度進行估計；[0030]根據(jù)子網絡的配置和不同層的比特數(shù)設定采用蒙特卡洛采樣生成若干條染色體，將所述若干條染色體作為初始帕累托解集，使用蒙特卡羅采樣生成結構-精度數(shù)據(jù)對，針對不同的染色體，采用量化感知準確率預測器的預測輸出作為該染色體的適應度分數(shù)，將適應度得分最高的染色體保存并添加到精英集合中，根據(jù)預定的概率選擇精英進行變異和交叉以獲得新的種群，選擇-變異-交叉的過程重復進行，直到算法達到滿足權重和激活平均位寬目標的帕累托解。[0031]由上述本發(fā)明的實施例提供的技術方案可以看出，本發(fā)明實施例通過最小-隨機-最大位寬協(xié)同訓練以及自適應標簽軟化解決不同比特子網下競爭訓練的問題，實現(xiàn)不同平均比特位寬約束下更高的模型精度。[0032]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。附圖說明[0033]為了更清楚地說明本發(fā)明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的[0034]圖1為本發(fā)明實施例提供的一種對深度卷積神經網絡進行多位寬量化的方法的處理流程圖。具體實施方式[0035]下面詳細描述本發(fā)明的實施方式，所述實施方式的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。[0036]本技術領域技術人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一件被“連接”或“耦接”到另一元件時，它可以直接連接或耦中間元件。此外，這里使用的“連接”或“耦接”可以包括“和/或”包括一個或更多個相關聯(lián)的列出項的任一單元和全部組合。[0037]本技術領域技術人員可以理解，除非另外定義，這里使用的所有術語(包括技術術語和科學術語)具有與本發(fā)明所屬領域中的普通技術人員的一般理解相同的意義。還應該7[0039]本發(fā)明實施例提供了一種面向多場景部署(每種應用場景對神經網絡計算精度需任意次部署的需求的多位寬感知的量化模型all-in-oncenetwork,極大減少了深度卷積神經網絡壓縮在時間上和計算上的開支，并在不同平均比特約束下達到較高的模型精度，[0040]在權重共享的前提下，通過最小-隨機-最大位寬協(xié)同訓練實現(xiàn)模型的多位寬感[0041]本發(fā)明實施例提供的一種對深度卷積神經網絡進行多位寬量化的方法的處理流位寬，給定一個浮點的權重w和激活v,可學習的量化步長集合s={S,b,s,b}和zero-point集比特量化訓練方式LSQ(LearnedStep-sizeQuantization,基于可訓練步長低比[0049]多位寬感知量化模型旨在通過剝離模型權重和量化步長構建多位寬場景下權重共享，量化步長獨立的模型結構。多位寬感知量化模型通過預先定8模型可以靈活調整為不同位寬場景下的統(tǒng)一量化[0052]多位寬感知量化模型訓練包括最低比特位寬模型、最高比特位寬模型和M個隨機代中，對最低比特位寬模型(比如每層固定2比特)和最高比特位寬模型(比如每層固定8比感知準確率預測器、遺傳算法三種方法對訓練好的多位寬感知量化模型進行混合精度搜9[0069]為了構建上述分布，我們在采樣空間中隨機采樣大量的結構-平均比特數(shù)據(jù)對同時#(bw=k,Tw=To)表示數(shù)據(jù)對[0073]特別地，我們使用蒙特卡羅采樣生成結構-精度數(shù)據(jù)對，可以避免數(shù)據(jù)集的不平[0075]針對混合精度搜索的遺傳算法首先采用蒙特卡洛采樣生成若干條染色體(即子網解決不同比特子網下競爭訓練的問題，實現(xiàn)不同平均比特位寬約束針對不同量化約束的應用場景下快速進行高性能的模型部署而不必重新進行量化訓練，減少大量的計算資源和時間開銷。[0079]本發(fā)明實施例通過蒙特卡洛采樣優(yōu)化的進化算法，能夠提升量化感知準確率預測器的性能，以及極大提高搜索效率，減少獲取目標[0080]本領域普通技術人員可以理解：附圖只是一個實施例的示意圖，附圖中的模塊或流程并不一定是實