第6章

常用小模型第10講人工智能通識教程【教材第6章6.1-6.3節(jié)】人工智能通識教程

本章導(dǎo)讀：小模型是相對大模型而言的，對應(yīng)于嵌入式人工智能，或邊緣智能。它面向工業(yè)智能化第一線，將與物聯(lián)網(wǎng)、云計算等技術(shù)相融合，實現(xiàn)工業(yè)智能化、自動化，是減輕人類勞動的主力軍。人工智能通識教程（1）了解小模型的定義與特點、發(fā)展歷程、分類；（2）理解小模型與大模型的區(qū)別；（3）掌握小模型的構(gòu)建方法；（4）了解模型壓縮技術(shù)；（5）理解小模型的訓(xùn)練與部署；（6）了解面向小模型的芯片類型；（7）掌握小模型的應(yīng)用場景。本章學(xué)習(xí)目標(biāo)人工智能通識教程本章思維導(dǎo)圖第4頁共31頁6.1小模型概述6.2小模型的架構(gòu)6.3模型壓縮技術(shù)6.4小模型訓(xùn)練與部署（第11講）人工智能通識教程目錄6.5面向小模型的芯片（第11講）6.6小模型的應(yīng)用（第11講）人工智能通識教程6.1小模型概述當(dāng)前大模型已進入規(guī)模化與多模態(tài)深度融合的新階段。尤其是語言大模型，以GPT-4、Claude3、Llama3為代表，參數(shù)量普遍突破萬億級，支持長文本理解、邏輯推理與復(fù)雜代碼生成，同時通過MoE（混合專家）架構(gòu)提升推理效率。視頻大模型快速崛起，如Sora、Pika等已能生成高保真、長時序動態(tài)視頻，但訓(xùn)練算力需求極高，尚未完全開放應(yīng)用。多模態(tài)大模型成為主流方向，GPT-4o、Gemini1.5Pro、Claude3.5Sonnet等模型深度融合文本、圖像、音頻、視頻，支持跨模態(tài)實時交互與創(chuàng)作，參數(shù)規(guī)模邁向百萬億級。技術(shù)趨勢上，模型逐步從“暴力堆參數(shù)”轉(zhuǎn)向優(yōu)化架構(gòu)與數(shù)據(jù)質(zhì)量，同時注重降低能耗、提升安全性與可解釋性。挑戰(zhàn)仍集中于算力成本、倫理風(fēng)險與落地場景的精準(zhǔn)適配。第6頁共31頁人工智能通識教程6.1.1小模型的定義與特點小模型通常被稱為“smallmodels”或“tinymodels”。在人工智能領(lǐng)域，它們也常被稱為“compactmodels”或“l(fā)ightweightmodels”，特別是在指那些為移動設(shè)備或邊緣計算環(huán)境設(shè)計的模型。小模型通常使用的神經(jīng)網(wǎng)絡(luò)架構(gòu)包括淺層神經(jīng)網(wǎng)絡(luò)、輕量級卷積神經(jīng)網(wǎng)絡(luò)（如MobileNet）或小型循環(huán)神經(jīng)網(wǎng)絡(luò)（如LSTM或GRU）等。小模型可能只有幾個層次和相對較少的參數(shù)，以保持模型的輕量級特性。小模型的定義并不是絕對的，它是一個相對的概念。隨著技術(shù)的發(fā)展和應(yīng)用場景的變化，小模型的標(biāo)準(zhǔn)和特點也會有所調(diào)整。在不同的領(lǐng)域和任務(wù)中，小模型的具體要求和實現(xiàn)方式也會有所不同1．小模型的定義第7頁共31頁人工智能通識教程（1）模型規(guī)模小，小模型的參數(shù)數(shù)量相對較少，模型文件的大小也較小，通常在幾MB到幾十MB之間。（2）計算負擔(dān)輕，由于模型規(guī)模小，小模型在進行推理和訓(xùn)練時所需的計算資源也相對較少。（3）響應(yīng)速度快，小模型的計算速度快，能夠?qū)崿F(xiàn)快速的推理和響應(yīng)。（4）適應(yīng)性強，小模型具有較好的適應(yīng)性，可以在多種不同的硬件平臺和操作系統(tǒng)上運行。從整體來說，當(dāng)前主流小模型的核心技術(shù)思路與“大”模型一致，具體到各個小模型的模型設(shè)計、訓(xùn)練方法、數(shù)據(jù)工程領(lǐng)域，則衍生出不同的技術(shù)派別。2．小模型的特點第8頁共31頁人工智能通識教程6.1.2小模型發(fā)展歷程1．萌芽階段在人工智能發(fā)展的初期，大模型因其強大的處理能力和廣泛的應(yīng)用前景而備受矚目。然而，大模型在訓(xùn)練成本、部署要求以及資源消耗方面的局限性。在此背景下，小模型的概念開始萌芽，并逐漸成為研究的熱點。2．技術(shù)積累階段大約從21世紀(jì)初開始，小模型的概念逐漸清晰。這一時期的技術(shù)積累為小模型的快速發(fā)展奠定了基礎(chǔ)。深度學(xué)習(xí)等技術(shù)的進步，使得研究人員能夠開發(fā)出更加高效、緊湊的模型結(jié)構(gòu)，從而滿足資源受限環(huán)境下的應(yīng)用需求。3．快速發(fā)展階段21世紀(jì)10年代左右，小模型迎來了快速發(fā)展階段。這一時期，研究人員在輕量化模型設(shè)計、模型壓縮方法等方面取得了顯著進展。例如，網(wǎng)絡(luò)剪枝、量化、知識蒸餾等技術(shù)被廣泛應(yīng)用于小模型的優(yōu)化中，使得小模型在保持較高性能的同時，能夠顯著降低計算需求和資源消耗。第9頁共31頁人工智能通識教程4．初級應(yīng)用階段近年來，小模型開始在多個領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。在智能手機、可穿戴設(shè)備、智能家居等移動終端上，小模型能夠?qū)崿F(xiàn)快速響應(yīng)和本地處理，減少對云端計算資源的依賴，降低延遲和能耗。此外，在醫(yī)療、金融、教育等高度信任的領(lǐng)域，小模型也因其高可解釋性而備受青睞。5．未來展望隨著技術(shù)的不斷進步和市場的持續(xù)拓展，小模型有望在更多領(lǐng)域發(fā)揮重要作用。未來，小模型將更加注重邏輯學(xué)習(xí)和知識計算推理能力的提升，以滿足高信息密度領(lǐng)域的應(yīng)用需求。第10頁共31頁人工智能通識教程6.1.2小模型發(fā)展歷程4．初級應(yīng)用階段第11頁共31頁人工智能通識教程6.1.3小模型分類傳統(tǒng)機器學(xué)習(xí)模型：如線性回歸、邏輯回歸、決策樹、支持向量機（SVM）等，這些模型結(jié)構(gòu)簡單，參數(shù)數(shù)量少，屬于小模型的范疇。輕量級深度學(xué)習(xí)模型：包括經(jīng)過優(yōu)化和精簡的深度學(xué)習(xí)架構(gòu)，如MobileNet、ShuffleNet等輕量級CNN架構(gòu)，以及小型的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）變體等。簡化版的Transformer模型：對標(biāo)準(zhǔn)的Transformer架構(gòu)進行簡化和壓縮，減少層數(shù)、隱藏單元數(shù)量等，以降低模型規(guī)模和資源消耗。例如，一些小型的Transformer模型可用于自然語言處理中的文本分類、情感分析等任務(wù)。1．按模型架構(gòu)第12頁共31頁人工智能通識教程移動設(shè)備與智能終端，在智能手機、平板計算機、智能手表等移動設(shè)備上運行的小模型，用于實現(xiàn)語音助手、圖像識別、實時翻譯等功能。物聯(lián)網(wǎng)（IoT）設(shè)備，在各種物聯(lián)網(wǎng)傳感器、智能家電、工業(yè)設(shè)備等嵌入式系統(tǒng)中應(yīng)用的小模型，用于數(shù)據(jù)監(jiān)測、故障診斷、智能控制等。特定行業(yè)領(lǐng)域，針對醫(yī)療、金融、教育等特定行業(yè)的特定任務(wù)設(shè)計的小模型。在醫(yī)療領(lǐng)域，有用于醫(yī)學(xué)影像分析、疾病預(yù)測的小模型；在金融領(lǐng)域，有用于風(fēng)險評估、欺詐檢測的小模型；在教育領(lǐng)域，有用于智能輔導(dǎo)、學(xué)習(xí)效果評估的小模型等。邊緣計算環(huán)境，在邊緣服務(wù)器或邊緣節(jié)點上部署的小模型，用于處理靠近數(shù)據(jù)源的實時數(shù)據(jù)，減少數(shù)據(jù)傳輸?shù)皆贫说难舆t和帶寬消耗。例如，在工業(yè)生產(chǎn)現(xiàn)場的邊緣計算設(shè)備上運行的小模型，可以實時監(jiān)測生產(chǎn)數(shù)據(jù)，及時發(fā)現(xiàn)異常情況并進行預(yù)警。2．按應(yīng)用場景第13頁共31頁人工智能通識教程6.1.4小模型和大模型的區(qū)別1．模型規(guī)模和參數(shù)數(shù)量大模型通常具有龐大的模型規(guī)模和海量的參數(shù)數(shù)量，如GPT-3擁有1750億個參數(shù)，BERT-base擁有1.1億個參數(shù)等。而小模型的參數(shù)數(shù)量相對較少，通常在百萬級別以下，模型規(guī)模也相對較小。2．計算資源需求小模型則對計算資源的需求相對較低，可以在普通的CPU或?qū)Ｓ肁I芯片上運行，適合部署在資源受限的設(shè)備上。3．訓(xùn)練數(shù)據(jù)量和訓(xùn)練難度小模型訓(xùn)練成本優(yōu)勢顯著，數(shù)據(jù)需求少，聚焦特定領(lǐng)域小型數(shù)據(jù)集即可；算力要求低，普通工作站或云端輕量實例足以支撐，訓(xùn)練快則數(shù)小時、數(shù)天，能快速迭代優(yōu)化，企業(yè)與研究者可低成本試錯，加速技術(shù)創(chuàng)新落地。第14頁共31頁人工智能通識教程4．泛化能力于精度小模型針對特定任務(wù)精心優(yōu)化，在細分領(lǐng)域精度出色，如工業(yè)產(chǎn)品表面缺陷檢測小模型，經(jīng)大量同類缺陷樣本訓(xùn)練，對微小裂紋、劃痕識別準(zhǔn)確率超95%；但跨領(lǐng)域遷移時，因知識局限，泛化能力弱，像用于文本情感分析的小模型，難以直接用于圖像分類，需重新適配訓(xùn)練，知識遷移難度大。5．性能和適用場景適用于需要深度學(xué)習(xí)和復(fù)雜計算的場景，如自然語言處理中的機器翻譯、文本生成等任務(wù)。適合用于實時性要求高、計算資源有限的場景，如移動應(yīng)用、物聯(lián)網(wǎng)設(shè)備等。6．部署和應(yīng)用靈活性小模型則具有更好的部署和應(yīng)用靈活性，可以輕松地集成到各種設(shè)備和應(yīng)用中，實現(xiàn)快速部署和廣泛應(yīng)用。第15頁共31頁人工智能通識教程第16頁共31頁人工智能通識教程6.1.5小模型與邊緣計算的結(jié)合1．優(yōu)勢互補小模型具有輕量級、高效、低功耗的特點，能夠適應(yīng)邊緣設(shè)備的資源限制，而邊緣計算則提供了數(shù)據(jù)的本地處理能力和實時性支持。兩者的結(jié)合，使得人工智能應(yīng)用可以在邊緣設(shè)備上快速、高效地運行，無須依賴于云端的計算資源，降低了對網(wǎng)絡(luò)連接的依賴，提高了系統(tǒng)的可靠性和穩(wěn)定性。2．應(yīng)用場景拓展通過小模型與邊緣計算的結(jié)合，人工智能技術(shù)可以應(yīng)用于更多的場景，如智能家居、工業(yè)自動化、醫(yī)療健康、智能交通等。在智能家居中，小模型可以在邊緣設(shè)備上實現(xiàn)語音識別、圖像識別等功能，提供智能控制和個性化服務(wù)；在工業(yè)自動化中，小模型可以在邊緣設(shè)備上進行實時數(shù)據(jù)分析和故障診斷，提高生產(chǎn)效率和產(chǎn)品質(zhì)量；在醫(yī)療健康領(lǐng)域，小模型可以在可穿戴設(shè)備上實現(xiàn)健康監(jiān)測和疾病預(yù)警，為用戶提供及時的健康管理服務(wù)。第17頁共31頁人工智能通識教程3．?dāng)?shù)據(jù)隱私保護邊緣計算將數(shù)據(jù)處理和分析任務(wù)放在本地設(shè)備上進行，減少了數(shù)據(jù)在云端的存儲和傳輸，降低了數(shù)據(jù)泄露和隱私侵犯的風(fēng)險。小模型在邊緣設(shè)備上運行時，可以對敏感數(shù)據(jù)進行本地處理，保護用戶的隱私安全。4．降低帶寬消耗傳統(tǒng)的云計算模式需要將大量的數(shù)據(jù)傳輸?shù)皆贫诉M行處理，這不僅增加了網(wǎng)絡(luò)帶寬的消耗，還可能導(dǎo)致數(shù)據(jù)傳輸延遲。小模型與邊緣計算的結(jié)合，使得數(shù)據(jù)可以在本地設(shè)備上進行實時處理，減少了數(shù)據(jù)傳輸量，降低了帶寬消耗，提高了系統(tǒng)的響應(yīng)速度。5．提高容錯能力在邊緣計算環(huán)境中，小模型可以在多個邊緣設(shè)備上進行部署和運行，即使某個設(shè)備出現(xiàn)故障或網(wǎng)絡(luò)連接中斷，其他設(shè)備上的小模型仍然可以繼續(xù)工作，保證了系統(tǒng)的連續(xù)性和穩(wěn)定性。小模型與邊緣計算的結(jié)合，為人工智能技術(shù)的發(fā)展和應(yīng)用帶來了新的機遇和挑戰(zhàn)。它不僅能夠提高人工智能應(yīng)用的實時性和效率，還能夠拓展人工智能的應(yīng)用場景和領(lǐng)域，為實現(xiàn)更加智能、高效、安全的人工智能應(yīng)用提供了有力支持。第18頁共31頁人工智能通識教程6.1.6小模型與端側(cè)模型端側(cè)模型也稱為邊緣模型或設(shè)備模型（edgemodel或on-devicemodel），主要是指面向嵌入式設(shè)備與資源受限終端的輕量化AI模型。其核心目標(biāo)是通過本地化部署實現(xiàn)高效推理，兼顧性能與隱私保護。端側(cè)模型通常基于小模型架構(gòu)，但端側(cè)模型更強調(diào)硬件適配性與場景化工程優(yōu)化，需結(jié)合邊緣計算、模型壓縮、芯片架構(gòu)等綜合技術(shù)。第19頁共31頁人工智能通識教程端側(cè)模型的主要優(yōu)勢體現(xiàn)在以下幾個方面：（1）輕量化設(shè)計架構(gòu)：端側(cè)模型通常采用輕量級的神經(jīng)網(wǎng)絡(luò)架構(gòu)，通常利用模型壓縮、量化等技術(shù)手段，使端側(cè)模型在不過多損失性能的前提下，大大減少模型的存儲空間和計算量。（2）實時性與低延遲設(shè)計：端側(cè)模型在架構(gòu)設(shè)計上注重實時性和低延遲，以滿足實時交互場景的需求。（3）離線高可用性：即使在沒有網(wǎng)絡(luò)連接的情況下，端側(cè)模型仍然可以以本地模式正常工作，滿足用戶在各種場景下的需求。（4）隱私保護更強：數(shù)據(jù)無須上傳至云端，減少了數(shù)據(jù)泄露的風(fēng)險，更好地保護用戶的隱私。（5）高效的推理性能：端側(cè)模型的架構(gòu)設(shè)計充分考慮了與端側(cè)設(shè)備硬件的適配性。不同的端側(cè)設(shè)備具有不同的芯片架構(gòu)和計算能力，端側(cè)模型需要針對這些硬件特性進行優(yōu)化。（6）成本低：端側(cè)模型的計算均在用戶本地的設(shè)備上進行，無須使用手機等廠商的云推理服務(wù)，也就不涉及到付費，從而減少用戶使用成本，也節(jié)約了大模型廠商的成本壓力。第20頁共31頁人工智能通識教程6.2小模型的架構(gòu)6.2.1主流小模型的架構(gòu)演化基礎(chǔ)架構(gòu)：早期的小模型多是基于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其變體長短期記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU），這些架構(gòu)在處理序列數(shù)據(jù)時具有一定的優(yōu)勢，但存在訓(xùn)練困難、難以并行化等問題。Transformer架構(gòu)的引入與優(yōu)化：Transformer架構(gòu)的出現(xiàn)，小模型也逐漸向其靠攏。例如，Llama1基于原始Transformer架構(gòu)，引入了預(yù)歸一化、RMSNorm、SwiGLU激活函數(shù)和旋轉(zhuǎn)式位置編碼等改進，提升了模型的訓(xùn)練穩(wěn)定性和性能。1．從基礎(chǔ)架構(gòu)到優(yōu)化改進第21頁共31頁人工智能通識教程單一功能的小模型：早期的小模型通常專注于某一特定功能，如文本分類、情感分析、機器翻譯等，模型架構(gòu)相對簡單，主要通過調(diào)整網(wǎng)絡(luò)層數(shù)、神經(jīng)元數(shù)量等參數(shù)來優(yōu)化性能。多功能融合的小模型：小模型開始向多功能融合方向發(fā)展。例如，微軟的Phi系列模型，從最初的代碼生成領(lǐng)域的Phi-1，到后續(xù)版本逐漸拓展到更廣泛的通用智能領(lǐng)域，通過不斷優(yōu)化模型架構(gòu)和訓(xùn)練方法，實現(xiàn)了多種功能的融合。2．從單一功能到多功能融合第22頁共31頁人工智能通識教程獨立架構(gòu)的小模型：早期的小模型多是獨立運行，各自針對不同的任務(wù)進行訓(xùn)練和優(yōu)化，模型之間沒有太多的交互和協(xié)同。協(xié)同架構(gòu)的小模型：如今，大模型與多個小模型的協(xié)同架構(gòu)成為主流趨勢。在這種架構(gòu)中，大模型作為核心，負責(zé)處理通用任務(wù)，小模型則針對特定領(lǐng)域或任務(wù)進行優(yōu)化，二者優(yōu)勢互補。3．從獨立架構(gòu)到協(xié)同架構(gòu)靜態(tài)架構(gòu)的小模型：傳統(tǒng)的模型架構(gòu)在訓(xùn)練完成后通常是固定的，模型的參數(shù)和結(jié)構(gòu)不再改變，對于新的數(shù)據(jù)和任務(wù)適應(yīng)性較差。動態(tài)架構(gòu)的小模型：現(xiàn)在的模型架構(gòu)更加靈活和動態(tài)，能夠根據(jù)不同的輸入和任務(wù)需求進行自適應(yīng)調(diào)整。4．從靜態(tài)架構(gòu)到動態(tài)架構(gòu)第23頁共31頁人工智能通識教程6.2.2MobileNetMobileNet是谷歌公司自2017年推出輕量級神經(jīng)網(wǎng)絡(luò)架構(gòu)?？梢栽谝苿咏K端實現(xiàn)眾多的應(yīng)用，包括目標(biāo)檢測、目標(biāo)分類、人臉屬性識別和人臉識別等。MobileNet采用了深度可分離卷積作為其核心構(gòu)建塊，這是一種高效的卷積操作。MobileNet采用了深度可分離卷積作為其核心構(gòu)建塊，深度卷積對每個輸入通道分別進行卷積操作，而逐點卷積則用于混合不同通道的信息，MobileNetV3為例，Large版本有15個bottleneck層、一個標(biāo)準(zhǔn)卷積層和三個逐點卷積層；Small版本有12個bottleneck層、一個標(biāo)準(zhǔn)卷積層和兩個逐點卷積層。第24頁共31頁人工智能通識教程6.2.3MobileBERTMobileBERT是輕量又高效的編碼器架構(gòu)。它是基于BERT模型，經(jīng)過了優(yōu)化，MobileBERT的目標(biāo)是在移動設(shè)備上提供與BERT相似的NLP能力，而不會過度消耗設(shè)備資源。采用了倒瓶頸結(jié)構(gòu)，輸入首先通過一個較小的維度進行壓縮，然后在中間層進行擴展，最后再壓縮回較小的維度。這種設(shè)計可以在保持模型性能的同時，顯著減少參數(shù)數(shù)量。此外，MobileBERT還引入了知識蒸餾技術(shù)，通過從一個大型的教師模型中學(xué)習(xí)知識，進一步優(yōu)化模型性能，使其在較小的模型大小下也能達到較高的準(zhǔn)確率。第25頁共31頁6.2.4babyllamaBabyLLamA由Meta公司開發(fā)，BabyLLamA是一種基于Transformer的輕量級解碼器架構(gòu)，旨在為這些任務(wù)提供高效、準(zhǔn)確的解決方案。它基于LLaMA模型進行優(yōu)化，使其能夠在資源受限的設(shè)備上快速運行，同時保持較高的生成質(zhì)量。BabyLLamA采用了倒瓶頸結(jié)構(gòu)，通過在輸入和輸出之間進行維度壓縮和擴展，有效減少了參數(shù)數(shù)量。此外，BabyLLamA還引入了一些創(chuàng)新的優(yōu)化技術(shù)，如自適應(yīng)計算和稀疏激活等，進一步提高了模型的效率。人工智能通識教程6.3模型壓縮技術(shù)6.3.1模型量化模型量化是指將神經(jīng)網(wǎng)絡(luò)中的浮點運算轉(zhuǎn)換為低比特定點計算的技術(shù)。例如，32位浮點數(shù)（FLOAT32）類型，通過模型量化，可以將模型權(quán)重轉(zhuǎn)變?yōu)?位整數(shù)（INT8）類型。權(quán)重量化：權(quán)重量化是指將神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)（模型的參數(shù)）從32位浮點數(shù)表示轉(zhuǎn)換為更低位數(shù)的整數(shù)表示。例如，可以將權(quán)重從32位浮點數(shù)量化為8位整數(shù)。這種權(quán)重量化可以通過訓(xùn)練時的量化策略或者事后的離線量化方法來實現(xiàn)。激活量化：激活量化是指將神經(jīng)網(wǎng)絡(luò)的激活值（神經(jīng)元輸出）從32位浮點數(shù)表示轉(zhuǎn)換為較低位數(shù)的整數(shù)表示。這種量化可以應(yīng)用于推理階段，減少了模型計算時的內(nèi)存和計算開銷。量化對模型性能和大小的影響主要體現(xiàn)在準(zhǔn)確度和效率的權(quán)衡上。積極影響，減小模型大小、加速推理過程、降低計算和存儲成本；消極影響，精度損失、硬件支持與優(yōu)化問題、量化策略選擇困難、量化模型的可解釋性和驗證難度增加、量化模型的遷移學(xué)習(xí)和微調(diào)受限。第26頁共31頁人工智能通識教程6.3.2模型剪枝模型剪枝（modelpruning）是指在神經(jīng)網(wǎng)絡(luò)中去除不重要的神經(jīng)元或權(quán)重，以減少模型的復(fù)雜度和參數(shù)數(shù)量的過程。是一種特定的神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)，它通過將模型中的一些權(quán)重設(shè)置為零或刪除一些神經(jīng)元、卷積核等結(jié)構(gòu)單元來實現(xiàn)模型的壓縮技術(shù)，減少深度學(xué)習(xí)模型中的參數(shù)數(shù)量。1．模型剪枝的原理第27頁共3