人工智能大語(yǔ)言模型應(yīng)用教程模塊3大語(yǔ)言模型應(yīng)用基礎(chǔ)學(xué)習(xí)

目標(biāo)

了解自然語(yǔ)言處理的概念，掌握自然語(yǔ)言處理主要內(nèi)容；

理解大語(yǔ)言模型基本原理；

理解大語(yǔ)言模型的架構(gòu)，如Transformer架構(gòu)、注意力機(jī)制等；

能夠在本地安裝和部署ChatGLM3-6B模型環(huán)境；

能夠編寫(xiě)代碼實(shí)現(xiàn)簡(jiǎn)單大語(yǔ)言模型推理應(yīng)用；

培養(yǎng)嚴(yán)謹(jǐn)認(rèn)真的態(tài)度，養(yǎng)成規(guī)范編程的習(xí)慣；

培養(yǎng)分析解決問(wèn)題的能力，養(yǎng)成獨(dú)立思考的習(xí)慣；

了解大語(yǔ)言模型在應(yīng)用中可能涉及的倫理和法律問(wèn)題，如隱私保護(hù)、數(shù)據(jù)安全等，在部署和應(yīng)用過(guò)程中遵守相關(guān)法律法規(guī)和道德規(guī)范。3.2大語(yǔ)言模型應(yīng)用基礎(chǔ)設(shè)計(jì)目標(biāo)開(kāi)發(fā)環(huán)境原理學(xué)習(xí)實(shí)驗(yàn)步驟3.33.43.13.1設(shè)計(jì)目標(biāo)對(duì)大語(yǔ)言模型的基本概念、基本原理的講解，通過(guò)國(guó)產(chǎn)大模型ChatGLM3-6B的安裝部署和應(yīng)用，對(duì)大語(yǔ)言模型建立起基本的概念以及對(duì)原理的了解，直觀感受大語(yǔ)言模型的應(yīng)用場(chǎng)景和運(yùn)行原理設(shè)計(jì)目標(biāo)3.2開(kāi)發(fā)環(huán)境開(kāi)發(fā)環(huán)境

硬件：服務(wù)器、推理卡（NVIDIA16G顯存以上）

軟件：Python、大語(yǔ)言模型ChatGLM3-6B3.3原理學(xué)習(xí)3.3.1系統(tǒng)功能概要虛擬操作指導(dǎo)在線問(wèn)答解惑操作體驗(yàn)反饋常見(jiàn)問(wèn)題庫(kù)3.3.2自然語(yǔ)言處理概要涉及語(yǔ)音識(shí)別、自然語(yǔ)言理解、對(duì)話系統(tǒng)、機(jī)器翻譯等多個(gè)研究方向，在人機(jī)交互、互聯(lián)網(wǎng)搜索、智能客服、語(yǔ)音助手等領(lǐng)域都有廣泛的應(yīng)用前景使機(jī)器可以分析、理解人類(lèi)的語(yǔ)言，并以人類(lèi)可以理解的方式反饋，對(duì)于構(gòu)建更智能的人機(jī)交互系統(tǒng)具有重要意義0304研究目標(biāo)是讓機(jī)器能夠真正地理解人類(lèi)語(yǔ)言，并實(shí)現(xiàn)人機(jī)交互研究對(duì)象是人類(lèi)語(yǔ)言，用于解決人類(lèi)語(yǔ)言在計(jì)算機(jī)處理中的各種問(wèn)題一門(mén)關(guān)于用機(jī)器處理和理解人類(lèi)語(yǔ)言的理論和技術(shù)的研究領(lǐng)域，是人工智能的一個(gè)重要分支，也是計(jì)算語(yǔ)言學(xué)的一個(gè)子領(lǐng)域。0102自然語(yǔ)言處理3.3.2自然語(yǔ)言處理概要自然語(yǔ)言處理主要內(nèi)容1.自然語(yǔ)言生成根據(jù)輸入的提示或上文信息,自動(dòng)生成連續(xù)的自然語(yǔ)言文本。5.篇章分析對(duì)上下文和語(yǔ)義進(jìn)行建模,理解篇章級(jí)語(yǔ)義,如用于撰寫(xiě)論文的摘要。4.語(yǔ)義分析分析語(yǔ)句的語(yǔ)義,提取文本的語(yǔ)義信息,典型的應(yīng)用場(chǎng)景是源代碼的解讀。2.詞法分析識(shí)別語(yǔ)言文本中的詞匯及其詞性,進(jìn)行詞干提取、詞形還原等。3.句法分析識(shí)別句子成分及其語(yǔ)法關(guān)系和句法結(jié)構(gòu)。自然語(yǔ)言處理主要內(nèi)容6.對(duì)話系統(tǒng)使系統(tǒng)能夠理解用戶意圖,進(jìn)行自然語(yǔ)言問(wèn)答,支持多輪會(huì)話。10.知識(shí)圖譜構(gòu)建概念實(shí)體及其關(guān)系的知識(shí)庫(kù)。9.語(yǔ)音識(shí)別與合成將語(yǔ)音轉(zhuǎn)錄成文字,或者將文字轉(zhuǎn)換成語(yǔ)音。7.機(jī)器翻譯使用算法將一種語(yǔ)言翻譯成另一種語(yǔ)言,這是自然語(yǔ)言處理最傳統(tǒng)的應(yīng)用。8.信息提取從文本中提取結(jié)構(gòu)化信息,典型應(yīng)用場(chǎng)景如從電子病歷中提取醫(yī)療關(guān)鍵指標(biāo)項(xiàng)。3.3.2自然語(yǔ)言處理概要3.3.3大語(yǔ)言模型基本原理減少了對(duì)大量標(biāo)注數(shù)據(jù)的依賴(lài)，可進(jìn)行自回歸生成，逐詞預(yù)測(cè)下一個(gè)最可能的詞匯通過(guò)掩碼語(yǔ)言模型、下一句預(yù)測(cè)等任務(wù)學(xué)習(xí)語(yǔ)言統(tǒng)計(jì)規(guī)律，之后在下游NLP任務(wù)進(jìn)行模型微調(diào)，使其適應(yīng)特定任務(wù)0304需要大量的帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)來(lái)指導(dǎo)模型的預(yù)測(cè)一種深度學(xué)習(xí)技術(shù)，其特點(diǎn)之一就是通常不需要人工標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練。0102自監(jiān)督預(yù)訓(xùn)練3.3.3大語(yǔ)言模型基本原理大語(yǔ)言模型通常采用Transformer或其優(yōu)化版本作為模型骨干架構(gòu)。Transformer最初在翻譯場(chǎng)景應(yīng)用廣泛，輸入一種語(yǔ)言，經(jīng)Transformer轉(zhuǎn)化后，輸出另一種語(yǔ)言，與Transformer（可譯為變形金剛或變壓器）的本意近似。Transformer通過(guò)編碼器——解碼器結(jié)構(gòu)，多頭注意力機(jī)制以及前饋全連接網(wǎng)絡(luò)，能夠?qū)W習(xí)語(yǔ)言中的長(zhǎng)距離依賴(lài)關(guān)系，理解語(yǔ)義信息。1.Transformer架構(gòu)3.3.3大語(yǔ)言模型基本原理Transformer由6層編碼器和6層解碼器組成每一層編碼器的輸入是前一個(gè)編碼器的輸出每一層解碼器的輸入不光是它的前一個(gè)解碼器的輸出，還包括了整個(gè)編碼部分的輸出。原始的文字通過(guò)編碼和解碼過(guò)程，最終形成目標(biāo)文本。1.Transformer架構(gòu)3.3.3大語(yǔ)言模型基本原理Transformer的多頭自注意力可以建模Token之間的相關(guān)性，學(xué)習(xí)文本全局的語(yǔ)義信息。每個(gè)編碼器（Encoder）的結(jié)構(gòu)是一個(gè)自注意力機(jī)制加上一個(gè)前饋神經(jīng)網(wǎng)絡(luò)Self-attention的輸入就是詞向量，即整個(gè)模型的最初的輸入是詞向量的形式自注意力機(jī)制是自己和自己計(jì)算一遍注意力，即對(duì)每一個(gè)輸入的詞向量，我們需要構(gòu)建Self-attention的輸入。2.注意力機(jī)制3.4實(shí)驗(yàn)步驟3.4.1安裝部署（1）下載ChatGLM3源碼（2）建立python3.10虛擬環(huán)境（3）在ChatGLM3虛擬環(huán)境下安裝依賴(lài)（4）PyTorch驗(yàn)證或重裝1.ChatGLM3運(yùn)行環(huán)境安裝2.下載ChatGLM3-6B模型文件3.4.2應(yīng)用開(kāi)發(fā)開(kāi)發(fā)一個(gè)最簡(jiǎn)單大語(yǔ)言模型推理應(yīng)用，實(shí)現(xiàn)輸入問(wèn)題，由大模型給出推理結(jié)果2.4.3安裝CUDA從CUDATo