人工智能通識(shí)：新技術(shù)與創(chuàng)新實(shí)踐自然語(yǔ)言處理基礎(chǔ)PART01大語(yǔ)言模型的基本原理PART02目錄CONTENTS自然語(yǔ)言處理基礎(chǔ)01自然語(yǔ)言處理基礎(chǔ)01一、文本處理的基礎(chǔ):讓計(jì)算機(jī)理解人類語(yǔ)言人類語(yǔ)言豐富而復(fù)雜,充滿了微妙的含義和文化背景。對(duì)于我們來說,理解一句話似乎輕而易舉,但對(duì)計(jì)算機(jī)而言,這是一項(xiàng)需要多個(gè)步驟才能完成的挑戰(zhàn)。想象一下,當(dāng)我們說“今天天氣真好,適合去公園散步”這樣簡(jiǎn)單的句子時(shí),計(jì)算機(jī)需要如何處理才能理解其含義?01自然語(yǔ)言處理基礎(chǔ)

1.文本分詞:切分語(yǔ)言的基本單元文本分詞是自然語(yǔ)言處理的第一步,就像解剖一篇文章需要先將其分解為句子和詞語(yǔ)。不同語(yǔ)言的分詞方式有很大差異:英語(yǔ)等拉丁語(yǔ)系語(yǔ)言通常以空格為天然分隔符;而漢語(yǔ)、日語(yǔ)等語(yǔ)言則需要更復(fù)雜的算法來確定詞的邊界。如圖5-1所示展示了從原始文本到分詞結(jié)果的過程,可以使用中文句子示例,突出顯示不同分詞方法的結(jié)果差異。以漢語(yǔ)為例,“我愛北京天安門”這句話沒有明顯的分隔符,計(jì)算機(jī)需要通過算法將其切分為“我/愛/北京/天安門”。這個(gè)過程看似簡(jiǎn)單,實(shí)則暗藏玄機(jī)。比如“天安門”一詞,可以切分為“天安/門”或者保持“天安門”作為一個(gè)整體,取決于上下文含義。優(yōu)秀的分詞系統(tǒng)需要考慮詞頻統(tǒng)計(jì)、上下文信息甚至專業(yè)領(lǐng)域知識(shí)來實(shí)現(xiàn)準(zhǔn)確切分。分詞技術(shù)主要有三類方法:01自然語(yǔ)言處理基礎(chǔ)圖5-1文本分詞示意圖01自然語(yǔ)言處理基礎(chǔ)基于規(guī)則的方法:依靠語(yǔ)言學(xué)專家制定的詞典和規(guī)則進(jìn)行切分,就像我們使用字典查找單詞一樣。這種方法對(duì)于常見表達(dá)很有效,但面對(duì)新詞和歧義時(shí)容易失效?；诮y(tǒng)計(jì)的方法:通過大量文本學(xué)習(xí)詞語(yǔ)的出現(xiàn)概率和上下文關(guān)系,類似于通過大量閱讀積累的語(yǔ)感。這種方法能夠處理更復(fù)雜的情況,但需要大量標(biāo)注數(shù)據(jù)?；谏疃葘W(xué)習(xí)的方法:利用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)語(yǔ)言特征,能夠捕捉到更深層次的語(yǔ)義關(guān)系,如今已成為主流方法。01自然語(yǔ)言處理基礎(chǔ)【實(shí)踐案例:體驗(yàn)中文分詞】讓我們通過一個(gè)簡(jiǎn)單的例子來理解分詞的重要性:(1)原始文本:“北京大學(xué)生活動(dòng)中心”(2)不同分詞結(jié)果:?分詞結(jié)果1:北京大學(xué)/生活/動(dòng)中心?分詞結(jié)果2:北京/大學(xué)生/活動(dòng)/中心?分詞結(jié)果3:北京大學(xué)生/活動(dòng)中心你能看出哪種分詞結(jié)果更合理嗎?這個(gè)例子說明了分詞的挑戰(zhàn)性———同一個(gè)句子可能有多種理解方式,而正確的分詞對(duì)后續(xù)的語(yǔ)義理解至關(guān)重要。01自然語(yǔ)言處理基礎(chǔ)(3)動(dòng)手嘗試:請(qǐng)嘗試為以下句子進(jìn)行分詞,并思考可能出現(xiàn)的歧義:?“這是一個(gè)蘋果手機(jī)殼”?“他說得確實(shí)在理”?“美國(guó)會(huì)通過這項(xiàng)法案”01自然語(yǔ)言處理基礎(chǔ)

2.詞向量:為語(yǔ)言賦予數(shù)學(xué)表達(dá)計(jì)算機(jī)只能處理數(shù)字,因此需要將文本轉(zhuǎn)換為數(shù)值形式。詞向量技術(shù)(WordEm-bedding)正是解決這一問題的關(guān)鍵,它將每個(gè)詞映射到一個(gè)多維空間中的點(diǎn),用數(shù)字向量表示詞語(yǔ)的含義。早期的方法如“獨(dú)熱編碼”(One-HotEncoding)將每個(gè)詞表示為一個(gè)只有一個(gè)位置是1,其余都是0的向量,但這種表示法忽略了詞與詞之間的語(yǔ)義關(guān)系?，F(xiàn)代詞向量技術(shù)如Word2Vec、GloVe和BERT則能夠捕捉詞語(yǔ)之間的語(yǔ)義相似性和關(guān)系。通過詞向量,“國(guó)王”—“男人”—“女人”會(huì)接近“王后”的向量,這種奇妙的數(shù)學(xué)關(guān)系展示了計(jì)算機(jī)對(duì)語(yǔ)言語(yǔ)義的一定程度理解。更重要的是,語(yǔ)義相近的詞在向量空間中的距離也較近,為后續(xù)的文本分析奠定了基礎(chǔ)。01自然語(yǔ)言處理基礎(chǔ)【實(shí)踐案例2:理解詞向量的神奇】想象我們有以下詞語(yǔ),它們?cè)谙蛄靠臻g中的關(guān)系:(1)相似詞語(yǔ)聚集:?動(dòng)物類:貓、狗、鳥(在向量空間中距離較近)?顏色類:紅色、藍(lán)色、綠色(在向量空間中距離較近)?情感類:開心、快樂、高興(在向量空間中距離較近)(2)類比關(guān)系:?北京∶中國(guó)=東京∶日本?男人∶國(guó)王=女人∶王后這種數(shù)學(xué)關(guān)系使得計(jì)算機(jī)能夠理解詞語(yǔ)間的復(fù)雜關(guān)系,為后續(xù)的文本處理打下基礎(chǔ)01自然語(yǔ)言處理基礎(chǔ)

3.情感分析:讀懂文字背后的情緒情感分析(SentimentAnalysis)是自然語(yǔ)言處理的重要應(yīng)用,旨在識(shí)別和提取文本中表達(dá)的情感態(tài)度。從最簡(jiǎn)單的積極和消極二分類,到細(xì)粒度的情感強(qiáng)度識(shí)別,再到多種情緒(如喜悅、憤怒、悲傷、恐懼等)的復(fù)合分析,情感分析技術(shù)正變得越來越精細(xì)。情感分析的基本過程通常包括:

?文本預(yù)處理:清洗文本中的無關(guān)信息(如特殊符號(hào)、停用詞等),并進(jìn)行分詞和詞性標(biāo)注。

?特征提取:將處理后的文本轉(zhuǎn)換為計(jì)算機(jī)可處理的特征,如詞袋模型、TF-IDF或詞向量。

?情感判斷:使用機(jī)器學(xué)習(xí)模型對(duì)文本情感進(jìn)行分類或評(píng)分。這可以是基于規(guī)則的方法(如情感詞典),也可以是基于機(jī)器學(xué)習(xí)的方法(如支持向量機(jī)、樸素貝葉斯等),現(xiàn)在更多使用深度學(xué)習(xí)模型(如卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等)。01自然語(yǔ)言處理基礎(chǔ)讓我們通過一個(gè)例子來理解情感分析的工作方式:假設(shè)有一條餐廳評(píng)論“菜品很美味,但服務(wù)態(tài)度讓人失望”。情感分析系統(tǒng)會(huì)識(shí)別出“美味”是正面詞匯,“失望”是負(fù)面詞匯,同時(shí)考慮連接詞“但”表示轉(zhuǎn)折關(guān)系,最終可能給出中性或輕微負(fù)面的整體情感評(píng)價(jià)。情感分析在許多領(lǐng)域有廣泛應(yīng)用:企業(yè)通過分析社交媒體和評(píng)論了解產(chǎn)品口碑;政府機(jī)構(gòu)監(jiān)測(cè)公眾對(duì)政策的反應(yīng);金融機(jī)構(gòu)分析市場(chǎng)情緒預(yù)測(cè)股價(jià)走勢(shì);電商平臺(tái)根據(jù)用戶評(píng)價(jià)優(yōu)化推薦系統(tǒng)。

【實(shí)踐案例3:餐廳評(píng)價(jià)情感分析】讓我們通過分析餐廳評(píng)價(jià)來理解情感分析的工作方式:

(1)評(píng)價(jià)文本:“菜品很美味,但服務(wù)態(tài)度讓人失望,價(jià)格還算合理。”01自然語(yǔ)言處理基礎(chǔ)(2)分析過程:?分詞結(jié)果:菜品/很/美味/但/服務(wù)/態(tài)度/讓人/失望/價(jià)格/還算/合理?情感詞識(shí)別:(a)正面詞:美味(+2)、合理(+1)(b)負(fù)面詞:失望(-2)(c)轉(zhuǎn)折詞:但(表示前后語(yǔ)義對(duì)比)(3)綜合判斷:整體情感傾向?yàn)橹行云?fù)面(4)更多實(shí)踐例子見表5-1。01自然語(yǔ)言處理基礎(chǔ)01自然語(yǔ)言處理基礎(chǔ)【實(shí)踐案例4:社交媒體情感監(jiān)測(cè)】假設(shè)我們要分析某品牌手機(jī)發(fā)布后的網(wǎng)絡(luò)反響:(1)收集到的微博評(píng)論:?評(píng)論1:“新手機(jī)拍照效果真的很棒,值得入手!?評(píng)論2:“價(jià)格太貴了,性價(jià)比不高,還是算了吧?！?評(píng)論3:“外觀設(shè)計(jì)很漂亮,但電池續(xù)航一般。”?評(píng)論4:“等了好久終于發(fā)布了,激動(dòng)!準(zhǔn)備熬夜搶購(gòu)?！?評(píng)論5:“和上一代相比沒什么大的改進(jìn),有點(diǎn)失望?！?2)情感分析結(jié)果統(tǒng)計(jì):?積極情感:40%(評(píng)論1、4)?消極情感:40%(評(píng)論2、5)?中性情感:20%(評(píng)論3)01自然語(yǔ)言處理基礎(chǔ)(3)具體分析:?價(jià)格敏感:多條評(píng)論提到價(jià)格問題。?功能關(guān)注點(diǎn):拍照、電池續(xù)航、外觀設(shè)計(jì)。?期待vs現(xiàn)實(shí):部分用戶期待很高但實(shí)際體驗(yàn)有落差。01自然語(yǔ)言處理基礎(chǔ)

4.文本分類的廣闊應(yīng)用文本分類是自然語(yǔ)言處理的另一個(gè)基礎(chǔ)任務(wù),目標(biāo)是將文本自動(dòng)歸類到預(yù)定義的類別中。它的應(yīng)用極為廣泛:

?新聞分類:將新聞文章自動(dòng)分類到體育、政治、科技、娛樂等不同版塊。

?垃圾郵件過濾:識(shí)別并過濾掉垃圾郵件,保護(hù)用戶郵箱。

?客戶反饋分類:自動(dòng)將客戶反饋歸類為產(chǎn)品質(zhì)量、服務(wù)體驗(yàn)、價(jià)格建議等類別,幫助企業(yè)快速響應(yīng)。

?疾病診斷輔助:通過分析病歷文本,輔助醫(yī)生初步判斷可能的疾病類型。文本分類的基本流程與情感分析類似,包括文本預(yù)處理、特征提取和分類決策。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,現(xiàn)代文本分類系統(tǒng)已經(jīng)能夠處理長(zhǎng)文本、多標(biāo)簽分類和跨語(yǔ)言分類等復(fù)雜任務(wù)。如圖5-2所示直觀展示了情感分析的流程和在不同場(chǎng)景的應(yīng)用,如社交媒體監(jiān)測(cè)、產(chǎn)品評(píng)價(jià)分析等。01自然語(yǔ)言處理基礎(chǔ)圖5-2情感分析的流程和不同場(chǎng)景的應(yīng)用示意圖01自然語(yǔ)言處理基礎(chǔ)【實(shí)踐案例5:新聞自動(dòng)分類】假設(shè)我們要為新聞網(wǎng)站開發(fā)自動(dòng)分類系統(tǒng):輸入新聞標(biāo)題和內(nèi)容:?新聞1:“央行宣布降準(zhǔn)0.5個(gè)百分點(diǎn),釋放資金約1萬(wàn)億元”?新聞2:“科學(xué)家發(fā)現(xiàn)新型材料,可將太陽(yáng)能電池效率提升30%”?新聞3:“國(guó)足1∶2不敵日本隊(duì),世界杯預(yù)選賽出線形勢(shì)嚴(yán)峻”分類結(jié)果:?新聞1→財(cái)經(jīng)類(關(guān)鍵詞:央行、降準(zhǔn)、資金)?新聞2→科技類(關(guān)鍵詞:科學(xué)家、新型材料、太陽(yáng)能)?新聞3→體育類(關(guān)鍵詞:國(guó)足、世界杯、預(yù)選賽)01自然語(yǔ)言處理基礎(chǔ)【實(shí)踐案例6:客戶服務(wù)智能分流】某電商平臺(tái)的客服系統(tǒng)需要將用戶咨詢自動(dòng)分類:(1)用戶咨詢示例:?咨詢1:“我的訂單什么時(shí)候能到?物流信息顯示已發(fā)貨3天了∶”?咨詢2:“這個(gè)商品可以退貨嗎?我不太滿意質(zhì)量∶”?咨詢3:“支付時(shí)顯示失敗,但錢已經(jīng)扣了,怎么辦?”?咨詢4:“賬戶被凍結(jié)了,提示說是異常登錄,如何解凍?”01自然語(yǔ)言處理基礎(chǔ)(2)自動(dòng)分類結(jié)果:?咨詢1→物流查詢類→轉(zhuǎn)接物流客服?咨詢2→售后服務(wù)類→轉(zhuǎn)接售后客服?咨詢3→支付問題類→轉(zhuǎn)接財(cái)務(wù)客服?咨詢4→賬戶安全類→轉(zhuǎn)接安全客服這種自動(dòng)分類可以大大提高客服效率,讓專業(yè)客服處理對(duì)應(yīng)領(lǐng)域的問題。01自然語(yǔ)言處理基礎(chǔ)二、自然語(yǔ)言處理的現(xiàn)代挑戰(zhàn)與突破自然語(yǔ)言處理面臨諸多挑戰(zhàn):語(yǔ)言的模糊性(一詞多義現(xiàn)象)、語(yǔ)境依賴(相同詞語(yǔ)在不同上下文中含義不同)、文化背景差異等。例如,“蘋果”一詞可能指水果,也可能指科技公司;“我等不及了”可能表示急不可耐,也可能表示拒絕等待。近年來,深度學(xué)習(xí)特別是基于注意力機(jī)制的模型,在解決這些挑戰(zhàn)方面取得了顯著進(jìn)展。以往的模型往往將詞語(yǔ)孤立處理,而現(xiàn)代模型能夠考慮更廣泛的上下文信息,甚至能捕捉到長(zhǎng)文檔中的遠(yuǎn)距離依賴關(guān)系。01自然語(yǔ)言處理基礎(chǔ)注意力機(jī)制(AttentionMechanism)允許模型在處理每個(gè)詞時(shí),關(guān)注輸入序列中最相關(guān)的部分,而不是機(jī)械地按順序處理。這就像人類閱讀時(shí)會(huì)重點(diǎn)關(guān)注關(guān)鍵信息一樣,大大提高了模型理解復(fù)雜語(yǔ)言的能力?；谶@一突破,誕生了如BERT、GPT系列等預(yù)訓(xùn)練語(yǔ)言模型,它們通過在海量文本上預(yù)先學(xué)習(xí)語(yǔ)言知識(shí),再針對(duì)特定任務(wù)微調(diào),實(shí)現(xiàn)了自然語(yǔ)言處理能力的質(zhì)的飛躍。這些模型可以同時(shí)處理多種NLP任務(wù),如問答系統(tǒng)、機(jī)器翻譯、文本摘要等,為大語(yǔ)言模型時(shí)代鋪平了道路。大語(yǔ)言模型的基本原理02大語(yǔ)言模型的基本原理02項(xiàng)目前景一、大語(yǔ)言模型大語(yǔ)言模型(LargeLanguageModels,LLM)是近年來人工智能領(lǐng)域最引人注目的技術(shù)突破之一,是AI時(shí)代的“思想引擎”。它們通過學(xué)習(xí)海量文本數(shù)據(jù),掌握了人類語(yǔ)言的規(guī)律和知識(shí),能夠生成連貫、流暢且富有信息量的文本,理解復(fù)雜指令,甚至展現(xiàn)出類似推理和創(chuàng)造力的能力。從ChatGPT到Claude,從文心一言到DeepSeek,這些模型正在改變我們與AI交互的方式,開創(chuàng)了“與機(jī)器對(duì)話”的新時(shí)代。02大語(yǔ)言模型的基本原理大語(yǔ)言模型的起源與發(fā)展01大語(yǔ)言模型如何工作02大語(yǔ)言模型的核心架構(gòu)03大語(yǔ)言模型的訓(xùn)練過程0402二、大語(yǔ)言模型的能力與局限

1.大語(yǔ)言模型的驚人能力大語(yǔ)言模型展現(xiàn)出的能力遠(yuǎn)超預(yù)期,包括:語(yǔ)言理解與生成:能夠理解復(fù)雜指令,生成連貫、流暢且符合上下文的文本,適應(yīng)各種文體和風(fēng)格。知識(shí)庫(kù)功能:在訓(xùn)練過程中吸收了大量世界知識(shí),能夠回答歷史、科學(xué)、文化、時(shí)事等廣泛領(lǐng)域的問題。上下文學(xué)習(xí):能夠從對(duì)話中學(xué)習(xí)并保持一致性,記住前面提到的信息并在后續(xù)回答中參考。邏輯推理:展現(xiàn)出一定的推理能力,能夠解決簡(jiǎn)單的邏輯問題和數(shù)學(xué)題。創(chuàng)造性寫作:能夠創(chuàng)作詩(shī)歌、故事、劇本等創(chuàng)意內(nèi)容,甚至模仿特定作家風(fēng)格。多語(yǔ)言能力:支持多種語(yǔ)言的理解和生成,有些模型甚至能進(jìn)行跨語(yǔ)言交流。代碼理解與生成:掌握多種編程語(yǔ)言,能夠理解、解釋、生成和調(diào)試代碼。多模態(tài)延伸:通過與其他AI系統(tǒng)結(jié)合,如與圖像生成模型合作,實(shí)現(xiàn)跨多種模態(tài)的交互。大語(yǔ)言模型的基本原理02大語(yǔ)言模型的基本原理

2.大語(yǔ)言模型的局限性與挑戰(zhàn)盡管能力驚人,大語(yǔ)言模型仍存在明顯局限?；糜X問題:模型可能生成看似可信但實(shí)際錯(cuò)誤的信息,尤其是在處理事實(shí)性問題時(shí)。這被稱為“幻覺(Hallucination)”,是當(dāng)前大語(yǔ)言模型的主要缺陷之一。知識(shí)截止問題:模型知識(shí)受訓(xùn)練數(shù)據(jù)時(shí)間限制,無法了解訓(xùn)練后發(fā)生的事件。雖然可以通過搜索工具解決,但實(shí)時(shí)信息獲取仍是挑戰(zhàn)。上下文窗口有限:模型一次能處理的文本長(zhǎng)度有限(通常為數(shù)千到數(shù)萬(wàn)個(gè)詞),限制了對(duì)超長(zhǎng)文檔的處理能力。因果推理能力弱:模型擅長(zhǎng)相關(guān)性分析,但對(duì)因果關(guān)系的理解有限,難以深入解釋“為什么”某事發(fā)生。02大語(yǔ)言模型的基本原理缺乏真正理解:盡管表現(xiàn)出理解能力,但模型實(shí)際上是基于統(tǒng)計(jì)模式預(yù)測(cè)而非真正“理解”內(nèi)容的含義和背景。數(shù)據(jù)偏見風(fēng)險(xiǎn):模型可能從訓(xùn)練數(shù)據(jù)中繼承偏見和刻板印象,輸出有偏見或不公平的內(nèi)容。安全與倫理問題:可能被濫用生成有害內(nèi)容,如虛假信息、歧視性言論或危險(xiǎn)指導(dǎo)。能耗與環(huán)境影響:大模型訓(xùn)練和運(yùn)行需要大量計(jì)算資源,能耗巨大,引發(fā)環(huán)境可持續(xù)性擔(dān)憂。針對(duì)這些挑戰(zhàn),研究者正在探索多種解決方案,如通過檢索增強(qiáng)生成(RetnevalAug-mentedGeneration,RAG)提供最新信息,通過人類反饋優(yōu)化輸出質(zhì)量,通過安全對(duì)齊技術(shù)減少有害內(nèi)容等。大語(yǔ)言模型的發(fā)展是一個(gè)持續(xù)演進(jìn)的過程,每一代模型都在努力克服前代的局限,變得更加準(zhǔn)確、可靠和安全。02三、大語(yǔ)言模型:從技術(shù)到應(yīng)用大語(yǔ)言模型的基本原理大語(yǔ)言模型的典型應(yīng)用場(chǎng)景1大語(yǔ)言模型的演進(jìn)趨勢(shì)2倫理與社會(huì)影響思考3感謝欣賞THANKSYOU人工智能通識(shí)：新技術(shù)與創(chuàng)新實(shí)踐計(jì)算機(jī)硬件組成與工作原理PART01軟件分類與操作系統(tǒng)基礎(chǔ)PART02網(wǎng)絡(luò)與信息安全基礎(chǔ)PART03目錄CONTENTS計(jì)算機(jī)硬件組成與工作原理01計(jì)算機(jī)硬件組成與工作原理01現(xiàn)代計(jì)算機(jī)系統(tǒng)由五大核心部件構(gòu)成,每個(gè)部件各司其職,又相互配合,共同構(gòu)建起完整的計(jì)算生態(tài):一、計(jì)算機(jī)的“五大金剛”01計(jì)算機(jī)硬件組成與工作原理中央處理器(CPU):計(jì)算機(jī)的“大腦”PART1內(nèi)存(Memory):計(jì)算機(jī)的“工作臺(tái)”PART2存儲(chǔ)設(shè)備:計(jì)算機(jī)的“倉(cāng)庫(kù)”PART3輸入設(shè)備:計(jì)算機(jī)的“耳朵和眼睛”PART4輸出設(shè)備:計(jì)算機(jī)的“嘴和手”PART501計(jì)算機(jī)的工作過程可以簡(jiǎn)化為以下幾個(gè)步驟:

?啟動(dòng)過程:按下電源鍵后,計(jì)算機(jī)首先加載基本輸入/輸出系統(tǒng)(BIOS或UEFI),進(jìn)行硬件檢測(cè)和初始化,然后從指定存儲(chǔ)設(shè)備加載操作系統(tǒng)。

?程序執(zhí)行:操作系統(tǒng)啟動(dòng)后,用戶可以運(yùn)行各種應(yīng)用程序。當(dāng)啟動(dòng)一個(gè)程序時(shí),該程序從存儲(chǔ)設(shè)備加載到內(nèi)存中,CPU開始執(zhí)行程序指令。

?數(shù)據(jù)處理:程序執(zhí)行過程中,CPU不斷從內(nèi)存讀取指令和數(shù)據(jù),經(jīng)過處理后,將結(jié)果寫回內(nèi)存或通過輸出設(shè)備呈現(xiàn)給用戶。

?存儲(chǔ)與共享:處理完成的數(shù)據(jù)可以保存到存儲(chǔ)設(shè)備中,或通過網(wǎng)絡(luò)發(fā)送給其他設(shè)備。整個(gè)過程中,計(jì)算機(jī)遵循“馮·諾依曼架構(gòu)”的基本原則———程序和數(shù)據(jù)都存儲(chǔ)在內(nèi)存中,CPU按照程序指令順序執(zhí)行操作。這種設(shè)計(jì)看似簡(jiǎn)單,卻使計(jì)算機(jī)成為了通