自然語言處理目錄2文本挖掘3情感分析4基本概念1文本可視化51基本概念文本分析是指以文本數(shù)據(jù)集合為對象，發(fā)現(xiàn)其中隱含的、以前未知的、潛在有用的模式的過程。文本挖掘作為一門交叉性學(xué)科，涉及數(shù)據(jù)挖掘、機器學(xué)習(xí)、模式識別、人工智能、統(tǒng)計學(xué)、計算機技術(shù)、語言學(xué)等多個領(lǐng)域。傳統(tǒng)的數(shù)據(jù)挖掘所處理的數(shù)據(jù)一般都是結(jié)構(gòu)化數(shù)據(jù)，而文本分析處理的文本數(shù)據(jù)大多都是半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。在現(xiàn)實生活中海量文本信息不斷增加，例如：書籍，web頁面，新聞文本，研究論文，電商產(chǎn)品描述和評論，微博微信文本等等。商務(wù)領(lǐng)域的信息中大部分?jǐn)?shù)據(jù)也是以文本形式（比如財經(jīng)新聞、公司內(nèi)部文檔公文、公司公告新聞等）存在的一種非結(jié)構(gòu)化數(shù)據(jù)。1基本概念傳統(tǒng)的數(shù)據(jù)挖掘?qū)ο笠詳?shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)為主，并利用關(guān)系表等存儲結(jié)構(gòu)來發(fā)現(xiàn)知識，文本數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)庫中的關(guān)系數(shù)據(jù)，它具有自己的特點。半結(jié)構(gòu)化文本數(shù)據(jù)既不是完全無結(jié)構(gòu)的也不是完全結(jié)構(gòu)化的。例如文本可能包含結(jié)構(gòu)字段，如標(biāo)題、作者、出版日期、長度、分類等，也可能包含大量的非結(jié)構(gòu)化的數(shù)據(jù)，如摘要和內(nèi)容，無確定形式并且缺乏機器可理解的語義。高維文本向量的維數(shù)一般都可以高達(dá)上萬維，一般的數(shù)據(jù)挖掘、數(shù)據(jù)檢索的方法由于計算量過大或代價高昂而不具有可行性。高數(shù)據(jù)量一般的文本庫中都會存在最少數(shù)千個文本樣本，對這些文本進行預(yù)處理、編碼、挖掘等處理的工作量是非常龐大的，因而手工方法一般是不可行的。語義性文本數(shù)據(jù)中存在著一詞多義、多詞一義，在時間和空間上的上下文相關(guān)等情況。1基本概念在進行文本分析的過程中的首要問題是利用自然語言處理技術(shù)，對文本分析的數(shù)據(jù)對象進行相應(yīng)的處理，以在計算機中合理的表示，為進行文本挖掘提供合適的數(shù)據(jù)。根據(jù)文本分析的需求，進行文本分析通常包括以下四個關(guān)鍵步驟：1基本概念文本源文本結(jié)構(gòu)分析器分詞文本分析用戶界面結(jié)果展示用戶瀏覽檢索結(jié)果特征提取特征詞及權(quán)重關(guān)鍵詞摘要特定信息抽取檢

索分

類聚

類過

濾

推薦數(shù)字處理日期處理名字識別詞性標(biāo)注文本挖掘模型結(jié)構(gòu)示意圖1基本概念用戶畫像最初是在電商領(lǐng)域得到應(yīng)用的，在大數(shù)據(jù)時代背景下，用戶信息充斥在網(wǎng)絡(luò)中，將用戶的每個具體信息抽象成標(biāo)簽，利用這些標(biāo)簽將用戶形象具體化，從而為用戶提供有針對性的服務(wù)6應(yīng)用案例1基本概念知識圖譜建立了事物之間的關(guān)聯(lián)，擴展用戶搜索結(jié)果，發(fā)現(xiàn)更多內(nèi)容在金融、醫(yī)療、電商等很多垂直領(lǐng)域，知識圖譜正在帶來更好的領(lǐng)域知識、更低金融風(fēng)險、更完美的購物體驗。這些行業(yè)對整合性和關(guān)聯(lián)性的資源需求迫切，知識圖譜可以為其提供更加精確規(guī)范的行業(yè)數(shù)據(jù)以及豐富的表達(dá)，幫助用戶更加便捷地獲取行業(yè)知識。71基本概念智能客服系統(tǒng)是在大規(guī)模知識處理基礎(chǔ)上發(fā)展起來的一項面向行業(yè)應(yīng)用的，適用大規(guī)模知識處理、自然語言理解、知識管理、自動問答系統(tǒng)、推理等等技術(shù)行業(yè)。智能客服不僅為企業(yè)提供了細(xì)粒度知識管理技術(shù)，還為企業(yè)與海量用戶之間的溝通建立了一種基于自然語言的快捷有效的技術(shù)手段；同時還能夠為企業(yè)提供精細(xì)化管理所需的統(tǒng)計分析信息。81基本概念。輿情指在一定的社會空間內(nèi)，圍繞中介性社會事件的發(fā)生、發(fā)展和變化，作為主體的民眾對作為客體的社會管理者、企業(yè)、個人及其他各類組織及其政治、社會、道德等方面的取向產(chǎn)生和持有的社會態(tài)度。較多群眾關(guān)于社會中各種現(xiàn)象、問題所表達(dá)的信念、態(tài)度、意見和情緒等等表現(xiàn)的總和。輿情管理92自然語言處理計算機的自然語言處理技術(shù)，是指按照技術(shù)特性和研究內(nèi)容、結(jié)合語言學(xué)和計算機科學(xué)來解決自然語言的處理問題。自然語言處理是一門包含了語言學(xué)、計算機科學(xué)、心理學(xué)、統(tǒng)計學(xué)等多門學(xué)科的交叉學(xué)科。自然語言處理（NLP）被廣泛的應(yīng)用于生活的各個方面，如：語音識別、語音翻譯、信息檢索、信息抽取、自動對答等。2自然語言處理規(guī)則方法010302其規(guī)則主要是語言學(xué)規(guī)則，具有很強的形式描述能力、形式生成能力，在自然語言處理中有非常好的應(yīng)用價值。規(guī)則方法主要依托計算機處理流程的思維，所以它能與計算機科學(xué)中的一些高效算法進行融合。例如，計算機算法分析中使用的Earley算法和Marcus算法都可以作為基于規(guī)則的理性主義方法應(yīng)用于自然語言處理。規(guī)則方法一般通俗易懂，表達(dá)清晰，描述明確，很多事實都能用語言模型的結(jié)構(gòu)和組成成分直接而清晰地表示出來。自然語言處理先后經(jīng)歷了兩個階段：規(guī)則方法階段和統(tǒng)計方法階段。2自然語言處理統(tǒng)計方法運行時間與符號類別的多少之間是線性增長的關(guān)系，不便于獲取某個特殊應(yīng)用領(lǐng)域的訓(xùn)練數(shù)據(jù)，容易出現(xiàn)數(shù)據(jù)稀疏的問題。優(yōu)點不足1.統(tǒng)計方法的成效主要依賴于訓(xùn)練語言數(shù)據(jù)的規(guī)模，訓(xùn)練的語言數(shù)據(jù)越多，其效果就越好。2.該方法非常適合用來模擬有不精確的、細(xì)微差別的概念，這些概念在傳統(tǒng)語言學(xué)中需要使用模糊邏輯才能處理。3.該方法可以與規(guī)則方法結(jié)合起來，用來處理語言中各種約束條件問題，使自然語言處理系統(tǒng)的效果不斷得到提高。2自然語言處理自然語言處理的基礎(chǔ)研究主要包括：詞法分析，句法分析，語義分析，語用、語境與篇章分析等。詞法分析要先將構(gòu)成句子的字符串變成詞串，然后再加上句法范疇標(biāo)記，有時還要加上語義范疇標(biāo)記。詞法分析包括詞性標(biāo)注和詞義標(biāo)注兩大任務(wù)。句法分析主要是確定句子的句法結(jié)構(gòu)，識別組成句子的各個成分，明確它們之間的相互關(guān)系。語義分析是根據(jù)句子的句法結(jié)構(gòu)和句子中每個實詞的詞義推導(dǎo)出能反映該句子意義（即句義）的某種形式化表示，即將人類能夠理解的自然語言轉(zhuǎn)化為計算機能夠理解的形式語言。語用是人對語言的具體運用，它與語言使用者的知識狀態(tài)、言語行為、語境、意圖和想法有關(guān)聯(lián)。語境分析主要關(guān)注文化語境和情景語境。篇章分析將研究擴展到句子界限之外，對文章段落和全篇進行理解和分析。2自然語言處理自然語言處理過程中經(jīng)常使用共性技術(shù)1文本分類和聚類2信息抽取與文本挖掘3自動文摘4復(fù)述與文本生成5話題檢測與跟蹤6情感分析7語料庫與詞匯知識庫3文本挖掘文本挖掘定義定義1：文本數(shù)據(jù)是（大規(guī)模）自然語言文本的集合，是面向人的，可以被人部分理解，但不能為人所充分利用。它具有自然語言固有的模糊性與歧義性，有大量的噪聲和不規(guī)則結(jié)構(gòu)。定義2：文本挖掘是指為了發(fā)現(xiàn)知識，從文本數(shù)據(jù)中抽取隱含的、以前未知的、潛在有用的模式的過程。它是一個分析文本數(shù)據(jù)，抽取文本信息，進而發(fā)現(xiàn)文本知識的過程，同時運用這些知識更好地組織信息以便將來參考。3文本挖掘文本挖掘過程文本挖掘過程由文本獲取、文本預(yù)處理、挖掘分析等步驟組成。1、文本獲取獲取網(wǎng)頁文本需要使用網(wǎng)絡(luò)爬蟲技術(shù)，在具體操作時可以依據(jù)相關(guān)主題進行主題爬蟲，或者依據(jù)目標(biāo)鏈接網(wǎng)址進行通用爬蟲。2、文本預(yù)處理對文本進行預(yù)處理時，首先需要去除文本中一些嘈雜的信息；其次進行分詞，就是指把一句話分成由一個個單獨的詞組成的序列，每個詞都有其特定的意義；最后是通過特征提取，在海量的文本數(shù)據(jù)中選擇最具有代表性的特征進行挖掘分析。3、挖掘分析把預(yù)處理后的文本集轉(zhuǎn)化成矩陣，然后利用各類算法對其進行挖掘。3文本挖掘文本數(shù)據(jù)科學(xué)任務(wù)框架1.數(shù)據(jù)收集創(chuàng)建語料庫，基于人工或爬蟲技術(shù)搜集維基百科文章或者公司財報，用戶評論，社交媒體言論等。2.數(shù)據(jù)預(yù)處理在原始文本語料上進行預(yù)處理，標(biāo)記化、歸一化、清洗、統(tǒng)一格式。3.數(shù)據(jù)挖掘和可視化可視化是探尋規(guī)律的重要步驟，包括可視化詞頻和分布，生成詞云并進行距離測量4.模型搭建特征選擇和分析，訓(xùn)練，測試語言模型：有限狀態(tài)機、馬爾可夫模型、詞義的向量空間建模機器學(xué)習(xí)分類器：樸素貝葉斯、邏輯回歸、決策樹、支持向量機、神經(jīng)網(wǎng)絡(luò)5.模型評估模型是否達(dá)到預(yù)期，分類、預(yù)測、聚類173文本挖掘文本挖掘的關(guān)鍵技術(shù)1、中文分詞（１）字符匹配法字符匹配法又稱為機械分詞方法。（２）理解法理解法，就是人們通常所說的對某一類事務(wù)的認(rèn)知。（３）統(tǒng)計法從概率的角度出發(fā)，兩個字出現(xiàn)在詞組中的聯(lián)合概率非常大。2自然語言處理分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程。我們知道，在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過明顯的分界符來簡單劃界，唯獨比之英文要復(fù)雜得多、困難得多。

分詞算法：最大匹配法、最優(yōu)匹配法、機械匹配法、逆向匹配法、雙向匹配法。

2自然語言處理分詞算法：最大概率法分詞

Max(P(W1|S),P(W2|S)) ?P(W

|

S

)

P(

S

|

W

)

P(W

)

P(W

)P(S

)P(W

)

P(w1,

w2

,...,

wi

)

P(w1

)

P(w2

)

...

P(wi

)獨立性假設(shè)，一元語法》 S: 有意見分歧：

W1:有

/意見/分歧/：

W2:有意

/見/分歧/語料庫中的總詞數(shù)Nw

在語料庫中的出現(xiàn)次數(shù)nP(w

)

i

i（1）一個待切分的漢字串可能包含多種分詞結(jié)果（2）將其中概率最大的那個作為該字串的分詞結(jié)果202自然語言處理最大概率法分詞

P(W1)=P(有)*P(意見)

*

P(分歧)=1.8

×

10-9P(W2)=P(有意)*P(見)*P(分歧)=1×10-11P(W1)>P(W2)詞語概率……有0.0180有意0.0005意見0.0010見0.0002分歧0.0001……213文本挖掘文本挖掘的關(guān)鍵技術(shù)詞頻方法利用詞頻進行特征提取，先設(shè)定一個閾值，將該文檔中詞頻低于這一閾值的詞都刪除，以降低特征空間的維數(shù)。詞頻方法01文檔頻數(shù)方法02TF-IDF方法032、特征提取文檔頻數(shù)是最為簡單的一類特征提取算法，就是選定某個詞，在訓(xùn)練文本集中統(tǒng)計出現(xiàn)該詞的文本數(shù)量。

3文本挖掘文本挖掘的關(guān)鍵技術(shù)期望交叉熵公式如下：詞或短語的交叉熵越大，對文本類別分布的影響也越大，所以選交叉熵最大的ｋ個詞或短語作為最終的特征項。期望交叉熵方法042、特征提取3文本挖掘文本挖掘的關(guān)鍵技術(shù)假定c為文檔類變量，C為文檔類的集合，d為文檔，f為特征。對于特征f，其信息增益記為IG(f)，其計算公式如下：上式中，H(C)為C的熵，Ｈ（C|f）為C的條件熵。信息增益方法052、特征提取3文本挖掘文本挖掘的關(guān)鍵技術(shù)互信息用于表征兩個變量間的相關(guān)性。對于文檔類c和特征f，其互信息記為MI(c,f)，計算公式如下：互信息方法062、特征提取2自然語言處理262019年底突發(fā)的新冠肺炎疫情更是在短時間內(nèi)對產(chǎn)業(yè)供應(yīng)鏈產(chǎn)生巨大沖擊。物流運輸受阻。在疫情重災(zāi)地武漢，快遞公司幾乎全線歇業(yè)，僅順豐、京東等少數(shù)幾家物流公司持續(xù)工作，且順豐僅支持空運運輸，陸運運輸幾乎暫停。資金方面，表現(xiàn)為資金周轉(zhuǎn)變慢。資金周轉(zhuǎn)變慢是人員流動受限、物流運輸受阻和其他方面共同作用的結(jié)果。人員流動受阻使得企業(yè)難以實現(xiàn)完全復(fù)工，也無法正常開展生產(chǎn)經(jīng)營活動；物流受阻使得企業(yè)難以獲得原材料，疫情造成的社會總體需求下降可能會導(dǎo)致對部分企業(yè)生產(chǎn)的商品需求量減少，造成存貨囤積，而這種情況對產(chǎn)品保質(zhì)期限短的企業(yè)的影響更大

262自然語言處理272019年底突發(fā)的新冠肺炎疫情更是在短時間內(nèi)對產(chǎn)業(yè)供應(yīng)鏈產(chǎn)生巨大沖擊。物流運輸受阻。在疫情重災(zāi)地武漢，快遞公司幾乎全線歇業(yè)，僅順豐、京東等少數(shù)幾家物流公司持續(xù)工作，且順豐僅支持空運運輸，陸運運輸幾乎暫停。資金方面，表現(xiàn)為資金周轉(zhuǎn)變慢。資金周轉(zhuǎn)變慢是人員流動受限、物流運輸受阻和其他方面共同作用的結(jié)果。人員流動受阻使得企業(yè)難以實現(xiàn)完全復(fù)工，也無法正常開展生產(chǎn)經(jīng)營活動；物流受阻使得企業(yè)難以獲得原材料，疫情造成的社會總體需求下降可能會導(dǎo)致對部分企業(yè)生產(chǎn)的商品需求量減少，造成存貨囤積，而這種情況對產(chǎn)品保質(zhì)期限短的企業(yè)的影響更大

特征提取:詞頻TF-IDF是TermFrequency-InverseDocumentFrequency的縮寫，即“詞頻-逆文本頻率”。它由兩部分組成，TF和IDF。TF表示某個文檔中的詞頻。IDF是“逆文檔頻率”表示一個詞在所有文檔中出現(xiàn)的總頻率，修正僅僅用TF詞頻表示詞重要性的局限。比如文檔中會經(jīng)常出現(xiàn)“的”字，其詞頻雖然高，但是重要性卻很低。

TF(詞頻)=某個詞在某文章出現(xiàn)次數(shù)/該文章總的詞數(shù)量IDF(逆文檔頻率)=log(所有文章的總數(shù)量/(包含該詞的文章數(shù)量+1))

某個詞的TF-IDF值=TF*IDF

假定一篇寫蜂蜜養(yǎng)殖的文章總長度為1000個詞，“中國”、“蜜蜂”、“養(yǎng)殖”各出現(xiàn)20次，則這三個詞的“詞頻”（TF）都為0.02。然后，搜索百度發(fā)現(xiàn)，包含"中國"的網(wǎng)頁共有62.3億張，包含"蜜蜂"的網(wǎng)頁為0.484億張，包含"養(yǎng)殖"的網(wǎng)頁為0.973億張。"蜜蜂"的TF-IDF值最高，"養(yǎng)殖"其次，"中國"最低。如果只選擇一個詞，"蜜蜂"就是這篇文章的關(guān)鍵詞。28特征提取技術(shù)：TF-IDF特征選取的方式：(1)用映射或變換的方法把原始特征變換為較少的新特征；(2)從原始特征中挑選出一些最具代表性的特征；(3)根據(jù)專家的知識挑選最有影響的特征；(4)用數(shù)學(xué)的方法（PCA）進行選取，找出最具分類信息的特征，這種方法是一種比較精確的方法，人為因素的干擾較少，尤其適合于文本自動分類挖掘系統(tǒng)的應(yīng)用

我們希望獲取到的詞匯，既能保留文本的信息，同時又能反映它們的相對重要性。如果對所有詞語都保留，維度會特別高，矩陣將會變得特別稀疏，嚴(yán)重影響到挖掘結(jié)果。29特征提取:降維3文本挖掘文本挖掘的關(guān)鍵技術(shù)3、文本分類1樸素貝葉斯分類方法2支持向量機方法3k-最鄰近方法4決策樹方法5人工神經(jīng)網(wǎng)絡(luò)方法給定文檔p，將文檔分類為n個類別中的一個或多個。分類類型：二分類(binary)，多分類(multi-class)，多標(biāo)簽分類(一個對象可以屬于多類(multi-label)常見：貝葉斯、邏輯回歸、隨機森林，SVM，KNN型，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)文本分類模型。31文本分類貝葉斯文本分類P(類別|特征)=P(特征|類別)*P(類別|)/P(特征)樸素貝葉斯是最基本的分類器，假設(shè)各個特征之間獨立同分布，P(X|y)=P(X1|y)*…P(Xn|y)由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X,Y)，然后再求出條件概率分布P(Y|X)。3文本挖掘文本挖掘的關(guān)鍵技術(shù)4、文本聚類基于劃分的方法01基于層次的方法02基于密度的方法03基于網(wǎng)絡(luò)的方法04基于模型的方法05文本聚類是一種典型的無監(jiān)督式機器學(xué)習(xí)方法，聚類方法的選擇取決于數(shù)據(jù)類型。首先，文檔聚類可以發(fā)現(xiàn)與某文檔相似的一批文檔，幫助知識工作者發(fā)現(xiàn)相關(guān)知識；其次，文檔聚類可以將一類文檔聚類成若干個類，提供一種組織文檔集合的方法；再次，文檔聚類還可以生成分類器以對文檔進行分類。聚類分析以相似性為基礎(chǔ)，在一個聚類中的模式之間比不在同一聚類中的模式之間具有更多的相似性。文本挖掘中的聚類可用于：提供大規(guī)模文檔內(nèi)容總括；識別隱藏的文檔間的相似度；減輕瀏覽相關(guān)、相似信息的過程。34文本聚類Salton等人于20世紀(jì)70年代提出，并成功地應(yīng)用于著名的SMART文本檢索系統(tǒng)。把對文本內(nèi)容的比較簡化為向量空間中的向量運算，將文檔D表達(dá)為一個矢量（有大小有方向），看作向量空間中的一個點并且以空間上的相似度表達(dá)語義的相似度，直觀易懂。向量空間模型（VSM：VectorSpaceModel）31Example:D1

=

2T1

+

3T2

+

5T3D2

=

3T1

+

7T2

+

T3+ 2T3Q

=

0T1

+

0T2T3Q

=0T1

+0T2

+2T32 3T1T2D1

=2T1+3T2

+5T3D2=3T1

+7T2

+

T375IsD1

or

D2

moresimilartoQ?Howtomeasurethedegreeofsimilarity?Distance?35資料來源：北大楊建武向量空間余弦相似度(CosineSimilarity)31Example:D1

=

2T1

+

3T2

+

5T3D2

=

3T1

+

7T2

+

T3+ 2T3Q

=

0T1

+

0T2T3Q

=0T1

+0T2

+2T32 3T1T2D1

=2T1+3T2

+5T3D2=3T1

+7T2

+

T375T1T2T3下標(biāo)表示詞的維度個數(shù)i=1到n，其中n表示詞的維度數(shù)量Xi，Yi表示

兩個文檔D1,D2分別在同一詞i維度的權(quán)重3637k-means文本聚類算法k-means算法的工作過程：首先從n個數(shù)據(jù)對象任意選擇k個對象作為初始聚類中心；而對于所剩下其它對象，則根據(jù)它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然后再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復(fù)這一過程直到標(biāo)準(zhǔn)測度函數(shù)開始收斂為止。算法接受輸入量k；然后將n個數(shù)據(jù)對象劃分為k