1、IntroductionofArtificialIntelligence,人工智能導(dǎo)論,內(nèi)蒙古大學(xué)計(jì)算機(jī)學(xué)院閆蓉Mail:,第七章自然語(yǔ)言處理概述,基本概念,什么是計(jì)算語(yǔ)言學(xué)（ComputationLinguistics）用機(jī)器處理人類語(yǔ)言的理論和技術(shù)。構(gòu)造計(jì)算模型，用于自然語(yǔ)言的分析、轉(zhuǎn)換、生成。其他名稱：自然語(yǔ)言處理（NaturalLanguageProcessing，NLP）自然語(yǔ)言理解（NaturalLanguageUnderstanding，NLU）人類語(yǔ)言技術(shù)（HumanLanguageTechnology）相關(guān)名稱：中文信息處理（ChineseInformationProcess

2、ing）網(wǎng)絡(luò)信息處理（WebInformationProcessing）,基本概念,什么是自然語(yǔ)言自然語(yǔ)言指人類使用的語(yǔ)言，如漢語(yǔ)、英語(yǔ)等。語(yǔ)言是思維的載體，是人際交流的工具。語(yǔ)言的兩種屬性文字和聲音人類歷史上以語(yǔ)言文字形式記載和流傳的知識(shí)占知識(shí)總量的80以上。本學(xué)科的基本問(wèn)題如何讓計(jì)算機(jī)具有語(yǔ)言信息處理能力？如何利用計(jì)算機(jī)處理海量的語(yǔ)言信息？,為什么要研究計(jì)算語(yǔ)言學(xué)？,信息時(shí)代到了！語(yǔ)言是信息的載體。提高計(jì)算機(jī)的智能：能理解和處理大量語(yǔ)言信息。,機(jī)器能夠理解人的語(yǔ)言嗎？,很難，但是沒(méi)有證據(jù)表明不行。什么是理解？結(jié)構(gòu)主義：機(jī)器的理解機(jī)制與人相同。問(wèn)題在于誰(shuí)也說(shuō)不清自己理解語(yǔ)言的步驟。功能主義：

3、機(jī)器的表現(xiàn)與人相同。圖靈測(cè)試：如果通過(guò)自然語(yǔ)言問(wèn)答，一個(gè)人無(wú)法識(shí)別和他對(duì)話的是人還是機(jī)器，那么就應(yīng)該承認(rèn)機(jī)器具有智能。,一個(gè)NLP的例子：英漢翻譯,輸入英文句子：MissSmithputtwobooksonthistable.形態(tài)分析(MorphologicalAnalysis)詞形還原（Lemmatization）：將詞還原為詞典中的原型。詞匯符號(hào)化（Tokenization）：相當(dāng)于中文分詞。分析結(jié)果：MissSmithput(+ed)twobook+sonthistable.,句法分析（SyntacticAnalysis）：分析句子的結(jié)構(gòu)。,詞匯轉(zhuǎn)換Miss小姐Smith史密斯put(+

4、ed)放two兩book+s書(shū)on在上面this這diningtable.餐桌短語(yǔ)轉(zhuǎn)換小姐史密斯放兩書(shū)在上面這餐桌史密斯小姐放兩書(shū)在這餐桌上面,生成史密斯小姐放兩書(shū)在這桌子上面。史密斯小姐（把）兩（本）書(shū)放在這（張）桌子上面。最終翻譯結(jié)果英文：MissSmithputtwobooksonthetable.中文：史密斯小姐把兩本書(shū)放在這張桌子上面。,機(jī)器如何理解自然語(yǔ)言？,機(jī)器對(duì)自然語(yǔ)言的理解方法，可借鑒編譯器的工作原理。機(jī)器通過(guò)編譯器，可以分析、理解人工語(yǔ)言（程序設(shè)計(jì)語(yǔ)言）編譯器：讀入源語(yǔ)言程序，將其翻譯成目標(biāo)語(yǔ)言的程序。,編譯器工作過(guò)程,編譯器例子：詞法分析將輸入的字符流切分為token序列

5、。語(yǔ)法分析：句子結(jié)構(gòu)分析。語(yǔ)義分析：檢測(cè)語(yǔ)義錯(cuò)誤。,編譯器工作過(guò)程,編譯器例子：中間代碼生成生成中間表示。代碼優(yōu)化：改進(jìn)中間代碼，以產(chǎn)生更高效率的機(jī)器代碼。目標(biāo)代碼生成生成可重新定位的機(jī)器代碼或匯編代碼。,機(jī)器如何理解自然語(yǔ)言？,機(jī)器理解自然語(yǔ)言的步驟文本預(yù)處理句子切分形態(tài)分析分詞詞性標(biāo)注句法分析詞義消岐語(yǔ)義分析語(yǔ)用分析篇章分析海量文檔處理,機(jī)器理解自然語(yǔ)言的步驟,文本預(yù)處理：文本采集文本格式轉(zhuǎn)換：PDF、Office、HTML純文本文本編碼識(shí)別、轉(zhuǎn)換：GB、Big5、Unicode。句子切分句子邊界識(shí)別例如：Mr.Wanglikesswimming,dancingandreading.形態(tài)分

6、析：研究構(gòu)詞方法，詞的有意義的組合。構(gòu)詞的基本單位：詞素（詞根、前綴、后綴、詞尾）例如：老虎老虎；圖書(shū)館圖書(shū)館例如：work+erworkerdo+ingdoing,機(jī)器理解自然語(yǔ)言的步驟,分詞將句子切分為詞序列例如：釣魚(yú)島/是/中國(guó)/的/領(lǐng)土/。詞性標(biāo)注給句子的詞標(biāo)注正確的詞性例如：釣魚(yú)島n/是v/中國(guó)n/的de/領(lǐng)土n/。句法分析分析句子的組成結(jié)構(gòu)，句子結(jié)構(gòu)成分之間的相互關(guān)系。判定一個(gè)句子的合法性,機(jī)器理解自然語(yǔ)言的步驟,詞義消岐研究給句子的詞標(biāo)注正確的詞義。例如：這個(gè)人真牛。/牛：動(dòng)物了不起。語(yǔ)義分析（這句話說(shuō)了什么）研究如何從一個(gè)語(yǔ)句中詞的意義，以及這些詞在該語(yǔ)句的句法結(jié)構(gòu)中的作用來(lái)推

7、導(dǎo)出該語(yǔ)句的意義。語(yǔ)言和世界的映射關(guān)系施事、受事、工具等語(yǔ)用分析（為什么要說(shuō)這句話）研究不同語(yǔ)境中的語(yǔ)句的應(yīng)用，及語(yǔ)境對(duì)語(yǔ)句理解的作用語(yǔ)言交際目的：主題、述體、焦點(diǎn),機(jī)器理解自然語(yǔ)言的步驟,篇章分析分析篇章的結(jié)構(gòu)、主題、觀點(diǎn)、摘要、有用信息。主題分析觀點(diǎn)分析自動(dòng)文摘信息抽取信息過(guò)濾海量文檔處理信息檢索搜索引擎、數(shù)字圖書(shū)館文本分類、聚類分類檢索、聚類檢索話題探測(cè)與追蹤信息自組織,NLP的研究?jī)?nèi)容（基礎(chǔ)研究）,NLP的研究?jī)?nèi)容（應(yīng)用研究）,NLP的不同層次,應(yīng)用系統(tǒng)數(shù)字圖書(shū)館、電子商務(wù)、電子政務(wù)、遠(yuǎn)程教育、語(yǔ)言學(xué)習(xí),基礎(chǔ)研究分詞、詞性標(biāo)注、短語(yǔ)切分、句法分析、語(yǔ)義分析、篇章理解等,應(yīng)用技術(shù)研究自動(dòng)

8、問(wèn)答、機(jī)器翻譯、信息檢索、文本挖掘、自動(dòng)校對(duì)、信息抽取,資源建設(shè)語(yǔ)料庫(kù)資源建設(shè)語(yǔ)言學(xué)知識(shí)庫(kù)建設(shè),語(yǔ)言學(xué)家,NLP研究者,軟件企業(yè),NLP的學(xué)科特點(diǎn),交叉性學(xué)科語(yǔ)言學(xué)：語(yǔ)言學(xué)基礎(chǔ)知識(shí)。語(yǔ)言學(xué)理論：形式語(yǔ)言文法語(yǔ)言學(xué)資源：詞典、語(yǔ)料庫(kù)、知識(shí)庫(kù)數(shù)學(xué)語(yǔ)料庫(kù)語(yǔ)言學(xué)的數(shù)學(xué)基礎(chǔ)：概率論、統(tǒng)計(jì)學(xué)、信息論。模型：自動(dòng)機(jī)、Markov模型、HMM等。計(jì)算機(jī)科學(xué)機(jī)器學(xué)習(xí)：機(jī)器的學(xué)習(xí)算法人工智能（問(wèn)題求解，知識(shí)表示，狀態(tài)空間的圖搜索算法）心理語(yǔ)言學(xué)：研究人類理解自然語(yǔ)言的機(jī)制。,NLP的歷史,20世紀(jì)50年代起步機(jī)器翻譯、自動(dòng)文摘50-60年代采用模式匹配的方法60年代衰落70-80年代采用面向受限域的深入理解的方法

9、90年代至今統(tǒng)計(jì)方法占主流隨著互聯(lián)網(wǎng)的發(fā)展而復(fù)蘇互聯(lián)網(wǎng)為NLP提供了市場(chǎng)需求和試驗(yàn)數(shù)據(jù),NLP現(xiàn)狀,仍然缺乏理論基礎(chǔ)詞匯句法的問(wèn)題尚未解決，已開(kāi)始挑戰(zhàn)語(yǔ)義、知識(shí)等深層課題基于統(tǒng)計(jì)的NLP技術(shù)占據(jù)主流規(guī)則和統(tǒng)計(jì)相結(jié)合的NLP研究方法網(wǎng)絡(luò)信息處理成為NLP新熱點(diǎn)Ontology受到普遍重視一切才剛剛開(kāi)始,NLP的困難,歧義(Ambiguity)病構(gòu)(Ill-Formedness)臺(tái)灣：蘇克毅,歧義,注音歧義快樂(lè)(le4)的單身漢火紅的第五樂(lè)(yue4)章分詞歧義交叉型歧義研究/生命/的/起源研究生/命/的/起源組合型歧義他/從/馬/上/下來(lái)他/從/馬上/下來(lái),分詞歧義和未登錄詞絞在一起劉挺/拔/出

10、/寶劍劉/挺拔/出/寶劍多交集字段的歧義結(jié)合/成分/子結(jié)/合成/分子結(jié)合/成/分子有的歧義無(wú)法在句子內(nèi)部解決乒乓球/拍賣(mài)/完/了乒乓球拍/賣(mài)/完/了短語(yǔ)歧義咬死獵人的狗咬死獵人的狗,Ourcompanyistrainingworkers(1),Ourcompanyistrainingworkers,AdjP,NP,V,NP,VP,NP,S,Ourcompanyistrainingworkers(2),Ourcompanyistrainingworkers,V,NP,Aux,VP,VP,NP,S,詞義歧義打玩乒乓球打編制毛衣打通訊電話語(yǔ)用歧義“你真討厭！”,病構(gòu),真實(shí)文本的語(yǔ)言現(xiàn)象非常復(fù)雜，不規(guī)

11、范，不干凈自然語(yǔ)言中存在未知的語(yǔ)言現(xiàn)象新的詞匯：例如:“非典”、專業(yè)術(shù)語(yǔ)、外來(lái)語(yǔ)、人名等新的詞義：例如：窗口、奔騰等新的語(yǔ)句結(jié)構(gòu)：尤其在口語(yǔ)或網(wǎng)絡(luò)語(yǔ)言，不斷出現(xiàn)一些“非規(guī)范的”新的語(yǔ)句結(jié)構(gòu)。例子：他很男人。（名詞不能受程度副詞修飾）由于作者疏忽造成的錯(cuò)誤真實(shí)的語(yǔ)言是非常臟的,重述(Paraphrasing),舉例毛澤東出生于1893年毛澤東出生在1893年毛澤東誕生于1893年毛澤東同志是1893年出生的毛主席生于1893年毛澤東生于光緒6年（虛擬的）,層間循環(huán)依賴問(wèn)題,循環(huán)依賴高層模塊建立在底層模塊分析的基礎(chǔ)上底層模塊需要高層模塊的指導(dǎo)才能準(zhǔn)確分析如何克服這種致命的矛盾簡(jiǎn)單級(jí)聯(lián)每層的準(zhǔn)確率是

12、90%，如果系統(tǒng)分6層，最終結(jié)果是：53%；即使每層95%，最終結(jié)果73%一體化：如分詞/詞性標(biāo)注一體化反饋人是怎么做的？人在瞬間綜合運(yùn)用各個(gè)層面的知識(shí),NLP方法論,理性主義和經(jīng)驗(yàn)主義,對(duì)語(yǔ)言知識(shí)來(lái)源的不同認(rèn)識(shí)理性主義信仰Chomsky的語(yǔ)言本能的觀點(diǎn)。（先天論）先天語(yǔ)言結(jié)構(gòu)：人的大部分語(yǔ)言知識(shí)是與生俱來(lái)的，由遺傳決定的。經(jīng)驗(yàn)主義人的語(yǔ)言知識(shí)是從感官的輸入，通過(guò)聯(lián)想、模式識(shí)別、泛化等操作學(xué)習(xí)到的。（學(xué)習(xí)論）學(xué)習(xí)：從大量語(yǔ)言數(shù)據(jù)中學(xué)習(xí)復(fù)雜、廣泛的語(yǔ)言知識(shí)。,理性主義和經(jīng)驗(yàn)主義,研究對(duì)象不同理性主義研究人的語(yǔ)言知識(shí)結(jié)構(gòu)。試圖書(shū)寫(xiě)大量的語(yǔ)言規(guī)則，復(fù)制人腦中的語(yǔ)言模型。結(jié)構(gòu)主義者經(jīng)驗(yàn)主義研究大規(guī)模真

13、實(shí)文本，認(rèn)為語(yǔ)料庫(kù)是語(yǔ)言知識(shí)的來(lái)源。將語(yǔ)言視為隨機(jī)現(xiàn)象，用概率分布描述語(yǔ)言。選擇一個(gè)概率模型，采用統(tǒng)計(jì)學(xué)、模式識(shí)別、機(jī)器學(xué)習(xí)方法，應(yīng)用大規(guī)模真實(shí)文本中的例子，訓(xùn)練模型的參數(shù)。功能主義者,理性主義和經(jīng)驗(yàn)主義,研究方法不同理性主義理論：一般根據(jù)Chomsky語(yǔ)言理論，設(shè)計(jì)語(yǔ)言描述文法。方法：根據(jù)一些語(yǔ)言現(xiàn)象，總結(jié)出語(yǔ)言規(guī)則，形成語(yǔ)言的規(guī)則集。應(yīng)用：應(yīng)用語(yǔ)言規(guī)則，分析句子的結(jié)構(gòu)，判斷其合法性。根據(jù)句子中詞的語(yǔ)義，以及它在句子結(jié)構(gòu)中的作用，推斷出句子的語(yǔ)義。經(jīng)驗(yàn)主義理論：基于Shannon的信息論。語(yǔ)料庫(kù)語(yǔ)言學(xué)（corpuslinguistics）方法：根據(jù)給定的語(yǔ)言問(wèn)題，構(gòu)造一個(gè)概率模型，通過(guò)真實(shí)數(shù)據(jù)（語(yǔ)料庫(kù)），訓(xùn)練模型參數(shù)。應(yīng)用：運(yùn)用模型參數(shù)，估計(jì)語(yǔ)言現(xiàn)象的出現(xiàn)概率。理性主義和經(jīng)驗(yàn)主義的融合統(tǒng)計(jì)和規(guī)則相結(jié)合,NLP的瓶頸,知識(shí)獲取(KnowledgeAcquisition)知識(shí)獲取和知識(shí)表示相關(guān)聯(lián)規(guī)則：人工知識(shí)參