1、基于詞典和WEB資源的詞匯關(guān)系抽取,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,詞匯關(guān)系大綱,引言 同義詞抽取資源 中文概念詞典（CCD） 哈工大同義詞詞林（擴(kuò)展版） 百度百科 百度翻譯+有道翻譯 同義詞抽取流程 下位詞抽取資源 中文概念詞典（CCD） 百度百科 互動(dòng)百科 維基百科 百度相關(guān)搜索 下位詞抽取流程 實(shí)驗(yàn)結(jié)果,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,引言,同義詞和下位詞的發(fā)現(xiàn)在自然語(yǔ)言處理領(lǐng)域中對(duì)信息檢索，機(jī)器翻譯等領(lǐng)域的研究有重要的意義。 傳統(tǒng)的同義詞和下位詞的發(fā)現(xiàn)是基于詞典知識(shí)庫(kù)，如中文概念詞典，同義詞詞林等知識(shí)庫(kù)。 隨著Web的發(fā)展，網(wǎng)絡(luò)上出現(xiàn)了大量的資源知識(shí)庫(kù)。例如“百度百科”、“有道翻譯”、“維基百

2、科”等Web資源。 把傳統(tǒng)的詞典和Web資源各自優(yōu)勢(shì)進(jìn)行結(jié)合，將會(huì)更加有效的抽取詞匯關(guān)系。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1 同義詞抽取資源,中文概念詞典（CCD） 哈工大同義詞詞林（擴(kuò)展版） 百度百科 百度翻譯+有道翻譯,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.1 中文概念詞典（CCD）,CCD是一個(gè)WordNet類型的漢英雙語(yǔ)語(yǔ)義詞典，從關(guān)系語(yǔ)義學(xué)的觀點(diǎn)出發(fā)，以同義詞集(Synset)定義概念(concept),在概念之間定義關(guān)系(relation)來(lái)描述語(yǔ)義,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.2 哈工大同義詞詞林,同義詞詞林(擴(kuò)展版)在原有的三層分類體系上增加兩層，得到最終過(guò)的五層分類體系，唯一的代

3、表詞典中出現(xiàn)詞語(yǔ)的編碼如： Ba01A02= 物質(zhì) 質(zhì) 素Cb02A01= 東南西北 四方Ba01A03 萬(wàn)物Cb06E09 民間Ba01B08# 固體 液體 氣體 流體 半流體Ba01B10# 導(dǎo)體 半導(dǎo)體 超導(dǎo)體以上詞語(yǔ)編碼中第八位編碼的標(biāo)記“=”、“”、“#”，“=”代表“相等”、“同義”，“”代表“自我封閉”，“#”代表“不等”、“同類”。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.3 百度百科(1/4),根據(jù)特征詞進(jìn)行模式識(shí)別，其中查詢?cè)~用W(w)，特征詞用S(w)表示，其在百科中的同義詞用T(w)表示，抽取的模式有： 1 W(w)+S(w)+T(w) 例如：“埃菲爾鐵塔”百科中內(nèi)容： 埃菲爾

4、鐵塔（又譯“艾菲爾鐵塔”）是法國(guó)巴黎著名鐵塔，坐落在塞納河南岸馬爾斯廣場(chǎng)的北端。 以上內(nèi)容中查詢?cè)~W(w):“埃菲爾鐵塔”，特征詞S(w):“又譯”，同義詞T(w):“艾菲爾鐵塔”,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.3 百度百科(2/4),2 T(w)+S(w)+W(w) 例如：“澳大利亞”的百科內(nèi)容中： 澳大利亞聯(lián)邦（The Commonwealth of Australia）簡(jiǎn)稱澳大利亞（Australia）。 以上內(nèi)容中T(w)：澳大利亞聯(lián)邦，S(w)：簡(jiǎn)稱，W(w)：澳大利亞,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.3 百度百科(3/4),3 W(w)+T(w)+S(w) 例如：“牦?！钡陌倏苾?nèi)

5、容中： 牦牛.有“高原之舟”之稱。 以上內(nèi)容中W(w)：牦牛，T(w)：高原之舟，S(w)：之稱。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.3 百度百科(4/4),4 W(w)和T(W)是同義詞，已合并。 例如：“奧林匹克村”百度百科中內(nèi)容： 奧林匹克村和奧運(yùn)村是同義詞，已合并。 以上內(nèi)容中W(w)：奧林匹克村，T(w)：奧運(yùn)村。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.4 百度翻譯+有道翻譯,通過(guò)百度翻譯將同義詞詞匯進(jìn)行翻譯，如圖1：,圖1 百度翻譯詞匯,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1.5 有道翻譯,有道在線翻譯將同義詞詞匯的英語(yǔ)進(jìn)行翻譯，如圖2：,圖2 有道在線翻譯,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞

6、流程圖,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞流程圖,例如：“安睡”在CCD中的CSynset字段為“安睡 熟睡 睡 著 睡覺(jué) 酣睡”,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞流程圖,例如：“安慰”在同義詞詞林中對(duì)應(yīng)編碼為“Ga07A01”和“Hi35A01”對(duì)應(yīng)的內(nèi)容,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞流程圖,例如：澳大利亞聯(lián)邦（The Commonwealth of Australia）簡(jiǎn)稱澳大利亞（Australia）。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞流程圖,例如：奧林匹克村和奧運(yùn)村是同義詞，已合并。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2 同義詞流程圖,例如：“阿肯色州”對(duì)應(yīng)的英語(yǔ)為

7、“Arkansas”，通過(guò)有道翻譯之后的結(jié)果為：-阿肯色州 +阿肯色 +阿肯色大學(xué) +美國(guó)阿肯色州,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3 下位詞抽取資源,中文概念詞典（CCD） 百度百科 互動(dòng)百科 維基百科 百度相關(guān)搜索,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3.1中文概念詞典（CCD）,CCD主要的語(yǔ)義關(guān)系有同義關(guān)系、反義關(guān)系、下位關(guān)系、整體部分關(guān)系等。在進(jìn)行下位詞的抽取中主要使用CCD的下位關(guān)系對(duì)下位詞的抽取。,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3.2百度百科,百度百科中分類的獲取通過(guò)“tag:同義詞詞匯”,如圖3：,圖3 “安全軟件”百度百科標(biāo)簽分類,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3.3 互動(dòng)百科,互動(dòng)百科分類標(biāo)簽，如圖4：,圖4 “安全軟件”互動(dòng)百科分類,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3.4 維基百科,維基百科分類標(biāo)簽，如圖5：,圖5 “安全軟件”維基百科分類,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3.5 百度搜索,百度搜索相關(guān)搜索內(nèi)容，如圖6：,圖6 “安全軟件”相關(guān)搜索,鄭州大學(xué)自然語(yǔ)言處理實(shí)