基于大規(guī)模語(yǔ)料庫(kù)的同義詞集自動(dòng)獲取方法研究

同義詞集是語(yǔ)言學(xué)處理的重要基礎(chǔ)資源，在搜索、機(jī)器翻譯等應(yīng)用系統(tǒng)中發(fā)揮著重要作用。在意義分散、語(yǔ)法分析等研究領(lǐng)域，它也發(fā)揮著重要作用。同義詞集是意義詞典的基本形式，如文本網(wǎng)絡(luò)中的“調(diào)用”、“使用、使用、分析、結(jié)果”。同義詞林的“勞動(dòng)力分工”。然而，當(dāng)前的同義詞集主要是手動(dòng)創(chuàng)建的，雖然成本高、成本復(fù)雜，但容易受到詞典輸出的個(gè)人主觀因素的影響，這并不能反映語(yǔ)言的大規(guī)模使用的真正用法。面對(duì)復(fù)雜的語(yǔ)言現(xiàn)象，無(wú)法自動(dòng)更新和擴(kuò)大。因此，基于大量語(yǔ)料的同義詞集自動(dòng)獲取已成為一個(gè)重要的基礎(chǔ)研究主題。本文采用模式方法基于圖模型來(lái)進(jìn)行漢語(yǔ)同義詞集的自動(dòng)獲取,著重在Newman算法的基礎(chǔ)上,充分挖掘和利用并列結(jié)構(gòu)的特性和漢語(yǔ)的構(gòu)詞特點(diǎn),對(duì)圖中邊的權(quán)值加以改進(jìn)而提升效果.經(jīng)過(guò)6種方法的改進(jìn),同義詞集的準(zhǔn)確率從初始的23.28%提升至53.12%,提升幅度為29.84%.1基于模式方法的相似方法或模式方法在漢語(yǔ)相似同義詞集自動(dòng)獲取主要有兩種研究方法.一是基于分布相似的方法(distributionalsimilarity),將詞語(yǔ)的上下文語(yǔ)境用特征向量來(lái)表示,通過(guò)計(jì)算特征向量之間的相似來(lái)推導(dǎo)出目標(biāo)詞語(yǔ)之間的相似性.另一種是基于模式的方法(pattern-basedapproach),利用一些詞匯句法模式(lexico-syntacticpatterns)來(lái)抽取有特定句法關(guān)聯(lián)的詞語(yǔ),進(jìn)而獲取同義詞集.分布相似方法和模式方法具有一定的互補(bǔ)性,有研究將兩種方法集成起來(lái)以期取得更好的效果.研究表明,模式方法較分布相似方法能生成更為準(zhǔn)確的結(jié)果,而且耗費(fèi)較小的計(jì)算代價(jià).模式方法通常都采用基于圖的計(jì)算方法,通過(guò)對(duì)圖進(jìn)行劃分來(lái)實(shí)現(xiàn)同義詞集的自動(dòng)聚類.漢語(yǔ)相似詞的研究主要集中在基于人工構(gòu)建辭典HowNet來(lái)計(jì)算詞匯語(yǔ)義間的相似度,而面向大規(guī)模語(yǔ)料來(lái)進(jìn)行漢語(yǔ)同義詞集自動(dòng)獲取的研究還不多見(jiàn).2列出結(jié)構(gòu)數(shù)據(jù)的收集和實(shí)驗(yàn)評(píng)估方法2.1語(yǔ)料的前期處理同義詞集的自動(dòng)獲取需要在大規(guī)模語(yǔ)料的基礎(chǔ)上進(jìn)行.本文使用國(guó)際語(yǔ)言資源聯(lián)盟LDCChineseGigaword的新華社語(yǔ)料,該語(yǔ)料庫(kù)收錄了1990—2004年15年的新華社全部文本,共約4.7億字.對(duì)語(yǔ)料進(jìn)行了前期處理工作:1)從Unicode到GB編碼的轉(zhuǎn)換;2)利用中國(guó)科學(xué)院計(jì)算技術(shù)研究所的分詞軟件ICTCLAS對(duì)全部文本進(jìn)行了自動(dòng)詞語(yǔ)切分和詞性標(biāo)注.語(yǔ)言中表征詞語(yǔ)相似的最典型的句法模式是并列結(jié)構(gòu).從語(yǔ)料中抽取如下4個(gè)典型的漢語(yǔ)并列結(jié)構(gòu)模式:1)/n+、+/n+/w;2)/n+和/c+/n+/w;3)/n+或/c+/n+/w;4)/n+與/c+/n+/w.其中,/n表示名詞,/w表示標(biāo)點(diǎn)符號(hào),/c表示連詞對(duì)檢索出的并列結(jié)構(gòu)詞對(duì)進(jìn)一步加工整理,以詞語(yǔ)為結(jié)點(diǎn)詞語(yǔ)之間的聯(lián)系為邊、詞語(yǔ)之間共現(xiàn)的次數(shù)為邊的權(quán)值,形成圖,如表1所示:2.2實(shí)驗(yàn)結(jié)果與分析對(duì)自動(dòng)獲取的同義詞集進(jìn)行科學(xué)評(píng)價(jià)是一個(gè)公認(rèn)的難題.有兩種主要的評(píng)價(jià)方法:一種是人工評(píng)價(jià),即由研究者人工來(lái)制定標(biāo)準(zhǔn)答案;另一種是基于某部廣泛使用的權(quán)威辭典,如英語(yǔ)中經(jīng)常參照的是WordNet.本文參照哈爾濱工業(yè)大學(xué)開(kāi)發(fā)的《同義詞詞林?jǐn)U展版》進(jìn)行評(píng)價(jià).《同義詞詞林?jǐn)U展版》按照樹(shù)狀的層次結(jié)構(gòu)將所有詞語(yǔ)組織在一起,分成大、中、小3類,大類12個(gè),中類97個(gè),小類1400個(gè),本文在中類的層次上對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià).面對(duì)大規(guī)模語(yǔ)料來(lái)挖掘相似詞語(yǔ)時(shí),準(zhǔn)確率比召回率顯得更重要,因此本文以準(zhǔn)確率(precision)作為主要的評(píng)價(jià)指標(biāo).設(shè)實(shí)驗(yàn)結(jié)果將N個(gè)詞語(yǔ)聚類到了C1,C2,…,Ckk個(gè)類別中,這些詞語(yǔ)在語(yǔ)義辭典中實(shí)際分布在S1,S2,…,Smm個(gè)語(yǔ)義類中.nijij表示第Ci個(gè)類中對(duì)應(yīng)到辭典語(yǔ)義類Sj的詞語(yǔ)個(gè)數(shù),那么Ci正確的語(yǔ)義類就是對(duì)應(yīng)的詞語(yǔ)數(shù)最多的那個(gè)辭典語(yǔ)義類Sj,Ci的準(zhǔn)確率就是Ci中對(duì)應(yīng)到Sj的元素個(gè)數(shù)在Ci類中所占據(jù)的比例:Sj=argmax(nij);Ρ(Ci)=|Ci∩Sj|Ci.(1)Sj=argmax(nij);P(Ci)=|Ci∩Sj|Ci.(1)實(shí)驗(yàn)結(jié)果總體的準(zhǔn)確率就是每個(gè)類別Ci準(zhǔn)確率的總和,小的集合準(zhǔn)確率會(huì)比較高,但對(duì)總體準(zhǔn)確率的影響相應(yīng)會(huì)比較弱,因此需要對(duì)集合的大小加以加權(quán),總體準(zhǔn)確率為Ρ=∑i|Ci|ΝΡ(Ci).(2)P=∑i|Ci|NP(Ci).(2)3類別q值的計(jì)算Newman方法是一種圖聚類算法,廣泛應(yīng)用于網(wǎng)絡(luò)社區(qū)結(jié)構(gòu)探測(cè),Matsuo等人將其應(yīng)用于詞聚類研究.給定一個(gè)網(wǎng)絡(luò)將其劃分為若干個(gè)子圖,定義一個(gè)質(zhì)量函數(shù)(qualityfunction)Q用以衡量一個(gè)特定的劃分是否合理:{ai=∑jeij,Q=∑i(eii-a2i),(3)eij為類別i和j之間邊的權(quán)值之和除以總的邊權(quán)值之和,eii為類別i內(nèi)部的邊的權(quán)值之和除以總的邊權(quán)值之和.Q值的意義是在當(dāng)前劃分下,落在類別內(nèi)部的邊的比例,減去當(dāng)隨機(jī)安排各邊時(shí)這個(gè)量的期望值.如果一個(gè)特定的劃分,類別內(nèi)部邊的比例并沒(méi)有大于隨機(jī)情況下的期望值,將會(huì)得到Q=0.當(dāng)Q≠0時(shí),則表示與隨機(jī)情況有偏離,Q>0.3時(shí)就表示是一個(gè)比較合理的劃分.為了減小計(jì)算復(fù)雜度,采用貪心算法來(lái)求得最優(yōu)的Q值.定義ΔQ用以表示兩個(gè)類別合并時(shí)Q值的增加量:ΔQ=2(eij-aiaj).(4)算法過(guò)程可簡(jiǎn)單描述為:1)初始狀態(tài)下,所有的結(jié)點(diǎn)分別為一個(gè)類別,計(jì)算一個(gè)初始的Q值;2)每次選擇兩個(gè)類別加以合并,使ΔQ最大;3)直到所有結(jié)點(diǎn)合并為一個(gè)類別時(shí)停止合并,合并過(guò)程中Q值最大的狀態(tài)即為最合理的劃分.表2給出了初步的實(shí)驗(yàn)結(jié)果.在匯報(bào)實(shí)驗(yàn)結(jié)果時(shí),除了給出主要的評(píng)價(jià)指標(biāo)“準(zhǔn)確率”之外,還給出了以下統(tǒng)計(jì)數(shù)據(jù):words,詞語(yǔ)個(gè)數(shù);clusters,類別數(shù);coverageclusters,對(duì)應(yīng)到《同義詞詞林?jǐn)U展版》的類別數(shù).4調(diào)整邊界條件在語(yǔ)料規(guī)模限定的情況下,提高同義詞集獲取效果的主要途徑是利用各種知識(shí)來(lái)調(diào)整邊的權(quán)值,但在前人文獻(xiàn)中并未見(jiàn)到相關(guān)研究.本文主要依照以下兩個(gè)方向來(lái)調(diào)整邊的權(quán)值:1)去除原始數(shù)據(jù)中的噪音,降低傳染(infection),由于噪音的存在,當(dāng)一個(gè)異類的詞語(yǔ)W1偶然與一個(gè)類中的詞語(yǔ)W2共現(xiàn)在并列結(jié)構(gòu)中時(shí),這種關(guān)聯(lián)就會(huì)殃及到W2的其他共現(xiàn)詞語(yǔ),從而造成傳染而生成錯(cuò)誤的同義詞集結(jié)果;2)根據(jù)漢語(yǔ)的語(yǔ)言特點(diǎn)和并列結(jié)構(gòu)的特性,加大或者減輕邊的權(quán)值,使之更趨符合相似詞的語(yǔ)言特性.本文提出了6種改進(jìn)方法,大幅度提升了漢語(yǔ)同義詞集自動(dòng)獲取的準(zhǔn)確率.4.1分割語(yǔ)料方法1)思想啟發(fā).Davidov和Rappoport采用基于團(tuán)的圖劃分方法(clique-setmethod)來(lái)自動(dòng)發(fā)現(xiàn)同義詞集,采用了語(yǔ)料分窗口的方法(corpuswindowing)來(lái)提高效果.受此啟發(fā),本文采用了分割語(yǔ)料方法來(lái)去除原始語(yǔ)料中的數(shù)據(jù)噪音.將約2.2GB的總語(yǔ)料分成3份(731MB,701MB,759MB),在每份語(yǔ)料中分別提取并列結(jié)構(gòu)模式的實(shí)例,只保留在3份語(yǔ)料中都出現(xiàn)的實(shí)例而摒棄僅出現(xiàn)在其中一份或兩份語(yǔ)料中的實(shí)例,以此來(lái)去除語(yǔ)料中偶然出現(xiàn)的實(shí)例和太過(guò)語(yǔ)境相關(guān)的實(shí)例.在Davidov和Rappoport的方法中,是先基于每個(gè)分窗口分別進(jìn)行聚類,然后選擇至少在兩個(gè)窗口中共同出現(xiàn)的結(jié)果.不同于此,本文只是基于分語(yǔ)料來(lái)確定邊的權(quán)值,而后再進(jìn)行同義詞集的獲取.2)權(quán)值計(jì)算.設(shè)兩個(gè)詞語(yǔ)(結(jié)點(diǎn))Wi與Wj在3個(gè)分語(yǔ)料中在并列結(jié)構(gòu)中出現(xiàn)的次數(shù)(邊權(quán)值)分別為wet(Wij),wet(Wij),wet(Wij).只保留在3個(gè)分語(yǔ)料中都出現(xiàn)的邊:{(Wi,Wj)|wet(Wij)>0&&wet(Wij)>0&&wet(Wij)>0}?邊的權(quán)值取3個(gè)分語(yǔ)料的最小值:Weight1(Wi,Wj)=min(wet((Wij),wet(Wij),wet(Wij)).(5)例如,(地位,作用)在3個(gè)分語(yǔ)料中出現(xiàn)的次數(shù)分別為:wet=318,wet=324,wet=327,則Weight1(地位,作用)=min(318,324,327)=318.3)實(shí)驗(yàn)結(jié)果.表3顯示了分割語(yǔ)料方法的實(shí)驗(yàn)結(jié)果.令人驚喜的是分割語(yǔ)料方法使準(zhǔn)確率提高了20.41%,可見(jiàn)分割語(yǔ)料方法可以有效摒除語(yǔ)料中的數(shù)據(jù)噪音.但分割語(yǔ)料方法的代價(jià)是涵蓋的詞語(yǔ)數(shù)目急劇減少,由25139個(gè)詞語(yǔ)減少到5040個(gè)詞語(yǔ),召回率明顯降低.不過(guò),在面向大規(guī)模語(yǔ)料的同義詞集自動(dòng)獲取研究中,當(dāng)前更為關(guān)注的是準(zhǔn)確率,而召回率可以通過(guò)增加語(yǔ)料規(guī)模來(lái)部分解決.4.2實(shí)驗(yàn)結(jié)果及分析1)思想啟發(fā).出現(xiàn)次數(shù)較少的邊有可能是噪音而引發(fā)傳染,因此可以切斷權(quán)值小于指定閾值λ2的邊,進(jìn)一步稀疏化鄰近度矩陣.2)權(quán)值計(jì)算.在4.1節(jié)分割語(yǔ)料的權(quán)值基礎(chǔ)上:若Weight1(Wi,Wj)≤λ2則刪除邊(Wi,Wj);否則Weight2(Wi,Wj)=Weight1(Wi,Wj).(6)3)實(shí)驗(yàn)結(jié)果.表4顯示了去除低頻邊后的實(shí)驗(yàn)結(jié)果.λ2=0時(shí)即為4.1節(jié)中分割語(yǔ)料的實(shí)驗(yàn)結(jié)果.λ2的不同取值均使準(zhǔn)確率有提升.λ2=1時(shí),提升幅度最小為2.66%;λ2=4時(shí),提升幅度最大為8.98%.但隨著λ2取值的增大,雖然準(zhǔn)確率在提升,但涵蓋詞語(yǔ)的數(shù)目在減少,召回率在降低.當(dāng)λ2=1時(shí)詞語(yǔ)數(shù)為3340個(gè),基本上能夠涵蓋現(xiàn)代漢語(yǔ)中常用的名詞,因此,后續(xù)實(shí)驗(yàn)在λ2=1時(shí)3340個(gè)名詞的基礎(chǔ)上進(jìn)行.4.3加重對(duì)稱雙向邊的實(shí)驗(yàn)1)思想啟發(fā).如果詞語(yǔ)Wi和Wj同時(shí)出現(xiàn)在Wi+/c+Wj,Wj+/c+Wi這樣對(duì)稱的并列結(jié)構(gòu)模式中,則詞語(yǔ)Wi和Wj之間的聯(lián)系比只出現(xiàn)在單向結(jié)構(gòu)中的詞語(yǔ)要緊密得多,更趨向于在一個(gè)同義詞集內(nèi).因此,可以對(duì)對(duì)稱的雙向邊加重權(quán)值.2)權(quán)值計(jì)算.設(shè)詞語(yǔ)Wi和Wj在Wi+/c+Wj中出現(xiàn)了p次,在Wj+/c+Wi中出現(xiàn)了q次,則對(duì)稱邊為Sym(Wij)=min(p,q).在3個(gè)分窗口中分別統(tǒng)計(jì)Sym(Wij),Sym(Wij),Sym(Wij).在4.2節(jié)去除低頻邊的權(quán)值基礎(chǔ)上:Weight3(Wi,Wj)=Weight2(Wi,Wj)+λ3×min(sym(Wij),sym(Wij),sym(Wij))?(7)即在原有權(quán)值的基礎(chǔ)上,對(duì)對(duì)稱雙向邊的權(quán)值擴(kuò)大λ3倍.3)實(shí)驗(yàn)結(jié)果.表5顯示了加重雙向邊的實(shí)驗(yàn)結(jié)果.λ3=1即為4.2節(jié)去除低頻邊中λ2=1時(shí)的實(shí)驗(yàn)結(jié)果.λ3的不同取值均使準(zhǔn)確率有所提升,唯一例外的是λ3=2時(shí),準(zhǔn)確率有些許的下降.當(dāng)λ3=6時(shí),準(zhǔn)確率提升幅度最大為1.37%.總體而言,加重對(duì)稱雙向邊對(duì)準(zhǔn)確率的提升不顯著.4.4加重雙向邊的實(shí)驗(yàn)1)思想啟發(fā).Davidov和Rappoport采用基于團(tuán)的圖劃分方法(clique-setmethod)來(lái)對(duì)相似詞語(yǔ)聚類,本文借鑒其思想應(yīng)用到Newman算法中.在圖1中3個(gè)結(jié)點(diǎn)形成三角形且至少存在兩條雙向邊時(shí)構(gòu)成團(tuán)(clique),團(tuán)內(nèi)的各結(jié)點(diǎn)聯(lián)系緊密更易歸屬為一個(gè)類別在圖1中a,b,c分別表示邊(W1,W2),(W1,W3),(W2,W3)之間原有的權(quán)值.對(duì)團(tuán)內(nèi)的邊加重權(quán)值以此來(lái)增加它們劃入同一個(gè)類別的概率.2)權(quán)值計(jì)算.對(duì)所有的邊進(jìn)行搜索,找出所有不同的團(tuán),對(duì)團(tuán)中的每條邊計(jì)算一個(gè)附加值cliq_weight,然后在4.3節(jié)加重雙向邊中的權(quán)值基礎(chǔ)上增加cliq_weight(初始值為0):cliq_weight=cliq_weight+λ4×min(a,b,c),(8)Weight4(Wi,Wj)=Weight3(Wi,Wj)+cliq_weight.(9)一條邊可能從屬于多個(gè)不同的團(tuán),所以cliq_weight要遞加多次.一條邊從屬的團(tuán)越多,對(duì)應(yīng)的兩個(gè)結(jié)點(diǎn)劃入同一個(gè)類別的概率就越大.權(quán)值放大式λ4×min(a,b,c)考慮到了“小邊”的作用:如果團(tuán)中有一條邊是傳染邊,權(quán)值很小,那么就可能是一個(gè)“偽團(tuán)”,取最小邊的權(quán)值加以放大,會(huì)起到抑制傳染的作用.例如,語(yǔ)料中“書(shū)本”、“雜志”、“報(bào)刊”3個(gè)詞構(gòu)成一個(gè)團(tuán),Weight3(書(shū)本,雜志)=56,Weight3(雜志,報(bào)刊)=35,Weight3(書(shū)本,報(bào)刊)=24,當(dāng)λ4=10時(shí),cliq_weight=10×min(56,35,24)=240,則Weight4(書(shū)本,雜志)=296,Weight4(雜志,報(bào)刊)=275,Weight4(書(shū)本,報(bào)刊)=264.3)實(shí)驗(yàn)結(jié)果.表6顯示了加重團(tuán)的實(shí)驗(yàn)結(jié)果.λ4=0即為4.3節(jié)加重雙向邊λ3=6時(shí)的最佳實(shí)驗(yàn)結(jié)果.可以看出,加重團(tuán)的方法對(duì)準(zhǔn)確率的提升作用甚微.當(dāng)λ4取值較小時(shí),準(zhǔn)確率不升反降.λ4=16時(shí),準(zhǔn)確率最多僅提升了0.3%.4.5加重相同后字1)思想啟發(fā).根據(jù)漢語(yǔ)的構(gòu)詞特點(diǎn),如果兩個(gè)詞語(yǔ)的最后一個(gè)漢字相同,則這兩個(gè)詞歸屬為同一個(gè)語(yǔ)義類的可能性就很大,例如“海軍、陸軍、空軍”,“使命感,危機(jī)感”等.因此,當(dāng)兩個(gè)結(jié)點(diǎn)的后字相同時(shí),可放大其邊的權(quán)值.2)權(quán)值計(jì)算.在4.4節(jié)加重團(tuán)的基礎(chǔ)上,如果兩個(gè)結(jié)點(diǎn)的后字相同,則將邊的權(quán)值放大λ5倍:Weight5(Wi,Wj)=λ5×Weight4(Wi,Wj).(10)3)實(shí)驗(yàn)結(jié)果.表7顯示了加重相同后字的實(shí)驗(yàn)結(jié)果.λ5=0即為4.4節(jié)加重團(tuán)λ4=16時(shí)的最佳實(shí)驗(yàn)結(jié)果.λ5的不同取值對(duì)準(zhǔn)確率均有提升,可見(jiàn)“加重相同后字”這一簡(jiǎn)單的漢語(yǔ)構(gòu)詞規(guī)則對(duì)相似詞獲取有明顯作用.當(dāng)λ5=25時(shí),準(zhǔn)確率提升幅度最大為3.54%.4.6懲罰音節(jié)不等的實(shí)驗(yàn)1)思想啟發(fā).根據(jù)漢語(yǔ)的構(gòu)詞特點(diǎn),同語(yǔ)義類的詞語(yǔ)經(jīng)常表現(xiàn)為音節(jié)相等,而音節(jié)不等的詞語(yǔ)歸屬為同一個(gè)語(yǔ)義類的可能性降低.另一方面,本文研究所依托的大規(guī)模漢語(yǔ)語(yǔ)料庫(kù)只是經(jīng)由分詞軟件完全自動(dòng)切分完成的,未經(jīng)人工校對(duì),自動(dòng)分詞所造成的詞語(yǔ)切分錯(cuò)誤和切分碎片會(huì)造成傳染.因此,當(dāng)兩個(gè)結(jié)點(diǎn)的音節(jié)不相等時(shí),可施行懲罰,縮小其相應(yīng)邊的權(quán)值.2)權(quán)值計(jì)算.在4.5節(jié)加重相同后字的基礎(chǔ)上,如果兩個(gè)結(jié)點(diǎn)的音節(jié)不等(即組成的漢字個(gè)數(shù)不等),將邊的權(quán)值縮小λ6倍,并取