中文指代消解方法研究姓名：郎君指導(dǎo)老師：秦兵答辯時(shí)間：2004年6月29日Outline研究背景及意義國(guó)內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語(yǔ)識(shí)別及特征向量選定基于決策樹(shù)的中文指代消解結(jié)合規(guī)則的決策樹(shù)中文指代消解結(jié)論下一步工作研究背景及意義指代消解基本概念MUC信息抽取自動(dòng)文摘國(guó)內(nèi)外研究現(xiàn)狀CR基本原理：構(gòu)造候選->篩選+優(yōu)選理論模型：Hobbs算法、中心理論目前主要方法基于規(guī)則:句法知識(shí),RAP,Mitkov,王厚峰HNC機(jī)器學(xué)習(xí):McCarthy,Cardie,MBL,boostrapping決策樹(shù):Resolve95,Soon99,01,XiaofengYang03,04語(yǔ)料庫(kù)的加工與標(biāo)注指代消解的評(píng)估指標(biāo)論文研究方法及內(nèi)容在PFR上試驗(yàn)方法的可行性加入底層NLP技術(shù)實(shí)現(xiàn)系統(tǒng)改進(jìn)系統(tǒng)文檔分詞命名實(shí)體識(shí)別名詞短語(yǔ)識(shí)別指代消解詞性標(biāo)注中文指代消解文檔處理流程O(píng)utline研究背景及意義國(guó)內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語(yǔ)識(shí)別及特征向量選定基于決策樹(shù)的中文指代消解結(jié)合規(guī)則的決策樹(shù)中文指代消解結(jié)論下一步工作名詞短語(yǔ)識(shí)別指代消解采用MUC定義名詞短語(yǔ)之間的指代消解名詞短語(yǔ)識(shí)別的必要性名詞短語(yǔ)識(shí)別(NP分組)組別詞性符號(hào)詞性詞性說(shuō)明一般名詞組G(General)an名形詞具有名詞功能的形容詞Ng名語(yǔ)素名詞性語(yǔ)素n名詞nx英語(yǔ)等其他外語(yǔ)的字母或字符串nz其他專(zhuān)名vn名動(dòng)詞具有名詞功能的動(dòng)詞人名組H(HumanName)nr人名地名組P(PlaceName)ns地名機(jī)構(gòu)名組O(OrganizationName)nt機(jī)構(gòu)團(tuán)體代詞組D(PronounName)r代詞時(shí)間詞組T(Time)Tg時(shí)語(yǔ)素時(shí)間詞性語(yǔ)素t時(shí)間詞基本名詞成分分組情況名詞短語(yǔ)識(shí)別(識(shí)別步驟)第一步：識(shí)別出基本名詞成分。各種名詞成分分為六組，如上頁(yè)所示。第二步：同組短語(yǔ)局部最大化，亦即如果兩個(gè)相鄰的標(biāo)出的短語(yǔ)的組別相同，那么就將二者合并為一個(gè)短語(yǔ)。第三步：并列名詞性短語(yǔ)合并。如果出現(xiàn)在“和”、“與”或“、”兩側(cè)的短語(yǔ)組別相同，則將兩側(cè)短語(yǔ)連帶“和”、“與”或“、”一起合并為一個(gè)短語(yǔ)（這里排除代詞組的情況）。名詞短語(yǔ)識(shí)別(識(shí)別結(jié)果){19980101-01-001-001/m}Q{邁向/v}Q{充滿/v}Q{希望/n}G{的/u}Q{新/a}Q{世紀(jì)/n}G{--/w}Q{一九九八年/t新年/t}T{講話/n}G{（/w}Q{附/v}Q{圖片/n}G{１/m}Q{張/q}Q{）/w}Q{19980101-01-001-002/m}Q{中共中央/nt}O{總書(shū)記/n、/w國(guó)家/n主席/n}G{江/nr澤民/nr}H特征向量選定參考國(guó)內(nèi)外相關(guān)研究選定16個(gè)特征I的句法搭配I的單復(fù)數(shù)I的性別I的類(lèi)型I的被修飾限定類(lèi)型I的被修飾數(shù)量類(lèi)型J的句法搭配J的單復(fù)數(shù)J的性別J的類(lèi)型J的被修飾限定類(lèi)型J的被修飾數(shù)量類(lèi)型I、J的距離I、J的全匹配信息I、J的子串縮略信息I、J的抽取縮略信息Outline研究背景及意義國(guó)內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語(yǔ)識(shí)別及特征向量選定基于決策樹(shù)的中文指代消解結(jié)合規(guī)則的決策樹(shù)中文指代消解結(jié)論下一步工作基于決策樹(shù)的中文指代消解決策樹(shù)學(xué)習(xí)概況：ID3、C4.5、C5.0實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備情況正反例類(lèi)型指代類(lèi)型數(shù)量百分比正例（有指代關(guān)系）名詞短語(yǔ)4429.3%代詞3523.3%反例（無(wú)指代關(guān)系）名詞短語(yǔ)5838.7%代詞138.7%樣例的不同類(lèi)型分布情況C5.0生成的決策樹(shù)+FT

IJ全匹配+FT

J是I的抽取+FTJ是I的子串TJ的類(lèi)型in{H,P,O,T,G}_++FTJ的類(lèi)型

=DI的被修飾數(shù)量類(lèi)型+_TI的單復(fù)數(shù)in{S,P}I的單復(fù)數(shù)=U訓(xùn)練得到的中文名詞短語(yǔ)指代消解決策樹(shù)實(shí)驗(yàn)測(cè)試結(jié)果測(cè)試類(lèi)型正反例類(lèi)型指代類(lèi)型數(shù)量正確個(gè)數(shù)正確率封閉測(cè)試正例（有指代關(guān)系）名詞短語(yǔ)313096.8%代詞2424100%反例（無(wú)指代關(guān)系）名詞短語(yǔ)3737100%代詞8675%開(kāi)放測(cè)試正例（有指代關(guān)系）名詞短語(yǔ)1313100%代詞1111100%反例（無(wú)指代關(guān)系）名詞短語(yǔ)2121100%代詞5120%自由文本指代消解系統(tǒng)實(shí)現(xiàn)加入底層NLP技術(shù)斷句、分詞、詞性標(biāo)注、命名實(shí)體識(shí)別特征向量自動(dòng)構(gòu)建性別、單復(fù)數(shù)指代消解主控模塊思想系統(tǒng)運(yùn)行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]12聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問(wèn)不完的問(wèn)題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。系統(tǒng)運(yùn)行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]12聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問(wèn)不完的問(wèn)題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。Outline研究背景及意義國(guó)內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語(yǔ)識(shí)別及特征向量選定基于決策樹(shù)的中文指代消解結(jié)合規(guī)則的決策樹(shù)中文指代消解結(jié)論下一步工作結(jié)合規(guī)則的決策樹(shù)中文指代消解兩種方法：增大指代樣例庫(kù)、加入規(guī)則加入七條規(guī)則七條規(guī)則代詞的指代消解仍然存在全匹配的問(wèn)題保留“這/這些”、“那/那個(gè)那些”、“哪/哪些/哪個(gè)”的指代消解研究->增大精確率人名NE->“他”或“她”機(jī)構(gòu)名NE、地名NE、專(zhuān)名NE->“它”保留“我”或“我們”->增大精確率排除第三人稱(chēng)代詞間的指代情形排除時(shí)間短語(yǔ)與第三人稱(chēng)代詞間的指代情形加入規(guī)則后的系統(tǒng)運(yùn)行結(jié)果示例加入規(guī)則前的識(shí)別結(jié)果加入規(guī)則后的識(shí)別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]12聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)啤Ｗ钗说?，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問(wèn)不完的問(wèn)題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]8聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機(jī)縫啊釘啊，把[我們]15兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個(gè)風(fēng)卷殘?jiān)啤Ｗ钗说?，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實(shí)驗(yàn)地]17。[我]18在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]18有問(wèn)不完的問(wèn)題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。加入規(guī)則后的系統(tǒng)運(yùn)行結(jié)果示例加入規(guī)則前的識(shí)別結(jié)果加入規(guī)則后的識(shí)別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]12聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問(wèn)不完的問(wèn)題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開(kāi)始懂事時(shí)，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]8聽(tīng)著[故事]13入睡。[媽媽]12會(huì)做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機(jī)縫啊釘啊，把[我們]15兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會(huì)下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實(shí)驗(yàn)地]17。[我]18在一旁，聽(tīng)[她]12跟學(xué)生講種子發(fā)芽、開(kāi)花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲(chóng)子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最?lèi)?ài)在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]18有問(wèn)不完的問(wèn)題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。運(yùn)行示例分析加入的代詞全匹配的規(guī)則1是有效的。文中大量的“我”與“她”的指代問(wèn)題都得到了解決如“[媽媽]12會(huì)講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動(dòng)人的過(guò)去和神奇的未來(lái)，講做好孩子的哲理，晚上[我]8聽(tīng)著[故事]13入睡。”“兒子降生后的繁忙中，[媽媽]27忘不了、離不開(kāi)[她]27的[園子]34，和[妻子]32一起把原來(lái)堆滿廢土的小院子換上生機(jī)嫣然的綠色，告訴[我]31這樣才和[梅花村]33幽雅的環(huán)境相配。”運(yùn)行示例分析(續(xù))規(guī)則2強(qiáng)調(diào)的“那/那些”等指代情形除了在規(guī)則1下執(zhí)行了全匹配外