TREC簡介及

英語詞性標(biāo)注對信息檢索系統(tǒng)性能的影響2004-12-14研究背景TREC基礎(chǔ)知識VSM英文詞性標(biāo)注實驗經(jīng)驗研究背景TREC2004ROBUST任務(wù)信息檢索的義項矩陣模型研究TRECTheTextREtrievalConferencetheNationalInstituteofStandardsandTechnology(NIST)andU.S.DepartmentofDefenseTRACKSDATASET評測SMART11TRACKSCross-LanguageTrackFilteringTrack

GenomicsTrack

HARDTrack

InteractiveTrack

NoveltyTrack

QuestionAnsweringTrack

RobustRetrievalTrack

TerabyteTrack

VideoTrack

WebTrack

DATASET由ＴＲＡＣＫＳ決定ＤｏｃｕｍｅｎｔＴＯＰＩＣＴｉｔｌｅＤｅｓｒｉｐｔｉｏｎＮａｒｒａｔｉｖｅTREC評測ＰｏｏｌｉｎｇAPRPP-RgraphＴｒｅｃ＿ｅｖａｌＳＭＡＲＴ（1）首先對文檔集中的每個文檔依據(jù)設(shè)定的加權(quán)方式表示成向量，并存入文檔向量文件；（2）根據(jù)向量文件建立倒排索引文件；（3）對Topic集中每個Topic依據(jù)設(shè)定的加權(quán)方式表示成向量形式，并存入Topic向量文件；（4）對特定Topic計算其與每個文檔的相關(guān)度，提交與該Topic最相關(guān)的前1000篇文檔。VSM文檔的表示：將Di表示為由t維索引項組成的向量，其中dij表示第j個索引項在文檔Di中的權(quán)重，t由整個文檔集決定Di=(di1,di2,…dit)

索引項的選取索引項權(quán)重計算向量之間的相似度

VSM（續(xù)一）SMART檢索系統(tǒng)索引項權(quán)重計算

tf

idf

文檔長度歸一因子VSM的缺陷引入NLP技術(shù)VSM（續(xù)二）l;lntf+1.0t:ln(N/n)N是collection中的document總數(shù)n是包含給定term的doc數(shù)

a＝0.5+0.5*tf/maxtf

詞性標(biāo)注技術(shù)詞性標(biāo)注是NLP中重要而成熟的技術(shù)實現(xiàn)部分詞義消歧

Icandoit

canofsoda

不同詞性的詞在索引中有不同作用詞性標(biāo)注具有改進(jìn)檢索性能的潛力英文詞性標(biāo)注集賓州樹庫標(biāo)注集基于Brown語料庫（87個標(biāo)記）的標(biāo)注集含36個詞性標(biāo)記和12個其它標(biāo)記為了句法分析的目的而構(gòu)建精簡的詞性標(biāo)注集將相同語義不同句法形式的詞類進(jìn)行合并排除功能詞，如CC、DT等JJJJJJRJJSNNNNNNSFWNNPNNPSPRPPRPPRP$RBRbRBRRBSRPVBVBVBDVBGVBNVBPVBZPU#$.,:()"`"'"實驗方案索引方案painpos-48pos-7pos-v-npos-v-n-j索引項權(quán)重表示nnn-nnn

atc-atc

lnc-ltc

實驗設(shè)置數(shù)據(jù)集

TREC-7和TREC-8adhoc任務(wù)的數(shù)據(jù)集。

100個Topic。文檔集規(guī)模約為1,904MB，包含文檔數(shù)約528,000篇SMART檢索系統(tǒng)Brill的詞性標(biāo)注器及數(shù)據(jù)預(yù)處理詞性標(biāo)注Brill詞性標(biāo)注系統(tǒng)基于轉(zhuǎn)換的錯誤驅(qū)動的學(xué)習(xí)正確率97.2%（WSJ語料庫）問題——斷句根據(jù)句尾標(biāo)志斷句，如“.:;!?”

斷句準(zhǔn)確優(yōu)先對“.”的處理特殊詞處理實驗結(jié)果－ｎｎｎ

aｔｃ－ａｔｃLnc-ltc發(fā)現(xiàn)規(guī)律：不同的詞性標(biāo)注集在TREC-7和TREC-8數(shù)據(jù)集上的檢索性能有相似的總體規(guī)律；在nnn-nnn權(quán)重下，標(biāo)注越細(xì)，檢索效果越好（pos-48最好，plain最差）；在atc-atc和lnc-ltc權(quán)重下，標(biāo)注越細(xì)，檢索效果越差（pos-48最差，plain最好）；100個Topic采用不同索引方案時的AP其它略Topic429<title>Legionnairesn/NNPdisease/NN<desc>Identify/VBoutbreaks/NNSof/INLegionnairesd/NNPdisease/NN./.<narr>To/TObe/VBrelevant/JJ,/,a/DTdocument/NNmust/MDdiscuss/VBa/DTspecific/JJoutbreak/NNof/INLegionnaires/NNPdisease/NN./.Documents/NNSthat/WDTaddress/VBPprevention/NNof/INor/CCcures/NNSfor/INthe/DTdisease/NNwithout/INciting/VBGa/DTspecific/JJcase/NNare/VBPnot/RBrelevant/JJ./.索引項權(quán)重的差異檢索系統(tǒng)的性能不僅跟Topic相關(guān)，很大程度上與整個文檔集相關(guān)。Topic447engine

engineering;engineer;engineered

enginengine/NNengineering/NN;engineering/VBG;engineered/VBD

實驗結(jié)果分析對單一詞性\同一詞形，詞性標(biāo)注不會造成影響對同一詞形、不同詞性的詞，通過詞性標(biāo)注能夠?qū)λ鼈冞M(jìn)行區(qū)分，減少了噪音信息匹配的可能性，使檢索系統(tǒng)性能得到提高。詞語之間的同源性，導(dǎo)致詞匯語義層面相關(guān)。詞性標(biāo)注的加入將它們分離為不同的索引項分量，成為了Topic向量或Document向量中獨(dú)立的維。這樣就降低了Topic向量與Document向量中相關(guān)詞