1、資訊檢索系統(tǒng)測(cè)試集之比較 圖書(shū)與資訊學(xué)刊第29期(1999年5月)by 江玉婷，陳光華臺(tái)大圖資所碩士論文第1頁(yè)，共39頁(yè)。測(cè)試集 (Test Collections)組成要素文件集 (Document Set; Document Collection)查詢問(wèn)題 (Query; Topic)相關(guān)判斷 (Relevant Judgement)用途設(shè)計(jì)與發(fā)展: 系統(tǒng)測(cè)試評(píng)估: 系統(tǒng)效能(Effectiveness)之測(cè)量比較: 不同系統(tǒng)與不同技術(shù)間之比較評(píng)比根據(jù)不同的目的而有不同的評(píng)比項(xiàng)目量化的測(cè)量準(zhǔn)則，如Precision與RecallIR System Evaluation - *第2頁(yè)，共39

2、頁(yè)。測(cè)試集(Test Collections) (續(xù))小型測(cè)試集早期: Cranfield英文: SMART, OHSUMED, Cystic Fibrosis, LISA.日文: BMIR-J2大型評(píng)比環(huán)境: 提供測(cè)試集及研討的論壇美國(guó): TREC日本: NTCIR, IREX, 歐洲: AMARYLLISIR System Evaluation - *第3頁(yè)，共39頁(yè)。IR System Evaluation - *第4頁(yè)，共39頁(yè)。Cranfield II比較33種不同索引方式之檢索效益蒐集1400篇有關(guān)太空動(dòng)力學(xué)的文件(摘要形式)請(qǐng)每位作者根據(jù)這些文件與其當(dāng)時(shí)研究的主題提出問(wèn)題，經(jīng)篩選

3、後產(chǎn)生200餘個(gè)查詢問(wèn)題IR System Evaluation - *第5頁(yè)，共39頁(yè)。Cranfield II (Continued)Cranfield II測(cè)試集中相關(guān)判斷建立四個(gè)步驟首先請(qǐng)?zhí)岢霾樵儐?wèn)題的建構(gòu)者對(duì)文件後所附之引用及參考文獻(xiàn)進(jìn)行相關(guān)判斷接著請(qǐng)五位該領(lǐng)域的研究生將查詢問(wèn)題與每篇文件逐一檢視，共花了1500小時(shí)進(jìn)行了50萬(wàn)次以上的相關(guān)判斷，希望能找出所有的相關(guān)文件。為了避免前述過(guò)程仍有遺漏，又利用文獻(xiàn)耦合的概念計(jì)算文件間之相關(guān)性，發(fā)掘更多的可能相關(guān)文件。若有兩篇以上的文獻(xiàn)共同引用了一篇或多篇論文，則稱這些文獻(xiàn)間具有耦合關(guān)係。 最後，將以上找出的所有文件，再一併送回給原作者進(jìn)行判

4、斷。IR System Evaluation - *第6頁(yè)，共39頁(yè)。TREC簡(jiǎn)介T(mén)REC: Text REtrieval Conference主辦: NIST及DARPA，為 TIPSTER文件計(jì)劃之子計(jì)劃之一 文件集5GB以上數(shù)百萬(wàn)篇文件IR System Evaluation - *第7頁(yè)，共39頁(yè)。TREC 文件集IR System Evaluation - *第8頁(yè)，共39頁(yè)。TREC之文件標(biāo)示IR System Evaluation - *第9頁(yè)，共39頁(yè)。TREC-1 and TREC-2查詢主題IR System Evaluation - *第10頁(yè)，共39頁(yè)。TREC-3查詢

5、主題IR System Evaluation - *第11頁(yè)，共39頁(yè)。TREC-4查詢主題IR System Evaluation - *第12頁(yè)，共39頁(yè)。TREC查詢主題主題結(jié)構(gòu)與長(zhǎng)度主題建構(gòu)主題篩選pre-search判斷相關(guān)文件的數(shù)量IR System Evaluation - *第13頁(yè)，共39頁(yè)。TREC-6之主題篩選程序IR System Evaluation - *第14頁(yè)，共39頁(yè)。TREC相關(guān)判斷判斷方法Pooling Method人工判斷判斷基準(zhǔn): 二元式, 相關(guān)與不相關(guān)相關(guān)判斷品質(zhì)完整性一致性IR System Evaluation - *第15頁(yè)，共39頁(yè)。Pool

6、ing法針對(duì)每個(gè)查詢主題，從參與評(píng)比的各系統(tǒng)所送回之測(cè)試結(jié)果中抽取出前n篇文件，合併形成一個(gè)Pool視為該查詢主題可能的相關(guān)文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構(gòu)者進(jìn)行相關(guān)判斷。利用此法的精神是希望能透過(guò)多個(gè)不同的系統(tǒng)與不同的檢索技術(shù)，盡量網(wǎng)羅可能的相關(guān)文件，藉此減少人工判斷的負(fù)荷。IR System Evaluation - *第16頁(yè)，共39頁(yè)。TREC 候選集合與實(shí)際相關(guān)文件之對(duì)照表IR System Evaluation - *第17頁(yè)，共39頁(yè)。TREC評(píng)比IR System Evaluation - *第18頁(yè)，共39頁(yè)。TREC質(zhì)疑與負(fù)面評(píng)價(jià)測(cè)試集方

7、面查詢主題並非真實(shí)的使用者需求, 過(guò)於人工化缺乏需求情境的描述相關(guān)判斷二元式的相關(guān)判斷不實(shí)際pooling method會(huì)遺失相關(guān)文件, 導(dǎo)致回收率不準(zhǔn)確品質(zhì)與一致性效益測(cè)量方面只關(guān)注量化測(cè)量回收率的問(wèn)題適合作系統(tǒng)間的比較, 但不適合作評(píng)估IR System Evaluation - *第19頁(yè)，共39頁(yè)。TREC質(zhì)疑與負(fù)面評(píng)價(jià) (續(xù))評(píng)比程序方面互動(dòng)式檢索缺乏使用者介入靜態(tài)的資訊需求不切實(shí)際IR System Evaluation - *第20頁(yè)，共39頁(yè)。BMIR-J2 簡(jiǎn)介第一個(gè)日文資訊檢索系統(tǒng)測(cè)試集BMIR-J1: 1996BMIR-J2: 1998.3發(fā)展單位: IPSG-SIGDS

8、文件集: 主要為新聞文件每日新聞: 5080篇經(jīng)濟(jì)與工程查詢主題: 60個(gè)IR System Evaluation - *第21頁(yè)，共39頁(yè)。BMIR-J2 相關(guān)判斷以布林邏輯結(jié)合關(guān)鍵詞檢索1-2個(gè)IR系統(tǒng)由資料庫(kù)檢索者做進(jìn)一步的相關(guān)判斷由建構(gòu)測(cè)試集的人員再次檢查IR System Evaluation - *第22頁(yè)，共39頁(yè)。BMIR-J2 查詢主題Q: F=oxoxo: “Utilizing solar energy”Q: N-1: Retrieve texts mentioning user of solar energyQ: N-2: Include texts concerning

9、 generating electricity and drying things with solar heat.查詢主題的分類目的: 標(biāo)明該測(cè)試主題的特性,以利系統(tǒng)選擇標(biāo)記: o(necessary), x(unnecessary)類別The basic functionThe numeric range functionThe syntactic functionThe semantic functionThe world knowledge function: IR System Evaluation - *第23頁(yè)，共39頁(yè)。NTCIR 簡(jiǎn)介NTCIR: NACSIS Test Co

10、llections for IR主辦: NACSIS(日本國(guó)家科學(xué)資訊系統(tǒng)中心) 發(fā)展背景大型日文標(biāo)竿測(cè)試集的需求跨語(yǔ)言檢索的研究發(fā)展需要文件集來(lái)源為NACSIS Academic Conference Papers Database主要為會(huì)議論文的摘要超過(guò)330,000篇文件, 其中超過(guò)1/2為英日文對(duì)照之文件有部分包含part-of-speech tagsIR System Evaluation - *第24頁(yè)，共39頁(yè)。NTCIR查詢主題來(lái)源: 搜集真實(shí)的使用者需求, 再據(jù)其修正改寫(xiě)每個(gè)學(xué)科主題領(lǐng)域各有100個(gè)測(cè)試主題組成結(jié)構(gòu)編號(hào) 標(biāo)題 資訊需求之簡(jiǎn)短描述 資訊需求之細(xì)部描述, 包括更進(jìn)

11、一步的解釋, 名詞的定義, 背景知識(shí), 檢索的目的, 預(yù)期的相關(guān)文件數(shù)量, 希望的文件類型, 相關(guān)判斷的標(biāo)準(zhǔn)等 相關(guān)概念的關(guān)鍵詞 IR System Evaluation - *第25頁(yè)，共39頁(yè)。NTCIR 相關(guān)判斷判斷方法利用pooling method先進(jìn)行篩選由各主題專家, 及查詢主題的建構(gòu)者進(jìn)行判斷判斷基準(zhǔn)A: 相關(guān)B: 部分相關(guān)C: 不相關(guān)精確率計(jì)算: 依測(cè)試項(xiàng)目的不同而有不同Relevant: B與C均視為不相關(guān)Partial Relevant : A與B均視為相關(guān)IR System Evaluation - *第26頁(yè)，共39頁(yè)。NTCIR評(píng)比Ad-hoc Informatio

12、n Retrieval TaskCross-lingual Information Retrieval Task利用日文查詢主題檢索英文文件共有21個(gè)查詢主題, 其相關(guān)判斷包括英文文件與日文文件系統(tǒng)可選擇自動(dòng)或人工建立查詢問(wèn)題系統(tǒng)需送回前1000篇檢索結(jié)果Automatic Term Extraction and Role Analysis TaskAutomatic Term Extraction: 從題名與摘要中抽取出technical termsRole Analysis Task: 抽取出主旨, 研究方法, 研究程序IR System Evaluation - *第27頁(yè)，共39頁(yè)。I

13、REX 簡(jiǎn)介IREX: Information Retrieval and Extraction Exercise主辦: IREX Committee參加者: 約20隊(duì) (或以上)預(yù)備測(cè)試：利用BMIR-J2測(cè)試集中之查詢主題文件集每日新聞, 1994-1995參加者必須購(gòu)買新聞?wù)Z料IR System Evaluation - *第28頁(yè)，共39頁(yè)。IREX 查詢主題組成結(jié)構(gòu)編號(hào) 簡(jiǎn)短的資訊需求, 主要為名詞與其修飾語(yǔ) 構(gòu)成的名詞詞組 詳細(xì)的資訊需求, 以自然語(yǔ)言敘述, 通常為2 至3個(gè)句子組 成, 亦包含名詞解釋, 同義詞 或?qū)嵗? description欄位中的詞彙必須包含在narrati

14、ve欄位中IR System Evaluation - *第29頁(yè)，共39頁(yè)。IREX 相關(guān)判斷判斷依據(jù): 測(cè)試主題的所有欄位判斷方法: 由學(xué)生二名進(jìn)行判斷若二人之判斷結(jié)果一致, 則完成相關(guān)判斷若二人之判斷結(jié)果不一致或不確定, 則由三人來(lái)作最後的判定判斷基準(zhǔn)學(xué)生: 6個(gè)判斷層次A: 相關(guān)A?: 不確定是否為相關(guān)B: 部分相關(guān)B?: 不確定是否為部分相關(guān)C: 不相關(guān)C?: 不確定是否為不相關(guān)IR System Evaluation - *第30頁(yè)，共39頁(yè)。IREX 相關(guān)判斷 (續(xù))最終判斷者: 3個(gè)判斷層次A: 相關(guān)B: 部分相關(guān)C: 不相關(guān)相關(guān)判斷的修正IR System Evaluatio

15、n - *第31頁(yè)，共39頁(yè)。IREX 評(píng)比評(píng)比項(xiàng)目Name Entity Task (NE)與MUC相似, 測(cè)試系統(tǒng)自動(dòng)抽取專有名詞的能力, 如組織名, 人名, 地名等.一般領(lǐng)域文件抽取 v.s. 特殊領(lǐng)域文件抽取Information Retrieval (IR)與TREC相似評(píng)比規(guī)則送回文件：前300篇Query的建構(gòu)：一律由系統(tǒng)自動(dòng)建構(gòu)IR System Evaluation - *第32頁(yè)，共39頁(yè)。BMIR-J2 簡(jiǎn)介第一個(gè)日文資訊檢索系統(tǒng)測(cè)試集BMIR-J1: 1996BMIR-J2: 1998.3發(fā)展單位: IPSG-SIGDS文件集: 主要為新聞文件每日新聞: 5080篇經(jīng)濟(jì)

16、與工程查詢主題: 60個(gè)IR System Evaluation - *第33頁(yè)，共39頁(yè)。BMIR-J2 相關(guān)判斷以布林邏輯結(jié)合關(guān)鍵詞檢索1-2個(gè)IR系統(tǒng)由資料庫(kù)檢索者做進(jìn)一步的相關(guān)判斷由建構(gòu)測(cè)試集的人員再次檢查IR System Evaluation - *第34頁(yè)，共39頁(yè)。BMIR-J2 查詢主題Q: F=oxoxo: “Utilizing solar energy”Q: N-1: Retrieve texts mentioning user of solar energyQ: N-2: Include texts concerning generating electricity a

17、nd drying things with solar heat.查詢主題的分類目的: 標(biāo)明該測(cè)試主題的特性,以利系統(tǒng)選擇標(biāo)記: o(necessary), x(unnecessary)類別The basic functionThe numeric range functionThe syntactic functionThe semantic functionThe world knowledge function: IR System Evaluation - *第35頁(yè)，共39頁(yè)。AMARYLLIS簡(jiǎn)介主辦：INIST (INstitute of Information Scientific and Technique)參加者: 約近10隊(duì)文件集新聞文件: the World, 共2萬(wàn)餘篇Pascal(1984-1995)及Francis(1992-1995)資料中抽取出來(lái)的文件題名與摘要部分, 共30餘萬(wàn)篇IR System Evaluation - *第36頁(yè)，共39頁(yè)。AMARYLLIS查詢主題組成結(jié)構(gòu)編號(hào) 所屬之學(xué)科領(lǐng)域 標(biāo)題 資訊需求之簡(jiǎn)單描述 資訊需求之詳細(xì)描述 概念, 敘述語(yǔ)IR System Evaluati