第一章緒論1.1.1信息檢索的概念“信息檢索”（InformationRetrieval,IR,我國早期譯為“情報(bào)檢索”）一詞最早出現(xiàn)于1952年，由美國學(xué)者穆爾斯（C.W.Mooers）提出，從1961年開始在學(xué)術(shù)界和實(shí)踐領(lǐng)域中得到廣泛的應(yīng)用。信息檢索這一概念首先假設(shè)包含相關(guān)信息的文獻(xiàn)或記錄已經(jīng)按照某種有助于檢索的順序組織起來。信息檢索就是對(duì)信息項(xiàng)進(jìn)行表示、存儲(chǔ)、組織和存取的全過程。對(duì)信息項(xiàng)的表示和組織應(yīng)該能夠?yàn)橛脩籼峁┢涓信d趣信息的方便存取。遺憾的是，對(duì)用戶信息需求進(jìn)行全面而準(zhǔn)確的描述不是一件輕而易舉的爭情。信息檢索的基本原理可以用下圖表示：<- 信息存儲(chǔ)過程 ?信息資源信息搜集信息用戶信息需求、土f三|=*亍信息表達(dá)信息分析詞語轉(zhuǎn)換數(shù)據(jù)庫—A檢索結(jié)果需求分析需求表達(dá)詞語轉(zhuǎn)換信息資源信息搜集信息用戶信息需求、土f三|=*亍信息表達(dá)信息分析詞語轉(zhuǎn)換數(shù)據(jù)庫—A檢索結(jié)果需求分析需求表達(dá)詞語轉(zhuǎn)換<- 信息檢索過程 ?圖1-1廣義信息檢索的基本原理從上圖可以看出，信息存儲(chǔ)和信息檢索有兩個(gè)交匯處：一個(gè)是直接的，即表達(dá)信息主題內(nèi)容的詞語與表達(dá)需求主題內(nèi)容的詞語之間進(jìn)行對(duì)比的交匯；另一個(gè)是間接的，即通過檢索語言進(jìn)行溝通，確保把存儲(chǔ)用詞和檢索用詞都統(tǒng)一到同一個(gè)檢索語言體系中。1.1.2信息檢索的原理從由此可見，信息存儲(chǔ)和信息檢索的直接交匯處是至關(guān)重要的，由此形成了信息檢索的一致性匹配作用機(jī)理，如圖1-2所示。信息檢索的一致性匹配作用機(jī)理包括5個(gè)機(jī)理:（1） 提取機(jī)理（2） 表示機(jī)理（3） 比較機(jī)理（4） 判斷機(jī)理（5） 選擇機(jī)理

輸出檢索結(jié)圖1-2信息檢索的一致性匹配作1.1.3信息檢索的類型（一）按照信息檢索的對(duì)象性質(zhì)劃分（1） 文獻(xiàn)檢索（2） 數(shù)值檢索（3） 事實(shí)檢索（-）按照計(jì)算機(jī)檢索技術(shù)劃分脫機(jī)檢索(Off-lineRetrieval)聯(lián)機(jī)檢索(On-lineRetiieval)光盤檢索(CD-ROMRetneval)1.2.1信息檢索系統(tǒng)的概念（4）（4）網(wǎng)絡(luò)檢索(InternetRetiieval)信息檢索過程的實(shí)現(xiàn)要依靠特定的系統(tǒng)，這個(gè)系統(tǒng)就是信息檢索系統(tǒng)。系統(tǒng)是由兩個(gè)或兩個(gè)以上既相互區(qū)別又互相影響的各種要素構(gòu)成的統(tǒng)一整體，信息檢索系統(tǒng)的構(gòu)成包括六個(gè)要素：（1） 目標(biāo)（2） 功能（3） 資源⑷設(shè)備（5） 方法（6） 人員由此可見，信息檢索系統(tǒng)由若干個(gè)相互作用的部分構(gòu)成，各部分的功能互異，設(shè)計(jì)的目的也各不相同，但它們之間相互聯(lián)系，共同實(shí)現(xiàn)系統(tǒng)的目標(biāo)。狹義地講，這個(gè)目標(biāo)就是檢索信息;廣義地講，則是提升用戶的知識(shí)水平。通常認(rèn)為，信息檢索系統(tǒng)的任務(wù)是告知用戶他所需要的信息在哪里。也就是說，信息檢索系統(tǒng)并不告訴用戶他所詢問的主題（即不改變用戶的知識(shí)結(jié)構(gòu)），它只是告訴用戶這一主題是否存在于數(shù)據(jù)庫中，相關(guān)的文獻(xiàn)都存在哪里。1.2.2信息檢索系統(tǒng)的類型（1） 書本式檢索系統(tǒng)。（2） 卡片式檢索系統(tǒng)。（3） 機(jī)械式檢索系統(tǒng)。（4） 縮微式檢索系統(tǒng)。（5） 計(jì)算機(jī)檢索系統(tǒng)。（6） 網(wǎng)絡(luò)檢索系統(tǒng)。

1.2.3信息檢索系統(tǒng)的物理結(jié)構(gòu)（1）聯(lián)機(jī)檢索系統(tǒng)的物理結(jié)構(gòu)所謂聯(lián)機(jī)檢索，是指用戶利用終端設(shè)備，通過通信網(wǎng)絡(luò)或通信線路與分布在世界各地的檢索系統(tǒng)中心的中央計(jì)算機(jī)連接，通過人機(jī)對(duì)話的方式，運(yùn)用特定的檢索指令和檢索策略,訪問中央數(shù)據(jù)庫，從中檢索出所需信息的過程。聯(lián)機(jī)檢索系統(tǒng)也稱國際聯(lián)機(jī)檢索系統(tǒng)，通常采用相對(duì)封閉的客戶機(jī)/服務(wù)器模式，屬于典型的主從式結(jié)構(gòu)。如圖1-3所示，聯(lián)機(jī)檢索系統(tǒng)通常由聯(lián)機(jī)檢索中心、通信設(shè)施、檢索終端3個(gè)主要部分組成。圖1-3聯(lián)機(jī)檢索系統(tǒng)的物理構(gòu)成圖1-3聯(lián)機(jī)檢索系統(tǒng)的物理構(gòu)成聯(lián)機(jī)檢索系統(tǒng)的特點(diǎn)是：檢索范I制廣，數(shù)據(jù)庫數(shù)量多，幾乎涉及到各個(gè)學(xué)科領(lǐng)域，世界上公開出版發(fā)行文獻(xiàn)的90%都可以通過幾種主要的聯(lián)機(jī)檢索系統(tǒng)查到。檢索內(nèi)容新，數(shù)據(jù)庫更新及時(shí)，基本上是同步，能夠檢索到最新信息。檢索功能強(qiáng)，一個(gè)聯(lián)機(jī)檢索系統(tǒng)中的所有數(shù)據(jù)庫通常使用統(tǒng)一的檢索命令，檢索途徑多、檢索效率高、檢索質(zhì)量好。數(shù)據(jù)庫質(zhì)量高，都是經(jīng)過嚴(yán)格加工、處理和組織的，通常是各個(gè)領(lǐng)域中核心的和權(quán)威的數(shù)據(jù)庫。檢索較復(fù)雜，專業(yè)性太強(qiáng)，一般用戶不容易掌握檢索指令、規(guī)則和方法，通常依賴于專業(yè)檢索人員。檢索費(fèi)用高，要求熟練掌握檢索技巧和經(jīng)驗(yàn)，普通用戶難以承受。人機(jī)界面比較單一、呆板。（2）光盤檢索系統(tǒng)的物理結(jié)構(gòu)光盤檢索系統(tǒng)有兩種類型：單機(jī)光盤檢索系統(tǒng)和光盤網(wǎng)絡(luò)檢索系統(tǒng)。單機(jī)光盤檢索系統(tǒng)比較簡單，通常由計(jì)算機(jī)、光盤驅(qū)動(dòng)器、光盤數(shù)據(jù)庫等硬件設(shè)備組成,自成一體，系統(tǒng)結(jié)構(gòu)簡單，數(shù)據(jù)量少，利用率低，一次只能供一個(gè)用戶檢索，通常供單用戶、單機(jī)使用。光盤網(wǎng)絡(luò)檢索系統(tǒng)可以分為面向特定范闈對(duì)彖的局域網(wǎng)的系統(tǒng)和依托Internet的面向所有用戶開放的系統(tǒng)，其實(shí)質(zhì)是將光盤資源上網(wǎng)，允許局域網(wǎng)、廣域網(wǎng)甚至Internet上的眾多用戶在同一時(shí)間、不同地點(diǎn)同時(shí)訪問一個(gè)或多個(gè)光盤數(shù)據(jù)庫。其局域網(wǎng)系統(tǒng)的物理結(jié)構(gòu)如圖1-4所示。

圖1-4光盤網(wǎng)絡(luò)檢索系統(tǒng)的物理光盤檢索系統(tǒng)的特點(diǎn)是：方便快捷，不受通信線路和網(wǎng)絡(luò)等因素的影響和限制，可以隨時(shí)啟動(dòng)使用。檢索費(fèi)用低，一次購買、多次使用，不涉及遠(yuǎn)程通信，分?jǐn)偝杀镜?，用戶心理上沒有費(fèi)用的壓力。操作界面友好，幫助信息、功能鍵、窗II式對(duì)話框、鼠標(biāo)控制等，簡單易學(xué)，直接面向最終用戶，不需要對(duì)用戶進(jìn)行專門的培訓(xùn)。輸出靈活，可以有拷盤、打印、套錄建庫以及網(wǎng)上傳輸?shù)榷喾N輸出形式。融多種媒體為一身，結(jié)合激光技術(shù)、計(jì)算機(jī)技術(shù)和多媒體技術(shù)，將文字、聲音、圖像、視頻等多種媒體信息存儲(chǔ)在一起。數(shù)據(jù)更新慢，周期較長，時(shí)效性差。數(shù)據(jù)量有限，受到光盤容量的限制，通常局限于專業(yè)領(lǐng)域，范I韋I不夠廣泛。（3）網(wǎng)絡(luò)檢索系統(tǒng)的物理結(jié)構(gòu)圖1-5基于Internet的客戶機(jī)/服務(wù)器結(jié)構(gòu)（C/S）

瀏覽器瀏覽器Web服務(wù)器數(shù)據(jù)庫服務(wù)器瀏覽器瀏覽器Web服務(wù)器數(shù)據(jù)庫服務(wù)器圖1-6基于Internet的瀏覽器/服務(wù)器結(jié)構(gòu)（E/S）全文索引引擎是名副其實(shí)的搜索引擎，國外代表有Google,國內(nèi)則有著名的百度搜索。它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息（以網(wǎng)頁文字為主），建立起數(shù)據(jù)庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結(jié)果網(wǎng)絡(luò)檢索系統(tǒng)的特點(diǎn)是：檢索空間無限，檢索范I判覆蓋了全球性、開放性Intemet所能延伸到的世界各地，用戶不必知道某種資源的具體地址。檢索內(nèi)容極其豐富，包括網(wǎng)上所有領(lǐng)域、各種類型、各種媒體（文本、圖像、聲音、視頻、動(dòng)畫等）的信息資源，如Web、FTP、Teliiet、Usenet、Gopher等。超文本瀏覽，檢索結(jié)果是完全可以直接閱讀的Web頁面，可以非線性地隨時(shí)從一個(gè)頁面跳到另一個(gè)頁面。界面最友好，屏蔽了各個(gè)局域網(wǎng)之間的各種物理差異（如硬件系統(tǒng)、軟件平臺(tái)、地理位置、存儲(chǔ)方式、通信協(xié)議等），極人地提高了系統(tǒng)的透明度，用戶使用通用的圖形窗II檢索界面，即可訪問和檢索各種異構(gòu)系統(tǒng)的數(shù)據(jù)庫，在通過Web瀏覽器訪問過程中，無需關(guān)心一些技術(shù)細(xì)節(jié)。操作最簡便，良好的交互式作業(yè)、多種導(dǎo)航和編輯功能、及時(shí)獲得在線幫助和指導(dǎo)以及符合人多數(shù)用戶檢索習(xí)慣的用戶接II使得檢索簡單易行，不必經(jīng)過太多的培訓(xùn)即可操作。檢索效率不高，網(wǎng)絡(luò)信息缺乏規(guī)范和統(tǒng)一管理，動(dòng)態(tài)性強(qiáng)，重復(fù)率、冗余度高，無用信息較多，查準(zhǔn)率差。1.2.4信息檢索系統(tǒng)的邏輯結(jié)構(gòu)系統(tǒng)的邏輯結(jié)構(gòu)主要是指該系統(tǒng)所包括的子系統(tǒng)或功能模塊及其相互之間的邏輯關(guān)系。不管信息檢索系統(tǒng)的物理結(jié)構(gòu)如何，它們的邏輯結(jié)構(gòu)人體上都是相同或相似的，只有組成部分多與少的區(qū)別。如前所述，信息檢索系統(tǒng)的兩人基本功能是存儲(chǔ)和檢索，這兩人基本功能可以分解為6個(gè)子系統(tǒng)或功能模塊，它們共同構(gòu)成了信息檢索系統(tǒng)邏輯結(jié)構(gòu)。這6個(gè)子系統(tǒng)是采選子系統(tǒng)、詞語子系統(tǒng)、標(biāo)引子系統(tǒng)、查詢子系統(tǒng)、交互子系統(tǒng)和匹配子系統(tǒng)。如圖1-9所示。圖1-9信息檢索系統(tǒng)邏輯結(jié)構(gòu)13.1信息檢索的研究內(nèi)容概括起來，信息檢索的研究內(nèi)容包括以下幾個(gè)方面：（1） 信息檢索理論研究（2） 信息檢索方法研究（3） 信息檢索技術(shù)研究（4） 信息檢索語言研究（5） 信息檢索系統(tǒng)研究（6） 信息檢索服務(wù)研究（7） 信息檢索評(píng)價(jià)研究。與信息檢索關(guān)系比較密切的相關(guān)學(xué)科和領(lǐng)域如下：（1） 計(jì)算機(jī)科學(xué)與技術(shù)。（2） 數(shù)學(xué)。（3） 系統(tǒng)科學(xué)。（4） 語言學(xué)。（5） 認(rèn)知科學(xué)。概括地講，可以把信息檢索當(dāng)前正在研究的主要課題和未來發(fā)展趨勢(shì)歸納如卜?：（1） 跨語言信息檢索。（2） 多媒體信息檢索。（3） 信息檢索可視化。（4） 信息檢索智能化。（5） 信息檢索個(gè)性化。（6） 信息檢索多樣化任何檢索策略都包含3個(gè)部分：文檔表示、查詢表示和匹配函數(shù)。文檔表示反映文檔在系統(tǒng)中的存儲(chǔ)形式描述，可用一組關(guān)鍵詞或標(biāo)引詞表示；查詢表示反映對(duì)用戶信息需求的描述；匹配函數(shù)用于將經(jīng)過處理的文檔表示和查詢表示放入系統(tǒng)中進(jìn)行匹配，以過濾輸出結(jié)果。第二章信息檢索模型信息檢索系統(tǒng)的實(shí)現(xiàn)首先要對(duì)文檔集進(jìn)行索引和歸檔，以支持信息檢索。檢索式代表用戶的信息需求。檢索系統(tǒng)分析查詢與文檔表示，進(jìn)行相似性匹配，排序返回查詢結(jié)果。因此文檔信息檢索過程實(shí)際上涉及文檔集的邏輯表示、用戶查詢表示、相似性匹配及其排序三個(gè)重要的處理。信息檢索模型主要從兩個(gè)方面抽象地研究信息檢索方法：一是確定在檢索模型中如何表示構(gòu)成檢索系統(tǒng)的兩個(gè)要素，即文檔和檢索式；二是確定在模型中如何定義和計(jì)算文檔和檢索式之間的關(guān)系。檢索模型的重要作用主要體現(xiàn)在以下幾個(gè)方面：更精確地描述出文檔與文檔、文檔與查詢間的相關(guān)關(guān)系，使之能比較和計(jì)算；安排更合理、更便于檢索的文檔存儲(chǔ)形式；在此基礎(chǔ)上設(shè)計(jì)出合理的檢索方式.傳統(tǒng)的信息檢索模型(又稱經(jīng)典信息檢索模型)包括布爾模型、向量空河模型和概率模型。信息檢索模型到底是什么？其描述如下：信息檢索模型是一個(gè)四元組/D,Q，F(xiàn),R(qi,dj)/：D是文檔集中的一組文檔邏輯視圖(表示)，稱為文檔的表示；Q是一組用戶信息需求的邏輯視圖(表示)，這種視圖(表示)稱之為查詢：F是一種機(jī)制，用于構(gòu)建文檔表示，查詢及它們之間關(guān)系的模型：R(qi,dj)是排序函數(shù)，該函數(shù)輸出一個(gè)與查詢qiWQ和文檔表示djED有關(guān)的實(shí)數(shù),這樣就在文檔之間根據(jù)查詢qi定義了一個(gè)順序?；诮?jīng)典布爾模型的信息檢索模型中，文檔和查詢用標(biāo)引詞集合來表示，都是建立在集合理論的基礎(chǔ)之上，因此，我們稱該類模型為集合理論模型，包括模糊集合論模型、擴(kuò)展布爾模型和粗糙集模型等。基于經(jīng)典向量模型的信息檢索模型中，文檔和查詢用t維空間的向量來表示，都是建立在代數(shù)理論的基礎(chǔ)之上，則稱該類模型為代數(shù)模型，包括廣義向量模型、潛語義標(biāo)引模型和神經(jīng)網(wǎng)絡(luò)模型等?；诮?jīng)典概率模型的信息檢索模型中，用于構(gòu)建文檔和查詢模型的機(jī)制是基于概率論的，則稱該類模型為概率模型，包拾推理網(wǎng)絡(luò)模型和信任度網(wǎng)絡(luò)模型等。第二節(jié)經(jīng)典模型信息檢索的經(jīng)典模型認(rèn)為，每篇文檔可以用一組有代表性的關(guān)鍵詞即標(biāo)引詞集合來描述，標(biāo)引詞(mdexterm)是文檔中的詞，其語義可以幫助理解文檔的主題；因此，標(biāo)引詞常用于編制索引和概括文檔的內(nèi)容。對(duì)于文檔中的標(biāo)引詞集合來說，在描述文檔內(nèi)容時(shí)它們的作用是不盡相同的，因而應(yīng)當(dāng)明確標(biāo)引詞與文檔內(nèi)容的密切程度。用ki表示標(biāo)引詞，dj表示文檔，wi.j>0為一.元組(ki.dj)的權(quán)值(weight),該權(quán)值可以用來衡量描述文檔語義內(nèi)容的標(biāo)引詞的重要性。用t表示系統(tǒng)中標(biāo)引詞的數(shù)目，K={kl,k2,,kt}是所有標(biāo)引詞的集合，wi,j>0是文檔dj中的標(biāo)引詞ki的權(quán)值，對(duì)于沒有出現(xiàn)在文檔文本中的標(biāo)引詞，其權(quán)值wi,j=0o文檔dj可以用標(biāo)引詞向量dj來表示:dj=(wlj,w2,j,…,wt,j)。此外，函數(shù)gi用以返回任何t維向量中標(biāo)引詞ki的權(quán)值，即gi(dj)=wijo其中，標(biāo)引詞的權(quán)重通常被認(rèn)為是互相獨(dú)立的。2.2.1布爾模型布爾模型(BoolenModel)是基于集合理論和布爾代數(shù)的一種簡單的檢索模型，它假定標(biāo)引詞在文檔中要么出現(xiàn)，要么不出現(xiàn)。因此，標(biāo)引詞的權(quán)值全部被設(shè)為二值數(shù)據(jù)，wi,jG{0,1},查詢q由連接詞not、and.or連接起來的多個(gè)標(biāo)引詞所組成，如“奧運(yùn)會(huì)”、“奧運(yùn)會(huì)”and“中國”、“奧運(yùn)會(huì)”and(“中國”or(not“體操”))等，通過對(duì)標(biāo)引詞與用戶給出的檢索式進(jìn)行邏輯比較來檢索文本。布爾檢索模型是最早提出的一個(gè)信息檢索模型，它具有簡單、易理解、易實(shí)現(xiàn)等優(yōu)點(diǎn)，故得到廣泛的應(yīng)用。1967年后，布爾檢索正式被人型文檔檢索系統(tǒng)釆用，并漸成為各種商業(yè)性聯(lián)機(jī)檢索系統(tǒng)的標(biāo)準(zhǔn)檢索模式，服務(wù)信息情報(bào)界30多年，直到現(xiàn)在，人多數(shù)商用檢索系統(tǒng)仍采用布爾檢索。盡管布爾模型有著種種的優(yōu)點(diǎn)，但是它的缺點(diǎn)仍然是明顯的，它存在的主要缺陷有以下幾點(diǎn)：（1） 布爾邏輯式的構(gòu)造不易全面反映用戶的需求。（2） 匹配標(biāo)準(zhǔn)存在某些不合理的地方。（3） 檢索結(jié)果不能按照用戶定義的重要性排序輸出2.2.2向量模型向量模型又叫向量空間模型（VectorSpaceModel,簡稱VSM）。由于使用二值權(quán)值（binaryweight）的布爾檢索存在太多的局限，信息檢索研究中便提出了一種框架以便能夠進(jìn)行部分匹配，即通過給查詢和文檔中的標(biāo)引詞分配非二值權(quán)值（non-binaiyweight）來實(shí)現(xiàn)這個(gè)目標(biāo)。該權(quán)值用于計(jì)算存儲(chǔ)在系統(tǒng)中的文檔和用戶查詢之間的相似度，向量模型通過對(duì)檢出文檔按相似度降序排列的方式來實(shí)現(xiàn)文檔與查詢的部分匹配。VSM作為基于統(tǒng)計(jì)學(xué)方法的一個(gè)數(shù)學(xué)模型，充分發(fā)揮了計(jì)算機(jī)量化處理文檔的特長，由于它一開始并沒有對(duì)特征項(xiàng)的權(quán)值評(píng)價(jià)、文檔向量與提問向量的相似度計(jì)算等問題做出統(tǒng)一