2025年大學(xué)《信息與計(jì)算科學(xué)》專業(yè)題庫——信息與計(jì)算科學(xué)中的信息檢索考試時(shí)間：______分鐘總分：______分姓名：______一、填空題1.信息檢索的核心目的是從大量信息中快速、準(zhǔn)確地找到用戶所需的信息資源。2.布爾檢索模型基于集合論中的______、______和______運(yùn)算。3.在信息檢索系統(tǒng)中，用于表示文檔和查詢向量的常用模型是______模型，它將文檔和查詢表示為高維空間中的向量。4.衡量檢索系統(tǒng)召回率的公式是：Recall=|RetrievedRelevantDocuments|/|______Documents|。5.倒排索引是信息檢索系統(tǒng)中常用的索引結(jié)構(gòu)，它記錄了每個(gè)單詞出現(xiàn)在哪些文檔中，以及這些文檔的______信息。6.詞干提取技術(shù)旨在將詞的不同形態(tài)還原為其______形式，例如將"running"、"ran"還原為"run"。7.TF-IDF是一種常用的文本特征表示方法，其中TF代表______頻率，IDF代表______頻率。8.Web搜索引擎通常使用PageRank算法評(píng)估網(wǎng)頁的重要性，PageRank的原理是假設(shè)一個(gè)隨機(jī)沖浪者會(huì)以一定的概率隨機(jī)點(diǎn)擊鏈接，并以______的概率跳轉(zhuǎn)到新網(wǎng)頁。9.信息檢索系統(tǒng)評(píng)估中，MAP是指______均值，它綜合考慮了查準(zhǔn)率和召回率。10.信息檢索技術(shù)除了在學(xué)術(shù)領(lǐng)域應(yīng)用外，還在______、______等領(lǐng)域有廣泛應(yīng)用。二、名詞解釋1.檢索語言2.向量空間模型3.停用詞4.查準(zhǔn)率5.交叉驗(yàn)證三、簡(jiǎn)答題1.簡(jiǎn)述信息檢索系統(tǒng)的基本組成模塊及其功能。2.比較布爾檢索模型和向量空間檢索模型的區(qū)別。3.什么是信息過載？信息檢索技術(shù)如何幫助緩解信息過載問題？4.簡(jiǎn)述TF-IDF的計(jì)算原理及其在信息檢索中的作用。5.什么是檢索評(píng)價(jià)指標(biāo)中的Precision@K和Recall@K？它們分別反映了什么？四、論述題1.詳細(xì)闡述信息檢索系統(tǒng)中索引構(gòu)建的過程，包括主要步驟和涉及的關(guān)鍵技術(shù)。2.試論述信息檢索系統(tǒng)評(píng)估的重要性，并比較幾種常見的檢索系統(tǒng)評(píng)估方法（如holdout、交叉驗(yàn)證）的優(yōu)缺點(diǎn)。3.隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其對(duì)信息檢索領(lǐng)域帶來了哪些新的機(jī)遇和挑戰(zhàn)？請(qǐng)結(jié)合具體應(yīng)用進(jìn)行說明。五、算法設(shè)計(jì)題1.假設(shè)你正在設(shè)計(jì)一個(gè)簡(jiǎn)單的基于倒排索引的布爾檢索系統(tǒng)。請(qǐng)描述當(dāng)用戶輸入查詢“appleAND(orangeORbanana)”時(shí)，系統(tǒng)需要執(zhí)行哪些步驟來檢索出匹配的文檔，并簡(jiǎn)要說明每一步的操作思路。試卷答案一、填空題1.邏輯2.與（AND）、或（OR）、非（NOT）3.向量空間4.相關(guān)5.位置（或頻率）6.基干（或詞根）7.詞頻；逆文檔頻率8.（假）隨機(jī)9.平均精度10.搜索引擎；推薦系統(tǒng)（或其他合理答案，如辦公自動(dòng)化、數(shù)字圖書館等）二、名詞解釋1.檢索語言：用戶用于表達(dá)信息需求的特定語言或符號(hào)系統(tǒng)，用于與信息檢索系統(tǒng)進(jìn)行交互，以查找相關(guān)信息資源。它可以是簡(jiǎn)單的關(guān)鍵詞，也可以是復(fù)雜的查詢表達(dá)式，支持用戶進(jìn)行精確或?yàn)g覽式的檢索。2.向量空間模型：一種將文本和查詢表示為高維向量空間中向量的數(shù)學(xué)模型。文檔和查詢向量的每個(gè)維度對(duì)應(yīng)一個(gè)詞語，向量的分量通常表示詞語在文檔或查詢中的權(quán)重（如TF-IDF值），通過計(jì)算向量之間的相似度（如余弦相似度）來判斷文檔與查詢的相關(guān)性。3.停用詞：在自然語言處理和信息檢索中，指那些出現(xiàn)頻率非常高，但通常不攜帶重要語義信息，對(duì)區(qū)分文檔主題幫助不大的詞語，例如常見的介詞、連詞、動(dòng)詞、形容詞等。在索引構(gòu)建和檢索過程中，通常會(huì)過濾掉停用詞以減少索引大小、提高檢索效率。4.查準(zhǔn)率（Precision）：在信息檢索中，檢索到的相關(guān)文檔數(shù)量占所有被檢索出來的文檔數(shù)量的比率。它衡量檢索結(jié)果的相關(guān)性和準(zhǔn)確性，即“檢索到的結(jié)果中有多少是正確的”。計(jì)算公式為：Precision=|RetrievedRelevantDocuments|/|RetrievedDocuments|。5.交叉驗(yàn)證：一種在數(shù)據(jù)量有限時(shí)評(píng)估模型性能的統(tǒng)計(jì)方法。通常將數(shù)據(jù)集劃分為若干個(gè)不重疊的子集（稱為“折”）。輪流使用其中一個(gè)子集作為驗(yàn)證集，其余子集作為訓(xùn)練集，訓(xùn)練模型并在驗(yàn)證集上評(píng)估其性能。最后將多次評(píng)估結(jié)果進(jìn)行匯總，得到對(duì)模型性能更穩(wěn)健的估計(jì)。常用的有K折交叉驗(yàn)證。三、簡(jiǎn)答題1.信息檢索系統(tǒng)的基本組成模塊及其功能：*檢索接口（用戶接口）：提供用戶輸入查詢和接收檢索結(jié)果的界面。用戶通過此接口輸入信息需求（查詢），系統(tǒng)將處理后的查詢結(jié)果呈現(xiàn)給用戶，可能還包括瀏覽、排序、過濾等功能。*查詢處理模塊：接收用戶的原始查詢，進(jìn)行預(yù)處理（如分詞、詞干提取、停用詞過濾、查詢擴(kuò)展等），將用戶查詢轉(zhuǎn)換為系統(tǒng)可理解和處理的形式（如倒排索引查詢形式）。*文檔處理模塊：對(duì)系統(tǒng)收錄的原始文檔進(jìn)行預(yù)處理（分詞、詞干提取、停用詞過濾、詞頻統(tǒng)計(jì)等），并構(gòu)建索引結(jié)構(gòu)（如倒排索引），以便快速檢索。*索引與檢索模塊：存儲(chǔ)文檔索引（如倒排索引），根據(jù)查詢處理模塊轉(zhuǎn)換后的查詢，在索引中高效地查找與查詢相關(guān)的文檔，并計(jì)算相關(guān)性排序。*用戶接口（同檢索接口）：將檢索模塊返回的相關(guān)文檔及其排序、摘要等信息，以用戶友好的方式展示給用戶。2.布爾檢索模型和向量空間檢索模型的區(qū)別：*表示方式：布爾模型用布爾邏輯運(yùn)算符（AND,OR,NOT）連接關(guān)鍵詞，將查詢和文檔表示為布爾表達(dá)式或集合；向量空間模型將查詢和文檔表示為高維向量，向量的分量是詞語的權(quán)重（如TF-IDF）。*相關(guān)性計(jì)算：布爾模型判斷相關(guān)性基于布爾條件，文檔只要滿足查詢的布爾邏輯表達(dá)式（如包含所有AND關(guān)鍵詞，排除NOT關(guān)鍵詞）即認(rèn)為相關(guān)；向量空間模型通過計(jì)算查詢向量和文檔向量之間的相似度（如余弦相似度）來判斷相關(guān)性，相關(guān)度越高表示越相關(guān)。*語義理解：布爾模型通常不考慮詞語間的語義關(guān)系和詞語的相對(duì)重要性，比較機(jī)械；向量空間模型通過詞語權(quán)重和向量空間結(jié)構(gòu)，能在一定程度上捕捉詞語間的語義關(guān)聯(lián)和詞語重要性。*查詢靈活性：布爾模型支持精確匹配和組合檢索，但用戶需掌握檢索語言；向量空間模型通常支持關(guān)鍵詞檢索，用戶無需掌握復(fù)雜語法，但對(duì)查詢語句的構(gòu)造要求較高。3.什么是信息過載？信息檢索技術(shù)如何幫助緩解信息過載問題？*信息過載：指信息消費(fèi)者面臨的信息量遠(yuǎn)遠(yuǎn)超出其處理能力和需求的情況，導(dǎo)致難以有效發(fā)現(xiàn)和獲取所需信息，產(chǎn)生“信息窒息”感。*信息檢索技術(shù)緩解信息過載：*高效查找：提供快速、便捷的檢索手段，幫助用戶在海量信息中快速定位到可能包含所需信息的文檔集合。*信息過濾：通過用戶畫像、興趣建模等技術(shù)，自動(dòng)過濾掉用戶不感興趣的信息，只呈現(xiàn)相關(guān)內(nèi)容。*信息聚類與摘要：對(duì)檢索結(jié)果進(jìn)行自動(dòng)聚類，將內(nèi)容相似的文章組織在一起，并生成摘要，幫助用戶快速了解主題概貌，減少需要閱讀的文檔量。*個(gè)性化推薦：根據(jù)用戶的歷史行為和偏好，主動(dòng)推薦用戶可能感興趣的信息，引導(dǎo)用戶發(fā)現(xiàn)有價(jià)值的內(nèi)容。4.TF-IDF的計(jì)算原理及其在信息檢索中的作用：*計(jì)算原理：TF-IDF是TermFrequency-InverseDocumentFrequency的縮寫，用于衡量一個(gè)詞語在一個(gè)文檔中以及在整個(gè)文檔集合中的重要性。它通常是TF（詞頻）和IDF（逆文檔頻率）的乘積。*TF（詞頻）：指某個(gè)詞語在特定文檔中出現(xiàn)的次數(shù)或頻率。詞頻越高，通常表示該詞語在該文檔中越重要。*IDF（逆文檔頻率）：衡量一個(gè)詞語在整個(gè)文檔集合中的普遍程度。IDF的計(jì)算公式通常為log(N/|Dcontainingt|)，其中N是文檔總數(shù)，|Dcontainingt|是包含詞語t的文檔數(shù)量。如果一個(gè)詞語出現(xiàn)在很多文檔中，其IDF值較低，表示該詞語不夠獨(dú)特；反之，如果一個(gè)詞語只出現(xiàn)在少數(shù)文檔中，其IDF值較高，表示該詞語比較獨(dú)特和重要。*作用：TF-IDF的作用是突出那些在特定文檔中頻繁出現(xiàn)，但同時(shí)在整個(gè)文檔集合中不常見的詞語。這類詞語通常更能代表文檔的主題，有助于提高檢索的準(zhǔn)確性和區(qū)分度。通過TF-IDF，檢索系統(tǒng)能更好地識(shí)別文檔的主題關(guān)鍵詞，從而找出與用戶查詢更相關(guān)的文檔。5.什么是檢索評(píng)價(jià)指標(biāo)中的Precision@K和Recall@K？它們分別反映了什么？*Precision@K：指在用戶查詢返回的排名前K個(gè)結(jié)果中，真正相關(guān)的文檔所占的比例。它衡量的是檢索系統(tǒng)返回的結(jié)果的“準(zhǔn)確性”或“相關(guān)性純度”。計(jì)算公式為：Precision@K=|Top-KRetrievedRelevantDocuments|/K。*Recall@K：指在用戶查詢相關(guān)的所有文檔中，被系統(tǒng)檢索到并返回在排名前K個(gè)結(jié)果中的相關(guān)文檔所占的比例。它衡量的是檢索系統(tǒng)“查全”相關(guān)文檔的能力。計(jì)算公式為：Recall@K=|Top-KRetrievedRelevantDocuments|/|RelevantDocuments|。*反映內(nèi)容：Precision@K關(guān)注檢索結(jié)果中的“噪音”多少，越高表示不相關(guān)的結(jié)果越少；Recall@K關(guān)注檢索結(jié)果中“遺漏”了多少，越高表示找到的相關(guān)結(jié)果越多。這兩個(gè)指標(biāo)通常相互制約，需要根據(jù)具體應(yīng)用場(chǎng)景和用戶需求進(jìn)行權(quán)衡。四、論述題1.詳細(xì)闡述信息檢索系統(tǒng)中索引構(gòu)建的過程，包括主要步驟和涉及的關(guān)鍵技術(shù)。*索引構(gòu)建過程：*a.文檔收集與預(yù)處理：首先，從各種來源（如數(shù)據(jù)庫、文件系統(tǒng)、網(wǎng)頁等）收集需要索引的原始文檔。接著對(duì)文檔進(jìn)行預(yù)處理，這是索引構(gòu)建的基礎(chǔ)步驟，主要包括：分詞（將連續(xù)文本切分成詞語單元）、去除停用詞（刪除如“的”、“是”等無實(shí)際意義的詞）、詞干提取或詞形還原（將不同形態(tài)的詞映射到其基本形式，如將“running”、“ran”統(tǒng)一為“run”）、大小寫轉(zhuǎn)換（統(tǒng)一為小寫或大寫）等。目的是將自然語言文本轉(zhuǎn)化為結(jié)構(gòu)化、規(guī)范化的詞語單元。*b.詞語統(tǒng)計(jì)與權(quán)重計(jì)算：對(duì)預(yù)處理后的文檔進(jìn)行掃描，統(tǒng)計(jì)每個(gè)詞語在文檔中出現(xiàn)的頻率（TF），并可能結(jié)合文檔頻率（DF）計(jì)算詞語的權(quán)重（如TF-IDF）。這一步是為了識(shí)別文檔中的關(guān)鍵詞，并為后續(xù)建立索引提供數(shù)據(jù)。*c.索引結(jié)構(gòu)構(gòu)建：基于詞語統(tǒng)計(jì)結(jié)果，構(gòu)建索引數(shù)據(jù)結(jié)構(gòu)。最常用的是倒排索引。其核心思想是：為每一個(gè)詞語建立一個(gè)列表（或稱為“PostingList”），列出所有包含該詞語的文檔標(biāo)識(shí)符以及該詞語在各個(gè)文檔中的位置（或頻率信息）。倒排索引使得對(duì)于任何給定的查詢?cè)~語，系統(tǒng)能快速定位到包含該詞語的所有文檔。*d.索引存儲(chǔ)與組織：將構(gòu)建好的索引結(jié)構(gòu)（如倒排索引）存儲(chǔ)在內(nèi)存或磁盤上。索引需要經(jīng)過優(yōu)化，如排序（按詞語字母順序或頻率排序）、壓縮（去除冗余信息以節(jié)省空間）等，以提高檢索效率。*涉及的關(guān)鍵技術(shù)：分詞算法（如基于詞典、基于統(tǒng)計(jì)、基于機(jī)器學(xué)習(xí)）、停用詞表、詞干提取算法（如Porter算法、Lancaster算法、Snowball算法）、詞形還原技術(shù)、TF-IDF計(jì)算方法、倒排索引構(gòu)建算法、索引壓縮技術(shù)（如行程編碼、三元組表示）、索引排序與組織等。2.試論述信息檢索系統(tǒng)評(píng)估的重要性，并比較幾種常見的檢索系統(tǒng)評(píng)估方法（如holdout、交叉驗(yàn)證）的優(yōu)缺點(diǎn)。*信息檢索系統(tǒng)評(píng)估的重要性：*指導(dǎo)系統(tǒng)開發(fā)與優(yōu)化：評(píng)估是衡量信息檢索系統(tǒng)性能、發(fā)現(xiàn)系統(tǒng)優(yōu)劣的關(guān)鍵手段。通過評(píng)估，開發(fā)者可以了解系統(tǒng)在哪些方面表現(xiàn)良好，哪些方面需要改進(jìn)，從而有針對(duì)性地調(diào)整算法參數(shù)、改進(jìn)索引策略、優(yōu)化檢索模型，提升用戶體驗(yàn)。*系統(tǒng)選擇與比較：當(dāng)存在多個(gè)不同的檢索算法或系統(tǒng)時(shí)，評(píng)估提供了一套客觀、量化的標(biāo)準(zhǔn)，幫助研究人員或用戶選擇最適合特定任務(wù)或場(chǎng)景的系統(tǒng)。*算法驗(yàn)證與創(chuàng)新驅(qū)動(dòng)：新的檢索算法或技術(shù)需要通過評(píng)估來驗(yàn)證其有效性。評(píng)估結(jié)果可以激勵(lì)研究者探索更有效的檢索方法，推動(dòng)信息檢索領(lǐng)域的技術(shù)進(jìn)步。*性能基準(zhǔn)設(shè)定：通過大規(guī)模、標(biāo)準(zhǔn)化的評(píng)估，可以建立行業(yè)性能基準(zhǔn)（Benchmark），為后續(xù)研究和系統(tǒng)開發(fā)提供參考。*用戶需求反饋：雖然評(píng)估指標(biāo)不完全等同于用戶滿意度，但合理的評(píng)估方法能在一定程度上模擬用戶行為和感知，為理解用戶需求、改進(jìn)人機(jī)交互提供依據(jù)。*常見評(píng)估方法的比較：*HoldoutMethod（留出法）：*原理：將原始數(shù)據(jù)集隨機(jī)劃分為兩個(gè)互不重疊的子集：訓(xùn)練集（TrainingSet）和測(cè)試集（TestSet）。使用訓(xùn)練集來訓(xùn)練和優(yōu)化檢索模型，然后使用訓(xùn)練好的模型在測(cè)試集上評(píng)估其性能。測(cè)試集從未參與模型訓(xùn)練，可以模擬對(duì)新數(shù)據(jù)的預(yù)測(cè)效果。*優(yōu)點(diǎn)：簡(jiǎn)單直觀，易于實(shí)施；評(píng)估結(jié)果直接反映了模型在獨(dú)立數(shù)據(jù)上的性能。*缺點(diǎn)：*數(shù)據(jù)量依賴：需要足夠大的數(shù)據(jù)量才能劃分出有代表性的測(cè)試集。如果數(shù)據(jù)量較小，隨機(jī)劃分可能導(dǎo)致訓(xùn)練集和測(cè)試集的代表性不足，評(píng)估結(jié)果的方差較大，不夠穩(wěn)健。*信息浪費(fèi)：測(cè)試集數(shù)據(jù)未被用于模型訓(xùn)練，相當(dāng)于浪費(fèi)了這部分?jǐn)?shù)據(jù)的信息。*劃分隨機(jī)性：評(píng)估結(jié)果依賴于數(shù)據(jù)劃分的隨機(jī)性。不同的劃分可能導(dǎo)致不同的評(píng)估結(jié)果，缺乏可重復(fù)性保證。*Cross-Validation（交叉驗(yàn)證法）：*原理：將數(shù)據(jù)集劃分為K個(gè)大小相等的（或大致相等）的子集，稱為“折”（Fold）。輪流進(jìn)行K次實(shí)驗(yàn)：每次選擇一個(gè)子集作為驗(yàn)證集（ValidationSet），使用剩余的K-1個(gè)子集合并（Concatenate）作為訓(xùn)練集（TrainingSet）。訓(xùn)練模型后在驗(yàn)證集上評(píng)估性能。最后將K次評(píng)估結(jié)果（通常是性能指標(biāo)的平均值）作為最終模型性能的估計(jì)。*常見類型：最常用的是K折交叉驗(yàn)證（K-FoldCross-Validation）。*優(yōu)點(diǎn)：*數(shù)據(jù)利用率高：每個(gè)數(shù)據(jù)點(diǎn)都參與了K次訓(xùn)練和K-1次驗(yàn)證，充分利用了所有數(shù)據(jù)信息。*評(píng)估穩(wěn)健性：通過多次評(píng)估取平均，降低了因數(shù)據(jù)劃分隨機(jī)性帶來的評(píng)估結(jié)果方差，使得評(píng)估結(jié)果更穩(wěn)定、更具有代表性，統(tǒng)計(jì)意義更強(qiáng)。*適用于小數(shù)據(jù)集：對(duì)于數(shù)據(jù)量有限的情況，交叉驗(yàn)證比留出法更有效，因?yàn)樗灰蟠蟮臏y(cè)試集。*缺點(diǎn)：*計(jì)算成本高：需要進(jìn)行K次完整的模型訓(xùn)練和評(píng)估過程，計(jì)算量比留出法大。*評(píng)估偏差：由于每次訓(xùn)練使用的訓(xùn)練集都不同，評(píng)估結(jié)果可能帶有一定的偏差，不如使用整個(gè)數(shù)據(jù)集訓(xùn)練后在一個(gè)獨(dú)立測(cè)試集上評(píng)估那么能反映真實(shí)泛化能力（盡管平均后能改善）。*K值選擇：K的選擇會(huì)影響評(píng)估的穩(wěn)定性和計(jì)算成本。K值過小（如K=2）評(píng)估結(jié)果方差可能仍然較大；K值過大（如K接近數(shù)據(jù)集大?。﹦t接近留出法且計(jì)算成本增加。3.隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其對(duì)信息檢索領(lǐng)域帶來了哪些新的機(jī)遇和挑戰(zhàn)？請(qǐng)結(jié)合具體應(yīng)用進(jìn)行說明。*帶來的機(jī)遇：*更強(qiáng)大的語義理解：深度學(xué)習(xí)模型（尤其是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM、Transformer等）能夠捕捉文本序列中的長(zhǎng)距離依賴和上下文語義信息，克服了傳統(tǒng)方法主要依賴詞袋模型或TF-IDF難以理解詞語深層含義的局限。例如，在查詢理解中，能夠更好地處理同義詞、近義詞、多義詞，甚至理解查詢的隱含意圖。**應(yīng)用：*查詢自動(dòng)擴(kuò)展（QueryExpansion）能自動(dòng)加入與用戶查詢語義相關(guān)的同義詞或相關(guān)詞，提升查全率；查詢重寫（QueryReformulation）能將模糊或口語化的查詢轉(zhuǎn)換為更規(guī)范的檢索語句。*端到端的檢索系統(tǒng)：深度學(xué)習(xí)使得構(gòu)建端到端的（End-to-End）檢索模型成為可能，可以直接學(xué)習(xí)從原始查詢到排序結(jié)果的全過程映射，避免了傳統(tǒng)檢索系統(tǒng)中繁瑣的手工特征工程和模塊分解。例如，使用深度神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)文檔的排序分?jǐn)?shù)。**應(yīng)用：*實(shí)現(xiàn)更靈活、更自適應(yīng)的檢索模型，能夠根據(jù)數(shù)據(jù)自動(dòng)學(xué)習(xí)最優(yōu)的特征和表示。*提升復(fù)雜場(chǎng)景下的檢索效果：深度學(xué)習(xí)在處理多模態(tài)信息（文本+圖像、文本+語音）、跨語言檢索、社交網(wǎng)絡(luò)信息檢索等復(fù)雜場(chǎng)景方面展現(xiàn)出優(yōu)勢(shì)。**應(yīng)用：*圖像檢索中的文本描述理解；根據(jù)用戶畫像和社交關(guān)