2025年大學(xué)《信息與計算科學(xué)》專業(yè)題庫——信息與計算科學(xué)專業(yè)的數(shù)據(jù)分析與處理技術(shù)考試時間：______分鐘總分：______分姓名：______一、選擇題（每小題2分，共20分。請將正確選項的字母填在題后的括號內(nèi)）1.在數(shù)據(jù)分析流程中，通常將數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換等步驟稱為（）。A.數(shù)據(jù)探索B.數(shù)據(jù)預(yù)處理C.數(shù)據(jù)挖掘D.模型評估2.下列關(guān)于數(shù)據(jù)缺失值的說法中，錯誤的是（）。A.缺失完全隨機（MCAR）的數(shù)據(jù)可以使用任何方法填充B.缺失非隨機（MNAR）的數(shù)據(jù)處理較為復(fù)雜C.常用的缺失值填充方法包括均值/中位數(shù)/眾數(shù)填充、回歸填充、多重插補等D.刪除含有缺失值的樣本通常會導(dǎo)致信息損失3.用于衡量數(shù)據(jù)點之間相似度或距離的指標是（）。A.協(xié)方差B.相關(guān)系數(shù)C.距離度D.方差4.在分類問題中，評估模型預(yù)測準確性的指標通常不包括（）。A.精確率B.召回率C.F1分數(shù)D.決策樹深度5.聚類分析的目標是將數(shù)據(jù)劃分為若干個組，使得組內(nèi)數(shù)據(jù)相似度高，組間數(shù)據(jù)相似度低。以下哪種算法不屬于劃分式聚類算法？（）A.K-MeansB.DBSCANC.層次聚類D.劃分算法（如CART中的分類）6.下列哪個不是常用的降維方法？（）A.主成分分析（PCA）B.因子分析C.決策樹pruningD.嵌入式降維（如LDA）7.在構(gòu)建機器學(xué)習(xí)模型時，為了防止模型過擬合，常用的方法之一是（）。A.增加模型復(fù)雜度B.減少訓(xùn)練數(shù)據(jù)量C.使用正則化技術(shù)D.提高學(xué)習(xí)率8.SQL語句中，用于選擇數(shù)據(jù)的子句是（）。A.UPDATEB.DELETEC.WHERED.SELECT9.能夠發(fā)現(xiàn)隱藏在大量數(shù)據(jù)中的關(guān)聯(lián)規(guī)則的算法是（）。A.K-MeansB.AprioriC.SVMD.KNN10.數(shù)據(jù)可視化主要是利用圖形、圖像等視覺元素來呈現(xiàn)數(shù)據(jù)，其主要目的是（）。A.實現(xiàn)數(shù)據(jù)加密B.保存數(shù)據(jù)文件C.更直觀地理解數(shù)據(jù)、發(fā)現(xiàn)模式D.增加數(shù)據(jù)量二、簡答題（每小題5分，共20分。請簡要回答下列問題）1.簡述數(shù)據(jù)預(yù)處理在數(shù)據(jù)分析流程中的重要性。2.解釋什么是數(shù)據(jù)挖掘，并列舉至少三種基本的數(shù)據(jù)挖掘任務(wù)。3.描述決策樹分類算法的基本思想（包括如何選擇分裂屬性）。4.什么是過擬合？簡述防止過擬合的幾種主要方法。三、計算題（每小題10分，共30分。請按題目要求進行計算或分析）1.假設(shè)有一個包含5個樣本、3個特征的二維數(shù)據(jù)集，樣本特征值如下表所示（部分值缺失用NaN表示）：|樣本|特征1|特征2|特征3||------|-------|-------|-------||1|10|20|30||2|15|NaN|35||3|10|25|40||4|NaN|20|30||5|5|15|10|（1）計算特征1和特征2的均值（假設(shè)使用均值填充NaN值）。（2）計算這5個樣本特征1的標準差。2.已知某分類問題的混淆矩陣如下：||預(yù)測為正類|預(yù)測為負類||--------------|------------|------------||實際為正類|80|10||實際為負類|5|65|根據(jù)該混淆矩陣，計算該分類模型的精確率（Precision）、召回率（Recall）和F1分數(shù)（F1-Score）。3.假設(shè)要對一個包含1000個樣本、20個特征的數(shù)值型數(shù)據(jù)集進行降維，以提高后續(xù)分類算法的效率。請簡述使用主成分分析（PCA）進行降維的主要步驟，并說明在應(yīng)用PCA前通常需要進行的數(shù)據(jù)預(yù)處理步驟。四、綜合應(yīng)用題（共30分。請根據(jù)題目要求進行分析和設(shè)計）假設(shè)你是一家電子商務(wù)公司的數(shù)據(jù)分析師，近期收集了一批用戶的購物行為數(shù)據(jù)，包括用戶ID、商品ID、購買數(shù)量、購買時間（格式為YYYY-MM-DDHH:MM:SS）、商品價格、用戶年齡和用戶性別等字段。公司希望你能利用這些數(shù)據(jù)進行分析，以提升用戶滿意度和銷售額。請設(shè)計一個基本的數(shù)據(jù)分析流程，并說明你在每個步驟中可能采取的方法或使用的工具。具體要求如下：1.描述你對這批原始數(shù)據(jù)的初步理解階段，你會關(guān)注哪些方面？可能會發(fā)現(xiàn)哪些潛在的問題？2.針對可能存在的數(shù)據(jù)質(zhì)量問題（如缺失值、異常值），請?zhí)岢瞿愕臄?shù)據(jù)預(yù)處理方案，說明你會如何處理這些問題？3.為了更好地了解用戶群體和商品銷售情況，你打算進行哪些探索性數(shù)據(jù)分析（EDA）？請列舉至少兩種具體的分析方法或可視化手段，并說明你希望通過這些分析得到什么信息。4.基于上述分析，如果公司希望識別潛在的“高價值用戶”，你會考慮使用哪些數(shù)據(jù)分析或機器學(xué)習(xí)技術(shù)？請簡要說明你的思路。試卷答案一、選擇題（每小題2分，共20分。請將正確選項的字母填在題后的括號內(nèi)）1.B2.A3.C4.D5.B6.D7.C8.D9.B10.C二、簡答題（每小題5分，共20分。請簡要回答下列問題）1.數(shù)據(jù)預(yù)處理是數(shù)據(jù)分析流程中至關(guān)重要的一步，因為原始數(shù)據(jù)往往存在不完整、不一致、不適用等問題。數(shù)據(jù)預(yù)處理能夠清除噪聲、處理缺失值、糾正不一致性，并將數(shù)據(jù)轉(zhuǎn)換成適合進行進一步分析和建模的格式，從而提高數(shù)據(jù)分析的準確性和有效性，為后續(xù)的分析和挖掘工作打下堅實的基礎(chǔ)。2.數(shù)據(jù)挖掘是指從大規(guī)模數(shù)據(jù)集中發(fā)現(xiàn)隱藏的、以前未知的有用信息的過程?；镜臄?shù)據(jù)挖掘任務(wù)通常包括分類（預(yù)測樣本屬于哪個類別）、聚類（將相似的數(shù)據(jù)點分組）、關(guān)聯(lián)規(guī)則挖掘（發(fā)現(xiàn)數(shù)據(jù)項之間的有趣關(guān)系）、回歸（預(yù)測連續(xù)數(shù)值）和異常檢測（識別與大多數(shù)數(shù)據(jù)不同的數(shù)據(jù)點）。3.決策樹分類算法是一種基于樹形結(jié)構(gòu)進行決策的監(jiān)督學(xué)習(xí)方法。其基本思想是將數(shù)據(jù)集劃分成越來越小的子集，最終使每個子集中的數(shù)據(jù)屬于同一類別。選擇分裂屬性時，通常采用信息增益（ID3）、信息增益率（C4.5）或基尼不純度（CART）等準則。選擇能夠最大程度降低父節(jié)點不純度或最大化信息增益的屬性作為分裂屬性。4.過擬合是指機器學(xué)習(xí)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好，但在未見過的新數(shù)據(jù)上表現(xiàn)很差的現(xiàn)象。模型過于復(fù)雜，學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細節(jié)，而不是潛在的普遍規(guī)律。防止過擬合的主要方法包括：收集更多訓(xùn)練數(shù)據(jù)、使用更簡單的模型（降低模型復(fù)雜度）、正則化技術(shù)（如L1、L2正則化）、交叉驗證、早停法（EarlyStopping）等。三、計算題（每小題10分，共30分。請按題目要求進行計算或分析）1.（1）特征1均值：(10+15+10+NaN+5)/5=(40+5)/5=45/5=9特征2均值：(20+NaN+25+20+15)/5=(80+15)/5=95/5=19（2）特征1方差：[(10-9)2+(15-9)2+(10-9)2+(NaN-9)2+(5-9)2]/4=[(1)2+(6)2+(1)2+(NaN)2+(-4)2]/4=[1+36+1+NaN2+16]/4=(54+NaN2)/4特征1標準差：√[(54+NaN2)/4]=√(13.5+NaN2/4)（注：計算標準差時通常假設(shè)缺失值NaN在計算均值時已被忽略或用填充值替代，此處按原值計算略有不同，實際應(yīng)用中需明確處理方式。若用均值9填充NaN，則樣本為[10,15,10,9,5]，均值9，方差[(1)2+(6)2+(1)2+(0)2+(-4)2]/4=(1+36+1+0+16)/4=54/4=13.5，標準差√13.5≈3.67）2.精確率（Precision）=TP/(TP+FP)=80/(80+5)=80/85≈0.9412召回率（Recall）=TP/(TP+FN)=80/(80+10)=80/90≈0.8889F1分數(shù)（F1-Score）=2*(Precision*Recall)/(Precision+Recall)=2*(0.9412*0.8889)/(0.9412+0.8889)=2*(0.8362)/1.8301≈0.91413.使用主成分分析（PCA）進行降維的主要步驟如下：（1）數(shù)據(jù)標準化：對每個特征進行零均值化（減去均值）和單位方差化（除以標準差），使所有特征具有相同的尺度。（2）計算協(xié)方差矩陣：計算標準化數(shù)據(jù)的協(xié)方差矩陣，衡量不同特征之間的線性關(guān)系。（3）進行特征值分解或使用SVD（奇異值分解）：對協(xié)方差矩陣進行特征值分解，得到特征值和對應(yīng)的特征向量。特征值表示了對應(yīng)特征向量方向上的數(shù)據(jù)方差大小。（4）選擇主成分：根據(jù)特征值的大小排序，選擇前k個最大的特征值對應(yīng)的特征向量，這些向量即為數(shù)據(jù)的主要成分（PrincipalComponents）。（5）構(gòu)建降維后的數(shù)據(jù)：將原始標準化數(shù)據(jù)投影到選定的k個主成分上，得到新的k維數(shù)據(jù)表示。這k個主成分保留了原始數(shù)據(jù)的大部分方差信息。在應(yīng)用PCA前通常需要進行的數(shù)據(jù)預(yù)處理步驟主要是數(shù)據(jù)標準化（零均值化和歸一化/標準化），因為PCA對數(shù)據(jù)的尺度非常敏感，直接應(yīng)用可能無法得到有意義的降維效果。四、綜合應(yīng)用題（共30分。請根據(jù)題目要求進行分析和設(shè)計）1.初步理解階段，我會關(guān)注數(shù)據(jù)的整體情況，如數(shù)據(jù)量（1000條樣本，包含多個字段）、各字段的含義和數(shù)據(jù)類型（用戶ID-文本，商品ID-文本，購買數(shù)量-數(shù)值，購買時間-日期時間，商品價格-數(shù)值，用戶年齡-數(shù)值，用戶性別-分類），是否存在明顯的缺失值或異常值。我會檢查數(shù)據(jù)的質(zhì)量，例如用戶ID和商品ID是否唯一且格式正確，購買數(shù)量是否非負，價格是否合理，年齡是否在正常范圍內(nèi)，時間格式是否統(tǒng)一等。潛在的問題可能包括：大量缺失值、異常的購買數(shù)量或價格、數(shù)據(jù)重復(fù)、時間格式不統(tǒng)一、年齡或性別數(shù)據(jù)錯誤等。2.數(shù)據(jù)預(yù)處理方案：（1）處理缺失值：對于用戶ID和商品ID這類關(guān)鍵標識符，如果缺失比例很小，可以考慮刪除含缺失的記錄；如果缺失比例較大或缺失不是隨機發(fā)生，可以考慮使用插補方法，如根據(jù)用戶行為模式預(yù)測商品ID或使用其他用戶/商品的平均ID（不常見）。對于購買數(shù)量、價格、年齡等數(shù)值特征，可以考慮使用均值、中位數(shù)或眾數(shù)填充，或者基于其他特征使用回歸、KNN等方法插補。對于分類特征（如性別），如果缺失值比例不高，可考慮刪除或根據(jù)多數(shù)類填充。（2）處理異常值：檢查購買數(shù)量、價格、年齡等數(shù)值型特征的分布，識別可能的異常值（如購買數(shù)量遠超正常范圍、價格異常低/high、年齡不合理）。對于異常值的處理方法包括：刪除含異常值的記錄、將異常值替換為邊界值（如最大/最小正常值）、使用分位數(shù)或中位數(shù)替換、或者使用更復(fù)雜的方法（如基于模型檢測）。（3）數(shù)據(jù)轉(zhuǎn)換：將日期時間字段轉(zhuǎn)換為日期和/或時間字段，便于分析。對數(shù)值特征進行標準化或歸一化處理，消除量綱影響，為后續(xù)分析（如PCA降維、某些機器學(xué)習(xí)算法）做準備。對分類特征（如性別）進行編碼（如獨熱編碼或標簽編碼）。（4）數(shù)據(jù)集成/規(guī)約（如果需要）：根據(jù)分析需求，可能需要將此數(shù)據(jù)與其他數(shù)據(jù)源（如用戶畫像數(shù)據(jù)、商品信息數(shù)據(jù)）進行合并。如果數(shù)據(jù)量過大影響分析效率，可以考慮進行采樣或特征選擇/降維。3.探索性數(shù)據(jù)分析（EDA）：（1）分析用戶基本特征：通過統(tǒng)計描述（均值、中位數(shù)、分位數(shù)、標準差）和可視化（如直方圖、箱線圖）分析用戶年齡、性別等人口統(tǒng)計特征的分布情況。了解用戶群體的基本構(gòu)成。（2）分析購買行為模式：可視化用戶的購買數(shù)量、購買總金額的分布（如直方圖、散點圖）。分析購買時間序列數(shù)據(jù)，如繪制用戶購買頻次的日/周/月趨勢圖（折線圖），識別購買高峰期。分析用戶的商品品類偏好（如使用條形圖展示不同商品ID的購買次數(shù)）。通過這些分析，可以了解用戶的消費能力、購買習(xí)慣、活躍時間等，發(fā)現(xiàn)不同用戶群體的消費差異。4.識別“高價值用戶”的技術(shù)思路：（1）定義“高價值”：首先需要明確定義“高價值用戶”的標準，例如可以根據(jù)用戶的購買總金額、購買頻率、最近一次購買時間（Recency）、購買商品種類豐富度、客單價、復(fù)購率等指標來綜合衡量。（2）數(shù)據(jù)準備：基于定義，選擇相關(guān)特征