2025年大學(xué)《數(shù)據(jù)計(jì)算及應(yīng)用》專業(yè)題庫——數(shù)據(jù)計(jì)算及應(yīng)用專業(yè)數(shù)據(jù)處理技巧考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分）1.在數(shù)據(jù)預(yù)處理階段，下列哪一項(xiàng)通常不屬于數(shù)據(jù)清洗的范疇？A.處理缺失值B.檢測并處理異常值C.數(shù)據(jù)規(guī)范化D.特征選擇2.當(dāng)數(shù)據(jù)集中存在大量重復(fù)記錄時(shí)，一種常見的處理方法是？A.對(duì)重復(fù)記錄進(jìn)行模糊化處理B.刪除所有重復(fù)記錄C.保留第一條記錄，刪除后續(xù)重復(fù)記錄D.將重復(fù)記錄合并，取平均值3.在使用SQL進(jìn)行數(shù)據(jù)查詢時(shí)，用于選擇特定記錄的語句是？A.`SELECT`B.`INSERT`C.`UPDATE`D.`DELETE`4.下列哪種方法不屬于常見的缺失值填充技術(shù)？A.使用均值填充B.使用眾數(shù)填充C.使用隨機(jī)數(shù)填充D.使用回歸預(yù)測填充5.將有序數(shù)據(jù)集中的數(shù)據(jù)按照某種規(guī)則重新排列，這個(gè)過程稱為？A.數(shù)據(jù)聚合B.數(shù)據(jù)排序C.數(shù)據(jù)分組D.數(shù)據(jù)采樣6.在Pandas庫中，用于創(chuàng)建數(shù)據(jù)框（DataFrame）的函數(shù)是？A.`numpy.array()`B.`pandas.Series()`C.`pandas.DataFrame()`D.`pandas.plot()`7.對(duì)于數(shù)值型數(shù)據(jù)，計(jì)算其分散程度常用的統(tǒng)計(jì)量是？A.均值B.中位數(shù)C.標(biāo)準(zhǔn)差D.算術(shù)平方根8.將連續(xù)型數(shù)值數(shù)據(jù)映射到有限個(gè)區(qū)間的過程稱為？A.數(shù)據(jù)標(biāo)準(zhǔn)化B.數(shù)據(jù)歸一化C.數(shù)據(jù)離散化D.數(shù)據(jù)編碼9.讀取存儲(chǔ)在CSV文件中的數(shù)據(jù)到PandasDataFrame對(duì)象中，通常使用的函數(shù)是？A.`read_excel()`B.`read_sql()`C.`read_csv()`D.`read_json()`10.對(duì)數(shù)據(jù)集中的每個(gè)分組進(jìn)行統(tǒng)計(jì)匯總，例如計(jì)算每組的總和、平均值等，稱為？A.數(shù)據(jù)排序B.數(shù)據(jù)篩選C.數(shù)據(jù)聚合D.數(shù)據(jù)透視二、填空題（每空1分，共15分）1.數(shù)據(jù)清洗是數(shù)據(jù)預(yù)處理階段的關(guān)鍵步驟，主要目的是去除或修正數(shù)據(jù)中的______和錯(cuò)誤。2.在進(jìn)行數(shù)據(jù)分析前，通常需要將數(shù)據(jù)轉(zhuǎn)換成適合分析的格式，例如將文本數(shù)據(jù)轉(zhuǎn)換為______數(shù)據(jù)。3.SQL語言中，用于連接多個(gè)數(shù)據(jù)表的操作稱為______連接。4.缺失值處理方法的選擇需要考慮數(shù)據(jù)缺失的原因、缺失比例以及分析目標(biāo)。常見的填充方法有均值/中位數(shù)/眾數(shù)填充、回歸填充和______填充等。5.在Pandas中，使用______屬性可以獲取DataFrame的行數(shù)和列數(shù)。6.數(shù)據(jù)聚合是通過對(duì)數(shù)據(jù)進(jìn)行分組后再進(jìn)行統(tǒng)計(jì)計(jì)算的過程，常用的聚合函數(shù)包括`sum()`,`mean()`,`count()`,______等。7.數(shù)據(jù)標(biāo)準(zhǔn)化（Z-score標(biāo)準(zhǔn)化）通常將數(shù)據(jù)轉(zhuǎn)換為均值為0，標(biāo)準(zhǔn)差為1的分布，其公式為：standardized_value=(original_value-_______)/standard_deviation。8.對(duì)于包含日期時(shí)間類型的數(shù)據(jù)，可以提取出年、月、日、小時(shí)、分鐘等______特征。9.在處理大規(guī)模數(shù)據(jù)時(shí)，批處理和流處理是兩種主要的數(shù)據(jù)處理范式。批處理適用于處理______的數(shù)據(jù)集。10.數(shù)據(jù)可視化是將數(shù)據(jù)轉(zhuǎn)化為圖形或圖像的過程，常用的可視化圖表類型包括折線圖、柱狀圖、散點(diǎn)圖、______圖等。三、簡答題（每題5分，共20分）1.簡述數(shù)據(jù)清洗的主要步驟及其目的。2.解釋什么是數(shù)據(jù)異常值，并列舉兩種常見的異常值檢測方法。3.說明在Pandas中，如何選擇DataFrame中滿足特定條件的行？4.描述使用SQL實(shí)現(xiàn)數(shù)據(jù)表連接的基本過程。四、計(jì)算題/分析題（共25分）1.假設(shè)你獲得了一份包含用戶ID（UserID）、年齡（Age）和購買金額（Amount）的表格數(shù)據(jù)。請(qǐng)?jiān)O(shè)計(jì)一個(gè)數(shù)據(jù)處理流程，要求：a.刪除年齡小于18歲或缺失的記錄。b.將購買金額進(jìn)行標(biāo)準(zhǔn)化處理（Z-score標(biāo)準(zhǔn)化）。c.計(jì)算每個(gè)年齡段（以10年為一段，如0-9,10-19,...）用戶的平均購買金額，并按平均金額從高到低排序。請(qǐng)描述每個(gè)步驟的操作思路。（12分）2.考慮一個(gè)使用SQL查詢的情景。請(qǐng)寫出以下SQL語句的功能描述：```sqlSELECTCustomerID,COUNT(OrderID)ASOrderCountFROMOrdersWHEREOrderDateBETWEEN'2023-01-01'AND'2023-12-31'GROUPBYCustomerIDORDERBYOrderCountDESCLIMIT10;```請(qǐng)解釋這段SQL語句執(zhí)行了什么操作，并說明每部分的關(guān)鍵作用。（13分）試卷答案一、選擇題1.D2.C3.A4.C5.B6.C7.C8.C9.C10.C二、填空題1.瑕疵2.數(shù)值3.內(nèi)連接(或左連接/右連接/外連接，根據(jù)具體語境選擇最合適的)4.KNN5.shape6.max()7.mean8.時(shí)間9.靜態(tài)10.箱線三、簡答題1.數(shù)據(jù)清洗的主要步驟及其目的：*缺失值處理：目的是保證數(shù)據(jù)的完整性，根據(jù)情況選擇刪除或填充等方法，避免缺失值對(duì)分析結(jié)果造成偏差。*異常值檢測與處理：目的是識(shí)別并處理可能由錯(cuò)誤或特殊原因?qū)е碌牟缓侠頂?shù)據(jù)，防止其對(duì)分析結(jié)果產(chǎn)生誤導(dǎo)性影響，可以選擇刪除、修正或保留。*數(shù)據(jù)格式轉(zhuǎn)換：目的是統(tǒng)一數(shù)據(jù)格式，使數(shù)據(jù)符合分析要求，例如統(tǒng)一日期格式、轉(zhuǎn)換數(shù)據(jù)類型等。*重復(fù)值處理：目的是去除數(shù)據(jù)集中的重復(fù)記錄，保證數(shù)據(jù)的唯一性，避免重復(fù)計(jì)算影響分析結(jié)果。*數(shù)據(jù)一致性檢查：目的是確保數(shù)據(jù)在邏輯上是一致的，沒有矛盾或錯(cuò)誤，例如年齡不能為負(fù)數(shù)。2.什么是數(shù)據(jù)異常值，并列舉兩種常見的異常值檢測方法：*數(shù)據(jù)異常值：指數(shù)據(jù)集中與其他數(shù)據(jù)顯著不同的數(shù)值，可能是由測量錯(cuò)誤、輸入錯(cuò)誤、欺詐或其他罕見情況引起的。*常見的異常值檢測方法：*統(tǒng)計(jì)方法：基于數(shù)值的統(tǒng)計(jì)分布特性，如使用標(biāo)準(zhǔn)差、四分位數(shù)（IQR）等方法識(shí)別偏離平均值或中位數(shù)較遠(yuǎn)的點(diǎn)。*可視化方法：通過繪制箱線圖（BoxPlot）等圖表，直觀地識(shí)別出遠(yuǎn)離“箱子”和“須”的點(diǎn)。3.在Pandas中，如何選擇DataFrame中滿足特定條件的行？可以使用布爾索引（BooleanIndexing）。首先，根據(jù)條件創(chuàng)建一個(gè)與DataFrame行數(shù)相同的布爾序列（True/False），然后使用這個(gè)布爾序列來索引DataFrame，從而選出滿足條件的行。例如，選擇年齡大于30歲的用戶：`df[df['Age']>30]`。4.描述使用SQL實(shí)現(xiàn)數(shù)據(jù)表連接的基本過程：使用`JOIN`關(guān)鍵字將兩個(gè)或多個(gè)數(shù)據(jù)表根據(jù)指定的關(guān)聯(lián)條件（通常是主鍵和外鍵）合并成一個(gè)新的結(jié)果集。基本過程包括：選擇要連接的表，指定連接的類型（如`INNERJOIN`,`LEFTJOIN`,`RIGHTJOIN`,`FULLOUTERJOIN`），明確連接條件（`ON`子句）。SQL語句的基本格式為：`SELECT...FROMtable1JOINtable2ONtable1.key=table2.key;`。四、計(jì)算題/分析題1.數(shù)據(jù)處理流程設(shè)計(jì)：a.操作思路：使用布爾索引篩選出Age列值大于等于18且非缺失（或非空，NaN）的記錄。在Pandas中，可以使用`df.dropna(subset=['Age'])`刪除Age列的缺失值，然后使用`df[df['Age']>=18]`篩選出年齡大于等于18的記錄。將這兩個(gè)操作結(jié)合，可以使用`df[(df['Age'].notna())&(df['Age']>=18)]`。b.操作思路：計(jì)算購買金額列（Amount）的均值（mean）和標(biāo)準(zhǔn)差（std）。然后，對(duì)Amount列應(yīng)用Z-score標(biāo)準(zhǔn)化公式：`standardized_amount=(amount-mean)/std`。在Pandas中，可以使用`df['Amount'].apply(lambdax:(x-df['Amount'].mean())/df['Amount'].std())`。c.操作思路：使用`pd.cut()`函數(shù)將Age列的數(shù)據(jù)離散化成年齡段（例如，bins=[0,10,20,30,40,50,100]，labels=['0-9','10-19','20-29','30-39','40-49','50+'])）。然后，使用`groupby()`按年齡段分組，并計(jì)算每個(gè)分組的平均購買金額（`mean('Amount')`）。最后，使用`sort_values()`按平均購買金額降序排序。2.SQL語句功能描述：*功能：該SQL語句查詢并返回2023年全年每個(gè)用戶的訂單數(shù)量，并按訂單數(shù)量從高到低排序，僅顯示排名前10的用戶信息。*解釋：*`SELECTCustomerID,COUNT(OrderID)ASOrderCount`:選擇要查詢的列，即用戶ID（CustomerID）和每個(gè)用戶的訂單總數(shù)（通過COUNT(OrderID)計(jì)算），并將計(jì)算出的訂單總數(shù)命名為OrderCount。*`FROMOrders`:指定查詢的數(shù)據(jù)表名為Orders。*`WHEREOrderDateBETWEEN'2023-01-01'AND'2023-12-31'`:設(shè)置查詢條件，只選取OrderDate字段值在'2023-01-01'到