2025年大學(xué)《數(shù)據(jù)計算及應(yīng)用》專業(yè)題庫——數(shù)據(jù)計算與應(yīng)用專業(yè)數(shù)據(jù)操作與處理考試時間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分）1.在數(shù)據(jù)預(yù)處理階段，以下哪一項通常不屬于數(shù)據(jù)清洗的范疇？A.處理缺失值B.數(shù)據(jù)類型轉(zhuǎn)換C.識別并處理重復(fù)記錄D.特征工程的選擇2.下列哪種數(shù)據(jù)模型最適合表示具有明確層次關(guān)系的數(shù)據(jù)？A.關(guān)系模型B.層次模型C.網(wǎng)狀模型D.對象模型3.SQL語句中，用于對查詢結(jié)果進行排序的子句是？A.`SELECT`B.`WHERE`C.`GROUPBY`D.`ORDERBY`4.從關(guān)系數(shù)據(jù)庫中檢索滿足特定條件的數(shù)據(jù)記錄，主要使用哪個子句？A.`INSERT`B.`UPDATE`C.`DELETE`D.`WHERE`5.以下哪個不是常用的數(shù)據(jù)集成技術(shù)流程？A.ETLB.ELTC.TELD.LTA6.在進行數(shù)據(jù)聚合時，`COUNT(DISTINCTcolumn_name)`語句的作用是？A.統(tǒng)計表中所有記錄的數(shù)量B.計算指定列中不同值的數(shù)量C.對指定列求平均值D.對指定列求最大值7.缺失值處理方法中，簡單地將缺失值替換為一個固定值（如0或均值），這種方法被稱為？A.刪除法B.填補法C.回歸填充D.均值/中位數(shù)/眾數(shù)替換8.讀取CSV文件并將其內(nèi)容加載到內(nèi)存中的Pandas操作通常使用哪個函數(shù)？A.`read_csv()`B.`load_csv()`C.`open_csv()`D.`import_csv()`9.SQL中，`INNERJOIN`與`LEFTJOIN`的主要區(qū)別在于？A.`INNERJOIN`返回所有匹配的行，而`LEFTJOIN`返回左表所有行及其匹配的右表行（如果存在）B.`INNERJOIN`需要指定連接條件，而`LEFTJOIN`不需要C.`INNERJOIN`只能在相同名稱的列上連接，而`LEFTJOIN`可以在任何列上連接D.`INNERJOIN`使用`ON`關(guān)鍵字，`LEFTJOIN`使用`USING`關(guān)鍵字10.將文本字段"2023-05-15"轉(zhuǎn)換為日期格式的SQL函數(shù)通常是？A.`CAST()`B.`TO_DATE()`C.`STR_TO_DATE()`D.`FORMAT_DATE()`二、填空題（每題2分，共20分）1.在關(guān)系數(shù)據(jù)庫中，用于唯一標(biāo)識每條記錄的屬性稱為________。2.數(shù)據(jù)預(yù)處理過程中，識別并移除與目標(biāo)分析無關(guān)或冗余的數(shù)據(jù)特征的技術(shù)稱為________。3.在SQL中，使用________子句可以對查詢結(jié)果進行分組，并對其中的數(shù)據(jù)進行聚合運算。4.將非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)的處理過程通常稱為________。5.使用Pandas處理數(shù)據(jù)時，`df.dropna()`函數(shù)默認(rèn)的處理缺失值方式是________。6.如果要統(tǒng)計學(xué)生表中每個專業(yè)的學(xué)生人數(shù)，通常需要使用SQL的________子句和________函數(shù)。7.在進行多表連接查詢時，如果左表中的某個鍵值在右表中沒有匹配項，`LEFTJOIN`將返回左表該行的記錄，并在右表的相關(guān)列中填充________值。8.數(shù)據(jù)導(dǎo)入是指將數(shù)據(jù)從________載入到目標(biāo)存儲系統(tǒng)（如數(shù)據(jù)庫或文件）的過程。9.對于數(shù)值型數(shù)據(jù)，常用的標(biāo)準(zhǔn)化方法之一是“Z-score標(biāo)準(zhǔn)化”，其公式為：新值=(原始值-________)/________。10.ETL流程中的“T”代表________。三、簡答題（每題5分，共15分）1.簡述數(shù)據(jù)清洗的主要步驟及其目的。2.比較內(nèi)連接（INNERJOIN）和外連接（LEFTJOIN/RIGHTJOIN）的區(qū)別，并說明何時使用它們。3.解釋什么是數(shù)據(jù)預(yù)處理，并列舉至少三個數(shù)據(jù)預(yù)處理中常見的挑戰(zhàn)。四、操作題（每題10分，共20分）1.假設(shè)有兩個數(shù)據(jù)庫表：學(xué)生表（students:student_idINT,nameVARCHAR,majorVARCHAR）和專業(yè)表（departments:dept_idINT,dept_nameVARCHAR,buildingVARCHAR）。請寫出SQL語句，查詢每個專業(yè)的學(xué)生人數(shù)，并按學(xué)生人數(shù)降序排列。要求：使用`INNERJOIN`連接兩個表，連接條件為`students.major=departments.dept_name`（假設(shè)專業(yè)名稱在兩個表中完全一致）。2.使用Python的Pandas庫，完成以下任務(wù)：*（1）從一個名為`data.csv`的文件中讀取數(shù)據(jù)到PandasDataFrame對象`df`。*（2）檢查`df`中是否存在缺失值，并輸出每列缺失值的數(shù)量。*（3）如果存在缺失值，請將數(shù)值型列的缺失值填充為其所在列的均值，將非數(shù)值型列的缺失值填充為該列的第一個非缺失值。*（4）選擇`name`列和`major`列，創(chuàng)建一個新的DataFrame`df_selected`。*（5）輸出`df_selected`的前5行數(shù)據(jù)。---試卷答案一、選擇題1.D2.B3.D4.D5.C6.B7.D8.A9.A10.B二、填空題1.主鍵(PrimaryKey)2.特征選擇(FeatureSelection)3.`GROUPBY`4.數(shù)據(jù)規(guī)整化/數(shù)據(jù)轉(zhuǎn)換(DataTransformation)5.刪除(Drop)6.`GROUPBY`,`COUNT()`7.NULL/空值(NULL)8.源系統(tǒng)(SourceSystem)9.均值(Mean)/平均值,標(biāo)準(zhǔn)差(StandardDeviation)10.轉(zhuǎn)換(Transformation)三、簡答題1.數(shù)據(jù)清洗主要步驟及其目的：*步驟1：處理缺失值。目的：確保數(shù)據(jù)完整性，避免因缺失值導(dǎo)致分析偏差或錯誤。*步驟2：處理重復(fù)值。目的：保證數(shù)據(jù)唯一性，避免統(tǒng)計結(jié)果虛高。*步驟3：處理異常值/離群點。目的：識別并處理不符合常規(guī)或可能由錯誤引起的極端值，防止其對分析結(jié)果產(chǎn)生誤導(dǎo)。*步驟4：數(shù)據(jù)格式轉(zhuǎn)換/統(tǒng)一。目的：確保數(shù)據(jù)類型、單位、格式等一致，便于后續(xù)處理和分析。*步驟5：數(shù)據(jù)規(guī)范化。目的：消除數(shù)據(jù)冗余，改善數(shù)據(jù)結(jié)構(gòu)，使其更易于管理和分析。**（注：具體步驟順序可能因教材或場景不同而略有差異）*2.內(nèi)連接（INNERJOIN）與外連接（LEFTJOIN/RIGHTJOIN）的區(qū)別及使用場景：*區(qū)別：*`INNERJOIN`只返回兩個表中連接條件匹配的記錄。如果左表某行在右表中沒有匹配行，或者右表某行在左表中沒有匹配行，則這些行都不會出現(xiàn)在結(jié)果中。*`LEFTJOIN`（或`LEFTOUTERJOIN`）返回左表的所有記錄，以及右表中滿足連接條件的匹配記錄。如果左表某行在右表中沒有匹配行，則在結(jié)果中，該行與右表的相關(guān)列將填充NULL值。*`RIGHTJOIN`（或`RIGHTOUTERJOIN`）與`LEFTJOIN`相反，返回右表的所有記錄，以及左表中滿足連接條件的匹配記錄。如果右表某行在左表中沒有匹配行，則在結(jié)果中，該行與左表的相關(guān)列將填充NULL值。*使用場景：*`INNERJOIN`：當(dāng)你只關(guān)心兩個表中共同存在的關(guān)聯(lián)記錄時使用。*`LEFTJOIN`：當(dāng)你需要獲取左表的所有記錄，并想了解它們在右表中是否有對應(yīng)信息時使用（例如，列出所有學(xué)生及其成績，即使某些學(xué)生沒有成績）。*`RIGHTJOIN`：當(dāng)你需要獲取右表的所有記錄，并想了解它們在左表中是否有對應(yīng)信息時使用（較少使用，但例如，列出所有課程及其選課學(xué)生，即使某些課程沒有學(xué)生選）。3.數(shù)據(jù)預(yù)處理的概念及常見挑戰(zhàn)：*概念：數(shù)據(jù)預(yù)處理是指在數(shù)據(jù)分析和建模之前，對原始數(shù)據(jù)進行一系列操作，使其達(dá)到適合分析或建模的質(zhì)量的過程。它包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等步驟。*常見挑戰(zhàn)：*數(shù)據(jù)量巨大：處理海量數(shù)據(jù)需要高效的算法和工具支持。*數(shù)據(jù)質(zhì)量參差不齊：缺失值、噪聲、不一致性等問題普遍存在，清洗工作量大。*數(shù)據(jù)格式多樣：來自不同來源的數(shù)據(jù)格式各異，集成和轉(zhuǎn)換困難。*領(lǐng)域知識缺乏：理解數(shù)據(jù)含義需要相關(guān)領(lǐng)域知識，否則難以進行有效的預(yù)處理和特征工程。*高維度數(shù)據(jù)：特征數(shù)量過多可能帶來“維度災(zāi)難”，增加處理復(fù)雜度和模型難度。*數(shù)據(jù)隱私和安全：在處理敏感數(shù)據(jù)時，需確保遵守相關(guān)法規(guī)，保護數(shù)據(jù)隱私。四、操作題1.SQL查詢語句：```sqlSELECTdepartments.dept_name,COUNT(students.student_id)ASstudent_countFROMstudentsINNERJOINdepartmentsONstudents.major=departments.dept_nameGROUPBYdepartments.dept_nameORDERBYstudent_countDESC;```*解析思路：*目標(biāo)是連接`students`和`departments`表，按`departments.dept_name`分組，計算每組的學(xué)生數(shù)量，并按數(shù)量降序排列。*使用`INNERJOIN`連接兩個表，連接條件是學(xué)生表的專業(yè)名等于部門表的專業(yè)名(`students.major=departments.dept_name`)。*使用`GROUPBYdepartments.dept_name`按專業(yè)名稱分組。*使用`COUNT(students.student_id)`計算每個分組（即每個專業(yè)）的學(xué)生數(shù)量，`ASstudent_count`給結(jié)果列命名。*使用`ORDERBYstudent_countDESC`按學(xué)生數(shù)量降序排序。2.PythonPandas操作：```pythonimportpandasaspd#(1)讀取數(shù)據(jù)df=pd.read_csv('data.csv')#(2)檢查缺失值missing_counts=df.isnull().sum()#print(missing_counts)#可選：打印每列缺失值數(shù)量#(3)處理缺失值#對數(shù)值型列填充均值numeric_cols=df.select_dtypes(include='number').columnsdf[numeric_cols]=df[numeric_cols].fillna(df[numeric_cols].mean())#對非數(shù)值型列填充第一個非缺失值object_cols=df.select_dtypes(exclude='number').columnsdf[object_cols]=df[object_cols].fillna(df[object_cols].iloc[0])#(4)創(chuàng)建新DataFramedf_selected=df[['name','major']]#(5)輸出前5行#print(df_selected.head())#可選：打印前5行```*解析思路：*(1)使用`pd.read_csv('data.csv')`讀取名為`data.csv`的文件到PandasDataFrame`df`。*(2)使用`df.isnull().sum()`計算DataFrame中每列的缺失值數(shù)量，并將結(jié)果存儲在`missing_counts`變量中（打印出來可選）。*(3)首先識別出DataFrame中的數(shù)值型列（`df.select_dtypes(include='number').columns`），然后使用`fillna(df[numeric_cols].mean())`將這些列的缺失