2025年P(guān)ython大數(shù)據(jù)分析實(shí)戰(zhàn)演練題庫考試時間：______分鐘總分：______分姓名：______一、請編寫Python代碼，使用`NumPy`庫創(chuàng)建一個3x3的二維數(shù)組，其元素從0到8（包含8）按行填充，并計(jì)算該數(shù)組的所有元素的平均值。二、假設(shè)已有一個名為`data.csv`的CSV文件，其中包含名為`id`,`name`,`age`,`city`的列。請使用`Pandas`庫讀取該文件到DataFrame對象`df`中，然后完成以下操作：1.選擇`name`和`age`兩列，創(chuàng)建一個新的DataFrame對象`df_selected`。2.查找`df`中`age`大于30的所有行。3.計(jì)算`df`中每個`city`的數(shù)量（即統(tǒng)計(jì)不同城市的記錄數(shù)）。三、使用`Pandas`和`Matplotlib`庫，對上一題中創(chuàng)建的`df`DataFrame對象進(jìn)行操作和可視化：1.請繪制`df`中`age`列的直方圖，并設(shè)置標(biāo)題為“年齡分布”。2.請繪制一個包含`city`列不同值及其對應(yīng)`age`平均值（僅使用帶`age>30`條件的行計(jì)算平均值）的柱狀圖。四、請編寫Python代碼，使用`Scikit-learn`庫完成以下機(jī)器學(xué)習(xí)任務(wù)：1.使用`make_classification(n_samples=100,n_features=20)`生成一個包含100個樣本，20個特征的二分類數(shù)據(jù)集。2.將數(shù)據(jù)集分為70%的訓(xùn)練集和30%的測試集。3.使用邏輯回歸（`LogisticRegression`）模型在訓(xùn)練集上擬合數(shù)據(jù)。4.在測試集上評估該模型的準(zhǔn)確率（`accuracy_score`）。五、請簡述在使用`PySpark`進(jìn)行分布式數(shù)據(jù)處理時，`SparkSession`的作用以及如何初始化一個`SparkSession`。六、假設(shè)你正在使用`Dask`處理一個超大規(guī)模的CSV數(shù)據(jù)文件，請簡述當(dāng)你使用`dask.dataframe.read_csv`讀取文件時，與Pandas的`read_csv`相比，它采用了哪些策略來優(yōu)化內(nèi)存使用和加快讀取速度？七、請描述在進(jìn)行機(jī)器學(xué)習(xí)項(xiàng)目時，特征工程通常包含哪些主要步驟？并舉例說明其中一個步驟及其目的。八、請解釋什么是“偽影”（Artifacts）在數(shù)據(jù)可視化中，并給出至少兩種產(chǎn)生偽影的常見情況及其避免方法。試卷答案一、```pythonimportnumpyasnp#創(chuàng)建3x3數(shù)組array=np.arange(9).reshape(3,3)#計(jì)算平均值mean_value=np.mean(array)```解析：使用`np.arange(9)`生成0到8的數(shù)組，`reshape(3,3)`將其重塑為3x3的二維數(shù)組。`np.mean()`函數(shù)計(jì)算數(shù)組所有元素的平均值。二、```pythonimportpandasaspd#讀取CSV文件df=pd.read_csv('data.csv')#1.選擇name和age列df_selected=df[['name','age']]#2.查找age大于30的行df_age_gt_30=df[df['age']>30]#3.計(jì)算每個city的數(shù)量city_counts=df['city'].value_counts()```解析：`pd.read_csv()`讀取CSV文件到DataFrame`df`。`[['name','age']]`通過列名列表選擇特定列。`df['age']>30`創(chuàng)建一個布爾索引，用于篩選滿足條件的行。`df['city'].value_counts()`統(tǒng)計(jì)`city`列中每個唯一值的出現(xiàn)次數(shù)。三、```pythonimportmatplotlib.pyplotasplt#1.繪制age列的直方圖plt.hist(df['age'],bins=10,edgecolor='k')plt.title('年齡分布')plt.xlabel('年齡')plt.ylabel('頻數(shù)')plt.show()#2.繪制city與age平均值的柱狀圖#首先計(jì)算age>30的條件下的city平均值city_age_mean=df[df['age']>30].groupby('city')['age'].mean()#繪制柱狀圖city_age_mean.plot(kind='bar')plt.title('各城市年齡平均值(>30歲)')plt.xlabel('城市')plt.ylabel('平均年齡')plt.show()```解析：`plt.hist()`根據(jù)`age`列數(shù)據(jù)繪制直方圖，`bins=10`指定bins數(shù)量。`plt.title()`,`xlabel()`,`ylabel()`設(shè)置圖表標(biāo)題和坐標(biāo)軸標(biāo)簽。`plt.show()`顯示圖表。第二題中，先通過布爾索引和`groupby()`篩選年齡大于30的記錄，再按`city`分組計(jì)算`age`的平均值，最后使用`plot(kind='bar')`繪制柱狀圖。四、```pythonfromsklearn.datasetsimportmake_classificationfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLogisticRegressionfromsklearn.metricsimportaccuracy_score#1.生成數(shù)據(jù)集X,y=make_classification(n_samples=100,n_features=20)#2.劃分訓(xùn)練集和測試集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)#3.創(chuàng)建并訓(xùn)練邏輯回歸模型model=LogisticRegression(random_state=42)model.fit(X_train,y_train)#4.評估模型準(zhǔn)確率y_pred=model.predict(X_test)accuracy=accuracy_score(y_test,y_pred)```解析：`make_classification()`生成模擬的二分類數(shù)據(jù)。`train_test_split()`按指定比例將數(shù)據(jù)分為訓(xùn)練集和測試集，`random_state`保證可復(fù)現(xiàn)性。`LogisticRegression()`創(chuàng)建邏輯回歸模型實(shí)例，`fit()`用訓(xùn)練數(shù)據(jù)擬合模型。`predict()`對測試集進(jìn)行預(yù)測，`accuracy_score()`計(jì)算預(yù)測結(jié)果與真實(shí)標(biāo)簽的準(zhǔn)確率。五、解析：`SparkSession`是ApacheSpark的入口點(diǎn)，用于初始化Spark應(yīng)用，管理Spark上下文，提供DataFrame和DatasetAPI。初始化通常使用`spark.sql.SparkSession.builder.appName("YourAppName").getOrCreate()`。`SparkSession`負(fù)責(zé)創(chuàng)建`SparkContext`，配置Spark環(huán)境，并允許用戶通過DataFrame/DatasetAPI進(jìn)行分布式數(shù)據(jù)處理。六、解析：`Dask`在讀取大文件時，通常采用延遲計(jì)算和分塊（chunking）策略。它不會一次性將整個文件加載到內(nèi)存，而是讀取一小部分（一個塊），處理完該塊后再讀取下一塊。這種惰性執(zhí)行和按需加載機(jī)制顯著減少了內(nèi)存占用，并且可以通過并行化處理塊來加速整體讀取過程，尤其適用于內(nèi)存無法容納整個數(shù)據(jù)集的情況。七、解析：特征工程通常包括以下步驟：特征提?。◤脑紨?shù)據(jù)或現(xiàn)有特征中創(chuàng)建新特征）、特征選擇（選擇最相關(guān)或最有影響力的特征以減少維度和噪聲）、特征轉(zhuǎn)換/縮放（如歸一化、標(biāo)準(zhǔn)化）、特征編碼（如獨(dú)熱編碼、標(biāo)簽編碼）。例如，特征轉(zhuǎn)換：將非線性關(guān)系的數(shù)據(jù)通過某種數(shù)學(xué)變換（如對數(shù)、平方根）使其更接近線性關(guān)系，從而可能提高線性模型的性能。八、解析：偽影（Artifacts）是指在數(shù)據(jù)可視化中，由于圖表設(shè)計(jì)不當(dāng)或數(shù)據(jù)處理錯誤而導(dǎo)致的，歪曲了數(shù)據(jù)真實(shí)情況或引入了誤導(dǎo)性的視覺效果。常見情況及避免方法：1.過擬合（Overplotting）：