2025年P(guān)ython大數(shù)據(jù)處理專項(xiàng)訓(xùn)練試卷：實(shí)戰(zhàn)演練與押題考試時(shí)間：______分鐘總分：______分姓名：______一、請簡述分布式計(jì)算在大數(shù)據(jù)處理中的核心優(yōu)勢，并說明Spark是如何利用這些優(yōu)勢來提升大數(shù)據(jù)處理效率的。二、假設(shè)你獲得了一份包含用戶ID、購買日期、商品類別和購買金額的CSV文件（命名為`sales_data.csv`），其中可能存在缺失值和重復(fù)記錄。請編寫Python代碼，使用Pandas完成以下任務(wù)：1.讀取該CSV文件到PandasDataFrame。2.刪除重復(fù)的記錄。3.對缺失值進(jìn)行處理：商品類別缺失時(shí)，填充為"Unknown"；購買金額缺失時(shí)，填充為該商品類別下平均購買金額（若該類別無購買記錄，則填充0）。4.添加一列`year_month`，提取購買日期中的年份和月份。5.計(jì)算每個(gè)商品類別在不同月份的總銷售額，并按銷售額降序排列。6.將處理后的數(shù)據(jù)保存為新的CSV文件`processed_sales_data.csv`。三、現(xiàn)需處理一個(gè)存儲在HDFS上的大規(guī)模日志文件（假設(shè)文件路徑為`/user/data/logs/access_log.txt`），該日志文件每行包含用戶訪問記錄，格式如下：`timestamp,user_id,event_type,status_code,request_url`。請使用PySpark編寫代碼完成以下任務(wù)：1.讀取該HDFS日志文件，創(chuàng)建一個(gè)SparkDataFrame，字段名分別為`timestamp`,`user_id`,`event_type`,`status_code`,`request_url`。2.過濾出狀態(tài)碼為200（表示請求成功）的記錄。3.對數(shù)據(jù)進(jìn)行分區(qū)，按照`user_id`進(jìn)行分區(qū)，每個(gè)用戶的記錄存儲在一個(gè)分區(qū)中。4.計(jì)算每個(gè)`user_id`的活躍次數(shù)（即事件類型為"login"的記錄數(shù)）。5.找出活躍次數(shù)最多的前10個(gè)用戶，并展示其`user_id`和活躍次數(shù)。四、假設(shè)你已經(jīng)使用PySpark處理了上一題中的日志數(shù)據(jù)，得到了每個(gè)用戶的活躍次數(shù)?，F(xiàn)在需要使用這些數(shù)據(jù)，并結(jié)合`user_id`到用戶的名稱映射（存儲在一個(gè)名為`user_mapping.csv`的文件中，格式為`user_id,user_name`），進(jìn)行以下分析：1.將上一題得到的用戶活躍次數(shù)DataFrame與`user_mapping.csv`文件進(jìn)行左連接（以`user_id`為連接鍵）。2.使用Pandas（可以在SparkDataFrame上調(diào)用`.toPandas()`轉(zhuǎn)換）對連接后的數(shù)據(jù)進(jìn)行分析，篩選出活躍次數(shù)大于100的用戶。3.對這些活躍用戶，根據(jù)`event_type`進(jìn)行分類，計(jì)算各類事件的總次數(shù)，并繪制一個(gè)餅圖展示各類事件次數(shù)的占比。4.（此題無需代碼，僅為概念思考）如果不使用Pandas，僅用PySpark和Matplotlib/Seaborn等可視化庫，你將如何實(shí)現(xiàn)上述餅圖繪制？請簡述你的實(shí)現(xiàn)思路。五、考慮一個(gè)簡單的線性回歸問題：預(yù)測房屋價(jià)格（`price`，單位：萬元）基于其面積（`area`，單位：平方米）和房齡（`age`，單位：年）。假設(shè)你已使用Scikit-learn訓(xùn)練了一個(gè)線性回歸模型，并獲得了以下模型參數(shù)：截距項(xiàng)`intercept=50`，系數(shù)`coef_area=0.8`，`coef_age=-0.5`。請回答：1.根據(jù)該模型，如果有一套面積為120平方米、房齡為10年的房屋，預(yù)測其價(jià)格應(yīng)為多少？2.解釋模型系數(shù)`coef_area`和`coef_age`的經(jīng)濟(jì)含義。3.假設(shè)你發(fā)現(xiàn)模型預(yù)測結(jié)果普遍偏高，且殘差圖呈現(xiàn)曲線趨勢，請?zhí)岢鲋辽賰煞N可能的原因，并說明相應(yīng)的改進(jìn)方法。試卷答案一、分布式計(jì)算通過將數(shù)據(jù)和服務(wù)分布在多臺計(jì)算機(jī)上，實(shí)現(xiàn)了資源的橫向擴(kuò)展，從而能夠存儲和處理遠(yuǎn)超單機(jī)能力的數(shù)據(jù)量。其核心優(yōu)勢包括：1.可擴(kuò)展性（Scalability）：能夠通過增加更多節(jié)點(diǎn)來線性提升計(jì)算和存儲能力，滿足不斷增長的數(shù)據(jù)處理需求。2.容錯(cuò)性（FaultTolerance）：單個(gè)節(jié)點(diǎn)的故障不會(huì)導(dǎo)致整個(gè)系統(tǒng)崩潰，其他節(jié)點(diǎn)可以接管其工作，保證了系統(tǒng)的穩(wěn)定性和可靠性。3.高性能（HighPerformance）：通過并行處理，多個(gè)節(jié)點(diǎn)可以同時(shí)處理數(shù)據(jù)，顯著提高計(jì)算速度和吞吐量。Spark利用分布式計(jì)算優(yōu)勢的主要方式包括：1.內(nèi)存計(jì)算：將計(jì)算所需的數(shù)據(jù)和中間結(jié)果存儲在內(nèi)存中，避免了頻繁的磁盤I/O操作，極大提升了計(jì)算速度。2.RDD抽象與調(diào)度：使用彈性分布式數(shù)據(jù)集（RDD）作為基本數(shù)據(jù)結(jié)構(gòu)，RDD提供了容錯(cuò)機(jī)制（故障時(shí)自動(dòng)重算），并且其DAG（有向無環(huán)圖）執(zhí)行模型允許Spark進(jìn)行任務(wù)調(diào)度優(yōu)化，將計(jì)算任務(wù)有效地分配到集群的各個(gè)節(jié)點(diǎn)上并行執(zhí)行。3.懶惰計(jì)算：Spark采用懶惰計(jì)算策略，只有在真正需要數(shù)據(jù)時(shí)才執(zhí)行計(jì)算任務(wù)，并在執(zhí)行前進(jìn)行優(yōu)化（如DAG優(yōu)化、代碼生成），提高了執(zhí)行效率。4.數(shù)據(jù)本地化：盡量讓計(jì)算任務(wù)在包含所需數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，減少了數(shù)據(jù)傳輸開銷。二、```pythonimportpandasaspd#1.讀取CSV文件df=pd.read_csv('sales_data.csv')#2.刪除重復(fù)記錄df.drop_duplicates(inplace=True)#3.處理缺失值#a.商品類別缺失填充'Unknown'df['商品類別'].fillna('Unknown',inplace=True)#b.購買金額缺失處理：按商品類別分組計(jì)算平均金額，填充0grouped_mean=df.groupby('商品類別')['購買金額'].transform('mean')df['購買金額'].fillna(grouped_mean,inplace=True)#對于mean()結(jié)果為NaN的組（無數(shù)據(jù)），fillna會(huì)自動(dòng)填充為0#4.添加year_month列df['year_month']=pd.to_datetime(df['購買日期']).dt.to_period('M')#5.計(jì)算每個(gè)商品類別在不同月份的總銷售額，并降序排列result=df.groupby(['商品類別','year_month'])['購買金額'].sum().reset_index()result_sorted=result.sort_values(by='購買金額',ascending=False)#6.保存處理后的數(shù)據(jù)為新的CSV文件result_sorted.to_csv('processed_sales_data.csv',index=False)```解析思路：1.讀取數(shù)據(jù)：使用`pandas.read_csv`加載CSV文件到DataFrame。2.刪除重復(fù)：使用`DataFrame.drop_duplicates()`方法刪除完全重復(fù)的行。3.處理缺失值：*商品類別使用`fillna('Unknown')`進(jìn)行填充。*購買金額的缺失值處理采用分組填充策略。`groupby('商品類別')['購買金額'].transform('mean')`會(huì)為每個(gè)商品類別計(jì)算平均購買金額，并按原DataFrame的順序?qū)⒂?jì)算結(jié)果填充到對應(yīng)的缺失金額位置。如果某個(gè)商品類別下完全沒有購買金額數(shù)據(jù)，`mean()`會(huì)返回NaN，此時(shí)`fillna(0)`會(huì)將這些NaN填充為0。4.添加新列：使用`pd.to_datetime`將日期字符串轉(zhuǎn)換為Pandas的`datetime`對象，然后通過`.dt.to_period('M')`轉(zhuǎn)換為年月格式的Period對象。5.分組聚合排序：使用`groupby(['商品類別','year_month'])`按商品類別和月份分組，`['購買金額'].sum()`計(jì)算每個(gè)組的總銷售額，`reset_index()`將分組結(jié)果轉(zhuǎn)換為普通DataFrame，最后使用`sort_values(by='購買金額',ascending=False)`按銷售額降序排列。6.保存數(shù)據(jù)：使用`to_csv`方法將處理后的結(jié)果保存到新的CSV文件，`index=False`避免將行索引也寫入文件。三、```pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol,count#初始化SparkSessionspark=SparkSession.builder.appName("LogAnalysis").getOrCreate()#1.讀取HDFS日志文件#假設(shè)文件是文本格式，每行一個(gè)記錄，字段用逗號分隔log_df=spark.read.csv("/user/data/logs/access_log.txt",sep=",",header=True,names=["timestamp","user_id","event_type","status_code","request_url"])#2.過濾狀態(tài)碼為200的記錄filtered_df=log_df.filter(col("status_code")==200)#3.按user_id分區(qū)#使用repartition或coalesce進(jìn)行顯式分區(qū)，這里簡單使用repartitionpartitioned_df=filtered_df.repartition("user_id")#4.計(jì)算每個(gè)user_id的活躍次數(shù)（事件類型為"login"的記錄數(shù)）active_users=partitioned_df.filter(col("event_type")=="login").groupBy("user_id").agg(count("event_type").alias("active_count"))#5.找出活躍次數(shù)最多的前10個(gè)用戶top_active_users=active_users.orderBy(col("active_count").desc()).limit(10)#展示結(jié)果top_active_users.show()#停止SparkSessionspark.stop()```解析思路：1.初始化SparkSession：創(chuàng)建一個(gè)SparkSession實(shí)例作為后續(xù)操作的基礎(chǔ)。2.讀取數(shù)據(jù)：使用`spark.read.csv`讀取HDFS上的文本日志文件。指定分隔符`sep=","`，告知文件有表頭`header=True`，并顯式指定列名`names`。3.過濾記錄：使用`filter(col("status_code")==200)`篩選出狀態(tài)碼為200的訪問成功記錄。4.數(shù)據(jù)分區(qū)：對于大規(guī)模數(shù)據(jù)，為了后續(xù)按`user_id`進(jìn)行高效聚合，需要先進(jìn)行分區(qū)。使用`repartition("user_id")`根據(jù)`user_id`字段重新分配數(shù)據(jù)到不同的分區(qū)。也可以使用`coalesce(數(shù))`進(jìn)行分區(qū)合并，通常`repartition`會(huì)打亂數(shù)據(jù)，而`coalesce`盡量不移動(dòng)數(shù)據(jù)。5.計(jì)算活躍次數(shù)：先使用`filter(col("event_type")=="login")`篩選出登錄事件。然后使用`groupBy("user_id")`按用戶ID分組，`agg(count("event_type").alias("active_count"))`計(jì)算每個(gè)用戶登錄事件的次數(shù)，并將計(jì)數(shù)列命名為`active_count`。6.獲取TopN：使用`orderBy(col("active_count").desc())`按活躍次數(shù)降序排列，然后使用`limit(10)`獲取前10名用戶。7.展示結(jié)果：使用`show()`方法輸出結(jié)果。8.停止SparkSession：操作完成后停止SparkSession釋放資源。四、```python#假設(shè)steps1,2,3在此之前已完成，且已獲得名為final_df的DataFrame#final_df=user_activity_df.join(pd.read_csv('user_mapping.csv').set_index('user_id'),on='user_id',how='left')#2.篩選活躍用戶（此步驟在PySpark中可能已完成或集成在步驟1的filter中）#active_users_df=final_df.filter(final_df.active_count>100)#3.轉(zhuǎn)換為Pandas進(jìn)行繪圖active_users_pandas=active_users_df.toPandas()#3.繪制餅圖importmatplotlib.pyplotasplt#按event_type分組并計(jì)算總次數(shù)event_counts=active_users_pandas.groupby('event_type')['event_type'].count()#繪制餅圖plt.figure(figsize=(8,8))plt.pie(event_counts.values,labels=event_counts.index,autopct='%1.1f%%',startangle=140)plt.title('EventTypeDistributionamongActiveUsers')plt.show()```解析思路：1.數(shù)據(jù)準(zhǔn)備：假設(shè)前一步（PySpark代碼）已經(jīng)完成了用戶活躍次數(shù)的計(jì)算，并與用戶映射信息進(jìn)行了左連接，得到了包含用戶ID、活躍次數(shù)、用戶名和事件類型的DataFrame（命名為`final_df`）。篩選活躍用戶（活躍次數(shù)>100）可能也在這一步或前一步完成。2.轉(zhuǎn)換為Pandas：由于Pandas在數(shù)據(jù)聚合和簡單可視化方面通常更便捷，可以將PySparkDataFrame中篩選出的活躍用戶數(shù)據(jù)轉(zhuǎn)換為PandasDataFrame，使用`toPandas()`方法。3.數(shù)據(jù)處理：使用Pandas的`groupby('event_type')['event_type'].count()`對活躍用戶中的`event_type`進(jìn)行分組并計(jì)數(shù)，得到各類事件的總次數(shù)。4.繪制餅圖：導(dǎo)入`matplotlib.pyplot`庫，使用`plt.pie()`函數(shù)繪制餅圖。`event_counts.values`提供各類事件次數(shù)數(shù)據(jù)，`event_counts.index`提供對應(yīng)的標(biāo)簽（事件類型）。`autopct='%1.1f%%'`顯示百分比，`startangle=140`旋轉(zhuǎn)起始角度。最后使用`plt.show()`展示圖表。關(guān)于第4小題（概念思考）：如果不使用Pandas，僅用PySpark和可視化庫，實(shí)現(xiàn)思路如下：1.數(shù)據(jù)處理（PySpark）：在PySparkDataFrame`final_df`（包含用戶ID、活躍次數(shù)、事件類型）上完成所有必要的過濾和聚合操作，最終得到一個(gè)包含`user_id`,`active_count`,`event_type`的DataFrame。2.數(shù)據(jù)轉(zhuǎn)換與收集：使用`collect()`方法將處理后的DataFrame數(shù)據(jù)收集到Driver端。對于大規(guī)模數(shù)據(jù)，`collect()`需要謹(jǐn)慎使用，確保只收集必要的數(shù)據(jù)。3.轉(zhuǎn)換為Python數(shù)據(jù)結(jié)構(gòu)：將`collect()`返回的RDD或列表轉(zhuǎn)換為Python列表或字典，以便傳遞給可視化庫。4.使用PySpark/Seaborn繪圖：*PySpark:PySpark自帶的`DataFrameNaiveVisualizer`或`DataFrameVectorVisualizer`等可視化工具可能支持餅圖，但功能相對有限。更可能需要將數(shù)據(jù)收集到Driver后，再使用PySpark的SQL接口或DataFrameAPI進(jìn)行聚合，然后調(diào)用外部Python庫。*Seaborn/Matplotlib（結(jié)合PySpark數(shù)據(jù)）：獲取數(shù)據(jù)后，可以直接在Python環(huán)境中使用Seaborn或Matplotlib庫。例如，先進(jìn)行聚合統(tǒng)計(jì)（在PySpark中完成），然后將聚合結(jié)果（如`event_type`列表和對應(yīng)的`count`列表）收集到Python，然后調(diào)用`seabornpie`或`matplotlibpie`進(jìn)行繪制。核心是先完成數(shù)據(jù)統(tǒng)計(jì)，再利用Python成熟的可視化庫。五、1.預(yù)測價(jià)格：預(yù)測價(jià)格`Price=Inter