2025年征信考試題庫（征信數(shù)據(jù)分析挖掘）征信數(shù)據(jù)清洗與預(yù)處理試題考試時間：______分鐘總分：______分姓名：______一、數(shù)據(jù)清洗與預(yù)處理要求：請根據(jù)所給數(shù)據(jù)集，完成數(shù)據(jù)清洗與預(yù)處理工作，包括缺失值處理、異常值處理、數(shù)據(jù)標準化等。1.以下數(shù)據(jù)集為某電商平臺用戶購買行為數(shù)據(jù)，請完成以下預(yù)處理工作：-數(shù)據(jù)集包含字段：用戶ID、購買時間、商品ID、商品價格、購買數(shù)量、用戶評分。-請對缺失值進行處理，假設(shè)用戶評分缺失時，用該用戶其他商品的平均評分進行填充。-請對異常值進行處理，假設(shè)商品價格小于0或大于10000視為異常值，將異常值替換為該商品的平均價格。-請對數(shù)據(jù)進行標準化處理，將所有數(shù)值型字段進行標準化，使其均值為0，標準差為1。|用戶ID|購買時間|商品ID|商品價格|購買數(shù)量|用戶評分||--------|----------|--------|----------|----------|----------||1|2021-01-01|1001|200|1|5||2|2021-01-02|1002|150|2|4||3|2021-01-03|1003|0|3|3||4|2021-01-04|1004|30000|4|5||5|2021-01-05|1005|100|5|4|2.以下數(shù)據(jù)集為某銀行客戶貸款信息數(shù)據(jù)，請完成以下預(yù)處理工作：-數(shù)據(jù)集包含字段：客戶ID、貸款金額、貸款期限、還款狀態(tài)。-請對缺失值進行處理，假設(shè)貸款期限缺失時，用該客戶平均貸款期限進行填充。-請對異常值進行處理，假設(shè)貸款金額小于0或大于1000000視為異常值，將異常值替換為該客戶平均貸款金額。-請對數(shù)據(jù)進行標準化處理，將所有數(shù)值型字段進行標準化，使其均值為0，標準差為1。|客戶ID|貸款金額|貸款期限|還款狀態(tài)||--------|----------|----------|----------||1|500000|12|已還款||2|0|6|逾期||3|200000|24|已還款||4|1000000|36|逾期||5|300000|12|已還款|二、數(shù)據(jù)去重要求：請根據(jù)所給數(shù)據(jù)集，完成數(shù)據(jù)去重工作，確保每個記錄的唯一性。1.以下數(shù)據(jù)集為某在線教育平臺用戶課程學習數(shù)據(jù)，請完成以下去重工作：-數(shù)據(jù)集包含字段：用戶ID、課程ID、課程名稱、學習時間。-請去除重復(fù)的記錄，確保每個用戶ID和課程ID組合的唯一性。|用戶ID|課程ID|課程名稱|學習時間||--------|--------|----------|----------||1|1001|Python基礎(chǔ)|2021-01-01||2|1002|Java基礎(chǔ)|2021-01-02||3|1001|Python基礎(chǔ)|2021-01-03||4|1003|數(shù)據(jù)結(jié)構(gòu)|2021-01-04||5|1002|Java基礎(chǔ)|2021-01-05|2.以下數(shù)據(jù)集為某電商平臺上某商品的用戶評論數(shù)據(jù)，請完成以下去重工作：-數(shù)據(jù)集包含字段：用戶ID、評論內(nèi)容、評論時間。-請去除重復(fù)的評論內(nèi)容，確保每個用戶ID和評論內(nèi)容組合的唯一性。|用戶ID|評論內(nèi)容|評論時間||--------|----------|----------||1|這個商品很好用|2021-01-01||2|商品質(zhì)量不錯|2021-01-02||3|這個商品很好用|2021-01-03||4|商品性價比高|2021-01-04||5|商品質(zhì)量不錯|2021-01-05|四、數(shù)據(jù)轉(zhuǎn)換與特征工程要求：請根據(jù)所給數(shù)據(jù)集，完成數(shù)據(jù)轉(zhuǎn)換與特征工程工作，包括日期轉(zhuǎn)換、文本向量化、特征提取等。1.以下數(shù)據(jù)集為某在線旅游平臺用戶預(yù)訂數(shù)據(jù)，請完成以下數(shù)據(jù)轉(zhuǎn)換與特征工程工作：-數(shù)據(jù)集包含字段：用戶ID、預(yù)訂時間、目的地、酒店評分、消費金額。-請將預(yù)訂時間字段轉(zhuǎn)換為日期格式，包括年、月、日。-請將目的地字段進行文本向量化處理，使用TF-IDF方法。-請?zhí)崛【频暝u分的倒數(shù)作為新特征。|用戶ID|預(yù)訂時間|目的地|酒店評分|消費金額||--------|----------|--------|----------|----------||1|2021-06-15|北京|4.5|1000||2|2021-07-20|上海|4.0|800||3|2021-08-25|廣州|4.8|1200||4|2021-09-30|深圳|3.5|700||5|2021-10-15|杭州|4.2|1100|2.以下數(shù)據(jù)集為某社交媒體平臺用戶互動數(shù)據(jù)，請完成以下數(shù)據(jù)轉(zhuǎn)換與特征工程工作：-數(shù)據(jù)集包含字段：用戶ID、發(fā)布時間、話題標簽、互動次數(shù)。-請將發(fā)布時間字段轉(zhuǎn)換為小時格式。-請將話題標簽字段進行詞袋模型向量化處理。-請?zhí)崛』哟螖?shù)的平方根作為新特征。|用戶ID|發(fā)布時間|話題標簽|互動次數(shù)||--------|----------|----------|----------||1|2021-01-0112:00|#旅行#美食|50||2|2021-01-0215:00|#科技#創(chuàng)新|30||3|2021-01-0318:00|#旅行#攝影|70||4|2021-01-0410:00|#科技#游戲|20||5|2021-01-0514:00|#美食#電影|60|五、數(shù)據(jù)可視化要求：請根據(jù)所給數(shù)據(jù)集，完成數(shù)據(jù)可視化工作，使用合適的圖表展示數(shù)據(jù)分布和趨勢。1.以下數(shù)據(jù)集為某電商平臺用戶購買行為數(shù)據(jù)，請完成以下數(shù)據(jù)可視化工作：-數(shù)據(jù)集包含字段：用戶ID、購買時間、商品ID、商品價格、購買數(shù)量、用戶評分。-請使用柱狀圖展示不同商品價格區(qū)間的購買數(shù)量分布。-請使用折線圖展示用戶評分隨時間的變化趨勢。2.以下數(shù)據(jù)集為某銀行客戶貸款信息數(shù)據(jù)，請完成以下數(shù)據(jù)可視化工作：-數(shù)據(jù)集包含字段：客戶ID、貸款金額、貸款期限、還款狀態(tài)。-請使用餅圖展示不同還款狀態(tài)的客戶占比。-請使用散點圖展示貸款金額與貸款期限的關(guān)系。六、模型訓練與評估要求：請根據(jù)所給數(shù)據(jù)集，選擇合適的機器學習模型進行訓練，并對模型進行評估。1.以下數(shù)據(jù)集為某電商平臺用戶購買行為數(shù)據(jù)，請完成以下模型訓練與評估工作：-數(shù)據(jù)集包含字段：用戶ID、購買時間、商品ID、商品價格、購買數(shù)量、用戶評分。-請使用邏輯回歸模型預(yù)測用戶評分。-請使用交叉驗證方法評估模型的準確率。2.以下數(shù)據(jù)集為某社交媒體平臺用戶互動數(shù)據(jù)，請完成以下模型訓練與評估工作：-數(shù)據(jù)集包含字段：用戶ID、發(fā)布時間、話題標簽、互動次數(shù)。-請使用樸素貝葉斯分類器預(yù)測用戶是否參與互動。-請使用混淆矩陣評估模型的性能。本次試卷答案如下：一、數(shù)據(jù)清洗與預(yù)處理1.答案：-缺失值處理：對于用戶評分缺失的記錄，使用該用戶其他商品的平均評分進行填充。-異常值處理：將商品價格小于0或大于10000的記錄替換為該商品的平均價格。-數(shù)據(jù)標準化：對所有數(shù)值型字段進行標準化，使其均值為0，標準差為1。解析思路：-首先檢查數(shù)據(jù)集中是否存在缺失值，對于用戶評分缺失的記錄，可以通過計算該用戶其他商品的平均評分來填充。-然后檢查商品價格字段，找出小于0或大于10000的異常值，將這些異常值替換為該商品的平均價格。-最后，對于所有數(shù)值型字段，使用標準化方法（如Z-score標準化）來調(diào)整數(shù)據(jù)，使其均值為0，標準差為1。2.答案：-缺失值處理：對于貸款期限缺失的記錄，使用該客戶平均貸款期限進行填充。-異常值處理：將貸款金額小于0或大于1000000的記錄替換為該客戶平均貸款金額。-數(shù)據(jù)標準化：對所有數(shù)值型字段進行標準化，使其均值為0，標準差為1。解析思路：-類似于第一題，首先檢查數(shù)據(jù)集中是否存在缺失值，對于貸款期限缺失的記錄，可以通過計算該客戶其他貸款的平均期限來填充。-然后檢查貸款金額字段，找出小于0或大于1000000的異常值，將這些異常值替換為該客戶平均貸款金額。-最后，對所有數(shù)值型字段進行標準化處理，以確保數(shù)據(jù)在相同的尺度上。二、數(shù)據(jù)去重1.答案：-去除重復(fù)的記錄，確保每個用戶ID和課程ID組合的唯一性。解析思路：-遍歷數(shù)據(jù)集，對于每個用戶ID和課程ID的組合，檢查是否已經(jīng)存在于數(shù)據(jù)集中。-如果存在重復(fù)的組合，則刪除其中一個記錄，以確保每個組合的唯一性。2.答案：-去除重復(fù)的評論內(nèi)容，確保每個用戶ID和評論內(nèi)容組合的唯一性。解析思路：-類似于第一題，遍歷數(shù)據(jù)集，對于每個用戶ID和評論內(nèi)容的組合，檢查是否已經(jīng)存在于數(shù)據(jù)集中。-如果存在重復(fù)的組合，則刪除其中一個記錄，以確保每個組合的唯一性。三、數(shù)據(jù)轉(zhuǎn)換與特征工程1.答案：-將預(yù)訂時間字段轉(zhuǎn)換為日期格式，包括年、月、日。-將目的地字段進行文本向量化處理，使用TF-IDF方法。-提取酒店評分的倒數(shù)作為新特征。解析思路：-使用日期處理庫（如Python的datetime）將預(yù)訂時間字符串轉(zhuǎn)換為日期對象，然后提取年、月、日。-使用文本向量化庫（如scikit-learn的TfidfVectorizer）對目的地字段進行TF-IDF向量化處理。-計算酒店評分的倒數(shù)，并將其作為新特征添加到數(shù)據(jù)集中。2.答案：-將發(fā)布時間字段轉(zhuǎn)換為小時格式。-將話題標簽字段進行詞袋模型向量化處理。-提取互動次數(shù)的平方根作為新特征。解析思路：-使用日期處理庫將發(fā)布時間字符串轉(zhuǎn)換為日期對象，然后提取小時。-使用詞袋模型（如scikit-learn的CountVectorizer）對話題標簽字段進行向量化處理。-計算互動次數(shù)的平方根，并將其作為新特征添加到數(shù)據(jù)集中。四、數(shù)據(jù)可視化1.答案：-使用柱狀圖展示不同商品價格區(qū)間的購買數(shù)量分布。-使用折線圖展示用戶評分隨時間的變化趨勢。解析思路：-對商品價格字段進行分組，統(tǒng)計每個價格區(qū)間的購買數(shù)量，然后使用柱狀圖進行可視化。-對用戶評分字段按照時間順序進行排序，然后使用折線圖展示評分隨時間的變化趨勢。2.答案：-使用餅圖展示不同還款狀態(tài)的客戶占比。-使用散點圖展示貸款金額與貸款期限的關(guān)系。解析思路：-對還款狀態(tài)字段進行分類，計算每個類別的客戶數(shù)量，然后使用餅圖展示占比。-對貸款金額和貸款期限字段進行散點圖繪制，以展示它們之間的關(guān)系。五、模型訓練與評估1.答案：-使用邏輯回歸模