數(shù)據(jù)挖掘課程項目作業(yè)題集2.確定聚類數(shù)目：肘部法（ElbowMethod）：繪制K-means模型的慣性（Inertia）隨k變化的曲線，選擇慣性下降趨緩的k值；輪廓系數(shù)（SilhouetteScore）：計算不同k值的輪廓系數(shù)，選擇最大值對應(yīng)的k值（如k=3或4）；3.聚類算法應(yīng)用：K-means：`sklearn.cluster.KMeans(n_clusters=3)`；DBSCAN：`sklearn.cluster.DBSCAN(eps=0.5,min_samples=5)`（適用于非球形聚類）；4.5評估指標聚類有效性：輪廓系數(shù)≥0.5（K-means）或DBSCAN的聚類數(shù)目合理（≥2且≤5）；群體可解釋性：每個聚類的特征差異明顯（如聚類1的收入是聚類2的2倍，教育支出占比高）；可視化效果：散點圖中不同聚類邊界清晰，無明顯重疊。五、文本挖掘：社交媒體評論情感分析與主題挖掘5.1問題描述社交媒體評論包含大量用戶反饋（如“手機電池續(xù)航差”“拍照效果好”）。本任務(wù)通過情感分析判斷評論的正負性，通過主題挖掘提取核心話題，幫助企業(yè)了解用戶需求。5.2目標要求對評論文本進行預處理（分詞、去停用詞）；構(gòu)建情感分類模型（正面/負面/中性）；用LDA模型提取評論主題；解釋情感分布與主題的關(guān)系（如“負面評論主要集中在電池續(xù)航”）。5.3數(shù)據(jù)說明數(shù)據(jù)集：Kaggle公開數(shù)據(jù)集《AmazonProductReviews》（如手機評論）；規(guī)模：約1萬條評論；字段：`review_text`（評論文本）、`star_rating`（星級，1-5）。5.4實踐步驟提示1.文本預處理：分詞：用`jieba`（中文）或`nltk`（英文）分詞（如`jieba.lcut(review_text)`）；去停用詞：加載停用詞表（如中文停用詞表包含“的”“了”），刪除停用詞；詞形還原：用`nltk.stem.WordNetLemmatizer`（英文）將單詞還原為詞根（如“running”→“run”）；2.情感分類：標簽定義：將星級轉(zhuǎn)換為情感標簽（1-2星=負面，3星=中性，4-5星=正面）；特征工程：用TF-IDF（`sklearn.feature_extraction.text.TfidfVectorizer`）將文本轉(zhuǎn)換為向量；模型訓練：用樸素貝葉斯（`MultinomialNB`）、SVM（`SVC`）或BERT（`transformers.BertForSequenceClassification`）訓練分類模型；模型評估：用準確率、召回率、F1-score評估情感分類效果；3.主題挖掘：構(gòu)建語料庫：用`gensim.corpora.Dictionary`構(gòu)建詞袋模型；訓練LDA模型：`gensim.models.LdaModel(corpus,num_topics=5,id2word=dictionary,passes=10)`；主題解釋：用`model.print_topics(num_words=10)`查看每個主題的關(guān)鍵詞（如主題1：“電池”“續(xù)航”“耐用”）；4.結(jié)果關(guān)聯(lián)：統(tǒng)計不同情感類別的主題分布（如負面評論中，“電池續(xù)航”主題占比30%）。5.5評估指標情感分類性能：F1-score≥0.8（正面/負面分類）；主題模型性能：coherencescore≥0.5（主題一致性，用`gensim.models.CoherenceModel`計算）；結(jié)果解釋：至少提取3個有意義的主題（如“電池續(xù)航”“拍照效果”“性價比”），并關(guān)聯(lián)情感分布。六、綜合項目設(shè)計：外賣平臺用戶留存預測與運營策略建議6.1問題描述用戶留存是外賣平臺的核心指標（如30天留存率=30天內(nèi)再次下單的用戶比例）。本項目要求從數(shù)據(jù)預處理到模型構(gòu)建，完整解決“用戶留存預測”問題，并給出運營策略建議。6.2目標要求定義留存指標（如30天留存）；構(gòu)建用戶行為特征（如最近7天下單次數(shù)、平均間隔天數(shù)）；訓練留存預測模型（如XGBoost、LightGBM）；分析特征重要性，提出針對性運營策略（如“針對長期未下單用戶發(fā)送優(yōu)惠券”）。6.3數(shù)據(jù)說明數(shù)據(jù)集：外賣平臺用戶行為數(shù)據(jù)（可模擬或使用公開數(shù)據(jù)集）；規(guī)模：約10萬條用戶記錄；字段：`user_id`（用戶ID）、`order_time`（下單時間）、`order_amount`（訂單金額）、`coupon_used`（是否使用優(yōu)惠券）、`registration_time`（注冊時間）。6.4實踐步驟提示1.問題定義：明確留存的定義（如“30天留存”=用戶注冊后30天內(nèi)有至少1次下單）；2.數(shù)據(jù)預處理：計算留存標簽：對每個用戶，計算注冊后30天內(nèi)的下單次數(shù)，≥1次為留存（標簽1），否則為非留存（標簽0）；處理缺失值：如`order_time`缺失的用戶視為非留存；3.特征工程：行為特征：最近7天下單次數(shù)（`last_7d_orders`）、平均下單間隔天數(shù)（`avg_order_interval`）、優(yōu)惠券使用率（`coupon_rate`）；時間特征：注冊天數(shù)（`tenure`=當前時間-注冊時間）、最后一次下單時間（`days_since_last_order`=當前時間-最后一次下單時間）；4.模型訓練與評估：數(shù)據(jù)劃分：訓練集（70%）、測試集（30%）；模型選擇：用XGBoost訓練分類模型，調(diào)整參數(shù)（如`n_estimators=100`、`max_depth=5`）；模型評估：用ROC-AUC（≥0.85）、PR曲線（關(guān)注正類預測能力）評估模型性能；5.結(jié)果解釋：用XGBoost的`feature_importances_`分析關(guān)鍵特征（如`days_since_last_order`是最影響留存的特征）；6.運營策略建議：根據(jù)特征重要性提出策略（如“對`days_since_last_order`>10天的用戶，發(fā)送滿減優(yōu)惠券；對`last_7d_orders`=0的用戶，推薦熱門菜品”）。6.5評估指標項目完整性：覆蓋問題定義、數(shù)據(jù)處理、特征工程、模型構(gòu)建、結(jié)果解釋、策略建議全流程；模型性能：ROC-AUC≥0.85；策略實用性：至少提出2條可落地的運營策略（符合外賣平臺的業(yè)務(wù)邏輯）；報告質(zhì)量：邏輯清晰，包含圖表（如特征重要性圖、PR曲線）和文字說明，非技術(shù)人員能理解。結(jié)語本作業(yè)題集覆蓋了數(shù)據(jù)挖掘的核心任務(wù)與流程，強調(diào)實踐能力與業(yè)務(wù)思維的結(jié)合。學生通過完成這些作業(yè)，不僅能掌握數(shù)據(jù)挖掘算法的應(yīng)用，還能學會從數(shù)據(jù)中發(fā)現(xiàn)問