2025年大學(xué)《系統(tǒng)科學(xué)與工程》專業(yè)題庫——系統(tǒng)科學(xué)與工程的數(shù)據(jù)挖掘考試時間：______分鐘總分：______分姓名：______一、簡述數(shù)據(jù)挖掘（KDD）與機(jī)器學(xué)習(xí)（ML）之間的關(guān)系。請說明KDD通常被視為一個比ML更廣泛的流程，并解釋其主要階段及其與機(jī)器學(xué)習(xí)算法應(yīng)用的聯(lián)系。二、在系統(tǒng)科學(xué)與工程背景下，為什么數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘流程中至關(guān)重要的環(huán)節(jié)？請列舉至少三種常見的系統(tǒng)相關(guān)數(shù)據(jù)預(yù)處理任務(wù)（如時間序列數(shù)據(jù)對齊、多源異構(gòu)數(shù)據(jù)整合、缺失值在特定系統(tǒng)模型中的處理），并簡述其目的和挑戰(zhàn)。三、比較并對比決策樹（如C4.5）和K-均值聚類算法。請從至少三個方面（例如，算法目標(biāo)、輸出結(jié)果、適用數(shù)據(jù)類型、主要參數(shù)、優(yōu)缺點(diǎn)）進(jìn)行分析，并說明在何種系統(tǒng)分析場景下可能更傾向于選擇其中一種方法。四、描述關(guān)聯(lián)規(guī)則挖掘的基本原理（如Apriori算法的核心思想）。請解釋支持度、置信度和提升度這三個關(guān)鍵指標(biāo)的含義，并說明它們在評估一個潛在有意義的系統(tǒng)模式（例如，特定用戶行為序列、系統(tǒng)部件共現(xiàn)關(guān)系）時各自的作用。五、假設(shè)你需要為一個復(fù)雜的供應(yīng)鏈系統(tǒng)設(shè)計一個數(shù)據(jù)挖掘方案，以預(yù)測潛在的供應(yīng)鏈中斷風(fēng)險。請概述你會考慮采用的數(shù)據(jù)挖掘任務(wù)類型，并說明選擇這些任務(wù)類型的原因。同時，簡述在構(gòu)建該預(yù)測模型時，系統(tǒng)思維（如考慮供應(yīng)鏈各環(huán)節(jié)的相互作用、外部環(huán)境因素）應(yīng)如何體現(xiàn)。六、大數(shù)據(jù)技術(shù)（如Hadoop或Spark）在處理大規(guī)模系統(tǒng)數(shù)據(jù)挖掘中扮演著重要角色。請列舉至少三個大數(shù)據(jù)環(huán)境給系統(tǒng)數(shù)據(jù)挖掘帶來的具體優(yōu)勢，并分析其中可能伴隨的技術(shù)挑戰(zhàn)或系統(tǒng)集成的復(fù)雜性。七、選擇一個你熟悉的系統(tǒng)科學(xué)與工程領(lǐng)域（如智慧醫(yī)療、環(huán)境監(jiān)測、交通系統(tǒng)、金融風(fēng)控等），描述一個該領(lǐng)域中應(yīng)用數(shù)據(jù)挖掘的成功案例。請說明該案例中使用了哪些數(shù)據(jù)挖掘技術(shù)來解決特定的系統(tǒng)問題，并分析其應(yīng)用效果和潛在的社會倫理影響（如數(shù)據(jù)隱私、算法公平性等）。八、解釋過擬合和欠擬合在數(shù)據(jù)挖掘模型評估中的含義。請結(jié)合系統(tǒng)分析與設(shè)計的視角，說明為什么一個過度復(fù)雜的模型（導(dǎo)致過擬合）或一個過于簡單的模型（導(dǎo)致欠擬合）可能都不適合用于實(shí)際復(fù)雜的系統(tǒng)預(yù)測或決策支持，并簡述如何通過模型選擇和驗(yàn)證策略來緩解這些問題。試卷答案一、數(shù)據(jù)挖掘（KDD）是知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabases,KDD）過程的一個子集，它關(guān)注從大量數(shù)據(jù)中提取有用、新穎、潛在有用且最終可理解的信息。機(jī)器學(xué)習(xí)（ML）是實(shí)現(xiàn)KDD過程中許多步驟（尤其是建模和預(yù)測階段）的核心技術(shù)。KDD是一個更宏觀、多階段的流程，包括數(shù)據(jù)選擇、預(yù)處理、轉(zhuǎn)換、挖掘和評估。機(jī)器學(xué)習(xí)算法通常應(yīng)用于KDD流程的“挖掘”階段，用于執(zhí)行特定的數(shù)據(jù)模式識別任務(wù)，如分類、聚類、回歸等。因此，KDD提供了發(fā)現(xiàn)知識的整體框架和流程，而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)這一框架中特定發(fā)現(xiàn)任務(wù)的工具和方法。二、數(shù)據(jù)預(yù)處理對于系統(tǒng)數(shù)據(jù)挖掘至關(guān)重要，因?yàn)檎鎸?shí)世界的系統(tǒng)數(shù)據(jù)往往具有復(fù)雜性、噪聲性、不完整性和異構(gòu)性。有效的預(yù)處理能夠顯著提高后續(xù)數(shù)據(jù)挖掘模型的準(zhǔn)確性和可靠性，從而確保分析結(jié)果的科學(xué)性和實(shí)用性。系統(tǒng)相關(guān)數(shù)據(jù)預(yù)處理任務(wù)包括：1.時間序列數(shù)據(jù)對齊：在包含時間維度的多源系統(tǒng)數(shù)據(jù)中，不同數(shù)據(jù)源或同一數(shù)據(jù)源在不同時間點(diǎn)的采樣頻率可能不同。對齊任務(wù)旨在統(tǒng)一時間基準(zhǔn)，消除時間偏差，這對于進(jìn)行跨時間點(diǎn)的系統(tǒng)比較分析、趨勢預(yù)測或動態(tài)行為建模至關(guān)重要。挑戰(zhàn)在于如何選擇合適的對齊策略（如重采樣、插值）以保留數(shù)據(jù)的關(guān)鍵系統(tǒng)特征而不引入過多噪聲。2.多源異構(gòu)數(shù)據(jù)整合：復(fù)雜系統(tǒng)通常由多個子系統(tǒng)和傳感器產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)可能存儲在不同的地方，具有不同的格式和結(jié)構(gòu)（如結(jié)構(gòu)化數(shù)據(jù)庫、半結(jié)構(gòu)化日志文件、非結(jié)構(gòu)化文本）。整合任務(wù)需要將這些數(shù)據(jù)融合成一個統(tǒng)一的視圖，以便進(jìn)行全面的系統(tǒng)分析。挑戰(zhàn)在于處理數(shù)據(jù)格式不匹配、語義差異、以及如何有效地融合不同來源的信息以保持?jǐn)?shù)據(jù)的完整性和一致性，同時避免信息冗余。3.缺失值處理：系統(tǒng)數(shù)據(jù)中經(jīng)常存在缺失值，這可能是由于傳感器故障、數(shù)據(jù)傳輸錯誤或記錄遺漏等原因。缺失值的存在會干擾數(shù)據(jù)分析過程。在系統(tǒng)挖掘中，需要根據(jù)系統(tǒng)特性和數(shù)據(jù)缺失機(jī)制選擇合適的處理方法，如刪除含有缺失值的記錄（可能導(dǎo)致信息損失）、填充缺失值（使用均值、中位數(shù)、眾數(shù)或基于模型的方法，需考慮填充對系統(tǒng)行為模擬的影響）或使用能處理缺失值的數(shù)據(jù)挖掘算法。挑戰(zhàn)在于選擇不會扭曲系統(tǒng)真實(shí)行為和關(guān)系的缺失值處理策略。三、決策樹（如C4.5）和K-均值聚類是兩種截然不同的數(shù)據(jù)挖掘算法，適用于不同目標(biāo)。1.算法目標(biāo)：決策樹是監(jiān)督學(xué)習(xí)算法，主要用于分類或回歸任務(wù)，目標(biāo)是將數(shù)據(jù)樣本劃分為不同的預(yù)定義類別（分類）或預(yù)測連續(xù)值（回歸），輸出一個樹狀決策模型。K-均值聚類是無監(jiān)督學(xué)習(xí)算法，用于數(shù)據(jù)聚類任務(wù)，目標(biāo)是將相似的數(shù)據(jù)樣本劃分為若干個簇（Cluster），使得簇內(nèi)樣本相似度高，簇間樣本相似度低，輸出簇的劃分。2.輸出結(jié)果：決策樹輸出一個樹結(jié)構(gòu)，包含內(nèi)部節(jié)點(diǎn)（代表特征判斷）、葉節(jié)點(diǎn)（代表類別或預(yù)測值）和分支（代表判斷結(jié)果）。K-均值輸出一個包含簇中心點(diǎn)（Centroid）的集合，以及每個數(shù)據(jù)樣本所屬的簇標(biāo)簽。3.適用數(shù)據(jù)類型：決策樹適用于混合類型數(shù)據(jù)（數(shù)值型和類別型），并能處理非線性關(guān)系。K-均值主要適用于數(shù)值型數(shù)據(jù)，且假設(shè)數(shù)據(jù)在空間中呈球狀分布。4.主要參數(shù)：決策樹主要參數(shù)包括樹的最大深度、葉節(jié)點(diǎn)最小樣本數(shù)、分裂標(biāo)準(zhǔn)（如信息增益、基尼不純度）。K-均值主要參數(shù)是簇的數(shù)量K，以及迭代停止標(biāo)準(zhǔn)。5.優(yōu)缺點(diǎn)：決策樹優(yōu)點(diǎn)是可解釋性強(qiáng)，易于理解模型決策過程；缺點(diǎn)是容易過擬合，對噪聲數(shù)據(jù)敏感，且可能偏向于選擇信息增益高的特征。K-均值優(yōu)點(diǎn)是簡單、快速，對大數(shù)據(jù)集可擴(kuò)展。缺點(diǎn)是結(jié)果受初始簇中心影響，對非球狀分布數(shù)據(jù)效果差，需要預(yù)先指定簇數(shù)量K。選擇場景：在系統(tǒng)分析與設(shè)計中，如果目標(biāo)是根據(jù)已知特征對系統(tǒng)狀態(tài)或?qū)ο筮M(jìn)行分類預(yù)測（例如，預(yù)測設(shè)備故障類型、判斷用戶行為模式屬于何種類別），則決策樹更合適。如果目標(biāo)是發(fā)現(xiàn)系統(tǒng)中存在的自然分組或模式，或者對系統(tǒng)狀態(tài)進(jìn)行無監(jiān)督分組以探索潛在結(jié)構(gòu)（例如，將具有相似特征的患者群體歸類、識別用戶群體特征），則K-均值聚類更適用。四、關(guān)聯(lián)規(guī)則挖掘旨在發(fā)現(xiàn)數(shù)據(jù)集中項(xiàng)集之間有趣的關(guān)聯(lián)或相關(guān)關(guān)系。其基本原理是Apriori算法，該算法的核心思想是基于“頻繁項(xiàng)集的所有非空子集也必須是頻繁的”。這意味著如果某個項(xiàng)集是頻繁的，那么它包含的任何更小的項(xiàng)集也必須頻繁出現(xiàn)，否則該項(xiàng)集在早期階段就會被剔除，從而避免產(chǎn)生大量無意義的規(guī)則。*支持度（Support）：指一個項(xiàng)集在所有交易記錄中出現(xiàn)的頻率或比例。它衡量了項(xiàng)集在數(shù)據(jù)集中出現(xiàn)的普遍性。公式為：支持度（A,B）=包含項(xiàng)集A和B的交易數(shù)/總交易數(shù)。支持度用于評估一個項(xiàng)集本身是否有價值，是生成關(guān)聯(lián)規(guī)則的基礎(chǔ)門檻。*置信度（Confidence）：指同時包含項(xiàng)集A和B的交易中，也包含項(xiàng)集A的交易所占的比例。它衡量了規(guī)則“若A則B”的可靠性。公式為：置信度（A->B）=包含項(xiàng)集A和B的交易數(shù)/包含項(xiàng)集A的交易數(shù)。置信度表示在已知出現(xiàn)A的條件下，B出現(xiàn)的可能性有多大。*提升度（Lift）：指同時包含項(xiàng)集A和B的交易出現(xiàn)的概率，與同時獨(dú)立出現(xiàn)A和B的概率之比。它衡量了規(guī)則“若A則B”中，A對B的影響程度或關(guān)聯(lián)的強(qiáng)度。公式為：提升度（A->B）=支持度（A,B）/（支持度（A）*支持度（B））。Lift>1表示A和B正相關(guān)，Lift<1表示負(fù)相關(guān)，Lift=1表示無關(guān)。提升度是衡量關(guān)聯(lián)規(guī)則有趣性的關(guān)鍵指標(biāo)，因?yàn)樗紤]了項(xiàng)集的獨(dú)立性。在評估系統(tǒng)模式時，支持度幫助我們識別在特定系統(tǒng)狀態(tài)下哪些模式（項(xiàng)集）是常見的；置信度幫助我們判斷一個模式（規(guī)則前件）出現(xiàn)時，另一個相關(guān)模式（規(guī)則后件）是否傾向于出現(xiàn)；提升度則告訴我們這種關(guān)聯(lián)是否超出了偶然性，即A的出現(xiàn)是否顯著增加了B出現(xiàn)的可能性，這對于理解系統(tǒng)部件間的相互作用或事件間的因果推斷（或強(qiáng)關(guān)聯(lián)）具有重要意義。五、為預(yù)測供應(yīng)鏈中斷風(fēng)險設(shè)計數(shù)據(jù)挖掘方案，我會考慮以下任務(wù)類型：1.異常檢測/分類：這是最直接的任務(wù)。目標(biāo)是識別出那些表現(xiàn)出與正常運(yùn)營模式顯著偏離的指標(biāo)或事件組合，這些可能預(yù)示著中斷風(fēng)險。例如，檢測到庫存水平異常驟降、關(guān)鍵供應(yīng)商延遲率異常升高、運(yùn)輸成本異常飆升、或者某個區(qū)域出現(xiàn)異常多的設(shè)備故障報告等。分類任務(wù)則是在已知?dú)v史中斷事件和正常事件的基礎(chǔ)上，構(gòu)建模型來區(qū)分這兩類情況。2.預(yù)測建模：目標(biāo)是預(yù)測中斷事件發(fā)生的可能性或時間。這可以基于歷史數(shù)據(jù)中的模式進(jìn)行。例如，預(yù)測未來一段時間內(nèi)某個特定零部件短缺的概率，或者預(yù)測某個港口擁堵持續(xù)的時間?？梢允褂没貧w模型預(yù)測中斷的持續(xù)時間或影響范圍，或使用分類模型預(yù)測是否會發(fā)生中斷。3.關(guān)聯(lián)規(guī)則挖掘：探索可能導(dǎo)致中斷的不同因素之間的關(guān)聯(lián)關(guān)系。例如，發(fā)現(xiàn)特定類型的天氣事件（如颶風(fēng)）與特定區(qū)域港口擁堵之間存在強(qiáng)關(guān)聯(lián)，或者發(fā)現(xiàn)連續(xù)多日的高溫天氣與某類設(shè)備故障率上升存在關(guān)聯(lián)。這有助于理解中斷風(fēng)險的驅(qū)動因素網(wǎng)絡(luò)。系統(tǒng)思維體現(xiàn)：*整體性：分析需考慮供應(yīng)鏈從原材料采購、生產(chǎn)、倉儲、運(yùn)輸?shù)阶罱K交付的整個鏈條，認(rèn)識到各環(huán)節(jié)相互依存，一個環(huán)節(jié)的問題可能引發(fā)連鎖反應(yīng)。模型應(yīng)能捕捉跨環(huán)節(jié)的信號。*動態(tài)性：供應(yīng)鏈?zhǔn)莿討B(tài)變化的，受季節(jié)性、市場波動、政策調(diào)整等多種因素影響。挖掘方案需能處理時間序列數(shù)據(jù)，識別風(fēng)險趨勢和周期性模式，而非僅基于靜態(tài)快照。*層次性：風(fēng)險可能存在于不同層次（如全球、區(qū)域、特定公司、特定產(chǎn)品線）。分析應(yīng)能區(qū)分和管理不同層級的風(fēng)險信號。*關(guān)聯(lián)性：必須考慮供應(yīng)鏈內(nèi)外部的各種關(guān)聯(lián)因素，包括供應(yīng)商的穩(wěn)定性、地緣政治風(fēng)險、宏觀經(jīng)濟(jì)指標(biāo)、自然災(zāi)害、甚至競爭對手的行為等。數(shù)據(jù)挖掘模型需要整合這些多源異構(gòu)信息。六、大數(shù)據(jù)技術(shù)為大規(guī)模系統(tǒng)數(shù)據(jù)挖掘帶來顯著優(yōu)勢：1.處理海量數(shù)據(jù)（Scalability）：大數(shù)據(jù)框架（如HadoopDistributedFileSystem,HDFS；Spark）能夠分布式存儲和處理TB甚至PB級別的數(shù)據(jù)，這是傳統(tǒng)單機(jī)系統(tǒng)無法勝任的，使得挖掘隱藏在超大規(guī)模系統(tǒng)數(shù)據(jù)中的模式成為可能。2.提高計算效率（Performance）：通過并行計算和優(yōu)化的算法，大數(shù)據(jù)平臺能顯著縮短復(fù)雜數(shù)據(jù)挖掘任務(wù)（如大規(guī)模聚類、分類、關(guān)聯(lián)規(guī)則挖掘）的執(zhí)行時間，提高了系統(tǒng)分析和決策的實(shí)時性或準(zhǔn)實(shí)時性。3.整合多源異構(gòu)數(shù)據(jù)（Integration）：大數(shù)據(jù)生態(tài)系統(tǒng)（如Hadoop生態(tài)中的Hive,HBase,Sqoop,Flume）提供了工具和接口，便于整合來自不同系統(tǒng)（關(guān)系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、日志文件、傳感器數(shù)據(jù)流、社交媒體數(shù)據(jù)等）的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，為構(gòu)建更全面的系統(tǒng)視圖提供數(shù)據(jù)基礎(chǔ)。伴隨的挑戰(zhàn)與系統(tǒng)集成復(fù)雜性：1.數(shù)據(jù)管理與復(fù)雜性：海量、高速、多源、異構(gòu)的數(shù)據(jù)給數(shù)據(jù)清洗、轉(zhuǎn)換、存儲和管理帶來了巨大挑戰(zhàn)。數(shù)據(jù)質(zhì)量參差不齊、格式多樣、需要復(fù)雜的ETL（Extract,Transform,Load）流程，增加了系統(tǒng)集成的難度和成本。2.計算與存儲成本：部署和維護(hù)大數(shù)據(jù)平臺需要大量的硬件資源和專業(yè)的運(yùn)維知識，帶來了高昂的初始投資和持續(xù)運(yùn)營成本。3.算法與模型可擴(kuò)展性：并非所有傳統(tǒng)數(shù)據(jù)挖掘算法都能直接、高效地在分布式環(huán)境中運(yùn)行。需要開發(fā)或選擇具有良好可擴(kuò)展性的分布式算法，這增加了算法設(shè)計和實(shí)現(xiàn)的復(fù)雜性。4.數(shù)據(jù)安全與隱私保護(hù)：在大數(shù)據(jù)環(huán)境中，處理敏感的系統(tǒng)數(shù)據(jù)（如用戶隱私、商業(yè)機(jī)密）面臨著更大的安全風(fēng)險和合規(guī)挑戰(zhàn)（如GDPR、數(shù)據(jù)安全法），需要在系統(tǒng)設(shè)計和數(shù)據(jù)處理流程中嵌入嚴(yán)格的安全和隱私保護(hù)措施。5.人才短缺：既懂大數(shù)據(jù)技術(shù)又精通特定系統(tǒng)領(lǐng)域和數(shù)據(jù)分析的復(fù)合型人才相對稀缺，影響了大數(shù)據(jù)在系統(tǒng)科學(xué)領(lǐng)域的有效應(yīng)用。七、選擇智慧醫(yī)療領(lǐng)域中的案例：基于電子健康記錄（EHR）進(jìn)行患者再入院風(fēng)險預(yù)測。*應(yīng)用技術(shù)：該案例廣泛使用了數(shù)據(jù)挖掘技術(shù)，特別是分類算法（如邏輯回歸、支持向量機(jī)、隨機(jī)森林、梯度提升樹）和特征工程。首先，從海量的患者EHR數(shù)據(jù)（包括人口統(tǒng)計學(xué)信息、診斷記錄、用藥歷史、實(shí)驗(yàn)室檢查結(jié)果、住院記錄、訪問次數(shù)等）中提取相關(guān)特征。然后，構(gòu)建預(yù)測模型，根據(jù)患者的歷史健康數(shù)據(jù)預(yù)測其在未來一定時間內(nèi)（如30天）再次入院的可能性。特征工程可能包括計算患者的慢性病數(shù)量、用藥復(fù)雜度指數(shù)、訪問頻率等衍生指標(biāo)。模型訓(xùn)練和評估通常使用交叉驗(yàn)證等方法。*應(yīng)用效果：該技術(shù)的應(yīng)用效果通常被認(rèn)為是積極的。通過識別高風(fēng)險患者，醫(yī)療機(jī)構(gòu)可以提前介入，提供更個性化的管理和護(hù)理計劃（如增加隨訪頻率、安排專門管理項(xiàng)目、優(yōu)化治療方案），從而有效降低再入院率。這不僅改善了患者健康結(jié)局，也顯著降低了醫(yī)療成本，提高了醫(yī)療資源的利用效率。*社會倫理影響：*數(shù)據(jù)隱私：EHR包含極其敏感的個人健康信息。在數(shù)據(jù)收集、存儲、處理和使用過程中，必須嚴(yán)格遵守隱私保護(hù)法規(guī)，確保數(shù)據(jù)安全，防止泄露和濫用。去標(biāo)識化或匿名化技術(shù)常被采用，但仍有再識別風(fēng)險。*算法偏見：如果訓(xùn)練數(shù)據(jù)本身存在偏見（例如，某些族裔或社會經(jīng)濟(jì)地位的患者在數(shù)據(jù)中代表性不足或記錄不完整），模型可能會對這些人產(chǎn)生不公平的預(yù)測結(jié)果，導(dǎo)致資源分配不均或加劇健康不平等。需要確保數(shù)據(jù)的代表性和算法的公平性。*公平性與透明度：患者是否公平地被分配到高風(fēng)險類別？模型的決策過程是否透明可解釋？不透明的“黑箱”模型可能讓患者和醫(yī)生難以信任和接受其預(yù)測結(jié)果。開發(fā)可解釋性AI（XAI）技術(shù)變得重要。*責(zé)任界定：如果基于模型的風(fēng)險預(yù)測導(dǎo)致了錯誤的臨床決策，責(zé)任應(yīng)如何界定？八、過擬合（Overfitting）是指機(jī)器學(xué)習(xí)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好（誤差極?。谛碌?、未見過的數(shù)據(jù)（測試數(shù)據(jù)或?qū)嶋H應(yīng)用數(shù)據(jù)）上表現(xiàn)很差的現(xiàn)象。模型過于復(fù)雜，學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和隨機(jī)波動，而非潛在的系統(tǒng)性規(guī)律。欠擬合（Underfitting）是指模型過于簡單，未能捕捉到數(shù)據(jù)中的基本模式或趨勢，導(dǎo)致在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)上都表現(xiàn)出較高的誤差。模型能力不足以擬合數(shù)據(jù)的復(fù)雜度。系統(tǒng)分析與設(shè)計的視角：*過擬合的危害：對于復(fù)雜的現(xiàn)實(shí)系統(tǒng)，一個過擬合的模型就像一個過于精細(xì)的“橡皮泥”模型，它能完美復(fù)刻訓(xùn)練數(shù)據(jù)的每一個細(xì)節(jié)（包括系統(tǒng)運(yùn)行的偶然波動或局部噪聲），但在面對系統(tǒng)真實(shí)運(yùn)行中的微小變化、新情況或外