2025年大學(xué)《數(shù)據(jù)計(jì)算及應(yīng)用》專業(yè)題庫(kù)——數(shù)據(jù)計(jì)算專業(yè)校園講座系列考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分）1.下列哪一項(xiàng)不屬于大數(shù)據(jù)的“4V”特性？A.Volume（海量性）B.Velocity（高速性）C.Variety（多樣性）D.Veracity（真實(shí)性）2.HDFS（HadoopDistributedFileSystem）主要適用于存儲(chǔ)哪種類型的數(shù)據(jù)？A.實(shí)時(shí)交易數(shù)據(jù)B.關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)C.海量、不可分割的文件D.內(nèi)存數(shù)據(jù)庫(kù)中的鍵值對(duì)數(shù)據(jù)3.MapReduce模型中，Map階段輸出的中間鍵值對(duì)（<K1,V1>）在Reduce階段默認(rèn)是按照哪個(gè)字段進(jìn)行排序的？A.Key（鍵）B.Value（值）C.Key和Value都排序D.根據(jù)輸入數(shù)據(jù)排序4.以下哪種數(shù)據(jù)庫(kù)通常被認(rèn)為是NoSQL數(shù)據(jù)庫(kù)的一種？A.PostgreSQLB.MySQLC.MongoDBD.Oracle5.Spark中，RDD（ResilientDistributedDataset）的哪些操作是破壞性的（改變?cè)糝DD）？A.map(),filter()B.mapPartitions(),reduceByKey()C.union(),distinct()D.cache(),persist()6.在數(shù)據(jù)預(yù)處理流程中，處理數(shù)據(jù)中的缺失值常用的方法不包括？A.刪除含有缺失值的記錄B.使用均值、中位數(shù)或眾數(shù)填充C.使用回歸或分類模型預(yù)測(cè)填充D.對(duì)缺失值進(jìn)行隨機(jī)采樣7.以下哪種算法屬于分類算法？A.K-Means聚類B.決策樹C.主成分分析（PCA）D.K-NearestNeighbors（KNN）8.適用于處理流式數(shù)據(jù)的計(jì)算框架是？A.HadoopMapReduceB.ApacheHiveC.ApacheSparkStreamingD.ApacheFlink9.在數(shù)據(jù)可視化中，使用折線圖最適合展示？A.不同類別數(shù)據(jù)的數(shù)量比較B.數(shù)據(jù)隨時(shí)間變化的趨勢(shì)C.數(shù)據(jù)之間的部分-整體關(guān)系D.數(shù)據(jù)的分布情況10.下列哪個(gè)技術(shù)/概念在講座中提到，可用于實(shí)時(shí)處理大規(guī)模數(shù)據(jù)流？A.數(shù)據(jù)倉(cāng)庫(kù)B.ETL過程C.Lambda架構(gòu)D.時(shí)間序列數(shù)據(jù)庫(kù)二、填空題（每空1分，共15分）1.大數(shù)據(jù)通常指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，其具有海量性、高速性、______和______等主要特征。2.Hadoop生態(tài)系統(tǒng)中的YARN（YetAnotherResourceNegotiator）主要負(fù)責(zé)______和資源管理。3.在MapReduce任務(wù)中，將Map階段的輸出結(jié)果（<K1,V1>對(duì)）按Key進(jìn)行排序和分組的過程稱為______。4.NoSQL數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)模型的不同，可以分為鍵值存儲(chǔ)、文檔存儲(chǔ)、列式存儲(chǔ)和______四種主要類型。5.Spark的核心概念之一是彈性分布式數(shù)據(jù)集（RDD），它是一個(gè)______、可恢復(fù)的分布式數(shù)據(jù)集合。6.數(shù)據(jù)預(yù)處理的主要步驟包括數(shù)據(jù)清洗（處理缺失值、異常值、重復(fù)值等）、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)______。7.機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)主要處理______問題，需要使用帶標(biāo)簽的訓(xùn)練數(shù)據(jù)。8.交叉驗(yàn)證（Cross-Validation）是一種常用的模型評(píng)估方法，特別是當(dāng)訓(xùn)練數(shù)據(jù)量較小時(shí)，可以有效評(píng)估模型的______。9.數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，主要用于支持______。10.講座中提到，在處理不同數(shù)據(jù)源的數(shù)據(jù)融合時(shí)，需要考慮數(shù)據(jù)格式、語義一致性以及______等問題。三、簡(jiǎn)答題（每題5分，共20分）1.簡(jiǎn)述HDFS（HadoopDistributedFileSystem）的主要特點(diǎn)及其適用于存儲(chǔ)哪種類型的數(shù)據(jù)。2.解釋什么是數(shù)據(jù)清洗，并列舉至少三種常見的數(shù)據(jù)清洗任務(wù)。3.比較MapReduce和Spark在處理大規(guī)模數(shù)據(jù)時(shí)的主要區(qū)別（至少?gòu)膬蓚€(gè)維度進(jìn)行比較）。4.簡(jiǎn)述機(jī)器學(xué)習(xí)中過擬合（Overfitting）現(xiàn)象的產(chǎn)生原因，并提出至少兩種緩解過擬合的方法。四、計(jì)算題/編程題（共25分）1.（12分）假設(shè)你需要使用MapReduce框架處理一個(gè)包含用戶瀏覽記錄的大型日志文件，每行記錄的格式為：`用戶ID,商品ID,瀏覽時(shí)間戳`。請(qǐng)?jiān)O(shè)計(jì)MapReduce程序的基本邏輯：a.描述Map函數(shù)的輸入和輸出（鍵值對(duì)形式）。b.描述Reduce函數(shù)的輸入和輸出（鍵值對(duì)形式），并說明你需要統(tǒng)計(jì)什么指標(biāo)（例如，每個(gè)用戶瀏覽了哪些商品，或者每個(gè)商品被多少用戶瀏覽）。c.簡(jiǎn)要說明MapReduce任務(wù)如何最終得到你想要的統(tǒng)計(jì)結(jié)果。2.（13分）考慮一個(gè)簡(jiǎn)單的數(shù)據(jù)預(yù)處理任務(wù)：給定一個(gè)包含學(xué)生成績(jī)的列表，其中成績(jī)可能存在缺失值（用`None`表示），數(shù)據(jù)格式為`[('Alice',85),('Bob',None),('Charlie',92),('David',88),('Alice',None)]`。a.編寫Python代碼（不使用任何外部庫(kù)，如pandas），實(shí)現(xiàn)一個(gè)函數(shù)，該函數(shù)接收這個(gè)列表作為輸入，返回一個(gè)新的列表，其中將所有`None`（缺失值）替換為該學(xué)生所有已知成績(jī)的平均分。假設(shè)每個(gè)學(xué)生的成績(jī)數(shù)量至少為1，即平均分一定存在。b.對(duì)于返回的新列表，計(jì)算所有學(xué)生的平均成績(jī)。五、綜合應(yīng)用題（共30分）假設(shè)你在校園講座系列中了解到一種新的分布式數(shù)據(jù)分析技術(shù)（例如，講座中介紹的某特定流處理框架或圖計(jì)算技術(shù)，此處可自行設(shè)定一個(gè)場(chǎng)景，如“講座介紹了基于Flink的實(shí)時(shí)用戶行為分析技術(shù)”）?，F(xiàn)在，你正在為一個(gè)電商平臺(tái)項(xiàng)目負(fù)責(zé)數(shù)據(jù)分析部分，該項(xiàng)目需要處理海量用戶的實(shí)時(shí)行為數(shù)據(jù)（如頁面瀏覽、點(diǎn)擊、加購(gòu)、購(gòu)買等），并需要從中快速發(fā)現(xiàn)異常行為、進(jìn)行用戶畫像、并實(shí)現(xiàn)精準(zhǔn)推薦。請(qǐng)結(jié)合講座中介紹的技術(shù)特點(diǎn)，并基于你對(duì)《數(shù)據(jù)計(jì)算及應(yīng)用》課程知識(shí)的理解，簡(jiǎn)要闡述：1.你會(huì)如何設(shè)計(jì)這個(gè)實(shí)時(shí)用戶行為分析系統(tǒng)的大致架構(gòu)？（說明需要哪些關(guān)鍵組件，以及它們之間的數(shù)據(jù)流關(guān)系）。2.針對(duì)需要分析的用戶畫像和精準(zhǔn)推薦這兩個(gè)具體目標(biāo)，你會(huì)利用哪些數(shù)據(jù)計(jì)算技術(shù)或算法？（簡(jiǎn)要說明）。3.在設(shè)計(jì)和實(shí)施這個(gè)系統(tǒng)時(shí)，你認(rèn)為可能會(huì)遇到哪些主要的技術(shù)挑戰(zhàn)？（至少列舉三個(gè)）。4.你認(rèn)為如何將講座中介紹的新技術(shù)有效融入到這個(gè)項(xiàng)目中？它相比傳統(tǒng)技術(shù)有哪些潛在優(yōu)勢(shì)？試卷答案一、選擇題1.D2.C3.A4.C5.B6.D7.B8.C9.B10.D二、填空題1.多樣性,可信度2.資源調(diào)度3.ShuffleandSort4.圖數(shù)據(jù)庫(kù)5.彈性6.特征工程7.分類8.泛化能力9.決策支持10.數(shù)據(jù)質(zhì)量三、簡(jiǎn)答題1.答：HDFS的主要特點(diǎn)包括：高容錯(cuò)性（數(shù)據(jù)塊多副本存儲(chǔ)）、高吞吐量（適合批處理）、適合存儲(chǔ)大文件。它設(shè)計(jì)用于在普通商用硬件上存儲(chǔ)和處理超大規(guī)模數(shù)據(jù)集。由于其高吞吐量的特性，它特別適用于存儲(chǔ)海量、不可分割的文件，并對(duì)其進(jìn)行并行處理，例如日志文件分析、大數(shù)據(jù)分析等場(chǎng)景。2.答：數(shù)據(jù)清洗是指將原始數(shù)據(jù)轉(zhuǎn)換成適合進(jìn)行分析或建模的質(zhì)量較高的數(shù)據(jù)的過程。常見的數(shù)據(jù)清洗任務(wù)包括：*處理缺失值：刪除含有缺失值的記錄、使用均值/中位數(shù)/眾數(shù)填充、使用回歸/分類模型預(yù)測(cè)填充、插值法等。*處理重復(fù)值：識(shí)別并刪除重復(fù)的記錄。*處理異常值/離群點(diǎn)：識(shí)別并處理不符合數(shù)據(jù)規(guī)律或范圍的極端值，可以通過統(tǒng)計(jì)方法（如IQR）或業(yè)務(wù)規(guī)則進(jìn)行。*數(shù)據(jù)格式轉(zhuǎn)換/規(guī)范化：統(tǒng)一日期格式、文本大小寫、單位等。*處理不一致數(shù)據(jù)：統(tǒng)一命名規(guī)則、編碼等。3.答：MapReduce和Spark的主要區(qū)別包括：*計(jì)算模型：MapReduce是批處理模型，一次處理一批數(shù)據(jù)；Spark支持批處理、流處理、交互式查詢和圖計(jì)算等多種模式。*內(nèi)存計(jì)算：Spark引入了彈性分布式數(shù)據(jù)集（RDD）和DataFrame/Dataset抽象，充分利用內(nèi)存進(jìn)行計(jì)算，顯著提高了處理速度（通常比MapReduce快10-100倍）；MapReduce計(jì)算主要依賴磁盤I/O。*編程語言：MapReduce主要使用Java/Scala；Spark支持Scala,Java,Python,R等多種語言。*容錯(cuò)機(jī)制：Spark在Spark1.x中通過重新計(jì)算丟失的分區(qū)來容錯(cuò)，Spark2.x后引入了基于數(shù)據(jù)的容錯(cuò)機(jī)制（DAG調(diào)度器）；MapReduce通過重新執(zhí)行失敗的任務(wù)分區(qū)來容錯(cuò)。4.答：過擬合是指機(jī)器學(xué)習(xí)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好，但在未見過的新數(shù)據(jù)（測(cè)試數(shù)據(jù)）上表現(xiàn)很差的現(xiàn)象。產(chǎn)生原因是模型過于復(fù)雜，學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細(xì)節(jié)，而非潛在的普遍規(guī)律。緩解過擬合的方法：*增加訓(xùn)練數(shù)據(jù)量：更多的數(shù)據(jù)可以提供更可靠的統(tǒng)計(jì)信息，減少模型對(duì)噪聲的擬合。*選擇更簡(jiǎn)單的模型：降低模型的復(fù)雜度，如使用線性模型代替非線性模型，減少神經(jīng)網(wǎng)絡(luò)的層數(shù)或神經(jīng)元數(shù)量。*正則化（Regularization）：在模型目標(biāo)函數(shù)中加入懲罰項(xiàng)（如L1正則化、L2正則化），限制模型參數(shù)的大小，防止模型過于復(fù)雜。*Dropout：在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中隨機(jī)忽略一部分神經(jīng)元，增加模型的魯棒性。*交叉驗(yàn)證：使用交叉驗(yàn)證評(píng)估模型性能，有助于選擇泛化能力更好的模型。四、計(jì)算題/編程題1.a.Map函數(shù)的輸入是日志文件的每一行文本。輸出是鍵值對(duì)（<用戶ID,商品ID>），值通常是常數(shù)`1`或該行的內(nèi)容，取決于后續(xù)Reduce操作。例如，對(duì)于輸入行`用戶ID,商品ID,瀏覽時(shí)間戳`，輸出可能是`<用戶ID,1>`。b.Reduce函數(shù)的輸入是Map函數(shù)輸出的鍵值對(duì)（<用戶ID,商品ID>）。輸出是鍵值對(duì)（<指標(biāo)類型,結(jié)果>）。例如：*如果統(tǒng)計(jì)每個(gè)用戶瀏覽了哪些商品：鍵是`用戶ID`，值是該用戶瀏覽過的所有`商品ID`組成的集合。*如果統(tǒng)計(jì)每個(gè)商品被多少用戶瀏覽：鍵是`商品ID`，值是該商品被瀏覽的次數(shù)（即值的累加和）。c.MapReduce任務(wù)通過Map階段將所有記錄轉(zhuǎn)換為鍵值對(duì)形式，然后通過ShuffleandSort階段將相同鍵（如用戶ID或商品ID）的鍵值對(duì)聚攏到同一個(gè)Reduce任務(wù)中。最后，Reduce階段對(duì)每個(gè)鍵對(duì)應(yīng)的值進(jìn)行聚合（如計(jì)數(shù)、集合合并），得到最終的統(tǒng)計(jì)結(jié)果。2.a.代碼如下：```pythondeffill_missing_grades(grades_list):#存儲(chǔ)學(xué)生成績(jī)字典，鍵為學(xué)生名，值為成績(jī)列表student_grades={}forstudent,gradeingrades_list:ifstudentnotinstudent_grades:student_grades[student]=[]ifgradeisnotNone:student_grades[student].append(grade)#定義函數(shù)計(jì)算平均分defcalculate_average(grades):returnsum(grades)/len(grades)#處理替換缺失值new_grades_list=[]forstudent,gradesinstudent_grades.items():ifnotgrades:#如果列表為空，理論上不會(huì)發(fā)生，因?yàn)槊總€(gè)學(xué)生至少有1個(gè)成績(jī)continueaverage_grade=calculate_average(grades)#替換該學(xué)生所有缺失值為平均分fororiginal_student,original_gradeingrades_list:iforiginal_student==studentandoriginal_gradeisNone:new_grade=average_gradeelse:new_grade=original_gradenew_grades_list.append((original_student,new_grade))returnnew_grades_list#測(cè)試#input_data=[('Alice',85),('Bob',None),('Charlie',92),('David',88),('Alice',None)]#output=fill_missing_grades(input_data)#print(output)#[('Alice',85),('Bob',86.0),('Charlie',92),('David',88),('Alice',85.0)]```b.計(jì)算所有學(xué)生的平均成績(jī)：```python#假設(shè)output是上一步得到的替換后的列表all_grades=[gradefor_,gradeinoutputifgradeisnotNone]#提取所有成績(jī)ifall_grades:overall_average=sum(all_grades)/len(all_grades)print(overall_average)else:print("Novalidgradestocalculateaverage.")```*(注：編程題答案提供的是代碼框架和思路，具體細(xì)節(jié)如列表推導(dǎo)、異常處理等可根據(jù)實(shí)際情況完善)*五、綜合應(yīng)用題1.答：實(shí)時(shí)用戶行為分析系統(tǒng)的大致架構(gòu)可以包括：*數(shù)據(jù)采集層：使用Kafka等分布式消息隊(duì)列收集來自網(wǎng)站/APP的前端日志、用戶行為事件（點(diǎn)擊、瀏覽、加購(gòu)等）。Kafka可以處理高并發(fā)寫入。*數(shù)據(jù)接入/預(yù)處理層：使用Flink或SparkStreaming對(duì)接收到的原始數(shù)據(jù)進(jìn)行清洗、格式化、解析，轉(zhuǎn)換成統(tǒng)一的內(nèi)部數(shù)據(jù)格式。*實(shí)時(shí)計(jì)算引擎（核心）：使用Flink或SparkStreaming進(jìn)行實(shí)時(shí)計(jì)算。例如：*實(shí)時(shí)統(tǒng)計(jì)PV、UV、各頁面訪問量、轉(zhuǎn)化率等指標(biāo)。*實(shí)時(shí)檢測(cè)異常行為（如短時(shí)間大量點(diǎn)擊、登錄失?。?。*實(shí)時(shí)計(jì)算用戶畫像標(biāo)簽（如活躍度等級(jí)）。*離線計(jì)算層（可選）：使用SparkBatch對(duì)歷史數(shù)據(jù)進(jìn)行更深入的分析，如用戶分群、推薦模型訓(xùn)練等。*數(shù)據(jù)存儲(chǔ)層：實(shí)時(shí)計(jì)算結(jié)果可以存儲(chǔ)到Redis等內(nèi)存數(shù)據(jù)庫(kù)（用于快速查詢）或HBase/ClickHouse等列式數(shù)據(jù)庫(kù)/時(shí)序數(shù)據(jù)庫(kù)。離線分析結(jié)果可以存儲(chǔ)到HDFS或數(shù)據(jù)倉(cāng)庫(kù)。*應(yīng)用層：基于實(shí)時(shí)/離線分析結(jié)果提供服務(wù)，如：*實(shí)時(shí)反作弊系統(tǒng)。*實(shí)時(shí)個(gè)性化推薦引擎。*用戶行為監(jiān)控看板。*異常行為告警通知。2.答：*用戶畫像：利用實(shí)時(shí)計(jì)算引擎對(duì)用戶的行為數(shù)據(jù)進(jìn)行聚合分析。例如，根據(jù)用戶的瀏覽商品類別、購(gòu)買頻率、停留時(shí)間、點(diǎn)擊率等實(shí)時(shí)行為，結(jié)合離線積累的用戶屬性數(shù)據(jù)（注冊(cè)信息、地理位置等），使用聚類算法（如K-Means）或規(guī)則引擎實(shí)時(shí)生成用戶的標(biāo)簽（如“母嬰愛好者”、“科技達(dá)人”、“價(jià)格敏感用戶”），這些標(biāo)簽可以用于后續(xù)的推薦和精準(zhǔn)營(yíng)銷。*精準(zhǔn)推薦：實(shí)時(shí)推薦系統(tǒng)需要根據(jù)用戶當(dāng)前的實(shí)時(shí)行為快速生成推薦列表?？梢岳脤?shí)時(shí)計(jì)算引擎結(jié)合用戶畫像標(biāo)簽和商品特征，或者直接使用實(shí)時(shí)推薦算法（如協(xié)同過濾的變種、基于內(nèi)容的推薦）。例如，當(dāng)用戶瀏覽某商品時(shí)，系統(tǒng)可以實(shí)時(shí)查詢?cè)撚脩舻漠嬒駱?biāo)簽，匹配符合該標(biāo)簽的其他商品，或者根據(jù)該用戶的實(shí)時(shí)行為序列，使用序列模型預(yù)測(cè)其可能感興趣的商品，從而實(shí)現(xiàn)精準(zhǔn)推薦。3.答：可能遇到的主要技術(shù)挑戰(zhàn)：*海量數(shù)據(jù)處理與低延遲要求：用戶行為數(shù)據(jù)產(chǎn)生速度快、量巨大，系統(tǒng)需要滿足近實(shí)時(shí)的處理延遲要求，這對(duì)計(jì)算框架的性能和擴(kuò)展性提出了很高挑戰(zhàn)。*數(shù)據(jù)源的多樣性與整合難度：數(shù)據(jù)可能來自網(wǎng)站前端、APP、服務(wù)器日志、第三方平臺(tái)等多種來源，格