第9章大數(shù)據(jù)處理習(xí)題9.1選擇題1、在數(shù)據(jù)預(yù)處理階段,易理解，這一過程是（A.數(shù)據(jù)清洗數(shù)據(jù)合并到一致的存儲介質(zhì)中，使得數(shù)據(jù)挖掘更有效、挖掘模式更B）。B.數(shù)據(jù)集成c.數(shù)據(jù)歸約D.數(shù)據(jù)轉(zhuǎn)換C.實例規(guī)約D.屬性值的規(guī)約3、數(shù)據(jù)轉(zhuǎn)換包括以下的（A）策略。A.C.實例規(guī)約D.屬性值的規(guī)約3、數(shù)據(jù)轉(zhuǎn)換包括以下的（A）策略。A.合計處理 B.平滑處理C.規(guī)格化處理D.以上全是4、目前機器學(xué)習(xí)的首要步驟一般是（CA.模型訓(xùn)練 B.交叉驗證C.特征提取D.數(shù)據(jù)可視化以下（B）不是數(shù)據(jù)歸約策略。屬性子集的選擇B.屬性構(gòu)造C.決策樹算法C.決策樹算法D.邏輯回歸算法下面哪一項不是監(jiān)督學(xué)習(xí)算法（B）。K最近鄰算法B.DBSCAN算法6、下列屬于數(shù)據(jù)處理任務(wù)的是（D）。A.分類 B.聚類C.關(guān)聯(lián)分析D.以上全是7、支持向量機SVM常常用來進行（C）oA.處理數(shù)據(jù) B.聚類C.分類D.關(guān)聯(lián)分析8、以下（A）在神經(jīng)網(wǎng)絡(luò)中引入了非線性。A.修正線性單元（ReLU）B.隨機梯度下降C.卷積函數(shù)D.以上都不是9、神經(jīng)網(wǎng)絡(luò)中過擬合問題的處理方法包括以下的（A）。A.正則化B.隨機失活C.池化函數(shù)D?A和B10、集成學(xué)習(xí)方法不包括以下的（C）oBoostingStackingDropoutBagging11、批歸一化層的目的是（C）o它將權(quán)重的歸一化平均值和標準差減少神經(jīng)元的輸出讓每一層的輸入的范圍都大致固定使得反向傳播（BP）有效12、下面（B）不是數(shù)據(jù)清洗方法。C.離群點檢測D.冗余數(shù)據(jù)處理缺失值處理 B.泛化處理C.離群點檢測D.冗余數(shù)據(jù)處理13、 聚類過程的要求包括（D）o可擴展性可進行基于約束的聚類對輸入數(shù)據(jù)不敏感以上全是14、 對分布式處理架構(gòu)的描述不正確的是（D多個節(jié)點并行工作數(shù)據(jù)處理效率高每個節(jié)點負責(zé)一部分任務(wù)存在唯一的中心節(jié)點15、 對激活函數(shù)Sigmoid的描述不正確的是（D）。可用于二分類問題容易造成梯度消失可以減少網(wǎng)絡(luò)計算量是一條非線性曲線9.2填空題1、 Apriori算法的核心步驟是（連接步）和（剪枝步）。2、 機器學(xué)習(xí)的特征選擇方法包括（過濾器方法）、（包裝器方法）和（嵌入式方法）等。3、 目前大數(shù)據(jù)處理架構(gòu)一般分為（集中式處理架構(gòu)）和（分布式處理架構(gòu)）兩種。4、 人工神經(jīng)網(wǎng)絡(luò)中，當(dāng)數(shù)量眾多的神經(jīng)元全部連接起來后，可呈現(xiàn)網(wǎng)絡(luò)狀，如果各個神經(jīng)元之間無環(huán)，則被稱為（ 多層前饋）神經(jīng)網(wǎng)絡(luò)。5、 神經(jīng)網(wǎng)絡(luò)中的池化方法包括（最大池化）和（平均池化）。9.3簡答題1、請簡述數(shù)據(jù)預(yù)處理的目的及典型的幾種類型。答：數(shù)據(jù)預(yù)處理目的是為數(shù)據(jù)挖掘模塊提供準確、有效、具有針對性的數(shù)據(jù)，提高數(shù)據(jù)挖掘與知識發(fā)現(xiàn)的效率。數(shù)據(jù)預(yù)處理方法包括：數(shù)據(jù)清洗，刪除重復(fù)數(shù)據(jù)、糾正數(shù)據(jù)中存在的錯誤，并使數(shù)據(jù)保持一致性；數(shù)據(jù)集成，將存儲在不同存儲介質(zhì)中的數(shù)據(jù)合并到一致的存儲介質(zhì)中；數(shù)據(jù)轉(zhuǎn)換,將數(shù)據(jù)從一種表示形式轉(zhuǎn)換為另一種表現(xiàn)形式;數(shù)據(jù)歸約,在盡可能保持數(shù)據(jù)原貌的前提下，最大限度地精簡數(shù)據(jù)量。2、分別簡述數(shù)據(jù)挖掘算法中的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的含義，并列舉各自包含的幾種典型方法。答：監(jiān)督學(xué)習(xí)：通過已右的訓(xùn)練樣本訓(xùn)練得到一個最優(yōu)模型，通過模型對未知數(shù)據(jù)進行分類。主要包括K最近鄰算法、決策樹、線性回歸、邏輯冋歸等方法。無監(jiān)督學(xué)習(xí)：沒有任何訓(xùn)練樣本，直接對數(shù)據(jù)進行建模。主要包括K-Means算法、DBSCAN算法、Apriori算法、FP-growth算法等。3、 請描述卷積神經(jīng)網(wǎng)絡(luò)中卷積層和池化層的作用。答：卷積層：由數(shù)量不定的卷積核加上偏置項（Bias）組成。本質(zhì)上是個權(quán)值矩陣，矩陣中的值是稀疏的。它主要進行局部特征提取，通過卷積核與上一層輸出的特征完成點積和累加操作，得到特征矩陣，也稱為特征圖（FeatureMap）。卷積層的所有卷積核在進行特征提取的過程中，其參數(shù)值，也就是權(quán)值矩陣的值是固定且共享的。池化層：在構(gòu)建一個完整的卷積神經(jīng)網(wǎng)絡(luò)時的作用僅次于卷積層，具有縮小特征圖的作用，由于其不含參數(shù)，因此比卷積層中進行的釆樣更高效。4、 簡述機器學(xué)習(xí)中進行特征選擇的原因和目標。答：特征選擇指選擇出適合模型算法的最優(yōu)特征子集來提升模型的性能。機器學(xué)習(xí)中進行特征選擇的原因是：當(dāng)數(shù)據(jù)維度達到一定水平時，將所有特征放入算法中將會帶來維度災(zāi)難。特征選擇的目標是：1）提高模型的泛化能力，避免過擬合并，降低誤差。2）減少特征數(shù)量，提高計算效率，提供更快的、具有成本效益的模型03）篩選出不相關(guān)特征，降低模型的學(xué)習(xí)難度，前提是對特征本身有更深入的了解。5、 請簡述分布式大數(shù)據(jù)處理架構(gòu)及其優(yōu)點，并列舉出幾個著名的分布式大數(shù)據(jù)開源平臺。答：分布式處理架構(gòu)是先將一組節(jié)點連接起來形成系統(tǒng),然后將需要處理的大批量數(shù)據(jù)分布在多個節(jié)點上，由多個節(jié)點去執(zhí)行，通過分布式并行處理提高處理效率，最后合并計算得出最終結(jié)果。優(yōu)點主要有：1）可以平衡負載和共享資源02）降低大數(shù)據(jù)處理的成本。3）支持大數(shù)據(jù)在更多場景下的應(yīng)用。目前基于服務(wù)器集群的分布式大數(shù)據(jù)平臺：Hadoop、Spark、Storm,Samza,Flink等。9.4解答題1、數(shù)據(jù)挖掘任務(wù)中分類一般分為幾個步驟？請描述每個步驟的作用，并列舉用于分類的典型數(shù)據(jù)挖掘算法，并回答交叉驗證的方式是如何評價分類模型的。答：1） 分類一般分為3個步驟，分別是構(gòu)建模型、測試模型和使用模型。構(gòu)建模型主要是對每個樣本進行類別標記，通過數(shù)據(jù)的訓(xùn)練集構(gòu)成分類模型。測試模型主要是通過對比測試樣本的識別類別與實際類別來評價模型正確性。使用模型主要是要利用模型來完成數(shù)據(jù)分類任務(wù)，輸出最終的分類結(jié)果。用于分類的數(shù)據(jù)挖掘算法：K最近鄰算法、決策樹算法。2） 以交叉驗證的方式評價分類模型：①數(shù)組分組，將原始數(shù)組分成訓(xùn)練集和驗證集；②模型訓(xùn)練，先用訓(xùn)練集對分類器進行訓(xùn)練，再利用驗證集測試訓(xùn)練得到的模型作為評價分

類器的性能指標。常見的交叉驗證方式有Hold-out驗證、K折疊交義驗證、留?驗證等。2、循環(huán)神經(jīng)網(wǎng)絡(luò)組成部分是什么？請畫出按時間展開的前后結(jié)構(gòu)圖，并描述圖中各個元素是如何進行運算的。答：1）循環(huán)神經(jīng)網(wǎng)絡(luò)主要由輸入層、隱藏層和輸出層組成。輸岀層隱藏層輸入層號@號輸岀層隱藏層輸入層TOC\o"1-5"\h\zV V V_附 -股-U U U&。。按時間展開的前后結(jié)構(gòu)圖2）由圖可知，將循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)按照時間序列展開之前的X是輸入層的值，S是隱藏層的值，O是當(dāng)前節(jié)點的輸出，U是輸入層到隱藏層的權(quán)重矩陣，V是隱藏層到輸出層的權(quán)重矩陣。循環(huán)層的作用是在隱藏層之間運算，隱藏層S的值不僅取決于輸入層X的值，還取決于隱藏層上一個節(jié)點的值，所以W就是隱藏層上一個節(jié)點的值輸入當(dāng)前隱藏層節(jié)點的權(quán)重矩陣。展開后，以循環(huán)神經(jīng)網(wǎng)絡(luò)在/時刻為例，當(dāng)前的輸入是X”隱蔵層輸出的值是S，輸出值是OloS,的值不僅取決于輸入值，還取決于t-\時刻隱藏層輸岀的值。當(dāng)前時刻輸出值。由S的內(nèi)容計算得出。第1（）章大數(shù)據(jù)應(yīng)用習(xí)題10.1選擇題1、目前典型的腦電信號的分類方式不包括（B）。D.按圖形分類D.SG頻段A.按頻率分類B.按信號長度分類 C.按Gibbs分類2、以下的（D.按圖形分類D.SG頻段C.U頻段A.P頻段B.QTC.U頻段3、盲源信號分離所使用技術(shù)一般不包括A.ICA B.FastICACC.SVMD.以上都是4、軌跡大數(shù)據(jù)的主要特征不包括以下的A.非平穩(wěn)性B.4V特征AC.）o異頻采樣性D.本身質(zhì)量偏低需要進行以軌跡壓縮B需要進行以軌跡壓縮B）操作。D.地圖匹配5、軌跡數(shù)據(jù)預(yù)處理中，為了避免誤差距離太大,A.停留點檢測B.軌跡濾噪C.6、解決路徑規(guī)劃問題的算法中，（C）一般是求得問題的次優(yōu)解或以一定的概率求其最優(yōu)解。濾波算法B.回歸算法 C.啟發(fā)式算法 D.精確算法7、自然語言處理中（A）用于判斷一個詞語序列是否構(gòu)成一句話概率。語言模型 B.詞袋模型 C.詞頻?逆向文檔頻率D.詞嵌入8、典型智能問答系統(tǒng)包括（D）0基于結(jié)構(gòu)化數(shù)據(jù)的智能問答系統(tǒng)基于自由文本的智能問答系統(tǒng)基于常見問題集的智能問答系統(tǒng)以上全是9、圖像大數(shù)據(jù)處理系統(tǒng)中的（D）主要對圖片中的目標進行定位，并輸出具體類別。A.目標跟蹤B.圖像分割C.視頻處理A.目標跟蹤B.圖像分割C.視頻處理D.目標檢測10、基于深度學(xué)習(xí)的目標檢測方法中的（A.階段分割法 B.單階段方法B）檢測低速度快,C.視頻階段處理但檢測精度低。D.雙階段方法11、 短文本分類方法中的（B）不依賴于特定場景，適應(yīng)性較好?；谔卣鲾U展的方法基于深度學(xué)習(xí)的方法樸素貝葉斯方法小波包變換方法12、 軌跡大數(shù)據(jù)的挖掘主要包含四種不同類別，其中（A）依靠一種或多種因素的組合來進行軌跡大數(shù)據(jù)挖掘。A.伴隨模式 B.軌跡聚類 C.序列模式 D.周期模式13、為了克服獨熱編碼缺陷，（C）通常將詞語轉(zhuǎn)化成為一個分布式表示的定長連續(xù)稠密向量。14、軌跡大數(shù)據(jù)中的（網(wǎng)信息。A.軌跡預(yù)測A.語言模型B.結(jié)構(gòu)化數(shù)據(jù) C.14、軌跡大數(shù)據(jù)中的（網(wǎng)信息。A.軌跡預(yù)測C）方法將軌跡點坐標映射到真實世界路網(wǎng)上，獲得軌跡對應(yīng)路B.軌跡分割 C.地圖匹配 D.軌跡壓縮10.2填空題1、小波包變換的關(guān)鍵步驟包括（信號分解 ）和（信號重構(gòu) ）?2、自然語言處理中的獨熱編碼缺點是（不能區(qū)分多義詞語 ）。3、Word2vec模型根據(jù)（ 輸入/輸出 ）的不同，可分為CBOW模型與Skip-Gram模型。10.3簡答題1、 請對比分析小波變換和小波包變換兩種方法。答：小波變換是把時間序列分解成低頻和高頻信息。分解出的低頻a中失去的信息由高頻d捕獲。在下一層分解中，又將a分解成低頻al和高頻dl兩部分，低頻al中失去的信息由高頻dl捕獲。依此類推，可以進行更深層的分解。相對于小波變換，小波包變換不僅對低頻部分進行分解，還可以對高頻部分進行更細致的分解。2、 請列舉路徑規(guī)劃常采用的幾種典型啟發(fā)式算法。答：蟻群算法：包含路徑構(gòu)建和信息素更新兩步驟。遺傳算法：通過不斷循環(huán)迭代來搜索組合問題的最優(yōu)解，直到滿足預(yù)設(shè)的終止條件才結(jié)束。模擬退火算法：先生成隨機解，然后對隨機解擾動，通過比較擾動解與當(dāng)前解的目標函數(shù)值來決定是否將擾動解定義為新解。3、 請對比分析基于深度學(xué)習(xí)的目標檢測方法中兩階段目標檢測算法和單階段目標檢測算法。答：雙階段目標檢測算法先對圖像提取候選框，然后基于候選區(qū)域做二次修正得到檢測點結(jié)果，檢測精度較高，但檢測速度較慢。單階段目標驗測算法直接對圖像進行計算生成檢測結(jié)果，檢測低速度快，但檢測精度低。4、 問題分類流程中，文本預(yù)處理一般主要完成哪些工作？答：將英文縮寫替換，將意思等價的縮寫統(tǒng)一成為完整格式。使用正則化方式去除文本中無用的各類符號，按照空格進行分詞，使用拼寫檢查工具處理文本，減少拼寫錯誤導(dǎo)致的噪聲。刪除對分類沒什么影響的停用詞，如'a','is'等。?在深度學(xué)習(xí)模塊，需要使用詞嵌入對文本進行初始化10.4解答題1、出租車是城市交通的重要組成部分。請回答以下問題：?請描述出租車尋找最佳客源的路徑規(guī)劃流程，并簡單介紹每個步驟。?畫出求解最優(yōu)路徑時所用到的模擬退火算法流程圖。答：1）出租車尋找最佳客源的路徑規(guī)劃流程：數(shù)據(jù)清洗一上/下客點提取一數(shù)據(jù)時空分析熱門區(qū)域挖掘一最佳客源挖掘一最優(yōu)路徑規(guī)劃。數(shù)據(jù)清洗：剔除噪聲數(shù)據(jù)，缺失數(shù)值和錯誤數(shù)值。

上/下客點提?。撼鲎廛嚨妮d客狀態(tài)從1變到0,是一個下客點；出租車的載客狀態(tài)從0變到1,是一個上客點。數(shù)據(jù)時空分析：研究一周內(nèi)包括早高峰、晚高峰、丄作日、非丄作日等不I司時段上/下客點的數(shù)據(jù)變化，及每個時間段的數(shù)據(jù)的空間分布。熱門區(qū)域挖掘：對于每個時段的每個區(qū)域應(yīng)用DBSCAN算法，挖掘軌跡大數(shù)據(jù)中的熱門區(qū)域。最佳客源挖掘：釆用K-Means等算法，對最佳客源點進行挖掘。2）求解最優(yōu)路徑時所用到的模擬退火算法流程圖如下：2、基于視頻的目標檢測模塊對于自動駕駛系統(tǒng)至關(guān)重要。請回答以下問題:請畫出面向自動駕駛的目標檢測流程圖。說明在面向自動駕駛的目標檢測系統(tǒng)中的主要組成模塊。答面向自動駕駛的目標檢測系統(tǒng)的流程：2）面向自動駕駛的目標檢測系統(tǒng)中的組成模塊：視頻流解析模塊：先獲取計算機內(nèi)置攝像頭所攝的視頻流，或者獲取計算機本地視頻，再解析接收到的視頻流或者視頻，此時還需要按照具體需求設(shè)置解析頓率，即每隔多長一段時間截取一幀圖像，輸出一連串單幀圖像，從而完成輸入圖像的釆集。圖像預(yù)處理模塊：將圖像縮放為統(tǒng)一的尺寸，匹配特征提取網(wǎng)絡(luò)的設(shè)計結(jié)構(gòu).將這些統(tǒng)一尺寸的圖像歸一化處理（將RGB三通道的值（0-255）壓縮為0?1），使得梯度在各個特征方向上的機會均等。目標檢測模塊：實現(xiàn)系統(tǒng)提出的全部要求，主要包括訓(xùn)練部分和預(yù)測部分。訓(xùn)練部分需要準備和預(yù)處理訓(xùn)練數(shù)據(jù)集、添加各種數(shù)據(jù)增廣策略、訓(xùn)練算法并優(yōu)化其性能。預(yù)測部分連接圖像預(yù)處理模塊，首先進行網(wǎng)絡(luò)初始化，然后通過網(wǎng)絡(luò)提取圖像預(yù)處理模塊輸出的待檢測圖像的特征，完成對圖像中感興趣目標的分類和定位，將這些信息在該幀圖像上標注出來，并在可視化界面中顯示出來。第11章大數(shù)據(jù)隱私保護習(xí)題11.1選擇題1、 以下（D）通常不是導(dǎo)致數(shù)據(jù)隱私泄露問題的來源。A.數(shù)據(jù)被肆意收集B.數(shù)據(jù)集成融合C.大數(shù)據(jù)分析D.DDOS攻擊2、 以下（C）不是數(shù)據(jù)隱私保護的主要目標。A.機密性B.完整性C.合理性D.可用性3、 發(fā)布數(shù)據(jù)時將隱私數(shù)據(jù)中的顯式標識符刪除的隱私保護技術(shù)是（D）。A.加密技術(shù)B.失真技術(shù)C.數(shù)據(jù)銷毀技術(shù)D.匿名技術(shù)4、 難以恢復(fù)原始數(shù)據(jù)的隱私保護技術(shù)（B）。A.加密技術(shù)B,失真技術(shù)C.數(shù)據(jù)銷毀技術(shù)D.匿名技術(shù)5、 原始數(shù)據(jù)表中能唯一標識個體身份的屬性的數(shù)據(jù)屬性（B）。A.準標識符B.顯式標識符C.敏感屬性D.非敏感屬性6、 原始數(shù)據(jù)表中需要保護的包含個體敏感信息的數(shù)據(jù)屬性即（C）。A.準標識符B.顯式標識符C.敏感屬性D.非敏感屬性7、微聚集主要用于實現(xiàn)以下的（C）匿名化技術(shù)。A.1-多樣性B.t-相近性C.k.匿名 D.差分隱私8、分解主要用實現(xiàn)（A.1?多樣性A）匿名化技術(shù)。D.差分隱私B. t-相近性C.k.匿名9、差分隱私包含序列組合性和（B）這兩個性質(zhì)。A.串行組合性B.并行組合性C.并聯(lián)組合性D.串聯(lián)組合性1（）、（D）需要一個可信的第三方來收集、存儲未處理的用戶原始隱私數(shù)據(jù),經(jīng)過隱私處理（如加噪）之后再統(tǒng)一對外發(fā)布。A.指數(shù)差分隱私B.遠程差分隱私C.本地化差分隱私D.中心化差分隱私11、 本地化差分隱私與中心化差分隱私最主要的區(qū)別在于（C）。A.定義不同B.敏感度定義不同C.是否依賴可信第三方D.以上都是12、 （C）通常用于保密等級比較高的場合，如國家機密、軍事要務(wù)等。A.數(shù)據(jù)軟銷毀 B,數(shù)據(jù)覆蓋C.數(shù)據(jù)硬銷毀D.數(shù)據(jù)破壞13、 （C）是指不受任何外界因素干預(yù)，只根據(jù)云存儲系統(tǒng)的內(nèi)在設(shè)置對存儲的數(shù)據(jù)進行合理的自銷毀。A.定時銷毀B.被動銷毀 C.主動銷毀 D.防御型銷毀11.2填空題1、 對于加密算法E在明文空間M上，只對一種運算成立的稱為（部分同態(tài)加密）。2、 對于加密算法E在明文空間M上，能夠?qū)崿F(xiàn)所有同態(tài)加密運算的稱為（全同態(tài)加密）。3、 CP-ABE不需要（可信服務(wù)器）的特點在云存儲環(huán)境下具有優(yōu)勢，可以實現(xiàn)不同用戶對于存儲在云服務(wù)提供商提供的不可信服務(wù)器上特定數(shù)據(jù)的不同權(quán)限的訪問和處理。4、 中心化差分隱私的實現(xiàn)機制主要有（拉普拉斯機制）和（指數(shù)機制）等。5、 數(shù)據(jù)銷毀模式主要有（主動銷毀）、（定時銷毀）和（防御型銷毀）等類型。11.3簡答題1、請簡述數(shù)據(jù)隱私保護的主要目標以及各目標之間的關(guān)系。答：機密性。確保信息未被泄露，不被非授權(quán)的個人、組織和計算機程序使用。數(shù)據(jù)的機密性通常是通過隱私保護技術(shù)來保證的，但是一些隱私保護技術(shù)可能會在一定程度上削弱數(shù)據(jù)的完整性和可用性。因此，數(shù)據(jù)的機密性、完整性和可用性之間的平衡一直是隱私保護研究的重點。完整性。完整性要求數(shù)據(jù)不被未授權(quán)方修改或刪除，即數(shù)據(jù)在傳輸或者存儲時應(yīng)該保持不被蓄意或無意刪除、修改或偽造的特性。數(shù)據(jù)的完整性在一定程度上保證了數(shù)據(jù)的可用性。可用性。確保信息可以為授權(quán)用戶使用，保證信息仍然保持一定的價值，即數(shù)據(jù)在傳輸或者存儲的過程中對數(shù)據(jù)進行的加密或擾動的保護行為,不會影響數(shù)據(jù)在解密或者修正后的真實可用性。2、 請簡述安全多方計算中參與方的類型。答：誠實參與方。在協(xié)議中完全按照規(guī)則和步驟來完成協(xié)議，不存在提供虛假數(shù)據(jù)、泄露數(shù)據(jù)、竊聽數(shù)據(jù)和中止協(xié)議的行為。半誠實參與方?完全按照協(xié)議規(guī)則和步驟來完成協(xié)議，但是會保留收集到的數(shù)據(jù)來推斷出其他參與者的秘密數(shù)據(jù)。惡意參與方。完全無視協(xié)議要求，可能提供虛假數(shù)據(jù)、泄露數(shù)據(jù)、篡改數(shù)據(jù)，甚至中止協(xié)議。3、 請簡述差分隱私包含的序列組合性和并行組合性這兩個性質(zhì)。答：序列組合性(SequentialComposition)。設(shè)有算法A/i,M2,Mn>其隱私保護預(yù)算分別為幻，m那么對于同一數(shù)據(jù)集。，由這些算法構(gòu)成的組合算法...?提供弓-差分隱私保護。并