項目三

大數(shù)據(jù)采集與預(yù)處理大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)目錄01大數(shù)據(jù)采集02大數(shù)據(jù)預(yù)處理大數(shù)據(jù)采集任務(wù)一引導(dǎo)案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學(xué)訓(xùn)練◎案例描述回溯歷史，在大數(shù)據(jù)技術(shù)還未嶄露頭角時，競技體育中運動訓(xùn)練計劃的制定往往都依賴于教練員的執(zhí)教經(jīng)驗，在對成績不佳的運動員進(jìn)行問題分析時，往往也都趨于“經(jīng)驗化”。在過去，這種經(jīng)驗化的訓(xùn)練方式培養(yǎng)出了很多冠軍，但也造就了很多問題，比如困擾很多運動員的傷病?，F(xiàn)在，運動訓(xùn)練學(xué)高度發(fā)展，競技體育的各項運動成績幾乎達(dá)到人類身體極限，要想從無數(shù)優(yōu)秀者中脫穎而出，大數(shù)據(jù)技術(shù)的應(yīng)用尤為重要。數(shù)字競技訓(xùn)練運動表現(xiàn)測量工具的出現(xiàn)，可謂是“雪中送炭”。眾所周知，競技體育中的大數(shù)據(jù)是對大規(guī)模、多源性、多維度運動訓(xùn)練數(shù)據(jù)的整合，它是建立在競技體育本身的復(fù)雜性之上的多因素分析，它的運用旨在解決與運動員成績相關(guān)的多因素之間的關(guān)系，而非單一因素對運動員成績的影響。引導(dǎo)案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學(xué)訓(xùn)練◎案例描述運動表現(xiàn)測量工具正是如此，它的大數(shù)據(jù)涉及訓(xùn)練中的多方面，即運動員外在的運動能力表現(xiàn)和內(nèi)在的生理表現(xiàn)。也就是說，它不是單一的數(shù)據(jù)采集，而是綜合的運動表現(xiàn)評價?！耙酝覀兂３Ｖ魂P(guān)注訓(xùn)練成績這一外在的方面，這很容易由于過分追求成績而訓(xùn)練過度，產(chǎn)生疲勞甚至導(dǎo)致?lián)p傷，斷送了運動員的職業(yè)生涯。”建立在龐大的量化指標(biāo)下的針對性分析才是解決運動訓(xùn)練和成績不佳的科學(xué)途徑，也是降低運動員承擔(dān)經(jīng)驗化風(fēng)險的可行之道。在50米短跑訓(xùn)練中，在較短的距離和時間內(nèi)，運動員要經(jīng)過起跑加速、途中跑、勻速跑、終點沖刺四個階段，這些都是影響跑步成績的因素。運動表現(xiàn)測量工具的分段計時功能，將分別測量和分析每個運動員起跑加速、途中跑、勻速跑、終點沖刺階段的運動表現(xiàn)，通過大數(shù)據(jù)分析發(fā)現(xiàn)其中弱項，實施針對性的訓(xùn)練。引導(dǎo)案例：競技體育:大數(shù)據(jù)“雪中送炭”，助力科學(xué)訓(xùn)練◎案例解析大數(shù)據(jù)時代的到來，不僅使人類的思維方式產(chǎn)生了變化，也對競技體育的“進(jìn)化”起到了強(qiáng)大的推動作用。大數(shù)據(jù)分析在競技體育中的應(yīng)用，讓運動訓(xùn)練從經(jīng)驗型進(jìn)化到科學(xué)化，讓運動員能夠更科學(xué)地提升運動表現(xiàn)，降低受傷的概率。一、大數(shù)據(jù)采集概述1.大數(shù)據(jù)采集的概念大數(shù)據(jù)采集又稱“數(shù)據(jù)獲取”，是指從各種來源獲取數(shù)據(jù)的過程，包括但不限于傳感器、智能設(shè)備、企業(yè)在線系統(tǒng)、企業(yè)離線系統(tǒng)、社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)平臺等。一、大數(shù)據(jù)采集概述2.大數(shù)據(jù)采集要點全面性多維性高效性一、大數(shù)據(jù)采集概述表3-1傳統(tǒng)的數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別

傳統(tǒng)的數(shù)據(jù)采集大數(shù)據(jù)采集數(shù)據(jù)來源數(shù)據(jù)來源數(shù)據(jù)來源數(shù)據(jù)規(guī)模相對較小相對較小相對較小結(jié)構(gòu)單一，結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)

二、大數(shù)據(jù)來源1.商業(yè)數(shù)據(jù)2.互聯(lián)網(wǎng)數(shù)據(jù)3.物聯(lián)網(wǎng)數(shù)據(jù)三、大數(shù)據(jù)采集方法1.系統(tǒng)日志采集法2.網(wǎng)絡(luò)數(shù)據(jù)采集法3.數(shù)據(jù)庫采集法4.其他數(shù)據(jù)采集法大數(shù)據(jù)預(yù)處理任務(wù)二泰坦尼克幸存者數(shù)據(jù)預(yù)處理

案例描述基于泰坦尼克幸存者數(shù)據(jù)集進(jìn)行的分析，是一個經(jīng)典的數(shù)據(jù)分析案例。它也是很多數(shù)據(jù)建模和分析競賽平臺上的入門題目，很有代表意義。1912年4月15日，泰坦尼克號在首次航行期間撞上冰山后沉沒，船上共有2224名乘客和船員，最終有1502人遇難。沉船導(dǎo)致大量傷亡的重要原因之一，是沒有足夠的救生艇給乘客和船員。雖然從這樣的悲劇性事故中幸存下來有一定的運氣因素，但還是有一定規(guī)律可循。一些人，比如婦女、兒童和上層人士，比其他人有更高的存活可能性。泰坦尼克號事件留下了彌足珍貴的數(shù)據(jù)記錄。乘客的幸存率存在一定的規(guī)律，因此這些數(shù)據(jù)記錄集成了Kaggle上流行的入門機(jī)器學(xué)習(xí)的數(shù)據(jù)集，一共包含891個訓(xùn)練樣本和418個測試樣本，學(xué)習(xí)者可以根據(jù)891個樣本訓(xùn)練模型，預(yù)測418個測試樣本幸存與否。由于該數(shù)據(jù)集中的記錄不完整，存在缺失值和異常值等，因此也成了很典型的練習(xí)數(shù)據(jù)分析的數(shù)據(jù)集。泰坦尼克幸存者數(shù)據(jù)預(yù)處理案例解析數(shù)據(jù)不會因為不斷被使用而削減價值，反而會因為不斷重組而產(chǎn)生更大的價值。比如，將一個地區(qū)的物價和地價走勢、高檔轎車的銷售數(shù)量、二手房轉(zhuǎn)手的頻率、出租車密度等各種不相關(guān)的數(shù)據(jù)整合到一起，可以更加精準(zhǔn)地預(yù)測該地區(qū)的房價走勢。這些被整合過的數(shù)據(jù)，下一次還可以出于別的目的而重新整合。也就是說，數(shù)據(jù)沒有因為被使用過而造成價值衰減，反而會在不同的領(lǐng)域產(chǎn)生更多的價值。一、大數(shù)據(jù)預(yù)處理概述大數(shù)據(jù)預(yù)處理就是對業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)進(jìn)行加工整理，經(jīng)過必要的清洗、集成、轉(zhuǎn)換和規(guī)約等一系列的處理，形成合適的數(shù)據(jù)樣式，以便后續(xù)分析。數(shù)據(jù)處理工作在數(shù)據(jù)挖掘之前進(jìn)行，大大提高了數(shù)據(jù)挖掘模式的質(zhì)量，降低實際挖掘所需要的時間。二、數(shù)據(jù)清洗1.大數(shù)據(jù)清洗的方式手工清洗自動清洗二、數(shù)據(jù)清洗2.大數(shù)據(jù)清洗的內(nèi)容缺失值異常值重復(fù)值二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（1）缺失值的清洗忽略元組人工填寫全局常量填充屬性中心度量填充最可能值填充二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（2）異常值的清洗異常值的識別：圖形法：箱線圖、正態(tài)分布圖建模法：線性回歸、聚類算法、K近鄰算法二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（2）異常值的清洗。異常值的處理方法：刪除法替代法插補法二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（3）重復(fù)值的清洗數(shù)據(jù)庫中屬性值完全相同的數(shù)據(jù)一般被認(rèn)為是重復(fù)數(shù)據(jù)，它們表示同一對象;但有些數(shù)據(jù)屬性不完全相同，但可能表示同一對象，這類數(shù)據(jù)被稱為相似數(shù)據(jù)。數(shù)據(jù)清洗過程中，相似重復(fù)數(shù)據(jù)的檢測過程非常復(fù)雜，主要通過判斷數(shù)據(jù)之間的相似性來達(dá)到獲得重復(fù)數(shù)據(jù)的目的。二、數(shù)據(jù)清洗3.大數(shù)據(jù)清洗的基本方法（3）重復(fù)值的清洗首先優(yōu)選數(shù)據(jù)集中的特征屬性，設(shè)定權(quán)重值，根據(jù)權(quán)重值對記錄集進(jìn)行聚類分組，使相似的數(shù)據(jù)盡量排在相鄰的位置；再比較各組數(shù)據(jù)中對應(yīng)字段的相似度，完成字段匹配；最后通過計算各字段的權(quán)重，利用加權(quán)的方式，得到數(shù)據(jù)的相似度，當(dāng)超過某一閾值時，則認(rèn)為是相似的，從而完成數(shù)據(jù)匹配。對重復(fù)值的處理方法包括刪除、合并和替換在進(jìn)行數(shù)據(jù)清洗時需要關(guān)注重復(fù)異常三、數(shù)據(jù)集成數(shù)據(jù)集成是指將由不同來源、不同格式和不同結(jié)構(gòu)的數(shù)據(jù)整合到一個統(tǒng)一的數(shù)據(jù)庫中，以實現(xiàn)數(shù)據(jù)的一致性、可訪問性和可用性。簡而言之，就是把分散在不同數(shù)據(jù)源中的各種類型的數(shù)據(jù)統(tǒng)一匯聚起來，主要體現(xiàn)在一個“集”字。數(shù)據(jù)集成主要解決三個問題實體識別數(shù)據(jù)冗余數(shù)據(jù)值沖突的檢測與處理三、數(shù)據(jù)集成常用數(shù)據(jù)集成方法有以下幾種:手工數(shù)據(jù)集成編程數(shù)據(jù)集成數(shù)據(jù)倉庫集成ETL工具集成API集成四、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對所抽取出來的數(shù)據(jù)中存在不一致性進(jìn)行處理的過程，是將一種數(shù)據(jù)格式或結(jié)構(gòu)轉(zhuǎn)化為另一種格式或結(jié)構(gòu)的過程。數(shù)據(jù)轉(zhuǎn)換可以處理不同的數(shù)據(jù)源，將它們轉(zhuǎn)換為標(biāo)準(zhǔn)的輸出格式，從而使數(shù)據(jù)可以更好