第一章概論西華大學數(shù)據(jù)分析基礎(chǔ)與實踐 數(shù)據(jù)分析概述

目錄Contents面對新冠病毒我們該如何抗役數(shù)據(jù)分析的概念和流程數(shù)據(jù)分析與相關(guān)概念的關(guān)系面對新冠病毒我們該如何抗役一1.1面對新冠病毒我們該如何抗役4在疫情的防控方面，對疫情的數(shù)據(jù)進行分析，并從中挖掘出有用的信息，為我們的疫情防控起到了重要的參考作用。做好疫情防控工作，直接關(guān)系人民生命安全和身體健康，直接關(guān)系經(jīng)濟社會大局穩(wěn)定，也事關(guān)我國對外開放的形勢。在疫情防控方面，數(shù)據(jù)分析可以為我們提供諸多的服務(wù)。1.1面對新冠病毒我們該如何抗役5實時繪制和更新疫情數(shù)據(jù)及其相關(guān)防護物品的地圖，讓大家隨時能夠了解到全國的疫情數(shù)據(jù)和身邊的情況，可以根據(jù)身邊的防護物品售賣情況有目的的購買防護物品。1.1面對新冠病毒我們該如何抗役6在人員密集場所，采用“5G+熱成像”技術(shù)實現(xiàn)了快速測溫及體溫監(jiān)控，能夠有效預(yù)防病毒在人群傳播。1.1面對新冠病毒我們該如何抗役7利用數(shù)據(jù)分析，對疫情傳播途徑進行溯源，對疫情趨勢進行預(yù)測等。2020年2月12日上線的“云南抗疫情”掃碼登記系統(tǒng)，就在疫情防控中發(fā)揮了重要作用。在2月20日，當天云南省新增確診病例1例。系統(tǒng)分析人員迅速從數(shù)據(jù)中分析得知，這位患者此前曾到過一個農(nóng)貿(mào)市場和一所醫(yī)院，他在農(nóng)貿(mào)市場和41個人有過接觸；在醫(yī)院與260人可能有過接觸。大約1分鐘，系統(tǒng)分析人員就分析出準確數(shù)據(jù)，并在第一時間提供給了疫情防控指揮部。當找出這些接觸者后，指揮部及時通過短信、電話等方式，提示他們關(guān)注自身身體狀況，及時居家隔離或到定點醫(yī)院就診，盡最大可能減少交叉?zhèn)鞑ァ?.1面對新冠病毒我們該如何抗役8在資源調(diào)配方面，數(shù)據(jù)分析也起到了重要作用。因為新冠肺炎疫情的傳播，各地對醫(yī)療物資、生活物資等多維度資源需求短時間內(nèi)激增。借助高價值數(shù)據(jù)，可以最大限度利用資源，實現(xiàn)系統(tǒng)謀劃、頂層設(shè)計、動態(tài)調(diào)整。比如，“國家重點醫(yī)療物資保障調(diào)度平臺”，對醫(yī)用防護服、口罩、護目鏡、藥品等等重點醫(yī)療物資實施在線監(jiān)測，全力保障重點醫(yī)療防控物資生產(chǎn)供應(yīng)。借助大數(shù)據(jù)、人工智能、云計算等數(shù)字技術(shù)，打贏疫情防控阻擊戰(zhàn)，我們底氣十足。1.1面對新冠病毒我們該如何抗役9在復(fù)工復(fù)產(chǎn)方面，數(shù)據(jù)分析技術(shù)也為我們提供了重要保障。疫情防控不能松懈，復(fù)工復(fù)產(chǎn)同樣不能遲緩。推動企業(yè)復(fù)工復(fù)產(chǎn)，既是打贏疫情防控阻擊戰(zhàn)的實際需要，也是經(jīng)濟社會穩(wěn)定運行的重要保證。隨著復(fù)工復(fù)產(chǎn)全力推進，多地依托疫情防控大數(shù)據(jù)平臺，推出了居民健康登記系統(tǒng)和企業(yè)員工健康登記系統(tǒng)，實現(xiàn)了疫情防控的智能動態(tài)化監(jiān)管。大數(shù)據(jù)發(fā)力，在為居民日常生活提供便利的同時，也形成了無遺漏、全覆蓋、科學便捷的管控體系。比如健康碼數(shù)據(jù)分析的概念和流程二2.1什么是數(shù)據(jù)分析11數(shù)據(jù)分析可以分為廣義的數(shù)據(jù)分析和狹義的數(shù)據(jù)分析，廣義的數(shù)據(jù)分析就包括狹義的數(shù)據(jù)分析和數(shù)據(jù)挖掘，我們常說的數(shù)據(jù)分析主要是指狹義的數(shù)據(jù)分析。狹義的數(shù)據(jù)分析：是指根據(jù)某種目的，用適當?shù)慕y(tǒng)計分析方法及工具，對收集來的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)揮數(shù)據(jù)的作用的整個過程。數(shù)據(jù)分析主要實現(xiàn)針對問題的現(xiàn)狀分析、原因分析和定量預(yù)測分析。數(shù)據(jù)分析需要首先明確分析的目標，先做假設(shè)，然后通過數(shù)據(jù)分析來驗證假設(shè)是否正確，從而得到相應(yīng)的結(jié)論。數(shù)據(jù)挖掘：是指從大量的數(shù)據(jù)中，通過統(tǒng)計學、人工智能、機器學習等方法，挖掘出未知的、且有價值的信息和知識的過程。它主要側(cè)重于解決四類問題：分類、聚類、關(guān)聯(lián)規(guī)則挖掘和預(yù)測（定量、定性）。2.2數(shù)據(jù)分析的一般流程12不同的數(shù)據(jù)分析問題的最終分析目標不同，但一般大致可以按照“數(shù)據(jù)獲取與存儲——數(shù)據(jù)預(yù)處理——數(shù)據(jù)建模與分析——數(shù)據(jù)報告”這樣的步驟來實施一個數(shù)據(jù)分析項目。其中每一個數(shù)據(jù)分析的步驟又包含了很多需要完成的工作。2.2數(shù)據(jù)分析的一般流程13數(shù)據(jù)獲取公開數(shù)據(jù)源網(wǎng)絡(luò)爬蟲其他方式：采集工具、數(shù)據(jù)交易、競賽網(wǎng)站數(shù)據(jù)存儲與提取數(shù)據(jù)創(chuàng)建、增、刪、改數(shù)據(jù)查詢、提取數(shù)據(jù)排序與索引數(shù)據(jù)分組與聚合2.2數(shù)據(jù)分析的一般流程14數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)分析數(shù)據(jù)清洗數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)規(guī)約數(shù)據(jù)分析描述性分析：結(jié)果是什么樣的：統(tǒng)計學基礎(chǔ)、科學計算基礎(chǔ)探索性分析及可視化：數(shù)據(jù)中有哪些結(jié)論：可視化分析、輸出結(jié)論預(yù)測性分析：預(yù)測未來數(shù)據(jù)：基本算法模型、算法實現(xiàn)預(yù)測2.2數(shù)據(jù)分析的一般流程15數(shù)據(jù)分析描述性分析：結(jié)果是什么樣的：統(tǒng)計學基礎(chǔ)、科學計算基礎(chǔ)探索性分析及可視化：數(shù)據(jù)中有哪些結(jié)論：可視化分析、輸出結(jié)論預(yù)測性分析：預(yù)測未來數(shù)據(jù)：基本算法模型、算法實現(xiàn)預(yù)測2.2數(shù)據(jù)分析的一般流程16數(shù)據(jù)報告明確任務(wù)目標確定報告邏輯選擇合適的呈現(xiàn)形式數(shù)據(jù)分析與相關(guān)概念的關(guān)系三3.1數(shù)據(jù)科學、數(shù)據(jù)分析與機器學習18數(shù)據(jù)科學主要是通過技術(shù)解決業(yè)務(wù)的問題并對業(yè)務(wù)的利潤等關(guān)鍵指標負責。數(shù)據(jù)科學是一個用于處理和監(jiān)控大量數(shù)據(jù)或“大數(shù)據(jù)”的概念。數(shù)據(jù)科學包括數(shù)據(jù)清理，準備和分析等過程。數(shù)據(jù)分析主要針對的是業(yè)務(wù)上面的決策導向。數(shù)據(jù)分析可以理解為數(shù)據(jù)科學的一個子集，是其中相對簡單的數(shù)據(jù)處理部分工作。如果數(shù)據(jù)科學是由所有工具和資源組成的房子，那么數(shù)據(jù)分析將是一個特定的空間。機器學習主要是技術(shù)上的導向，是一種可用于數(shù)據(jù)分析的工具。通過機器學習的相關(guān)方法，可以有效地發(fā)現(xiàn)數(shù)據(jù)中隱藏的規(guī)律，從而使得數(shù)據(jù)分析的結(jié)論更加可信，更加具有價值。3.2Python與數(shù)據(jù)分析19Python是可用于數(shù)據(jù)分析的非常強有力的工具。盡管可以用于數(shù)據(jù)分析的工具非常多，但總的來說需要實現(xiàn)的功能無非是數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)計算、數(shù)據(jù)分析、數(shù)據(jù)展示等幾個方面。而最常用的工具包括Excel、R、Pytho