項目1認識數(shù)據(jù)分析

任務1.1認識Python與數(shù)據(jù)分析項目1介紹認識數(shù)據(jù)、信息、知識、數(shù)據(jù)分析認識定性和定量數(shù)據(jù)分析認識Python與數(shù)據(jù)分析認識數(shù)據(jù)分析學習路徑項目1介紹項目描述：數(shù)據(jù)分析可以通過計算機工具和數(shù)學知識處理數(shù)據(jù)，并從中發(fā)現(xiàn)規(guī)律性的信息，以做出具有針對性的決策。項目1介紹數(shù)據(jù)分析的主要概念和流程，后續(xù)項目學習Python在數(shù)據(jù)分析中的核心內(nèi)容及數(shù)據(jù)分析的Python庫，把概念和流程轉(zhuǎn)化為Python代碼，實現(xiàn)Python數(shù)據(jù)分析。雖然后續(xù)項目不涉及使用機器學習和深度學習進行數(shù)據(jù)分析，但后續(xù)項目是學習機器學習和深度學習進行數(shù)據(jù)建模、使用模型進行數(shù)據(jù)分析的基礎。項目分析：做數(shù)據(jù)分析，首先需要認識數(shù)據(jù)分析相關(guān)概念、分類、學習路徑、流程、作用，建立數(shù)據(jù)分析的總體認識。項目目標：1)描述數(shù)據(jù)、信息、數(shù)據(jù)分析2)區(qū)別定性數(shù)據(jù)分析和定量數(shù)據(jù)分析3)列表數(shù)據(jù)分析技術(shù)棧4)描述數(shù)據(jù)分析流程認識數(shù)據(jù)、信息和知識數(shù)據(jù)是指對客觀事件進行記錄并可以鑒別的符號，它不僅指狹義上的數(shù)字，還可以是具有一定意義的文字、字母、數(shù)字符號的組合、圖形、圖像、視頻、音頻等。分為模擬數(shù)據(jù)和數(shù)字數(shù)據(jù)。數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)三種類型，分別是：1、結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫的行和列）；2、半結(jié)構(gòu)化數(shù)據(jù)（CSV，日志，XML，JSON、HTML、報表、資源庫）；3、非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進制數(shù)據(jù)（圖像，音頻，視頻）。信息其實就是被組織起來的數(shù)據(jù)，是為了特定目的對數(shù)據(jù)進行處理和建立內(nèi)在關(guān)聯(lián)，從而讓數(shù)據(jù)具有意義。用信息論的奠基者香農(nóng)的話說，“信息是用來消除隨機性的不確定性的東西”。也就是說，信息是有組織或分類的數(shù)據(jù)，對接收者有一定價值。數(shù)據(jù)和信息是不可分離的，數(shù)據(jù)是信息的表達，信息是數(shù)據(jù)的內(nèi)涵。知識是對信息的提煉和概括，它是高度概括的信息?；趫D技術(shù)的知識圖譜可以用來描述各種實體以及它們之間的關(guān)系。它是一個龐大的圖形網(wǎng)絡知識庫。在這個網(wǎng)絡中，每個節(jié)點是一個實體，比如人名、地名、事件、活動，任意兩個節(jié)點之間的邊表示它們之間存在關(guān)系。知識圖譜的基本組成是“實體–關(guān)系–實體”的三元組，它不僅能把與關(guān)鍵詞有關(guān)的知識系統(tǒng)化地展示給用戶，也可以基于知識進行推演。比方說，從〈東方明珠，坐落在，浦東〉和〈浦東，屬于，上?！颠@兩個組合，就能推測得到〈東方明珠，位于，上?！怠ｋS意給出3個數(shù)字：68、21、192。這3個數(shù)字僅僅是數(shù)據(jù)。現(xiàn)在給它們加上一些說明，比如：衣服的價格是68元，今天的氣溫是21攝氏度，小明爸爸的體重是192斤。這些數(shù)據(jù)有了明確表達的含義，它們就是信息。數(shù)據(jù)、信息、知識三者密不可分：數(shù)據(jù)是一組有意義的符號，它是信息的載體，是知識的來源；信息賦予了數(shù)據(jù)含義，信息消除了不確定性；知識從實踐、經(jīng)驗中得到，它由數(shù)據(jù)記錄，從信息中提煉。認識數(shù)據(jù)分析數(shù)據(jù)分析是指用適當?shù)姆椒肮ぞ撸瑥拇罅康臄?shù)據(jù)中提取有價值的信息，找到數(shù)據(jù)背后的內(nèi)在規(guī)律，形成有效結(jié)論的過程。數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)換為有效信息的過程，現(xiàn)已形成一整套關(guān)于數(shù)據(jù)建模的方法論。模型是指將所研究的系統(tǒng)轉(zhuǎn)換為數(shù)學的形式。模型的預測能力不僅取決于建模技術(shù)的質(zhì)量，還取決于數(shù)據(jù)的質(zhì)量，因此數(shù)據(jù)搜集、數(shù)據(jù)提取、數(shù)據(jù)準備等預處理工作也成為數(shù)據(jù)分析的主要組成部分，對數(shù)據(jù)分析的最終效果有重要的影響。數(shù)據(jù)分析是“數(shù)據(jù)驅(qū)動業(yè)務”的重要手段。高質(zhì)量的數(shù)據(jù)和模型還不夠，數(shù)據(jù)分析還需要有各種數(shù)據(jù)可視化的方法，可以更直觀地理解數(shù)據(jù)中隱含的信息。認識定性和定量數(shù)據(jù)分析定量分析指待分析的數(shù)據(jù)有著嚴格的數(shù)值型或類別型結(jié)構(gòu)。定性分析指數(shù)據(jù)要用自然語言來描述。定量分析往往建立數(shù)學模型，并用數(shù)學模型針對數(shù)據(jù)特征、數(shù)據(jù)關(guān)系與數(shù)據(jù)變化進行分析。定性分析往往依據(jù)直覺、經(jīng)驗，運用主觀上的判斷對數(shù)據(jù)的性質(zhì)、特點、發(fā)展變化規(guī)律進行分析，數(shù)據(jù)分析的結(jié)論可能還包括主觀解釋。認識Python與數(shù)據(jù)分析Python是一門開源的、易于使用的編程語言，擁有非?；钴S且龐大的社區(qū)，提供了數(shù)據(jù)分析所需的各種算法庫，是數(shù)據(jù)分析的重要工具。可以方便地將數(shù)據(jù)分析模型與現(xiàn)有的系統(tǒng)進行整合對接。認識Python數(shù)據(jù)分析學習路徑技術(shù)棧統(tǒng)計學PythonNumpyPandasMatplotlibSeabornScikit-learnpytorch、tensorflowPaddlePaddle（百度）、MindSpore（華為）、MegEngine（天元）、Jittor（清華）、OneFlow（一流科技）業(yè)務認知數(shù)據(jù)分析的重要性量化IT投資成效，以數(shù)據(jù)驅(qū)動決策通過數(shù)據(jù)分析驗證產(chǎn)品成效通過數(shù)據(jù)分析洞察用戶通過數(shù)據(jù)分析找到機會點數(shù)據(jù)分析需求的問題發(fā)現(xiàn)以數(shù)據(jù)分析思維看待問題數(shù)據(jù)分析思維是使用數(shù)據(jù)分析技能來解決問題的能力。數(shù)據(jù)分析思維是要搭建分析思路的框架，數(shù)據(jù)分析技能是在思路的框架范圍內(nèi)做具體的分析。找到有效問題通過什么方式發(fā)現(xiàn)問題問題拆解與歸類站在業(yè)務角度想問題小結(jié)數(shù)據(jù)、信息、知識、數(shù)據(jù)分析定性和定量數(shù)據(jù)分析Python與數(shù)據(jù)分析數(shù)據(jù)分析學習路徑項目1認識數(shù)據(jù)分析

任務1.2認識數(shù)據(jù)分析類別與流程認識探索性和預測性數(shù)據(jù)分析認識數(shù)據(jù)分析流程認識探索性數(shù)據(jù)分析探索性數(shù)據(jù)分析是用來分析和調(diào)查數(shù)據(jù)集，并總結(jié)其主要特征，通常采用數(shù)據(jù)可視化和匯總統(tǒng)計方法。探索性數(shù)據(jù)分析的主要目的是什么？識別明顯的錯誤、理解數(shù)據(jù)中的模式、檢測異常值或異常事件、找到變量之間的有趣關(guān)系。嘗試各種方法來探索發(fā)現(xiàn)數(shù)據(jù)中可能存在的關(guān)系等，從而幫助我們后期更好地進行特征工程和建立模型，為預測性數(shù)據(jù)分析做準備，是進行數(shù)據(jù)分析時重要的一步。探索性數(shù)據(jù)分析一般步驟有哪些？1) 問題/需求導向2) 數(shù)據(jù)的基本情況。包括但不限于：數(shù)據(jù)量、數(shù)據(jù)特征、數(shù)據(jù)類型數(shù)據(jù)分布情況等。3) 數(shù)據(jù)的基本處理。對于數(shù)據(jù)的處理方式根據(jù)你的問題需要進行選擇，主要有缺失值處理、重復值處理、異常值處理、數(shù)據(jù)轉(zhuǎn)換和格式化處理、匯總統(tǒng)計。4) 數(shù)據(jù)可視化。認識預測性數(shù)據(jù)分析什么是預測性數(shù)據(jù)分析？基于過去的數(shù)據(jù)對未來結(jié)果進行預測，是專注于預測并理解未來可能發(fā)生的情況，大多是基于概率的，即預測事件在未來發(fā)生的概率，或者事件在大概率上會如何發(fā)生。預測性數(shù)據(jù)分析的主要目的是什么？是試圖預測可能的未來結(jié)果并提供這些結(jié)果發(fā)生的可能性，使企業(yè)能夠采取更主動、更加數(shù)據(jù)驅(qū)動的方法來