Python數(shù)據(jù)分析概述軟件技術(shù)教學(xué)部孟繁興QQ：2765469411熟悉Python數(shù)據(jù)分析的工具開發(fā)環(huán)境安裝掌握JupyterNotebook常用功能目錄認識數(shù)據(jù)分析234廣義的數(shù)據(jù)分析包括狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘。狹義的數(shù)據(jù)分析是指根據(jù)分析目的，采用對比分析、分組分析、交叉分析和回歸分析等分析方法，對收集來的數(shù)據(jù)進行處理與分析，提取有價值的信息，發(fā)揮數(shù)據(jù)的作用，得到一個特征統(tǒng)計量結(jié)果的過程。數(shù)據(jù)挖掘則是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，通過應(yīng)用聚類、分類、回歸和關(guān)聯(lián)規(guī)則等技術(shù)，挖掘潛在價值的過程。數(shù)據(jù)分析的概念數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程需求分析：數(shù)據(jù)分析中的需求分析也是數(shù)據(jù)分析環(huán)節(jié)的第一步和最重要的步驟之一，決定了后續(xù)的分析的方向、方法。數(shù)據(jù)獲?。簲?shù)據(jù)是數(shù)據(jù)分析工作的基礎(chǔ)，是指根據(jù)需求分析的結(jié)果提取，收集數(shù)據(jù)。數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理是指對數(shù)據(jù)進行數(shù)據(jù)合并，數(shù)據(jù)清洗，數(shù)據(jù)變換和數(shù)據(jù)標準化，數(shù)據(jù)變換后使得整體數(shù)據(jù)變?yōu)楦蓛粽R，可以直接用于分析建模這一過程的總稱。分析與建模：分析與建模是指通過對比分析、分組分析、交叉分析、回歸分析等分析方法和聚類、分類、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價值信息，并得出結(jié)論的過程。模型評價與優(yōu)化：模型評價是指對已經(jīng)建立的一個或多個模型，根據(jù)其模型的類別，使用不同的指標評價其性能優(yōu)劣的過程。部署：部署是指將通過了正式應(yīng)用數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實際生產(chǎn)系統(tǒng)的過程。數(shù)據(jù)分析的流程典型的數(shù)據(jù)分析的流程主要是客戶的基本數(shù)據(jù)信息進行商業(yè)行為分析，首先界定目標客戶，根據(jù)客戶的需求，目標客戶的性質(zhì)，所處行業(yè)的特征以及客戶的經(jīng)濟狀況等基本信息使用統(tǒng)計分析方法和預(yù)測驗證法，分析目標客戶，提高銷售效率。其次了解客戶的采購過程，根據(jù)客戶采購類型、采購性質(zhì)進行分類分析制定不同的營銷策略。最后還可以根據(jù)已有的客戶特征，進行客戶特征分析、客戶忠誠分析、客戶注意力分析、客戶營銷分析和客戶收益分析。了解數(shù)據(jù)分析應(yīng)用場景1.客戶分析產(chǎn)品分析主要是競爭產(chǎn)品分析，通過對競爭產(chǎn)品的分析制定自身產(chǎn)品策略。價格分析又可以分為成本分析和售價分析，成本分析的目的是降低不必要成本，售價分析的目的是制定符合市場的價格。渠道分析目的是指對產(chǎn)品的銷售渠道進行分析，確定最優(yōu)的渠道配比。廣告與促銷分析則能夠結(jié)合客戶分析，實現(xiàn)銷量的提升，利潤的增加。了解數(shù)據(jù)分析應(yīng)用場景2.營銷分析：囊括了產(chǎn)品分析，價格分析，渠道分析，廣告與促銷分析這四類分析。以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)，實現(xiàn)不同社交媒體的用戶分析，訪問分析，互動分析等。同時，還能為情感和輿情監(jiān)督提供豐富的資料。用戶分析主要根據(jù)用戶注冊信息，登錄平臺的時間點和平時發(fā)表的內(nèi)容等用戶數(shù)據(jù)，分析用戶個人畫像和行為特征。訪問分析則是通過用戶平時訪問的內(nèi)容，分析用戶的興趣愛好，進而分析潛在的商業(yè)價值?；臃治龈鶕?jù)互相關(guān)注對象的行為預(yù)測該對象未來的某些行為特征。了解數(shù)據(jù)分析應(yīng)用場景3.社交媒體分析新型的病毒防御系統(tǒng)可使用數(shù)據(jù)分析技術(shù)，建立潛在攻擊識別分析模型，監(jiān)測大量網(wǎng)絡(luò)活動數(shù)據(jù)和相應(yīng)的訪問行為，識別可能進行入侵的可疑模式，做到未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景4.網(wǎng)絡(luò)安全通過物聯(lián)網(wǎng)技術(shù)能夠收集和分析設(shè)備上的數(shù)據(jù)流，包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無數(shù)潛在特征，建立設(shè)備管理模型，從而預(yù)測設(shè)備故障，合理安排預(yù)防性的維護，以確保設(shè)備正常作業(yè)，降低因設(shè)備故障帶來的安全風(fēng)險。了解數(shù)據(jù)分析應(yīng)用場景5.設(shè)備管理

RPythonMATLAB語言學(xué)習(xí)難易程度入門難度低入門難度一般入門難度一般使用場景數(shù)據(jù)分析，數(shù)據(jù)挖掘，機器學(xué)習(xí)，數(shù)據(jù)可視化等。數(shù)據(jù)分析，機器學(xué)習(xí)，矩陣運算，科學(xué)數(shù)據(jù)可視化，數(shù)字圖像處理，web應(yīng)用，網(wǎng)絡(luò)爬蟲，系統(tǒng)運維等。矩陣計算，數(shù)值分析，科學(xué)數(shù)據(jù)可視化，機器學(xué)習(xí)，符號計算，數(shù)字圖像處理，數(shù)字信號處理，仿真模擬等。第三方支持擁有大量的Packages，能夠調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語言。擁有大量的第三方庫，能夠簡便地調(diào)用C，C++，F(xiàn)ortran，Java等其他程序語言。擁有大量專業(yè)的工具箱，在新版本中加入了對C，C++，Java的支持。流行領(lǐng)域工業(yè)界≈學(xué)術(shù)界工業(yè)界＞學(xué)術(shù)界工業(yè)界≤學(xué)術(shù)界軟件成本開源免費開源免費商業(yè)收費了解數(shù)據(jù)分析常用工具目前主流的數(shù)據(jù)分析語言有R，Python，MATLAB三種程序語言。物流是物品從供應(yīng)地向接收地的實體流動。通過業(yè)務(wù)系統(tǒng)和GPS定位系統(tǒng)獲得數(shù)據(jù)，對于客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測分析模型，有效預(yù)測實時路況、物流狀況、車流量、客流量和貨物吞吐量，進而提前補貨，制定庫存管理策略。了解數(shù)據(jù)分析應(yīng)用場景6.交通物流分析身份信息泄露盜用事件逐年增長，隨之而來的是欺詐行為和交易的增多。公安機關(guān)，各大金融機構(gòu)，電信部門可利用用戶基本信息，用戶交易信息，用戶通話短信信息等數(shù)據(jù)，識別可能發(fā)生的潛在欺詐交易，做到提前預(yù)防未雨綢繆。了解數(shù)據(jù)分析應(yīng)用場景7.欺詐行為檢測開發(fā)環(huán)境安裝掌握JupyterNotebook常用功能目錄341熟悉Python數(shù)據(jù)分析的工具認識數(shù)據(jù)分析2python編程語言趨勢Python流行趨勢Python什么是Python優(yōu)雅

擁有簡單腳本語言和解釋

型程序語言的易用性

擁有傳統(tǒng)編譯型程序語言所

有強大通用的功能Python是一種解釋型的、面向?qū)ο蟮?、帶有動態(tài)語義的高級程序設(shè)計語言

簡單

明確Python是一門跨平臺、開源、免費的解釋型高級動態(tài)編程語言，支持偽編譯將Python源程序轉(zhuǎn)換為字節(jié)碼來優(yōu)化程序和提高運行速度，支持使用py2exe、pyinstaller或cx_Freeze工具將Python程序轉(zhuǎn)換為二進制可執(zhí)行文件。Python支持命令式編程（Howtodo）、函數(shù)式編程（Whattodo），完全支持面向?qū)ο蟪绦蛟O(shè)計，語法簡潔清晰，擁有大量的幾乎支持所有領(lǐng)域應(yīng)用開發(fā)的成熟擴展庫。膠水語言：可以把多種不同語言編寫的程序融合到一起實現(xiàn)無縫拼接，更好地發(fā)揮不同語言和工具的優(yōu)勢，滿足不同應(yīng)用領(lǐng)域的需求。Python優(yōu)點3.x：必然的趨勢，已經(jīng)開始全面普及啟動“IDLE（PythonGUI）”即可啟動Python解釋器并可以看到當前安裝的Python版本號。多版本共存與切換簡便方法：修改系統(tǒng)環(huán)境變量pathPython版本選擇2.X還是3.x是一個增強的Pythonshell，目的是提高編寫、測試、調(diào)試Python代碼的速度。主要用于交互式數(shù)據(jù)并行處理，是分布式計算的基礎(chǔ)架構(gòu)。提供了一個類似于Mathematica的HTML筆記本，一個基于Qt框架的GUI控制臺，具有繪圖、多行編輯以及語法高亮顯示等功能。了解Python數(shù)據(jù)分析常用類庫1．IPython——科學(xué)計算標準工具集的組成部分數(shù)據(jù)表示：采用合適方式用程序表達數(shù)據(jù)數(shù)據(jù)清理：數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常值處理數(shù)據(jù)統(tǒng)計：數(shù)據(jù)的概要理解，數(shù)量、分布、中位數(shù)等數(shù)據(jù)可視化：直觀展示數(shù)據(jù)內(nèi)涵的方式

數(shù)據(jù)挖掘：從數(shù)據(jù)分析獲得知識，產(chǎn)生數(shù)據(jù)外的價值人工智能：數(shù)據(jù)/語言/圖像/視覺等方面深度分析與決策從數(shù)據(jù)處理到人工智能數(shù)據(jù)表示->數(shù)據(jù)清洗->數(shù)據(jù)統(tǒng)計->數(shù)據(jù)可視化->數(shù)據(jù)挖掘->人工智能2018/3/20Python接口使用，C語言實現(xiàn)，計算速度優(yōu)異-Python數(shù)據(jù)分析及科學(xué)計算的基礎(chǔ)庫，支撐Pandas等-提供直接的矩陣運算、廣播函數(shù)、線性代數(shù)等功能Python庫之數(shù)據(jù)分析Numpy:表達N維數(shù)組的最基礎(chǔ)庫提供了簡單易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具-理解數(shù)據(jù)類型與索引的關(guān)系，操作索引即操作數(shù)據(jù)-Python最主要的數(shù)據(jù)分析功能庫，基于Numpy開發(fā)Python庫之數(shù)據(jù)分析Pandas:Python數(shù)據(jù)分析高層次應(yīng)用庫提供了一批數(shù)學(xué)算法及工程數(shù)據(jù)運算功能-類似Matlab，可用于如傅里葉變換、信號處理等應(yīng)用-Python最主要的科學(xué)計算功能庫，基于Numpy開發(fā)Python庫之數(shù)據(jù)分析SciPy:數(shù)學(xué)、科學(xué)和工程計算功能庫-提供了超過100種數(shù)據(jù)可視化展示效果-通過matplotlib.pyplot子庫調(diào)用各可視化效果-Python最主要的數(shù)據(jù)可視化功能庫，基于Numpy開發(fā)Python庫之數(shù)據(jù)可視化Matplotlib:高質(zhì)量的二維數(shù)據(jù)可視化功能庫-提供一批統(tǒng)一化的機器學(xué)習(xí)方法功能接口-提供聚類、分類、回歸、強化學(xué)習(xí)等計算功能-機器學(xué)習(xí)最基本且最優(yōu)秀的Python第三方庫Python之機器學(xué)習(xí)Scikit-learn：機器學(xué)習(xí)方法工具集-谷歌公司推動的開源機器學(xué)習(xí)框架-將數(shù)據(jù)流圖作為基礎(chǔ)，圖節(jié)點代表運算，邊代表張量-應(yīng)用機器學(xué)習(xí)方法的一種方式，支撐谷歌人工智能應(yīng)用Python之機器學(xué)習(xí)TensorFlow：AlphaGo背后的機器學(xué)習(xí)計算框架掌握JupyterNotebook常用功能目錄41認識數(shù)據(jù)分析開發(fā)環(huán)境安裝3熟悉Python數(shù)據(jù)分析的工具2Python安裝與使用官網(wǎng)：Python安裝與使用點擊python安裝圖標，選擇addpython3.7topathPython安裝與使用檢驗安裝是否成功，打開命令窗口界面，輸入命令python，顯示如下界面>>>3+58>>>importmath>>>math.sqrt(9)3.0>>>3*(2+6)24>>>2/0Traceback(mostrecentcalllast):File"<pyshell#18>",line1,in<module>2/0ZeroDivisionError:integerdivisionormodulobyzeroPython簡單使用在IDLE中，如果使用交互式編程模式，那么直接在提示符“>>>”后面輸入相應(yīng)的命令并回車執(zhí)行即可，如果執(zhí)行順利的話，馬上就可以看到執(zhí)行結(jié)果，否則會拋出異常。交互模式下每次只能執(zhí)行一條語句直到再次出現(xiàn)提示符才能輸入下一條語句Python簡單使用在IDLE界面中使用菜單“File”==>“NewFile”創(chuàng)建一個程序文件，輸入代碼并保存為.py或.pyw文件“Run”==>“CheckModule”來檢查程序中是否存在語法錯誤，“Run”==>“RunModule”運行程序pip命令示例說明pipdownloadSomePackage[==version]下載擴展庫的指定版本，不安裝pipfreeze[>requirements.txt]以requirements的格式列出已安裝模塊piplist列出當前已安裝的所有模塊pipinstallSomePackage[==version]在線安裝SomePackage模塊的指定版本pipinstallSomePackage.whl通過whl文件離線安裝擴展庫pipinstallpackage1package2...依次（在線）安裝package1、package2等擴展模塊pipinstall-rrequirements.txt安裝requirements.txt文件中指定的擴展庫pipinstall--upgradeSomePackage升級SomePackage模塊pipuninstallSomePackage[==version]卸載SomePackage模塊的指定版本pip安裝包常用命令清華：/simple阿里云：/pypi/simple/中國科技大學(xué)/simple/華中理工大學(xué)：/山東理工大學(xué)：/

豆瓣：/simple/Pip安裝包常用的國內(nèi)鏡像Eclipse+PyDevpyCharmwingIDEEricPythonWinAnaconda3zwPythonPython變成工具默認的變成工具是idle安裝pycharm官方網(wǎng)站：/pycharm/download/pycharmPycharm設(shè)置添加python庫預(yù)裝了大量常用Packages。完全開源和免費。額外的加速和優(yōu)化是收費的，但對于學(xué)術(shù)用途，可以申請免費的License。對全平臺和幾乎所有Python版本支持。了解Python的Anaconda發(fā)行版Anaconda安裝包——“next”——“Iagree”——“AllUsers(requiresadminprivileges)”——選擇安裝路徑——“Install”——“finish”。在Windows系統(tǒng)上安裝Anaconda安裝流程目錄1認識數(shù)據(jù)分析熟悉Python數(shù)據(jù)分析的工具2安裝Python的Anaconda發(fā)行版3掌握JupyterNotebook常用功能4打開并新建一個Notebook掌握JupyterNotebook的基本功能打開JupyterNotebook“TextFile”為純文本型“Folder”為文件夾“Python3”表示Python運行腳本選擇”Python3”選項，進入Python腳本編輯界面，Notebook文檔由一系列單元（Cell）構(gòu)成，主要有兩種形式的單元。掌握JupyterNotebook的基本功能JupyterNotebook的界面及其構(gòu)成代碼單元。這里是讀者編寫代碼的地方。Markdown單元。在這里對文本進行編輯。編輯模式：用于編輯文本和代碼。掌握JupyterNotebook的基本功能編輯界面命令模式：用于執(zhí)行鍵盤輸入的快捷命令?！癊sc”鍵：進入命令模式“Y”鍵：切換到代碼單元“M”鍵：切換到Markdown單元“B”鍵：在本單元的下方增加一單元“H”鍵：查看所有快捷命令“Shift＋Enter”組合鍵：運行代碼掌握JupyterNotebook的基本功能快捷鍵Markdown是一種可以使用普通文本編輯器編寫的標記語言，通過簡單的標記語法，它可以使普通文本內(nèi)容具有一定的格式。標題：標題是標明文章和作品等內(nèi)容的簡短語句。一個“#”字符代表一級標題，以此類推。掌握Jupyt