商務大數(shù)據(jù)分析

導論目錄項目一

數(shù)據(jù)分析基礎(chǔ)項目二

大數(shù)據(jù)分析算法項目三

創(chuàng)業(yè)實踐：數(shù)據(jù)采集與整理

項目四

創(chuàng)業(yè)實踐：構(gòu)建數(shù)據(jù)模型項目五

創(chuàng)業(yè)實踐：認識客戶價值項目六

創(chuàng)業(yè)實踐：數(shù)據(jù)可視化項目七

數(shù)字化創(chuàng)新創(chuàng)業(yè)實踐項目一數(shù)據(jù)分析基礎(chǔ)項目一數(shù)據(jù)分析基礎(chǔ)任務一大數(shù)據(jù)分析基礎(chǔ)知識

1.大數(shù)據(jù)分析的幾對概念

1.1機器學習與深度學習

1.2監(jiān)督學習與無監(jiān)督學習

1.3訓練集、驗證集和測試集

2.大數(shù)據(jù)分析流程

2.1.數(shù)據(jù)分析標準流程

2.2.數(shù)據(jù)分析標準流程的案例解析3.大數(shù)據(jù)分析方法概覽

4.本書主要使用的大數(shù)據(jù)分析工具

4.1.PowerBI簡介

4.2.Python簡介

4.3.Orange3.0主要功能1.大數(shù)據(jù)分析的幾對概念1.1機器學習與深度學習1.機器學習機器學習是人工智能在近期最重要的發(fā)展之一。機器學習的理念是，不將智能看作是給機器傳授東西，而是機器會自己學習東西。2.深度學習深度學習是目前關(guān)注度很高的一類算法，深度學習（DeepLearning，DL）屬于機器學習的子類。它的靈感來源于人類大腦的工作方式，是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達的一種學習過程。人工智能、機器學習、深度學習關(guān)系如圖所示。1.大數(shù)據(jù)分析的幾對概念1.2監(jiān)督學習與無監(jiān)督學習通過建立模型進行自我學習，那么學習方法有哪些呢？（1）監(jiān)督學習監(jiān)督學習就是訓練機器學習的模型的訓練樣本數(shù)據(jù)有對應的目標值，監(jiān)督學習就是通過對數(shù)據(jù)樣本因子和已知的結(jié)果建立聯(lián)系，提取特征值和映射關(guān)系，通過已知的結(jié)果，已知數(shù)據(jù)樣本不斷的學習和訓練，對新的數(shù)據(jù)進行結(jié)果的預測。（2）無監(jiān)督學習無監(jiān)督學習跟監(jiān)督學習的區(qū)別就是選取的樣本數(shù)據(jù)無需有目標值，我們無需分析這些數(shù)據(jù)對某些結(jié)果的影響，只是分析這些數(shù)據(jù)內(nèi)在的規(guī)律。（3）半監(jiān)督學習半監(jiān)督學習是監(jiān)督學習和無監(jiān)督學習相互結(jié)合的一種學習方法，通過半監(jiān)督學習的方法可以實現(xiàn)分類、回歸、聚類的結(jié)合使用。（4）強化學習強化學習是一種比較復雜的機器學習方法，強調(diào)系統(tǒng)與外界不斷的交互反饋，它主要是針對流程中不斷需要推理的場景，比如無人汽車駕駛，它更多關(guān)注性能。它是機器學習中的熱點學習方法。1.大數(shù)據(jù)分析的幾對概念1.3訓練集、驗證集和測試集1.訓練集(trainset)用于訓練有監(jiān)督模型，擬合模型，調(diào)整參數(shù)，選擇入模變量，以及對算法做出其他抉擇；2.測試集(testset)用于評估訓練出的模型效果，但不會改變模型的參數(shù)及效果，一般驗證模型是否過擬合或者欠擬合，決定是否重新訓練模型或者選擇其他的算法；3.驗證集(validationset)因為訓練集和測試集均源自同一分布中，隨著時間的流逝，近期樣本的分布與訓練模型的樣本分布會有變化，需要校驗訓練好的模型在近期樣本(驗證集)是否有同樣的效果，即模型的穩(wěn)定性、魯棒性、泛化誤差。2.大數(shù)據(jù)分析流程大數(shù)據(jù)特點5個V：數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價值（Value）、真實性（Veracity）。數(shù)據(jù)分析工具各種廠商開發(fā)了數(shù)據(jù)分析的工具、模塊，將分析模型封裝，使不了解技術(shù)的人也能夠快捷地實現(xiàn)數(shù)學建模，快速響應分析需求。傳統(tǒng)分析在數(shù)據(jù)量較少時，傳統(tǒng)的數(shù)據(jù)分析已能夠發(fā)現(xiàn)數(shù)據(jù)中包含的知識，包括結(jié)構(gòu)分析、杜邦分析等模型，方法成熟，應用廣泛。常規(guī)分析揭示數(shù)據(jù)之間的靜態(tài)關(guān)系；分析過程滯后；對數(shù)據(jù)質(zhì)量要求高。隨著計算機科學的進步，數(shù)據(jù)挖掘、商務智能、大數(shù)據(jù)等概念的出現(xiàn)，數(shù)據(jù)分析的手段和方法更加豐富。數(shù)據(jù)挖掘就是充分利用了統(tǒng)計學和人工智能技術(shù)的應用程序，并把這些高深復雜的技術(shù)封裝起來，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解決的問題。同時將統(tǒng)計學和計算機技術(shù)等多學科進行結(jié)合，揭示數(shù)據(jù)之間隱藏的關(guān)系將數(shù)據(jù)分析的范圍從“已知”擴展到“未知”，從“過去”推向“將來”。商務智能一系列以事實為支持，輔助商業(yè)決策的技術(shù)和方法，曾用名包括專家系統(tǒng)、智能決策等，一般由數(shù)據(jù)倉庫、聯(lián)機分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復等部分組成對數(shù)據(jù)分析的體系化管理，數(shù)據(jù)分析的主體依然是數(shù)據(jù)挖掘。大數(shù)據(jù)技術(shù)從多種類型的數(shù)據(jù)中，快速獲取知識的能力及數(shù)據(jù)挖掘技術(shù)的衍生。數(shù)據(jù)可視化大數(shù)據(jù)時代，展示數(shù)據(jù)可以更好輔助理解數(shù)據(jù)、演繹數(shù)據(jù)。2.1數(shù)據(jù)分析標準流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準備（4）建立模型（5）評估模型（6）部署2.1數(shù)據(jù)分析標準流程（圖）2.大數(shù)據(jù)分析流程（1）業(yè)務理解（2）數(shù)據(jù)理解（3）數(shù)據(jù)準備（4）建立模型（5）評估模型（6）部署2.2數(shù)據(jù)分析標準流程的案例解析案例：農(nóng)夫山泉用大數(shù)據(jù)賣礦泉水2.大數(shù)據(jù)分析流程在大數(shù)據(jù)時代，數(shù)據(jù)挖掘算法是最關(guān)鍵的工作。大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基于人工智能，機器學習，模式學習，統(tǒng)計學等。一般來說，大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、人工神經(jīng)網(wǎng)絡(luò)等，如圖所示。這些方法從不同的角度對數(shù)據(jù)進行挖掘，從而生產(chǎn)數(shù)據(jù)產(chǎn)品，產(chǎn)生數(shù)據(jù)價值。3.大數(shù)據(jù)分析方法概覽（2）回歸分析。（3）聚類。3.大數(shù)據(jù)分析方法概覽分類算法示意圖

回歸算法示意圖

聚類算法示意圖回歸分析反映了數(shù)據(jù)庫數(shù)據(jù)的屬性值的特性，通過函數(shù)表達數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系?；貧w分析聚類類似于分類，但與分類的目的不同，是針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。聚類分類是找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到摸個給定的類別中。分類3.大數(shù)據(jù)分析方法概覽關(guān)聯(lián)規(guī)則算法示意圖

神經(jīng)網(wǎng)絡(luò)算法示意圖關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián)規(guī)則神經(jīng)網(wǎng)絡(luò)作為一種先進的人工智能技術(shù)，因其自身自行處理、分布存儲和高度容錯等特性，非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數(shù)據(jù)為特征的處理問題，它的這一特點十分適合解決數(shù)據(jù)挖掘的問題。神經(jīng)網(wǎng)絡(luò)方法（1）Python概要Python是一個高層次的結(jié)合了解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言。Python的設(shè)計具有很強的可讀性。1）Python是一種解釋型語言：這意味著開發(fā)過程中沒有了編譯這個環(huán)節(jié)。類似于PHP和Perl語言。2）Python是交互式語言：這意味著，您可以在一個Python提示符，直接互動執(zhí)行寫你的程序。3）Python是面向?qū)ο笳Z言:這意味著Python支持面向?qū)ο蟮娘L格或代碼封裝在對象的編程技術(shù)。4）Python是初學者的語言：Python對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發(fā)，從簡單的文字處理到WWW瀏覽器再到游戲。（2）Python發(fā)展歷史（3）Python特點1）易于學習。Python有相對較少的關(guān)鍵字，結(jié)構(gòu)簡單，和一個明確定義的語法，學習起來更加簡單。2）易于閱讀。Python代碼定義的更清晰。3）易于維護。Python的成功在于它的源代碼是相當容易維護的。4）一個廣泛的標準庫。Python的最大的優(yōu)勢之一是豐富的庫，跨平臺的，在UNIX，Windows和Macintosh兼容很好。5）互動模式?；幽Ｊ降闹С?，您可以從終端輸入執(zhí)行代碼并獲得結(jié)果的語言，互動的測試和調(diào)試代碼片斷。6）可移植。基于其開放源代碼的特性，Python已經(jīng)被移植（也就是使其工作）到許多平臺。7）可擴展。如果你需要一段運行很快的關(guān)鍵代碼，或者是想要編寫一些不愿開放的算法，你可以使用C或C++完成那部分程序，然后從你的Python程序中調(diào)用。8）數(shù)據(jù)庫。Python提供所有主要的商業(yè)數(shù)據(jù)庫的接口。9）GUI編程。Python支持GUI可以創(chuàng)建和移植到許多系統(tǒng)調(diào)用。10）可嵌入。你可以將Python嵌入到C/C++程序，讓你的程序的用戶獲得“腳本化”的能力。4.本書主要使用的大數(shù)據(jù)分析工具PowerBI是一種商業(yè)分析解決方案，可幫助對數(shù)據(jù)進行可視化、在組織中共享見解、或?qū)⒁娊馇度霊没蚓W(wǎng)站中。連接到數(shù)百個數(shù)據(jù)源，并使用實時儀表板和報表對讓數(shù)據(jù)變得生動。PowerBI簡介01Python是一種解釋型、面向?qū)ο?、動態(tài)數(shù)據(jù)類型的高級程序設(shè)計語言。由荷蘭人GuidovanRossum于1989年底發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。像Perl語言一樣,Python源代碼同樣遵循GPL(GNUGeneralPublicLicense)協(xié)議。Python核心團隊計劃在2020年停止支持Python2；從2019年1月1日開始，任何新的功能版本都只支持Python3。Python簡介02Orange的組件包括：數(shù)據(jù)（Data）：包含數(shù)據(jù)輸入、數(shù)據(jù)保存、數(shù)據(jù)過濾、抽樣、插補、特征操作以及特征選擇等組件，同時還支持嵌入Python腳本?？梢暬╒isualize）：包含通用可視化（箱形圖、直方圖、散點圖）和多變量可視化（馬賽克圖、篩分曲線圖）組件。模型（Model）：包含一組用于分類和回歸的有監(jiān)督機器學習算法組件。評估（Evaluate）：交叉驗證、抽樣程序、可靠性評估以及預測方法評估。無監(jiān)督算法（Unsupervised）：用于聚類（k-means、層次聚類）和數(shù)據(jù)降維（多維尺度變換、主成分分析、相關(guān)分析）的無監(jiān)督學習算法。另外，還可以通過插件（add-ons）的方式為Orange增加其他的功能（生物信息學、數(shù)據(jù)融合與文本挖掘。添加的方法是點擊“Options”菜單下的“Add-ons”按鈕，打開插件管理器。4.本書主要使用的大數(shù)據(jù)分析工具Orange是一個開源的數(shù)據(jù)挖掘和機器學習軟件。Orange基于Python和C/C++開發(fā)，提供了一系列的數(shù)據(jù)探索、可視化、預處理以及建模組件。Orange3.0主要功能03項目一數(shù)據(jù)分析基礎(chǔ)任務二準備你的數(shù)據(jù)分析能力

1.基本概念辨析

2.常見的離散型隨機變量的分布

2.1 等概率分布

2.2 伯努利分布

2.3 二項分布

2.4 幾何分布

2.5 超幾何分布

2.6 泊松分布

3.常見的連續(xù)型隨機變量的分布

3.1 正態(tài)分布

3.2 指數(shù)分布

1.1離散型隨機變量可以逐個列舉出來的變量。如能夠用我們?nèi)粘Ｊ褂玫牧吭~可以度量的取值，比如次數(shù)，個數(shù)，塊數(shù)等都是離散型隨機變量。比如拋硬幣、擲骰子、買彩票等。1.2連續(xù)型隨機變量無法逐個列舉的變量。無法用量詞度量，且取值可以取到小數(shù)2位，3位甚至無限多位的時候，那么這個變量就是連續(xù)型隨機變量。比如正態(tài)分布（也稱為高斯分布）、指數(shù)分布等。1.3概率函數(shù)其實，無論是離散型還是連續(xù)型隨機變量，基礎(chǔ)性的概率函數(shù)概念只有兩個，根據(jù)國內(nèi)教材的普遍性稱謂，在此我們可以統(tǒng)一稱為概率分布函數(shù)和概率密度函數(shù)。1.基本概念辨析2.1等概率分布顧名思義，等概率分布是指每一個可能出現(xiàn)情況的概率取值都是相等的。比如拋硬幣、拋骰子等，一般將等概率分布稱為“古典概型”。2.常見的離散型隨機變量的分布2.2伯努利分布伯努利分布，也叫0-1分布或兩點分布。凡是隨機試驗只有兩個可能的結(jié)果，常用伯努利分布描述，如產(chǎn)品是否格、人口性別統(tǒng)計、系統(tǒng)是否正常、電力消耗是否超負荷等等。2.3二項分布二項分布，也叫n重伯努利分布，是指反復多次重復伯努利實驗，比如重復拋骰子計算某個點出現(xiàn)幾次的概率問題，射擊的命中次數(shù)和命中率問題，一批種子的發(fā)芽率問題，藥物治療病人是否有效的問題，產(chǎn)品的不合格率問題等都要用到二項分布。2.常見的離散型隨機變量的分布四個二項分布圖2.常見的離散型隨機變量的分布2.4幾何分布幾何分布也是以伯努利分布為基礎(chǔ)