數(shù)據(jù)分析與可視化實(shí)踐第1章

數(shù)據(jù)思維第2章

數(shù)據(jù)分析基礎(chǔ)第3章

數(shù)據(jù)庫應(yīng)用基礎(chǔ)第4章

數(shù)據(jù)可視化第5章

數(shù)據(jù)分析實(shí)戰(zhàn)全套可編輯PPT課件

第1章數(shù)據(jù)思維大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐學(xué)習(xí)目標(biāo)1.理解數(shù)據(jù)、信息、知識、智慧之間的區(qū)別及聯(lián)系。2.理解數(shù)據(jù)思維的本質(zhì)。3.理解大數(shù)據(jù)思維的本質(zhì)。4.了解大數(shù)據(jù)技術(shù)。目錄頁contents數(shù)據(jù)思維概述大數(shù)據(jù)思維與技術(shù)大數(shù)據(jù)的發(fā)展1.11.21.31.1數(shù)據(jù)思維概述目錄頁contents1.1.1認(rèn)識數(shù)據(jù)1.1.2數(shù)據(jù)思維的本質(zhì)121.1.3習(xí)題與實(shí)踐3選題背景及意義ONE1.1.1認(rèn)識數(shù)據(jù)1.1.1認(rèn)識數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)是對現(xiàn)實(shí)世界客觀事物的特征的抽象化的、符號化的表示，是用于表示客觀事物的未經(jīng)加工的原始素材。

數(shù)據(jù)隨著文明的發(fā)展而不斷擴(kuò)大和變化。在互聯(lián)網(wǎng)時代，數(shù)據(jù)的表現(xiàn)形式是多種多樣的，有數(shù)字、文字、圖形、圖像、聲音和視頻等形式，如醫(yī)院里的醫(yī)學(xué)影像圖片，公司和工廠的設(shè)計圖案、解決方案，在玩游戲的行為、社會關(guān)系、每天的活動等。數(shù)據(jù)也經(jīng)歷了從結(jié)構(gòu)化到非結(jié)構(gòu)化的轉(zhuǎn)變，而且非結(jié)構(gòu)化數(shù)據(jù)中蘊(yùn)含著更大的價值。1.1.1認(rèn)識數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)是對現(xiàn)實(shí)世界客觀事物的特征的抽象化的、符號化的表示，是用于表示客觀事物的未經(jīng)加工的原始素材。數(shù)據(jù)（連續(xù)）：模擬的聲音、圖像數(shù)據(jù)（離散）：符號、文字，聲音、圖像數(shù)據(jù)（固定）：圓周率??數(shù)據(jù)（變化）：每天水電消耗數(shù)據(jù)（隨機(jī)）：拋硬幣的結(jié)果1.1.1認(rèn)識數(shù)據(jù)信息信息是人們對現(xiàn)實(shí)世界客觀事物等認(rèn)識的描述，它比數(shù)據(jù)更加抽象。信息是一種已經(jīng)被加工為特定形式的數(shù)據(jù)。數(shù)據(jù)是信息的表示，信息是數(shù)據(jù)的內(nèi)涵。例1-1：數(shù)據(jù)：3

信息：最高氣溫是3℃，天氣寒冷，注意保暖1.1.1認(rèn)識數(shù)據(jù)知識知識是信息經(jīng)過加工提煉后形成的相應(yīng)的抽象產(chǎn)物，它表述的是事物運(yùn)動的狀態(tài)和狀態(tài)變化的規(guī)律?？梢哉f，知識是一類高級的、抽象的而且具有普遍適應(yīng)性的信息。知識具有系統(tǒng)性、規(guī)律性和可預(yù)測性。知識是認(rèn)識世界的結(jié)果，同時也是改造世界的依據(jù)。例如：“空氣質(zhì)量指數(shù)”的計算方法就是知識，是經(jīng)過研究、歸納總結(jié)出來的科學(xué)方法。

例1-2：上海、冬季、雨三個常規(guī)數(shù)據(jù)，通過對這三個數(shù)據(jù)關(guān)聯(lián)性分析以及與往年上海這個季節(jié)的雨量進(jìn)行對比，發(fā)現(xiàn)2018年冬季上海雨水偏多。1.1.1認(rèn)識數(shù)據(jù)智慧智慧是知識層次中的最高一級。也是人類區(qū)別于其他生物的重要特征。智慧是人類基于已有的知識，針對現(xiàn)實(shí)世界客觀事物運(yùn)動過程中產(chǎn)生的問題根據(jù)獲得的信息進(jìn)行分析，對比，演繹找出解決方案的能力。

例1-3：身高1.75米。 數(shù)據(jù)：1.75米；信息：身高1.75米

知識：東北男性平均身高是1.75米

智慧：來自東北的男性身高大約是1.75米1.1.1認(rèn)識數(shù)據(jù)數(shù)據(jù)、信息、知識和智慧的相互關(guān)系

學(xué)習(xí)目標(biāo)能說出數(shù)據(jù)、信息、知識和智慧的含義及它們之間的關(guān)系。TWO1.1.2數(shù)據(jù)思維的本質(zhì)1.1.2數(shù)據(jù)思維的本質(zhì)什么是數(shù)據(jù)思維數(shù)據(jù)思維是關(guān)于數(shù)據(jù)認(rèn)知的一套思維模型。例1-4：在這個例子中列舉了兩家公司的市場份額及2017年營業(yè)收入數(shù)據(jù)，但對于數(shù)據(jù)并沒有給出最終的行業(yè)銷量排名結(jié)論。包括和競爭對手相比。只有數(shù)據(jù)沒有結(jié)論，這不是數(shù)據(jù)思維，而是單純引用了數(shù)據(jù)。1.1.2數(shù)據(jù)思維的本質(zhì)什么是數(shù)據(jù)思維例1-5：這就是數(shù)據(jù)思維的成果，它告訴A公司和B公司優(yōu)化銷售策略不能僅限于幾種家電，需要對多種家電銷售予以重視。公司領(lǐng)域市場份額C空調(diào)23%C冰箱26%C洗衣機(jī)10%C公司旗下有超過12種家電位居行業(yè)第一名1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)思維的價值在大學(xué)里，考試基本上一個學(xué)期只有一到二次考試作為對學(xué)生學(xué)業(yè)發(fā)展的一種評估手段，是靜態(tài)和滯后的，并不能實(shí)時發(fā)現(xiàn)學(xué)生學(xué)習(xí)行為的異常。網(wǎng)絡(luò)游戲不學(xué)習(xí)成績差1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)思維的價值通過收集學(xué)生在學(xué)校日常被動積累的數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行分析，早期發(fā)現(xiàn)學(xué)生學(xué)業(yè)發(fā)展中的異常情況，并進(jìn)行預(yù)警和干預(yù)。建設(shè)數(shù)據(jù)的一體化平臺：選課記錄教材閱讀成績有關(guān)數(shù)據(jù)水房打水洗澡規(guī)律其他數(shù)據(jù)1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)思維的價值數(shù)據(jù)思維是一種必備的素養(yǎng)。如何提高數(shù)據(jù)思維：首先，扎實(shí)掌握數(shù)據(jù)領(lǐng)域涉及到的基本知識，它是思維能力的基礎(chǔ)。其次，日常生活和工作中，要時常關(guān)注所看到的數(shù)據(jù)，對數(shù)據(jù)保持足夠的敏感性。最后，多思考數(shù)據(jù)背后的隱藏的東西，把數(shù)據(jù)轉(zhuǎn)化成知識，讓數(shù)據(jù)產(chǎn)生真正的價值。1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)分析思維模式數(shù)據(jù)分析是從數(shù)據(jù)中提取有價值信息的過程，從而達(dá)到分析現(xiàn)狀、分析原因和預(yù)測未來的目的。數(shù)據(jù)分析過程中需要對數(shù)據(jù)進(jìn)行各種處理和歸類，所以需要掌握正確的數(shù)據(jù)分析方法和數(shù)據(jù)處理模式。主要的數(shù)據(jù)分析方法和數(shù)據(jù)處理模式包括分類、回歸、聚類、相似匹配、頻繁項(xiàng)集、統(tǒng)計描述、鏈接預(yù)測、數(shù)據(jù)壓縮和因果分析等。1.1.2數(shù)據(jù)思維的本質(zhì)分類分類是一種基本的數(shù)據(jù)分析方式，數(shù)據(jù)分類就是根據(jù)數(shù)據(jù)某種共同的屬性或特征，按照約定的分類原則和方法，將數(shù)據(jù)對象劃分到一個正確的類別中。假設(shè)有一批人的血型數(shù)據(jù)，已經(jīng)知道其中有一堆人是O型血，有一堆人是A型血，有一堆人是B型血，有一堆人是AB型血，分類就是已經(jīng)知道了O、A、B和AB四種血型的特征，對于新來的人，可以根據(jù)分類原則得出他的類（血型）標(biāo)號，也就是得出他是屬于O、A、B和AB的哪個類（血型）。通常，分類器是需要訓(xùn)練的，通過訓(xùn)練可以得到每個類的特征，即總結(jié)出分類的規(guī)律性，從而能夠識別新的數(shù)據(jù)。1.1.2數(shù)據(jù)思維的本質(zhì)聚類聚類分析在統(tǒng)計學(xué)上是根據(jù)“物以類聚”的道理，聚類指將物理或抽象對象的集合分組成為由類似的對象組成的多個類的過程。它是一種重要的人類行為。聚類是將數(shù)據(jù)分類到不同的類或者簇這樣的一個過程，所以同一個簇中的對象有很大的相似性，而不同簇間的對象有很大的相異性。聚類與分類的不同在于，聚類所要求劃分的類是未知的，因此，聚類分析也稱為無指導(dǎo)或無監(jiān)督的學(xué)習(xí)方法。假設(shè)同樣有一批人的血型數(shù)據(jù)，但事先并不知道這一批人的血型數(shù)據(jù)有哪些血型，而是通過聚類分析后，自動發(fā)現(xiàn)這一批人的血型數(shù)據(jù)中用幾種血型，并把相等（相似）的血型數(shù)據(jù)聚合到同一堆中。1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)分析的一般步驟數(shù)據(jù)分析通?？煞譃椋好鞔_分析目的：明確數(shù)據(jù)分析目的，即梳理分析思路、搭建數(shù)據(jù)分析框架。數(shù)據(jù)收集：數(shù)據(jù)收集是按照確定的數(shù)據(jù)分析框架，收集相關(guān)數(shù)據(jù)，它為數(shù)據(jù)處理和數(shù)據(jù)分析提供素材和依據(jù)。數(shù)據(jù)處理：數(shù)據(jù)處理是指對收集到的數(shù)據(jù)進(jìn)行加工整理，形成適合數(shù)據(jù)分析的樣式，保證數(shù)據(jù)的一致性和有效性。1.1.2數(shù)據(jù)思維的本質(zhì)數(shù)據(jù)分析的一般步驟數(shù)據(jù)分析通?？煞譃椋簲?shù)據(jù)分析：數(shù)據(jù)分析是指用適當(dāng)?shù)姆治龇椒肮ぞ?，對收集、處理后的?shù)據(jù)進(jìn)行分析，提取有價值的信息，形成有效結(jié)論的過程。數(shù)據(jù)展示：通過數(shù)據(jù)分析，隱藏在數(shù)據(jù)內(nèi)部的關(guān)系和規(guī)律就會逐漸浮現(xiàn)出來，運(yùn)用數(shù)據(jù)可視化技術(shù)可以展現(xiàn)出這些關(guān)系和規(guī)律，讓人一目了然。撰寫報告：數(shù)據(jù)分析報告其實(shí)是對整個數(shù)據(jù)分析過程的一個總結(jié)與呈現(xiàn)。1.1.2數(shù)據(jù)思維的本質(zhì)人工智能驅(qū)動的數(shù)據(jù)分析新時代可稱為是AIGC時代。在AIGC時代，將數(shù)據(jù)要素提到了時代核心資源的位置，AIGC技術(shù)不僅改變了數(shù)據(jù)分析的方式，更推動了數(shù)據(jù)價值的最大化，在一定程度上加快了整個社會的數(shù)字化轉(zhuǎn)型進(jìn)程。隨著人工智能技術(shù)（ArtificialIntelligence，AI）的飛速發(fā)展，人工智能生成內(nèi)容（ArtificialIntelligenceGeneratedContent，AIGC）技術(shù)受到了越來越多的關(guān)注。AIGC技術(shù)利用機(jī)器學(xué)習(xí)算法，自動生成文本、圖像、音頻等多種形式的內(nèi)容，具有生成效率高、內(nèi)容豐富、成本低等優(yōu)勢。在AIGC時代，數(shù)據(jù)分析的效率和精度得到了顯著提升。AIGC技術(shù)則能夠自動化地完成繁瑣的數(shù)據(jù)整理、篩選和計算等任務(wù)，大大提高了工作效率。此外，AIGC技術(shù)則能夠自動化地完成繁瑣的數(shù)據(jù)整理技術(shù)還能夠處理更為復(fù)雜和細(xì)致的數(shù)據(jù)分析需求，比如圖像識別、自然語言處理等，進(jìn)一步拓寬了數(shù)據(jù)分析的應(yīng)用領(lǐng)域。在AIGC時代，AIGC技術(shù)在數(shù)據(jù)分析中發(fā)揮了舉足輕重的作用。通過深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等，AIGC能夠快速、準(zhǔn)確地處理和分析海量數(shù)據(jù)，從中提取出有價值的信息和規(guī)律。同時，AIGC還能夠?qū)?shù)據(jù)的變化趨勢進(jìn)行預(yù)測和預(yù)警，幫助企業(yè)和個人更好地應(yīng)對市場變化和風(fēng)險挑戰(zhàn)。AIGC時代的另一個顯著特點(diǎn)是數(shù)據(jù)價值的最大化。AIGC技術(shù)則能夠通過深度學(xué)習(xí)和模式識別等方法，發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系和規(guī)律，從而挖掘出更多的數(shù)據(jù)價值。這種數(shù)據(jù)價值的最大化不僅有助于企業(yè)制定更精準(zhǔn)的市場戰(zhàn)略，還能為個人提供更為個性化和智能化的服務(wù)體驗(yàn)。AIGC在數(shù)據(jù)分析中的作用學(xué)習(xí)目標(biāo)能說出什么是數(shù)據(jù)思維及它的價值。能說出數(shù)據(jù)分析思維模式及一般步驟。THREE1.1.3習(xí)題與實(shí)踐懇請各位同學(xué)批評指正第1章數(shù)據(jù)思維大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐學(xué)習(xí)目標(biāo)1.理解數(shù)據(jù)、信息、知識、智慧之間的區(qū)別及聯(lián)系。2.理解數(shù)據(jù)思維的本質(zhì)。3.理解大數(shù)據(jù)思維的本質(zhì)。4.了解大數(shù)據(jù)技術(shù)。目錄頁contents數(shù)據(jù)思維概述大數(shù)據(jù)思維與技術(shù)大數(shù)據(jù)的發(fā)展1.11.21.31.2大數(shù)據(jù)思維與技術(shù)目錄頁contents1.2.1認(rèn)識大數(shù)據(jù)1.2.2大數(shù)據(jù)思維特點(diǎn)1.2.3大數(shù)據(jù)技術(shù)1.2.4習(xí)題與實(shí)踐12341.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)思維與技術(shù)信息科技經(jīng)過數(shù)十年的發(fā)展，數(shù)據(jù)的影響已經(jīng)滲入到產(chǎn)業(yè)、科研、教育、家庭和社會等各個層面。大數(shù)據(jù)是我們收集與分析世界所產(chǎn)生的大規(guī)模數(shù)據(jù)的能力。我們對大數(shù)據(jù)的駕馭能力就是理解世界及其內(nèi)在一切的能力。對大數(shù)據(jù)的利用已成為提高核心競爭力的關(guān)鍵因素。大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。選題背景及意義ONE1.2.1認(rèn)識大數(shù)據(jù)1.2.1認(rèn)識大數(shù)據(jù)數(shù)據(jù)量爆炸性劇增數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜數(shù)據(jù)來源不斷豐富，形成了多源異構(gòu)的數(shù)據(jù)形態(tài),其中非結(jié)構(gòu)化數(shù)據(jù)包括全文文本、圖像、聲音、影視、超媒體等信息所占比例逐年增大。大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行提取、管理和加工處理的數(shù)據(jù)集合大數(shù)據(jù)技術(shù)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力TBPBEBZB100%1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)的特點(diǎn)體量Volume多樣性Variety速度Velocity數(shù)據(jù)價值Value非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義實(shí)時分析而非批量式分析（1秒定律）數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等））1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的商業(yè)變革商業(yè)模式是指一個完整的產(chǎn)品、服務(wù)和信息流體系，包括每一個參與者和其在其中起到的作用，以及每一個參與者的潛在利益和相應(yīng)的收益來源和方式。傳統(tǒng)的商業(yè)智能已經(jīng)應(yīng)用了數(shù)據(jù)倉庫、線上分析處理、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)，對企業(yè)自身的數(shù)據(jù)進(jìn)行存儲、清理、索引和分析，并能夠提供包括客戶價值評價、客戶滿意度評價、服務(wù)質(zhì)量評價、營銷效果評價、市場需求評估等各種基于簡單統(tǒng)計和關(guān)聯(lián)挖掘的報表以實(shí)現(xiàn)商業(yè)價值。1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的商業(yè)變革數(shù)據(jù)倉庫線上分析處理數(shù)據(jù)挖掘數(shù)據(jù)展現(xiàn)技術(shù)企業(yè)自身的數(shù)據(jù)存儲清理索引分析客戶價值評價客戶滿意度評價服務(wù)質(zhì)量評價營銷效果評價市場需求評估基于簡單統(tǒng)計和關(guān)聯(lián)挖掘的報表傳統(tǒng)的商業(yè)智能1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的商業(yè)變革大數(shù)據(jù)的商業(yè)智能應(yīng)用體系隨著大數(shù)據(jù)技術(shù)與應(yīng)用的發(fā)展，商業(yè)智能的能力得到了拓展和提升。商業(yè)智能使企業(yè)各級人員都能進(jìn)行數(shù)據(jù)分析，從而加深業(yè)務(wù)洞察，推動整體行業(yè)發(fā)展。商業(yè)智能借助大數(shù)據(jù)，AI等技術(shù)手段，通過提供行業(yè)應(yīng)用方案體現(xiàn)數(shù)據(jù)價值。商業(yè)智能將與AI、物聯(lián)網(wǎng)、云計算更加緊密的結(jié)合，為企業(yè)提供“一站式大數(shù)據(jù)解決方案”、基于行業(yè)和場景的應(yīng)用服務(wù)以及更加便捷的應(yīng)用模式。1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)的三個時代大數(shù)據(jù)1.0時代追求從數(shù)據(jù)到分析，從分析到更多更好的數(shù)據(jù)，再到更深入分析這樣的正向循環(huán)。大數(shù)據(jù)2.0時代強(qiáng)調(diào)的是數(shù)據(jù)的外部性。它是指企業(yè)用自身業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)不只是對企業(yè)內(nèi)部有價值，還可以去解決主營業(yè)務(wù)以外的其他問題，獲得重大的價值；或者引入非企業(yè)自身業(yè)務(wù)的外部數(shù)據(jù)，來解決企業(yè)自己遇到的問題。大數(shù)據(jù)3.0時代將帶領(lǐng)人們進(jìn)入真正的大數(shù)據(jù)時代。個人、團(tuán)隊和企業(yè)可以通過數(shù)據(jù)API接口或付費(fèi)使用數(shù)據(jù)產(chǎn)品，數(shù)據(jù)中心、運(yùn)營商，大家共同分享數(shù)據(jù)產(chǎn)品的利益。1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的科學(xué)變革大數(shù)據(jù)的價值網(wǎng)頁數(shù)據(jù)檢索世界上最新最全的信息方位數(shù)據(jù)借助導(dǎo)航快速到達(dá)目的地生物特征數(shù)據(jù)進(jìn)行身份識別認(rèn)證情緒數(shù)據(jù)根據(jù)快樂與否判斷股市的漲跌歸結(jié)為幾類相似的數(shù)學(xué)模型，“數(shù)據(jù)科學(xué)”成為一門具有普適性的學(xué)科。1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的科學(xué)變革實(shí)際上，科學(xué)界比產(chǎn)業(yè)界更早意識到了大數(shù)據(jù)的巨大影響，在2008年9月，英國《自然》雜志就推出了名為“大數(shù)據(jù)”的封面專欄，闡述了數(shù)據(jù)在數(shù)學(xué)、物理、生物、工程及社會經(jīng)濟(jì)等多學(xué)科扮演的愈來愈重要的角色。越來越多、越來越復(fù)雜的數(shù)據(jù)本身，在以數(shù)據(jù)為準(zhǔn)則的研究理念指導(dǎo)下以及愈發(fā)強(qiáng)大的計算能力支撐下，驅(qū)動著科學(xué)研究方法論上的革命。通過數(shù)據(jù)分析，我們可以在數(shù)千萬甚至上億樣本的規(guī)模下研究宗教問題、民族問題、亞文化問題、信息傳播軌跡、經(jīng)濟(jì)發(fā)展趨勢、社會流動性問題等，而這在以前的社會科學(xué)中是絕對不可想象的。大數(shù)據(jù)的價值1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)時代的科學(xué)變革大數(shù)據(jù)帶來了很多新的重要的科學(xué)問題，如預(yù)測任務(wù)、描述任務(wù)，其中最重要的是預(yù)測。預(yù)測問題主要可以分為兩類，一是趨勢預(yù)測，二是缺失信息預(yù)測。趨勢預(yù)測是指通過事物的一些基本屬性信息和早期的態(tài)勢分析，預(yù)測事物發(fā)展的潛在趨勢和最終影響力假設(shè)觀察到的信息只是全部真實(shí)信息的一部分，缺失信息預(yù)測就是探討如何利用當(dāng)前信息去預(yù)測未觀察到的信息數(shù)據(jù)科學(xué)是利用計算機(jī)的運(yùn)算能力對數(shù)據(jù)進(jìn)行處理，從數(shù)據(jù)中提取信息，進(jìn)而形成“知識”數(shù)據(jù)科學(xué)1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)的戰(zhàn)略地位大數(shù)據(jù)被認(rèn)為是繼信息化和互聯(lián)網(wǎng)后整個信息革命的又一次高峰。云計算和大數(shù)據(jù)共同引領(lǐng)以數(shù)據(jù)為材料，計算為能源的又一次生產(chǎn)力的大解放，甚至可以與以蒸汽機(jī)作為動力機(jī)的第一次工業(yè)革命和以電力的廣泛應(yīng)用為主要標(biāo)志的第二次工業(yè)革命相媲美。數(shù)據(jù)儲備和數(shù)據(jù)分析能力將成為未來新型國家最重要的核心戰(zhàn)略能力；對數(shù)據(jù)的擁有、占有、運(yùn)用和控制將成為綜合國力的重要組成部分，大數(shù)據(jù)領(lǐng)域的競爭，事關(guān)國家、企業(yè)的安全和未來，將成為國家間和企業(yè)間新的爭奪焦點(diǎn)。大數(shù)據(jù)的作用1.2.1認(rèn)識大數(shù)據(jù)大數(shù)據(jù)的戰(zhàn)略地位大數(shù)據(jù)的國家戰(zhàn)略2012年3月29日，美國政府宣布“大數(shù)據(jù)研究和發(fā)展計劃”2012年5月，我國召開第一個以大數(shù)據(jù)為主題的重大科學(xué)工作會議。2012年12月13日，“中關(guān)村大數(shù)據(jù)日”活動會2013年3月5日～7日，舉辦主題為“大數(shù)據(jù)技術(shù)與應(yīng)用中的挑戰(zhàn)性科學(xué)問題”的論壇2013年5月16日，國家發(fā)改委高技術(shù)服務(wù)業(yè)研發(fā)與產(chǎn)業(yè)化專項(xiàng)“基礎(chǔ)研究大數(shù)據(jù)服務(wù)平臺應(yīng)用示范”項(xiàng)目啟動2013年是大數(shù)據(jù)應(yīng)用之年2014年3月，大數(shù)據(jù)首次寫入中國中央政府工作報告2015年10月，黨的十八屆五中全會正式提出“實(shí)施國家大數(shù)據(jù)戰(zhàn)略，推進(jìn)數(shù)據(jù)資源開放共享”2018年5月，中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會學(xué)習(xí)目標(biāo)能說出什么是大數(shù)據(jù)及它的特點(diǎn)。能說出大數(shù)據(jù)時代的變革及戰(zhàn)略地位。TWO1.2.2大數(shù)據(jù)思維的特點(diǎn)1.2.2大數(shù)據(jù)思維的特點(diǎn)更好由因果思維到關(guān)聯(lián)思維更多由樣本思維到全量思維更雜由精準(zhǔn)思維到模糊思維更智由自然思維到智能思維01020304由樣本思維到全量思維在大數(shù)據(jù)時代，隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展，我們可以更加方便、快捷、動態(tài)地獲得研究對象有關(guān)的所有數(shù)據(jù)，而不再因諸多限制不得不采用樣本研究方法，相應(yīng)地，思維方式也應(yīng)該從樣本思維轉(zhuǎn)向全量思維，從而能夠更加全面、立體、系統(tǒng)地認(rèn)識總體狀況。由精準(zhǔn)思維到模糊（大概率）思維在大數(shù)據(jù)時代，思維方式要從精準(zhǔn)思維轉(zhuǎn)向模糊思維，當(dāng)擁有海量即時數(shù)據(jù)時，絕對的精準(zhǔn)不再是追求的主要目標(biāo)，適當(dāng)忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。由因果思維到關(guān)聯(lián)思維在大數(shù)據(jù)時代，思維方式要從因果思維轉(zhuǎn)向關(guān)聯(lián)思維，努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見，才能更好地分享大數(shù)據(jù)帶來的深刻洞見。由自然思維到智能思維“智能、智慧”是大數(shù)據(jù)時代的顯著特征，大數(shù)據(jù)時代的思維方式也要求從自然思維轉(zhuǎn)向智能思維，不斷提升機(jī)器或系統(tǒng)的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似于人類的“智慧”。1.2.2大數(shù)據(jù)思維的特點(diǎn)學(xué)習(xí)目標(biāo)能說出大數(shù)據(jù)思維的特點(diǎn)。THREE1.2.3大數(shù)據(jù)技術(shù)1.2.3大數(shù)據(jù)技術(shù)1.2.3大數(shù)據(jù)技術(shù)1.2.3大數(shù)據(jù)技術(shù)學(xué)習(xí)目標(biāo)請列舉三個大數(shù)據(jù)技術(shù)。FIVE1.2.4習(xí)題與實(shí)踐1.2.4習(xí)題與實(shí)踐1.簡答題（1）大數(shù)據(jù)現(xiàn)象是怎樣形成的？（2）大數(shù)據(jù)給人類帶來哪些變革？（3）列舉大數(shù)據(jù)的作用。（4）簡述大數(shù)據(jù)的戰(zhàn)略意義。2.實(shí)踐題請選擇一個與本專業(yè)相關(guān)的大數(shù)據(jù)資源，運(yùn)用全量思維、模糊思維、關(guān)聯(lián)思維和智能思維獲取該大數(shù)據(jù)資源價值。

懇請各位同學(xué)批評指正第1章數(shù)據(jù)思維大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐學(xué)習(xí)目標(biāo)1.理解數(shù)據(jù)、信息、知識、智慧之間的區(qū)別及聯(lián)系。2.理解數(shù)據(jù)思維的本質(zhì)。3.理解大數(shù)據(jù)思維的本質(zhì)。4.了解大數(shù)據(jù)技術(shù)。目錄頁contents數(shù)據(jù)思維概述大數(shù)據(jù)思維與技術(shù)大數(shù)據(jù)的發(fā)展1.11.21.31.3大數(shù)據(jù)發(fā)展目錄頁contents1.3.1大數(shù)據(jù)應(yīng)用1.3.2大數(shù)據(jù)前景1.3.3大數(shù)據(jù)面臨的挑戰(zhàn)1.3.4習(xí)題與實(shí)踐1234選題背景及意義ONE1.3.1大數(shù)據(jù)應(yīng)用1.3.1大數(shù)據(jù)應(yīng)用ABCDEFG互聯(lián)網(wǎng)行業(yè)互聯(lián)網(wǎng)行業(yè)：需要利用大數(shù)據(jù)分析來提取有價值信息，建立用戶模型，針對不同用戶提供針對性產(chǎn)品，以此來提升用戶體驗(yàn)，增加用戶粘性。醫(yī)療行業(yè)醫(yī)療行業(yè)：利用大數(shù)據(jù)可預(yù)測流行病、治療疾病、降低醫(yī)療成本和讓患者享受到更加便利的服務(wù)，利用大數(shù)據(jù)也可提高醫(yī)療機(jī)構(gòu)利潤和減少開銷。零售行業(yè)零售行業(yè)：需要及時響應(yīng)客戶需求，實(shí)現(xiàn)精準(zhǔn)營銷；需要增強(qiáng)產(chǎn)品流轉(zhuǎn)率，實(shí)現(xiàn)快速營銷。金融行業(yè)金融行業(yè)：高度依賴信息數(shù)據(jù)，應(yīng)用大數(shù)據(jù)方法與技術(shù)收集、處理、分析金融數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行挖掘提取，尋找其中有價值的信息，并將這些信息轉(zhuǎn)化為知識，幫助公司做出及時準(zhǔn)確的決策。教育行業(yè)教育行業(yè)：利用大數(shù)據(jù)來促進(jìn)教育管理科學(xué)化變革、促進(jìn)教學(xué)模式改革、促進(jìn)個性化教育變革、促進(jìn)教育評價體系改革、促進(jìn)科學(xué)研究變革等。電信行業(yè)電信行業(yè)：挖掘暴增的數(shù)據(jù)，從中發(fā)現(xiàn)潛在的信息應(yīng)用需求，獲取更大的商業(yè)價值，從而增加管道的價值和收入，進(jìn)一步抓住未來廣闊的信息化市場，擺脫被邊緣化和底層化的危機(jī)。交通行業(yè)交通行業(yè)：需要通過大數(shù)據(jù)構(gòu)建系統(tǒng)優(yōu)化方案；針對交通系統(tǒng)的復(fù)雜性，對氣象信息、社會狀況、經(jīng)濟(jì)情況等進(jìn)行大數(shù)據(jù)分析，制定最佳出行方案；針對交通系統(tǒng)的動態(tài)性，通過大數(shù)據(jù)進(jìn)行實(shí)時分析，及時快速處理突發(fā)事件。68李寧體育從POS系統(tǒng)到ERP系統(tǒng)，從MAIL系統(tǒng)到OA系統(tǒng)，整個集團(tuán)信息化程度不斷提高。但是由于李寧體育擁有3000多個銷售網(wǎng)點(diǎn)，隨著信息系統(tǒng)的復(fù)雜度增大，出現(xiàn)了信息孤島、大量歷史數(shù)據(jù)的閑置等問題。李寧體育采用了WebSphere電子商務(wù)平臺產(chǎn)品，將多個信息系統(tǒng)的數(shù)據(jù)進(jìn)行整合，并從大數(shù)據(jù)中獲取價值，滿足了中國消費(fèi)者的特殊購物偏好。在新開張的李寧官方網(wǎng)上商城上，消費(fèi)者可以通過自定義的主頁查看暢銷商品和產(chǎn)品的詳細(xì)信息。通過實(shí)施多階段電子商務(wù)戰(zhàn)略，公司的網(wǎng)上購物收入呈顯著增長，在不足一年的時間里實(shí)現(xiàn)了超過1200%的增長。零售行業(yè)大數(shù)據(jù)69阿里巴巴在銷售方面，在把很多數(shù)據(jù)搜集到之后，對潛在的客戶做一些預(yù)測，對現(xiàn)有的客戶也做出預(yù)測。在做了預(yù)測之后銷售業(yè)績整體上會有很大的提高。比如說銷售去打電話給客戶的時候，轉(zhuǎn)化率從2%提高到6%。在產(chǎn)品方面，通過大數(shù)據(jù)來設(shè)計產(chǎn)品鏈路應(yīng)該怎么樣轉(zhuǎn)化，用戶到了首頁通過下一頁應(yīng)該看什么。然后通過大數(shù)據(jù)來判斷設(shè)計是否合理，轉(zhuǎn)化率是不是合理，哪里有可能存在問題可以優(yōu)化，通過這樣來幫助產(chǎn)品經(jīng)理，搭出鏈路，做分析。通過以上兩個方面的大數(shù)據(jù)應(yīng)用，再加上風(fēng)控和運(yùn)營方面的決策來產(chǎn)生商業(yè)價值。互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)70阿里小貸的“水文模型”是按小微企業(yè)類目、級別等分別統(tǒng)計一個阿里系商戶的相關(guān)“水文數(shù)據(jù)”庫。如過往每到某個時點(diǎn)，該店鋪銷售會進(jìn)入旺季，銷售額就會增長，同時每在這個時段，該客戶對外投放的額度就會上升，結(jié)合這些水文數(shù)據(jù)，系統(tǒng)可以判斷出該店鋪的融資需求；結(jié)合該店鋪以往資金支用數(shù)據(jù)及同類店鋪資金支用數(shù)據(jù)，可以判斷出該店鋪的資金需求額度。金融行業(yè)大數(shù)據(jù)71大數(shù)據(jù)技術(shù)幫助實(shí)現(xiàn)醫(yī)療資源下沉機(jī)器讀懂病人的影像先讓機(jī)器讀懂醫(yī)生的診斷報告

讓機(jī)器學(xué)習(xí)的平臺學(xué)習(xí)很多醫(yī)學(xué)的文獻(xiàn)和標(biāo)準(zhǔn)，來分析醫(yī)生的診斷報告給數(shù)據(jù)打標(biāo)簽

即把醫(yī)生診斷報告中診斷的詞語和病人的影片相關(guān)聯(lián)，當(dāng)機(jī)器看到病人片子的時候就會反映出這些的數(shù)字標(biāo)記的關(guān)鍵詞語實(shí)現(xiàn)機(jī)器讀懂病人的影像資料醫(yī)療大數(shù)據(jù)72當(dāng)前，高校的大數(shù)據(jù)應(yīng)用案例主要集中于三方面：一是面向?qū)W生管理的教育大數(shù)據(jù)應(yīng)用。它主要聚焦于學(xué)生管理，對學(xué)生培養(yǎng)全生命周期中的生活、學(xué)業(yè)、思想等行為軌跡和發(fā)展過程進(jìn)行伴隨式輔導(dǎo)，形成協(xié)同可持續(xù)的智慧管理與導(dǎo)引發(fā)展新模式。二是面向校園服務(wù)的教育大數(shù)據(jù)應(yīng)用。此類應(yīng)用主要通過實(shí)時爬取、分析校園各類數(shù)據(jù)，監(jiān)測校園輿情，優(yōu)化校園資源配置，為校方提供建設(shè)管理決策，展示學(xué)校人文關(guān)懷。三是面向教學(xué)科研的教育大數(shù)據(jù)應(yīng)用。主要有基于教學(xué)資源開展數(shù)據(jù)分析，對教學(xué)活動中各項(xiàng)資源給出預(yù)測及預(yù)警；通過導(dǎo)入和聚合各類的科研原始數(shù)據(jù)，建立多維度的高校科研指標(biāo)數(shù)據(jù)分析服務(wù)，并精準(zhǔn)地找到與學(xué)校需求更加契合的外部人才。通過大數(shù)據(jù)的分析來優(yōu)化教育機(jī)制，作出更科學(xué)的決策，這將帶來潛在的教育革命。教育大數(shù)據(jù)73可以對任意網(wǎng)站，app，400電話，固話，小程序，關(guān)鍵詞等進(jìn)行實(shí)時監(jiān)控，同時可以篩選地區(qū)，全國，省市數(shù)據(jù)，性別，年齡，網(wǎng)站app訪問次數(shù)，訪問時長，400電話，固話的通話時長，通話次數(shù)，并且可以做到不同行業(yè)，進(jìn)行專屬的行業(yè)標(biāo)簽精準(zhǔn)匹配下發(fā)。你是房產(chǎn)行業(yè)，需要一批想買房的精準(zhǔn)意向客戶數(shù)據(jù)資料，就可以搜集同行的或者任何房產(chǎn)相關(guān)的網(wǎng)站，app，400電話，固話，小程序，關(guān)鍵詞等獲客線索，即可通過運(yùn)營商大數(shù)據(jù)建模分析獲取精準(zhǔn)客戶數(shù)據(jù)信息，可以通過客戶關(guān)系系統(tǒng)（CRM）去進(jìn)行外呼，短信兩種觸達(dá)方式，和客戶關(guān)系信息管理。電信大數(shù)據(jù)電信運(yùn)營商大數(shù)據(jù)主要的數(shù)據(jù)是用戶的通話行為數(shù)據(jù)，每個人打電話，數(shù)據(jù)會以計費(fèi)的形式留下來?，F(xiàn)在還加入了上網(wǎng)行為的信令數(shù)據(jù)，信令的數(shù)據(jù)意義更大一些。運(yùn)營商將以上這些數(shù)據(jù)加以存儲，可以通過建模進(jìn)行查詢，進(jìn)行用戶畫像和漏斗分析的處理。74UPS最新的大數(shù)據(jù)來源是安裝在公司4.6萬多輛卡車上的遠(yuǎn)程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動力性能等方面的數(shù)據(jù)。收集到的數(shù)據(jù)流不僅能說明車輛的日常性能，還能幫助公司重新設(shè)計物流路線。大量的在線地圖數(shù)據(jù)和優(yōu)化算法，最終能幫助UPS實(shí)時地調(diào)配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。交通大數(shù)據(jù)學(xué)習(xí)目標(biāo)請通過三個例子來說說大數(shù)據(jù)的應(yīng)用。TWO1.3.2大數(shù)據(jù)前景1.3.2大數(shù)據(jù)技術(shù)的發(fā)展趨勢大數(shù)據(jù)技術(shù)的發(fā)展趨勢數(shù)據(jù)治理和隱私保護(hù)將受到更多關(guān)注數(shù)據(jù)分析和挖掘的自動化程度將增加人工智能與大數(shù)據(jù)將進(jìn)一步協(xié)同進(jìn)化云計算和邊緣計算將進(jìn)一步融合可視化和交互式數(shù)據(jù)分析將變得更加流行開放數(shù)據(jù)和開放數(shù)據(jù)平臺將得到更廣泛的應(yīng)用010203數(shù)據(jù)治理和隱私保護(hù)將受到更多關(guān)注在數(shù)據(jù)爆炸的時代，隨著數(shù)據(jù)的日益重要和價值的不斷提高，數(shù)據(jù)治理和隱私保護(hù)變得愈發(fā)重要。為了讓數(shù)據(jù)真正為企業(yè)和用戶所用，需要更好的數(shù)據(jù)管理和治理機(jī)制，以確保數(shù)據(jù)的安全和可信度。同時，數(shù)據(jù)隱私和安全的重要性得到了廣泛的認(rèn)識。在未來，隨著更多人們對數(shù)據(jù)隱私和安全的關(guān)注，政府和企業(yè)將更加重視數(shù)據(jù)隱私和安全的保護(hù)，以確保用戶數(shù)據(jù)的安全和隱私不受侵犯。數(shù)據(jù)分析和挖掘的自動化程度將增加隨著機(jī)器學(xué)習(xí)和人工智能的發(fā)展，數(shù)據(jù)分析和挖掘的自動化程度不斷提高。自動化工具將使數(shù)據(jù)分析師能夠更快地收集、處理和分析數(shù)據(jù)，同時提高數(shù)據(jù)質(zhì)量和準(zhǔn)確性。這將使企業(yè)更容易利用數(shù)據(jù)來預(yù)測趨勢、發(fā)現(xiàn)新的商業(yè)機(jī)會，更好地理解客戶需求和行為模式。人工智能與大數(shù)據(jù)將進(jìn)一步協(xié)同進(jìn)化人工智能和大數(shù)據(jù)技術(shù)的結(jié)合將進(jìn)一步推動智能化應(yīng)用的發(fā)展。AI算法需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，而大數(shù)據(jù)分析可以從海量數(shù)據(jù)中提取有價值的信息。通過大數(shù)據(jù)分析和人工智能算法，企業(yè)可以更好地理解市場需求、優(yōu)化生產(chǎn)流程、提高產(chǎn)品質(zhì)量，從而實(shí)現(xiàn)資源的有效配置和成本的降低。這將為企業(yè)帶來更多創(chuàng)新機(jī)會和競爭優(yōu)勢，推動整個產(chǎn)業(yè)鏈的發(fā)展。1.3.2大數(shù)據(jù)技術(shù)的發(fā)展趨勢040506云計算和邊緣計算將進(jìn)一步融合隨著數(shù)據(jù)量的進(jìn)一步增加，數(shù)據(jù)處理和存儲的需求將越來越高。為了滿足這一需求，云計算和邊緣計算將合作發(fā)揮作用，以提供更好的數(shù)據(jù)處理和存儲服務(wù)。這種新的計算模型將使企業(yè)更好地應(yīng)對大規(guī)模的數(shù)據(jù)處理需求，并在處理數(shù)據(jù)時更具效率和實(shí)時性。可視化和交互式數(shù)據(jù)分析將變得更加流行可視化和交互式數(shù)據(jù)分析已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)科學(xué)領(lǐng)域中非常重要的技術(shù)，可視化工具將使數(shù)據(jù)更易于理解和解釋，而交互式數(shù)據(jù)分析工具則將使用戶更容易地從數(shù)據(jù)中發(fā)現(xiàn)有用的信息。這將使企業(yè)更加注重用戶體驗(yàn)，從而幫助企業(yè)更好地理解數(shù)據(jù)，提高數(shù)據(jù)分析的效率和精度。開放數(shù)據(jù)和開放數(shù)據(jù)平臺將得到更廣泛的應(yīng)用政府和企業(yè)將更愿意分享和使用開放數(shù)據(jù)，未來開放數(shù)據(jù)和開放數(shù)據(jù)平臺將得到更廣泛地應(yīng)用。開放數(shù)據(jù)將會帶動各領(lǐng)域數(shù)據(jù)的全面共享，打破數(shù)據(jù)壟斷，促進(jìn)數(shù)據(jù)流動以刺激創(chuàng)新升級，推動數(shù)字經(jīng)濟(jì)的繁榮發(fā)展。1.3.2大數(shù)據(jù)技術(shù)的發(fā)展趨勢學(xué)習(xí)目標(biāo)請至少列舉四個大數(shù)據(jù)的前景。THREE1.3.3大數(shù)據(jù)面臨的挑戰(zhàn)1.3.3大數(shù)據(jù)面臨的挑戰(zhàn)大數(shù)據(jù)面臨的挑戰(zhàn)對數(shù)據(jù)資源及其價值的認(rèn)識不足技術(shù)創(chuàng)新與支撐能力不夠數(shù)據(jù)資源建設(shè)和應(yīng)用水平不高信息安全和數(shù)據(jù)管理體系尚未建立人才隊伍建設(shè)還需加強(qiáng)1.3.3大數(shù)據(jù)面臨的挑戰(zhàn)技術(shù)創(chuàng)新與支撐能力不夠大數(shù)據(jù)需要從底層芯片到基礎(chǔ)軟件再到應(yīng)用分析軟件等信息產(chǎn)業(yè)全產(chǎn)業(yè)鏈的支撐，無論是新型計算平臺、分布式計算架構(gòu)，還是大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國外均存在較大差距，對開源技術(shù)和相關(guān)生態(tài)系統(tǒng)的影響力仍然較弱，總體上難以滿足各行各業(yè)大數(shù)據(jù)應(yīng)用需求。這是大數(shù)據(jù)短期內(nèi)最大的挑戰(zhàn)。對數(shù)據(jù)資源及其價值的認(rèn)識不足全社會尚未形成對大數(shù)據(jù)客觀、科學(xué)的認(rèn)識，對數(shù)據(jù)資源及其在人類生產(chǎn)、生活和社會管理方面的價值利用認(rèn)識不足，存在盲目追逐硬件設(shè)施投資、輕視數(shù)據(jù)資源積累和價值挖掘利用等現(xiàn)象。所以這是我國大數(shù)據(jù)長期內(nèi)最大的挑戰(zhàn)，但也是比較容易實(shí)現(xiàn)的目標(biāo)。信息安全和數(shù)據(jù)管理體系尚未建立數(shù)據(jù)所有權(quán)、隱私權(quán)等相關(guān)法律法規(guī)和信息安全、開放共享等標(biāo)準(zhǔn)規(guī)范缺乏，技術(shù)安全防范和管理能力不夠，尚未建立起兼顧安全與發(fā)展的數(shù)據(jù)開放、管理和信息安全保障體系。數(shù)據(jù)資源建設(shè)和應(yīng)用水平不高用戶普遍不重視數(shù)據(jù)資源的建設(shè)，即使有數(shù)據(jù)意識的機(jī)構(gòu)也大多只重視數(shù)據(jù)的簡單存儲，很少針對后續(xù)應(yīng)用需求進(jìn)行加工整理。而且數(shù)據(jù)資源普遍存在質(zhì)量差，標(biāo)準(zhǔn)規(guī)范缺乏，管理能力弱等現(xiàn)象。在很多跨部門、跨行業(yè)的數(shù)據(jù)共享仍不順暢，有價值的公共信息資源和商業(yè)數(shù)據(jù)開放程度低。數(shù)據(jù)價值難以被有效挖掘利用，所以說，大數(shù)據(jù)應(yīng)用整體上處于起步階段，潛力遠(yuǎn)未釋放。人才隊伍建設(shè)還需加強(qiáng)就目前而言，我國的綜合掌握數(shù)學(xué)、統(tǒng)計學(xué)、計算機(jī)等相關(guān)學(xué)科及應(yīng)用領(lǐng)域知識的綜合性數(shù)據(jù)科學(xué)人才缺乏，遠(yuǎn)不能滿足發(fā)展需要，尤其是缺乏既熟悉行業(yè)業(yè)務(wù)需求，又掌握大數(shù)據(jù)技術(shù)與管理的綜合型人才。學(xué)習(xí)目標(biāo)能說出大數(shù)據(jù)面臨的挑戰(zhàn)。FOUR1.3.4習(xí)題與實(shí)踐1.3.4習(xí)題與實(shí)踐1.簡答題（1）列舉2個大數(shù)據(jù)的應(yīng)用場景。（2）列舉大數(shù)據(jù)與云計算深度融合產(chǎn)生的商業(yè)價值。（3）大數(shù)據(jù)面臨哪些挑戰(zhàn)？2.實(shí)踐題收集面向?qū)W生管理的教育大數(shù)據(jù)應(yīng)用數(shù)據(jù)，包括學(xué)生的生活、學(xué)業(yè)、思想等數(shù)據(jù)，請應(yīng)用大數(shù)據(jù)思維分析學(xué)生學(xué)業(yè)質(zhì)量與學(xué)生日常行為的關(guān)系。

懇請各位同學(xué)批評指正第2章數(shù)據(jù)分析基礎(chǔ)大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐學(xué)習(xí)目標(biāo)1.掌握數(shù)據(jù)分析工具加載方法。2.掌握單變量數(shù)據(jù)表和雙變量數(shù)據(jù)表兩種模擬運(yùn)算表。3.掌握通過結(jié)果來確定相應(yīng)的輸入值的單變量求解運(yùn)算。4.學(xué)會運(yùn)用方案管理器對于含有多組不同的參數(shù)值給出多種不同解決方案，從中提供最佳解決方案。5.利用規(guī)劃求解解決產(chǎn)品比例、人員調(diào)度、優(yōu)化路線、調(diào)配材料等方面問題。6.掌握利用分析工具庫中數(shù)據(jù)分析工具針對工程分析、數(shù)理統(tǒng)計、經(jīng)濟(jì)計量等數(shù)據(jù)進(jìn)行分析和預(yù)測。學(xué)習(xí)目標(biāo)2.1模擬分析2.2規(guī)劃求解2.3數(shù)據(jù)分析工具庫2.4綜合練習(xí)12341.運(yùn)算模擬運(yùn)算變量求解方案管理2.分析加載工具規(guī)劃求解3.分析庫預(yù)測分析相關(guān)性分析回歸分析數(shù)據(jù)分析基礎(chǔ)選題背景及意義ONE2.1模擬分析模擬運(yùn)算變量求解方案管理當(dāng)目標(biāo)單元格為一個或多個單元格參數(shù)的計算公式，使用模擬運(yùn)算表，可以分析計算公式中一個或兩個單元格參數(shù)取值發(fā)生變化時，目標(biāo)單元格值的變化趨勢分類單變量模擬運(yùn)算表雙變量模擬運(yùn)算表2.1.1模擬運(yùn)算表模擬運(yùn)算表的創(chuàng)建創(chuàng)建參數(shù)所在區(qū)域輸入模擬運(yùn)算參數(shù)變化區(qū)域輸入模擬目標(biāo)公式單元格內(nèi)容進(jìn)行模擬運(yùn)算（數(shù)據(jù)-預(yù)測-模擬分析-模擬運(yùn)算表）2.1.1模擬運(yùn)算表財務(wù)函數(shù)PMT的說明PMT(rate,nper,pv,[fv],[type])計算在固定利率下，貸款的等額分期償還額。rate:各期利率nper:總投資期或貸款期，即該項(xiàng)投資或貸款的付款期總數(shù)pv:從該項(xiàng)投資或貸款開始計算時已經(jīng)入賬的款項(xiàng)，或一系列未來付款當(dāng)前值的累積和。fv:未來值，或在最后一次付款后可以獲得的現(xiàn)金余額。默認(rèn)為0。Type:邏輯值0或1，用于指定付款時間在期初還是期末，默認(rèn)0，在期末，1在期初。2.1.1模擬運(yùn)算表財務(wù)函數(shù)FV的說明FV(rate,nper,pmt,[pv],[type])基于固定利率和等額分期付款方式，返回某項(xiàng)投資的未來值。rate:各期利率nper:總投資期，即該項(xiàng)投資的付款期總數(shù)pmt:各期支出金額，在整個期內(nèi)不變。pv:從該項(xiàng)投資開始計算時已經(jīng)入賬的款項(xiàng)；或一系列未來付款當(dāng)前值的累計和。默認(rèn)為0。Type:0或1，用于指定付款時間在期初還是期末，默認(rèn)0，在期末，1在期初。2.1.1模擬運(yùn)算表財務(wù)函數(shù)PV的說明PV(rate,nper,pmt,[fv],[type])返回基項(xiàng)貸款的一系列將來償還額的當(dāng)前總值（或一次性償還額的現(xiàn)值）。rate:各期利率nper:總貸款期，即該項(xiàng)貸款的付款期總數(shù)pmt:各期所償還的金額，在整個投資期內(nèi)不變。fv:未來值，或在最后一次付款期后獲得的一次性償還。Type:0或1，用于指定付款時間在期初還是期末，默認(rèn)0，在期末，1在期初。2.1.1模擬運(yùn)算表單變量模擬運(yùn)算表例2-1模擬運(yùn)算表某人計劃在今后5年中每月存入1000元，存款年利率為1.55%，1-5年各年末的存款額情況（1）創(chuàng)建模擬運(yùn)算參數(shù)單元格區(qū)域（2）建立模擬運(yùn)算表B5：=FV(B3/12,B4*12,B2)（3）進(jìn)行模擬運(yùn)算選擇模擬運(yùn)算區(qū)域A5:G6“模擬運(yùn)算表”-“輸入引用行的單元格”文本框中指定單元格$B$42.1.1模擬運(yùn)算表雙變量模擬運(yùn)算表例2-2模擬運(yùn)算表某人現(xiàn)需要商業(yè)貸款200萬買房，已知貸款的基礎(chǔ)利率4.9%，請用模擬運(yùn)算表計算貸款利率分別為基礎(chǔ)利率0.85、0.9、0.95、1、1.1、1.2折，貸款年限分別為10、15、20、25、30年時每月的還款額，（1）創(chuàng)建模擬運(yùn)算參數(shù)單元格區(qū)域（先填寫F2=D2*0.85和G2=10）（2）建立模擬運(yùn)算表B4=PMT(F2/12,G2*12,B2)（3）按A5:A10的利率折扣計算B5:B10列區(qū)域的利率（4）進(jìn)行模擬運(yùn)算選擇模擬運(yùn)算區(qū)域B5:G10“模擬運(yùn)算表”-“輸入引用行的單元格”文本框中指定單元格$G$2和“輸入引用列的單元格”文本框中指定單元格$F$22.1.1模擬運(yùn)算表用于假設(shè)分析當(dāng)目標(biāo)單元格為包含一個或多個單元格引用參數(shù)的計算公式時，如果已知目標(biāo)單元格的預(yù)期結(jié)果值，要推算計算公式中某個變量的合適取值時，則可以使用

Excel

提供的單變量求解功能2.1.2單變量求解單變量求解過程創(chuàng)建參數(shù)單元格和目標(biāo)單元格參數(shù)單元格：輸入初始值目標(biāo)單元格：輸入公式單變量求解運(yùn)算選定目標(biāo)單元格數(shù)據(jù)-預(yù)測-模擬分析-單變量求解2.1.2單變量求解例2-3某人每月還款能力為20000元，現(xiàn)計劃向銀行申請按基準(zhǔn)利率4.9%貸款15年，請運(yùn)用單變量求解方法計算最多可貸款的金額。設(shè)置B2和B4初值為“4.9%”和“15”目標(biāo)單元格公式B3（=PMT(B2/12,B4*12,B5）單變量求解運(yùn)算2.1.2單變量求解單變量求解的原理

通過迭代計算實(shí)現(xiàn)單變量求解不斷修改可變單元格中的值，直到求得的解是目標(biāo)值。當(dāng)無法完全匹配時，可通過指定精度或者迭代次數(shù)求得近似解。默認(rèn)，執(zhí)行100次迭代求解，當(dāng)與目標(biāo)值的相差在0.001時停止計算也可通過“文件/選項(xiàng)/公式”中“計算選項(xiàng)”設(shè)置“最多迭代次數(shù)”和“最大誤差”。2.1.2單變量求解用于一些復(fù)雜的、涉及的影響因素較多的決策問題對于同一解題方案的模型，可以創(chuàng)建多組不同的參數(shù)值，得出多種不同解決方案，從中提供最佳解決方案。2.1.3方案管理器方案管理分析舉例例2-4：投資收益與風(fēng)險統(tǒng)計表利潤=投資金額×投資利潤率，對應(yīng)不同的風(fēng)險等級，請?zhí)峁┤N風(fēng)險等級方案報告，供投資者參考。2.1.3方案管理器例2-4：投資收益與風(fēng)險統(tǒng)計表建立原始表格（其中B5=B2*B3）數(shù)據(jù)-預(yù)測-模擬分析-方案管理器2.1.3方案管理器例2-4：投資收益與風(fēng)險統(tǒng)計表單擊“添加”編輯方案輸入方案名選擇可變單元格2.1.3方案管理器例2-4：投資收益與風(fēng)險統(tǒng)計表單擊“確定”設(shè)置方案變量值第1組用默認(rèn)值確定后繼續(xù)添加第2組：穩(wěn)健方案第3組：積極方案可變單元格仍然是B2:B4，變量值相應(yīng)更改2.1.3方案管理器例2-4：投資收益與風(fēng)險統(tǒng)計表3組方案都添加之后單擊“摘要”方案摘要結(jié)果單元格2.1.3方案管理器例2-4：投資收益與風(fēng)險統(tǒng)計表最終方案的羅列2.1.3方案管理器TWO2.2規(guī)劃求解加載工具規(guī)劃求解為Excel添加可選的命令和功能加載項(xiàng)分類Excel加載項(xiàng)文件-選項(xiàng)-加載項(xiàng)類別可下載的加載項(xiàng)：從O下載安裝自定義加載項(xiàng)2.2.1數(shù)據(jù)分析工具加載加載項(xiàng)的實(shí)現(xiàn)方法用于擴(kuò)展Excel

的功能文件—選項(xiàng)—加載項(xiàng)在打開的對話框中可以看到許多加載項(xiàng)2.2.1數(shù)據(jù)分析工具加載這樣選選擇Excel加載項(xiàng)-轉(zhuǎn)到顯示“加載宏”對話框選定需要加載的工具加載后“數(shù)據(jù)”選項(xiàng)卡中可以看到數(shù)據(jù)分析規(guī)劃求解選中3條2.2.1數(shù)據(jù)分析工具加載在滿足所有的約束條件下，對直接或間接與目標(biāo)單元格中公式相關(guān)聯(lián)的一組單元格中的數(shù)值進(jìn)行調(diào)整，最終在目標(biāo)單元格公式中求得期望的結(jié)果生產(chǎn)計劃生產(chǎn)調(diào)度運(yùn)輸調(diào)度營銷策略2.2.2規(guī)劃求解問題規(guī)劃變量需要求解的未知數(shù)，可變約束條件對規(guī)劃變量的約束目標(biāo)規(guī)劃求解目標(biāo)計算公式2.2.2規(guī)劃求解問題例2-5規(guī)劃求解2.2.2規(guī)劃求解問題某企業(yè)生產(chǎn)兩種飲料甲和乙，需要兩種配料A和B，每生產(chǎn)飲料甲一瓶需要配料A：0.2千克、B：0.3千克，每生產(chǎn)飲料乙一瓶需要配料A：0.3千克、B：0.5千克，企業(yè)現(xiàn)存儲的A和B配料均為150千克，且配料A的價格為2元/千克，B的價格為3元/千克，現(xiàn)市場需求飲料乙是飲料甲的兩倍，運(yùn)用規(guī)劃求解方法計算企業(yè)為實(shí)現(xiàn)最大利潤應(yīng)安排飲料甲和乙的產(chǎn)量。例2-5規(guī)劃求解2.2.2規(guī)劃求解問題①依題意設(shè)計一個表格，兩個變量單元格，有三個約束條件，一個最優(yōu)目標(biāo)。在約束條件單元格中分別輸入公式“=E3*B3+E4*C3”、“=F3*B3+F4*C3”、“=2*B3-C3”，在最優(yōu)目標(biāo)單元格中輸入公式“=G3*B3+G4*C3-B3*(E3*H3+F3*I3)-C3*(E4*H3+F4*I3)”。例2-5規(guī)劃求解2.2.2規(guī)劃求解問題②單擊“數(shù)據(jù)”選項(xiàng)卡右側(cè)的“規(guī)劃求解”工具，在彈出的“規(guī)劃求解參數(shù)”對話框中，在“設(shè)置目標(biāo)”文本框中選擇“B7”單元格，“通過更改可變單元格”文本框中拖選“B3:C3”單元格區(qū)域。單擊“添加”按鈕，分別設(shè)置單元格B3、C3為“int”，單元格B4<=E5，B5<=F5，單元格B6<=0，添加完成后單擊“確定”按扭，返回“規(guī)劃求解參數(shù)”對話框中，“選擇求解方法”下拉列表中選擇“單純線性規(guī)劃”。例2-5規(guī)劃求解2.2.2規(guī)劃求解問題③單擊“求解”按鈕，在彈出的“規(guī)劃求解結(jié)果”對話框中單擊“確定”按鈕，計算出最優(yōu)方案為應(yīng)生產(chǎn)飲料A115瓶，飲料B231瓶。④在彈出的“規(guī)劃求解結(jié)果”對話框中選擇“運(yùn)算結(jié)果報告”，再單擊“確定”按鈕，即可生成運(yùn)算結(jié)果報告。THREE2.3數(shù)據(jù)分析工具庫預(yù)測分析相關(guān)性分析回歸分析用于復(fù)雜統(tǒng)計或工程分析準(zhǔn)備用于分析的數(shù)據(jù)數(shù)據(jù)-分析-數(shù)據(jù)分析設(shè)置參數(shù)，執(zhí)行分析，獲得結(jié)果2.3數(shù)據(jù)分析工具庫預(yù)測分析是通過對過去和現(xiàn)在的數(shù)據(jù)去分析未來的趨勢，其中較常用的方法之一就是移動平均法。2.3.1預(yù)測分析移動平均基于過去幾個時期中變量的平均值，設(shè)計預(yù)測期間的值多用來預(yù)測銷售量、庫存或其他趨勢變化（1）準(zhǔn)備用于分析的數(shù)據(jù)輸入?yún)^(qū)域（2）調(diào)用“移動平均”分析工具（3）指定“移動平均”分析工具所需要的數(shù)據(jù)和參數(shù)（4）執(zhí)行分析并顯示結(jié)果2.3.1預(yù)測分析例2-6：2017年居民消費(fèi)價格月度漲跌幅度如表所示，利用移動平均法預(yù)測漲跌幅度并以圖表形式輸出。2.3.1預(yù)測分析①在工作表的一列上輸入各時間點(diǎn)上的觀察值②“數(shù)據(jù)”-“分析/數(shù)據(jù)分析”在對話框中選擇“移動平均”2.3.1預(yù)測分析2.3.1預(yù)測分析③“移動平均”對話框

輸入?yún)^(qū)域：確定數(shù)據(jù)來源

移動平均數(shù)值的間隔：默認(rèn)輸出區(qū)域：放置結(jié)果的區(qū)域

勾選：圖表輸出、標(biāo)準(zhǔn)誤差相關(guān)系數(shù)用以反映變量之間相關(guān)關(guān)系密切程度的統(tǒng)計指標(biāo)，如反應(yīng)兩個變量之間的線性相關(guān)關(guān)系協(xié)方差表示的是兩個變量的總體的誤差如果兩個變量的變化趨勢一致，那么兩個變量之間的協(xié)方差就是正值。如果兩個變量的變化趨勢相反，那么兩個變量之間的協(xié)方差就是負(fù)值。2.3.2相關(guān)性分析例2-7：2012~2017年居民消費(fèi)價格月度漲跌幅度如圖所示，利用相關(guān)系數(shù)工具分析各年、各月數(shù)據(jù)間的相關(guān)性。2.3.2相關(guān)性分析①“數(shù)據(jù)”-“分析/數(shù)據(jù)分析”對話框中選擇“相關(guān)系數(shù)”②在“相關(guān)系數(shù)”對話框中選擇逐列

設(shè)置輸入和輸出區(qū)域2.3.2相關(guān)性分析①“數(shù)據(jù)”-“分析/數(shù)據(jù)分析”對話框中選擇“相關(guān)系數(shù)”②在“相關(guān)系數(shù)”對話框中選擇逐行

設(shè)置輸入和輸出區(qū)域2.3.2相關(guān)性分析一般來說，相關(guān)性的評判標(biāo)準(zhǔn)為相關(guān)系數(shù)在0.3以下認(rèn)為不相關(guān)；0.3~0.5為低度相關(guān)；0.5~0.8為顯著相關(guān)；0.8以上為高度相關(guān)。根據(jù)這個標(biāo)準(zhǔn)可以看出，2017年與2016年消費(fèi)價格漲跌幅度相關(guān)性為顯著，與2016年之前年份相關(guān)性較小。同理也可以看出九月份消費(fèi)指數(shù)漲跌幅度與十月份高度相關(guān)。2.3.2相關(guān)性分析回歸分析就是運(yùn)用統(tǒng)計學(xué)的理論和方法研究兩個或多個變量之間存在運(yùn)用統(tǒng)計的關(guān)系，最終根據(jù)變量的觀測值建立表達(dá)變量之間關(guān)系的曲線方程，也就是所謂的曲線擬合問題。其中所關(guān)注的變量稱因變量，而影響因變量變化的那些變量稱為自變量。2.3.3回歸分析

根據(jù)自變量的個數(shù)分類：一元回歸（簡單回歸）多元回歸按變量之間關(guān)系的形式分類：線性回歸非線性回歸2.3.3回歸分析

Excel中線性回歸分析通過對一組觀察值使用“最小二乘法”進(jìn)行直線擬合可同時解決一元回歸與多元回歸問題2.3.3回歸分析例2-8：觀測自變量x和因變量y的變化數(shù)值，利用線性回歸工具擬合x和y的方程。2.3.3回歸分析①“數(shù)據(jù)”-“分析/數(shù)據(jù)分析”

對話框中選擇“回歸”②在“回歸”對話框中：

設(shè)置x值和y值輸入?yún)^(qū)域勾選“殘差”、“殘

差圖”、“標(biāo)準(zhǔn)誤差”、“線性擬合圖”和“正態(tài)

概率圖”2.3.3回歸分析2.3.3回歸分析回歸統(tǒng)計表部分分析結(jié)果解釋：MultipleR：復(fù)相關(guān)系數(shù)，又稱相關(guān)系數(shù)。用來衡量y與x之間的相關(guān)程度，0.997757表示二者的關(guān)系是高度正相關(guān)。RSquare：復(fù)測定系數(shù)R2，說明用自變量解釋因變量變差的程度，用來測定因變量Y的擬合效果，本例0.99519說明用自變量可解釋因變量的變差的程度99.52%。AdjustedRSquare：調(diào)整復(fù)測定系數(shù)R2，僅用于多元回歸。可衡量加入獨(dú)立變量后模型的擬合程度。標(biāo)準(zhǔn)誤差:用來衡量擬合程度的大小，越小說明擬合程度越好。觀測值：用來估計回歸方程數(shù)據(jù)的觀測值個數(shù)。

利用回歸計算得到的x和y的方程為：

y=1.510989x+3.3692312.3.3回歸分析2.1模擬分析閱讀教材P39-45，完成例2-1~2-4完成P55實(shí)踐題2.2規(guī)劃求解閱讀教材P46-48，完成例2-5完成P56實(shí)踐題2.3數(shù)據(jù)分析工具庫閱讀教材P49-53，完成例2-6~2-82.4綜合練習(xí)完成2.4綜合練習(xí)2.4綜合練習(xí)懇請各位同學(xué)批評指正大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐第3章數(shù)據(jù)庫應(yīng)用基礎(chǔ)學(xué)習(xí)目標(biāo)1.

了解數(shù)據(jù)庫管理技術(shù)、數(shù)據(jù)模型的基本概念。2.

掌握關(guān)系模型以及創(chuàng)建關(guān)系型數(shù)據(jù)庫的方法。3.

掌握用結(jié)構(gòu)化查詢語言SQL實(shí)現(xiàn)查詢需求的方法。4.

了解數(shù)據(jù)庫設(shè)計的基本過程和方法

。目錄頁contents數(shù)據(jù)庫技術(shù)基礎(chǔ)數(shù)據(jù)表數(shù)據(jù)庫設(shè)計數(shù)據(jù)查詢3.13.23.33.43.5Excel和Access的連接3.6MySQL簡介（略）3.1數(shù)據(jù)庫技術(shù)基礎(chǔ)

數(shù)據(jù)庫技術(shù)是從上世紀(jì)60年代開始興起的數(shù)據(jù)組織和管理技術(shù)，隨著現(xiàn)代社會對數(shù)據(jù)組織和管理應(yīng)用需求的不斷擴(kuò)大，數(shù)據(jù)庫技術(shù)也隨之不斷豐富和發(fā)展，在信息技術(shù)時代，漸漸成為計算機(jī)軟、硬件技術(shù)發(fā)展的最重要的一個分支。大數(shù)據(jù)時代到來后，世界各國都把大數(shù)據(jù)發(fā)展技術(shù)上升到國家戰(zhàn)略高度的層面，大數(shù)據(jù)的體量和結(jié)構(gòu)、計算和分析方法與傳統(tǒng)數(shù)據(jù)庫技術(shù)有很大差別，但大數(shù)據(jù)并不是要拋棄“小數(shù)據(jù)”，結(jié)構(gòu)化數(shù)據(jù)的組織和管理始終是大數(shù)據(jù)無法回避的基礎(chǔ)問題。3.1數(shù)據(jù)庫技術(shù)基礎(chǔ)目錄頁contents3.1.1數(shù)據(jù)與數(shù)據(jù)管理3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)3.1.3數(shù)據(jù)模型3.1.4數(shù)據(jù)庫技術(shù)發(fā)展123453.1.5習(xí)題與實(shí)踐選題背景及意義ONE3.1.1數(shù)據(jù)與數(shù)據(jù)管理數(shù)據(jù)庫技術(shù)是研究如何存儲、使用和管理數(shù)據(jù)的技術(shù)。1．信息與數(shù)據(jù)（信息、材料和能源：三大資源）2．?dāng)?shù)據(jù)處理有效地把數(shù)據(jù)組織到計算機(jī)中，由計算機(jī)對數(shù)據(jù)進(jìn)行一系列儲存、加工、計算、分類、檢索、傳輸、輸出等操作的過程3．?dāng)?shù)據(jù)管理數(shù)據(jù)收集、分類、組織、編碼、存儲、檢索和維護(hù)等操作，是數(shù)據(jù)處理的中心環(huán)節(jié)數(shù)據(jù)管理的目的是實(shí)現(xiàn)數(shù)據(jù)共享、降低數(shù)據(jù)冗余、提高數(shù)據(jù)的獨(dú)立性、完整性和安全性，使數(shù)據(jù)的處理和使用更加高效3.1.1數(shù)據(jù)與數(shù)據(jù)管理4．?dāng)?shù)據(jù)管理技術(shù)的歷史（1）人工管理階段（2）文件系統(tǒng)階段①

數(shù)據(jù)共享性差、冗余度大②

數(shù)據(jù)的不一致性③

數(shù)據(jù)與程序獨(dú)立性仍不高用戶1用戶2學(xué)生選課程序?qū)W籍管理程序勤工儉學(xué)管理程序用戶3學(xué)生課程文件學(xué)生學(xué)籍文件學(xué)生助學(xué)文件3.1.1數(shù)據(jù)與數(shù)據(jù)管理（3）數(shù)據(jù)庫系統(tǒng)階段以下三件大事標(biāo)志著數(shù)據(jù)庫技術(shù)的誕生：

1968年IBM公司推出的層次模型的IMS數(shù)據(jù)庫管理系統(tǒng)。

1969年美國數(shù)據(jù)系統(tǒng)語言研究會下屬數(shù)據(jù)庫任務(wù)組公布了關(guān)于網(wǎng)狀模型的DBTG報告。

1970年IBM公司研究員E.F.Codd發(fā)表了題為“大型共享數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型”論文，提出了數(shù)據(jù)庫的關(guān)系模型，開創(chuàng)了關(guān)系方法和關(guān)系數(shù)據(jù)研究，為關(guān)系數(shù)據(jù)庫的發(fā)展奠定了理論基礎(chǔ)。3.1.1數(shù)據(jù)與數(shù)據(jù)管理選題背景及意義two3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)1．?dāng)?shù)據(jù)庫數(shù)據(jù)庫（Database，簡稱DB），存放數(shù)據(jù)的倉庫，這個倉庫建立在計算機(jī)存儲設(shè)備之上，里面的數(shù)據(jù)按一定的格式進(jìn)行存儲具有永久存儲、有組織和可共享三個基本特點(diǎn)3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)2.數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，簡稱DBMS）

為管理數(shù)據(jù)庫而設(shè)計的軟件系統(tǒng)，負(fù)責(zé)數(shù)據(jù)庫的建立、使用和維護(hù)。主要功能：（1）數(shù)據(jù)庫定義（2）數(shù)據(jù)組織、存儲和管理（3）數(shù)據(jù)存?。?）數(shù)據(jù)庫事務(wù)管理和運(yùn)行管理(數(shù)據(jù)的完整性、安全性控制、并發(fā)控制、數(shù)據(jù)庫恢復(fù)機(jī)制）（5）數(shù)據(jù)庫的建立與維護(hù)3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)3.數(shù)據(jù)庫系統(tǒng)（DataBaseSystem，簡稱DBS）數(shù)據(jù)庫硬件軟件操作系統(tǒng)DBMS以DBMS為核心的應(yīng)用開發(fā)工具為特定應(yīng)用環(huán)境開發(fā)的數(shù)據(jù)庫應(yīng)用系統(tǒng)用戶DBA等

3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)4.數(shù)據(jù)庫系統(tǒng)的特點(diǎn)（1）數(shù)據(jù)結(jié)構(gòu)化（2）實(shí)現(xiàn)數(shù)據(jù)共享（3）數(shù)據(jù)冗余度小，易于擴(kuò)充（4）數(shù)據(jù)與程序獨(dú)立（5）統(tǒng)一的數(shù)據(jù)控制功能3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)5.常用數(shù)據(jù)庫管理系統(tǒng)（1）Access（2）SQLServer（3）MySQL（4）PostgreSQL（5）Oracle（6）DB23.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)6.國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)（1）OceanBaseOceanBase是由螞蟻集團(tuán)完全自主研發(fā)的國產(chǎn)原生分布式數(shù)據(jù)庫，始創(chuàng)于2010年。已連續(xù)11年平穩(wěn)支撐雙11。2020年6月8日，螞蟻集團(tuán)宣布，將自研數(shù)據(jù)庫產(chǎn)品OceanBase獨(dú)立進(jìn)行公司化運(yùn)作，成立由螞蟻100%控股的數(shù)據(jù)庫公司北京奧星貝斯科技有限公司。全國200家頭部金融客戶中，1/4的客戶將OceanBase作為核心系統(tǒng)升級首選。3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)6.國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)（2）PolarDB

PolarDB是阿里云自主研發(fā)的新一代關(guān)系型云原生數(shù)據(jù)庫。PolarDB特別適合用于云原生應(yīng)用和大數(shù)據(jù)分析，能夠提供實(shí)時的數(shù)據(jù)分析能力和彈性伸縮能力，滿足各種規(guī)模的企業(yè)需求??。2024年1月17日，阿里云發(fā)布PolarDB新版本。3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)6.國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)（3）達(dá)夢數(shù)據(jù)庫達(dá)夢數(shù)據(jù)庫管理系統(tǒng)是達(dá)夢公司（武漢）推出的具有完全自主知識產(chǎn)權(quán)的高性能數(shù)據(jù)庫管理系統(tǒng)，簡稱DM。強(qiáng)調(diào)與國產(chǎn)化操作系統(tǒng)的適配性和安全性。達(dá)夢數(shù)據(jù)庫在安裝和配置上相對簡單，具有優(yōu)化的目錄結(jié)構(gòu)和中文用戶界面，適合中國人使用。它在金融、政府、電信等領(lǐng)域有廣泛的應(yīng)用，特別是在國產(chǎn)化進(jìn)程中，達(dá)夢數(shù)據(jù)庫表現(xiàn)出色?。3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)6.國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)

2024年8月中國數(shù)據(jù)庫排行榜3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)6.國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)（4）Polardb和OceanBasePolarDB是阿里云推出的一款云原生關(guān)系型數(shù)據(jù)庫，它基于開源數(shù)據(jù)庫PostgreSQL進(jìn)行研發(fā)，兼容Oracle數(shù)據(jù)庫，PolarDB的主要目標(biāo)是為用戶提供高性能、高可用、可擴(kuò)展的數(shù)據(jù)庫服務(wù)，幫助企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。OceanBase則是螞蟻金服自主研發(fā)的一款分布式關(guān)系型數(shù)據(jù)庫，它采用了分布式架構(gòu)，支持海量數(shù)據(jù)的存儲和處理，OceanBase的主要目標(biāo)是為金融行業(yè)提供穩(wěn)定、高效、安全的數(shù)據(jù)庫服務(wù)，支撐金融業(yè)務(wù)的高速發(fā)展。3.1.2數(shù)據(jù)庫與數(shù)據(jù)庫系統(tǒng)選題背景及意義THREE3.1.3數(shù)據(jù)模型數(shù)據(jù)模型概述概念模型層次模型網(wǎng)狀模型關(guān)系模型3.1.3數(shù)據(jù)模型1.數(shù)據(jù)模型概述（1）

數(shù)據(jù)模型的定義模型：現(xiàn)實(shí)世界特征的模擬和抽象數(shù)據(jù)模型：現(xiàn)實(shí)世界數(shù)據(jù)特征的模擬和抽象在數(shù)據(jù)庫領(lǐng)域，用數(shù)據(jù)模型描述數(shù)據(jù)的整體結(jié)構(gòu)（2）

現(xiàn)實(shí)世界、信息世界和數(shù)據(jù)世界現(xiàn)實(shí)世界指人們頭腦之外的客觀世界現(xiàn)實(shí)世界中的對象統(tǒng)稱為“實(shí)體（Entity）”，實(shí)體集（學(xué)生）、通過特性標(biāo)識每個實(shí)體信息世界是現(xiàn)實(shí)世界在人們頭腦中的反映數(shù)據(jù)世界又稱為計算機(jī)世界，是將信息世界中的信息進(jìn)一步轉(zhuǎn)換為便于在計算機(jī)上實(shí)現(xiàn)的數(shù)據(jù)3.1.3數(shù)據(jù)模型（3）

數(shù)據(jù)模型的二個層次概念模型（信息模型）

是按用戶的觀點(diǎn)對數(shù)據(jù)和信息建立模型，是現(xiàn)實(shí)世界的第一層抽象，是對信息世界中數(shù)據(jù)特征的描述數(shù)據(jù)模型（邏輯數(shù)據(jù)模型）

是按計算機(jī)的觀點(diǎn)對數(shù)據(jù)建立模型，是現(xiàn)實(shí)世界的第二層抽象，是對數(shù)據(jù)世界中數(shù)據(jù)之間關(guān)系的描述3.1.3數(shù)據(jù)模型2.概念模型（實(shí)體-聯(lián)系）(1)實(shí)體（Entity）客觀存在并可相互區(qū)別的事物稱為實(shí)體?？梢允蔷唧w的人、事、物或抽象的概念。(2)屬性（Attribute）實(shí)體所具有的某一特性稱為屬性。一個實(shí)體可以由若干個屬性來刻畫。(3)碼（Key）也叫候選碼或鍵唯一標(biāo)識實(shí)體的屬性組稱為碼。3.1.3數(shù)據(jù)模型(4)域（Domain）屬性的取值范圍稱為該屬性的域。(5)實(shí)體集（EntitySet）同型實(shí)體的集合稱為實(shí)體集3.1.3數(shù)據(jù)模型（1）實(shí)體間的聯(lián)系①一對一聯(lián)系（1:1）如果對于實(shí)體集A中的每一個實(shí)體，實(shí)體集B中至多有一個實(shí)體與之聯(lián)系，反之亦然，則稱實(shí)體集A與實(shí)體集B具有一對一聯(lián)系②一對多聯(lián)系（1:n）③多對多聯(lián)系（m:n）系與系主任專業(yè)與學(xué)生學(xué)生與課程3.1.3數(shù)據(jù)模型（2）概念模型的表示方法-E-R圖

實(shí)體－聯(lián)系方法(Entity-RelationshipApproach，E-R方法)：1976年由P.P.S.ChenE-R圖的基本圖素矩形框：實(shí)體 –菱形框：聯(lián)系橢圓形框：屬性

–直線：連接

畫E-R圖的步驟①確定實(shí)體 ②確定各實(shí)體的屬性③確定實(shí)體間聯(lián)系 ④確定各聯(lián)系的屬性3.1.3數(shù)據(jù)模型E-R圖聯(lián)系(續(xù))聯(lián)系本身：用菱形表示，菱形框內(nèi)寫明聯(lián)系名，并用無向邊分別與有關(guān)實(shí)體連接起來，同時在無向邊旁標(biāo)上聯(lián)系的類型（1:1、1:n或m:n）聯(lián)系的屬性：聯(lián)系本身也是一種實(shí)體，也可以有屬性。如果一個聯(lián)系具有屬性，則這些屬性也要用無向邊與該聯(lián)系連接起來

3.1.3數(shù)據(jù)模型聯(lián)系的表示方法實(shí)體1聯(lián)系名實(shí)體2111:1聯(lián)系實(shí)體1聯(lián)系名實(shí)體2mnm:n聯(lián)系實(shí)體1聯(lián)系名實(shí)體21n1:n聯(lián)系3.1.3數(shù)據(jù)模型一對一聯(lián)系（1:1）對A的一個給定值，有且只有一個B的值與之相對，反之亦然。一對多聯(lián)系（1:m）多對多聯(lián)系（m:n）

實(shí)體1聯(lián)系名實(shí)體2111:1聯(lián)系3.1.3數(shù)據(jù)模型一對一聯(lián)系（1:1）一對多聯(lián)系（1:m）若對A的一個給定值，有多個B的值與之相對應(yīng)，反之有且僅有一個A的值與B的每個給定值相對應(yīng)。多對多聯(lián)系（m:n）

實(shí)體1聯(lián)系名實(shí)體21m1:n聯(lián)系3.1.3數(shù)據(jù)模型（1）實(shí)體間的聯(lián)系一對一聯(lián)系（1:1）一對多聯(lián)系（1:m）多對多聯(lián)系（m:n）若對A的一個給定值，有多個B的值與之相對應(yīng)，反之對B的一個給定值，也有多個A的值與之相對應(yīng)。

實(shí)體1聯(lián)系名實(shí)體2mnm:n聯(lián)系3.1.3數(shù)據(jù)模型概念模型實(shí)例3.1.3數(shù)據(jù)模型概念模型實(shí)例3.1.3數(shù)據(jù)模型概念模型實(shí)例3.1.3數(shù)據(jù)模型常見的三種數(shù)據(jù)模型層次模型網(wǎng)狀模型關(guān)系模型層次模型與網(wǎng)狀模型統(tǒng)稱為非關(guān)系模型流行于20世紀(jì)70~80年代3.1.3數(shù)據(jù)模型3.層次模型概念層次模型結(jié)構(gòu)是有向樹結(jié)構(gòu)、樹中結(jié)點(diǎn)表示實(shí)體父子結(jié)點(diǎn)之間的聯(lián)系都為一對多的聯(lián)系3.1.3數(shù)據(jù)模型3.層次模型優(yōu)點(diǎn)聯(lián)系通過指針來實(shí)現(xiàn)，因而查詢效率較高簡單、直觀、容易理解缺點(diǎn)表示多對多的聯(lián)系不方便查找必須通過雙親結(jié)點(diǎn)，使操作趨于過程化3.1.3數(shù)據(jù)模型4.網(wǎng)狀模型概念網(wǎng)狀模型節(jié)點(diǎn)之間的聯(lián)系不受層次的限制，可以任意發(fā)生聯(lián)系，更適合描述復(fù)雜的事物及其聯(lián)系用結(jié)點(diǎn)來表示實(shí)體，結(jié)點(diǎn)之間的聯(lián)系通過有向線段表示一個結(jié)點(diǎn)可以沒有父結(jié)點(diǎn)，也可以有兩個或者兩個以上的父結(jié)點(diǎn)3.1.3數(shù)據(jù)模型4.網(wǎng)狀模型優(yōu)點(diǎn)聯(lián)系通過指針來實(shí)現(xiàn)多對多的聯(lián)系較容易實(shí)現(xiàn)查詢效率較高缺點(diǎn)數(shù)據(jù)結(jié)構(gòu)復(fù)雜、編程也復(fù)雜3.1.3數(shù)據(jù)模型5.關(guān)系模型概念數(shù)據(jù)結(jié)構(gòu)是一張二維表，實(shí)體間的聯(lián)系都用二維表表示二維表在關(guān)系模型中稱為關(guān)系對關(guān)系的描述稱為關(guān)系模式，表示為：

關(guān)系名（屬性1，屬性2，…，屬性n）舉例：班級（班號，班級名稱，系名稱，入學(xué)時間，班級人數(shù)，班主任工號）教師（工號，姓名，性別，系名稱，職稱）3.1.3數(shù)據(jù)模型優(yōu)點(diǎn)有嚴(yán)格的理論基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)簡單、清晰、用戶易理解存取路徑對用戶透明，程序與數(shù)據(jù)的獨(dú)立性高缺點(diǎn)查詢效率不如非關(guān)系模型3.1.3數(shù)據(jù)模型選題背景及意義FOUR3.1.4數(shù)據(jù)庫技術(shù)的發(fā)展數(shù)據(jù)模型表達(dá)更復(fù)雜數(shù)據(jù)結(jié)構(gòu)更強(qiáng)的語義表達(dá)能力數(shù)據(jù)庫技術(shù)與多學(xué)科技術(shù)相互滲透、相互結(jié)合面向?qū)ο髷?shù)據(jù)庫分布式數(shù)據(jù)庫專家數(shù)據(jù)庫多媒體數(shù)據(jù)庫嵌入式數(shù)據(jù)庫（SQLite）巨型與超巨型數(shù)據(jù)庫技術(shù)數(shù)據(jù)倉庫數(shù)據(jù)挖掘技術(shù)大數(shù)據(jù)技術(shù)3.1.4數(shù)據(jù)庫技術(shù)的發(fā)展FIVE3.1.5習(xí)題與實(shí)踐1.簡答題（1）數(shù)據(jù)庫系統(tǒng)階段的數(shù)據(jù)管理技術(shù)相對于文件系統(tǒng)階段有哪些改進(jìn)？（2）在數(shù)據(jù)庫概念模型中實(shí)體的聯(lián)系有哪幾種？（3）什么是數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)與程序的相互獨(dú)立性？（4）數(shù)據(jù)挖掘技術(shù)用于研究和解決哪些問題？（5）數(shù)據(jù)管理技術(shù)的發(fā)展方向有哪些？2.實(shí)踐題（1）調(diào)研數(shù)據(jù)庫技術(shù)和自己所學(xué)專業(yè)發(fā)展的聯(lián)系、數(shù)據(jù)庫技術(shù)對自己所學(xué)專業(yè)的影響和輔助作用，寫一篇800字以上的綜述。（2）參考例3-1，設(shè)計一個小型校園紀(jì)念品店的E-R模型。

3.1.5習(xí)題與實(shí)踐懇請各位同學(xué)批評指正大學(xué)信息技術(shù)3——數(shù)據(jù)分析與可視化實(shí)踐第3章數(shù)據(jù)庫應(yīng)用基礎(chǔ)學(xué)習(xí)目標(biāo)1.

了解數(shù)據(jù)庫管理技術(shù)、數(shù)據(jù)模型的基本概念。2.

掌握關(guān)系模型以及創(chuàng)建關(guān)系型數(shù)據(jù)庫的方法。3.

掌握用結(jié)構(gòu)化查詢語言SQL實(shí)現(xiàn)查詢需求的方法。4.

了解數(shù)據(jù)庫設(shè)計的基本過程和方法

。目錄頁contents數(shù)據(jù)庫技術(shù)基礎(chǔ)數(shù)據(jù)表數(shù)據(jù)庫設(shè)計數(shù)據(jù)查詢3.13.23.33.43.5Excel和Access的連接3.6MySQL簡介（略）3.2數(shù)據(jù)表目錄頁contents3.2.1關(guān)系模型定義3.2.2關(guān)系運(yùn)算3.2.3Access簡介3.2.4表和關(guān)系的創(chuàng)建123453.2.5記錄的輸入和編輯目錄頁contents3.2.6表結(jié)構(gòu)的修改3.2.7規(guī)范化設(shè)計方法3.2.8習(xí)題與實(shí)踐678選題背景及意義ONE3.2.1關(guān)系模型定義關(guān)系型數(shù)據(jù)庫是基于關(guān)系數(shù)據(jù)模型而創(chuàng)建的數(shù)據(jù)庫。關(guān)系模型中的實(shí)體和實(shí)體間的聯(lián)系都用關(guān)系（二維表）表示。關(guān)系模型包括關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合和關(guān)系完整性約束三個部分。3.2.1關(guān)系模型定義1.關(guān)系模型的數(shù)據(jù)結(jié)構(gòu)關(guān)系模型的基本數(shù)據(jù)結(jié)構(gòu)是關(guān)系（relation），一個關(guān)系形式上就是一張行列結(jié)構(gòu)的二維表表頭稱為關(guān)系每一列稱為關(guān)系的一個屬性屬性的個數(shù)是關(guān)系的度屬性的取值范圍稱為域（domain)每一行稱為一個元組或記錄元組（記錄）的總數(shù)稱為關(guān)系的基數(shù)關(guān)系就是元組的集合3.2.1關(guān)系模型定義一個具體的關(guān)系可以簡單地以關(guān)系名及其屬性列表來表示

下表中的教師實(shí)體的關(guān)系數(shù)據(jù)模式可以表示為：教師（工號，姓名，性別，系別，職稱）

3.2.1關(guān)系模型定義關(guān)系數(shù)據(jù)模型和數(shù)學(xué)中的關(guān)系概念區(qū)別：（1）元組個數(shù)為無限的關(guān)系沒有現(xiàn)實(shí)意義，所以關(guān)系數(shù)據(jù)模型中的關(guān)系應(yīng)該是有限集合。（2）數(shù)學(xué)中元組的值是有序的，而關(guān)系模型不強(qiáng)調(diào)這種有序性，并通過對關(guān)系的各列添加屬性名來取消這種有序性。3.2.1關(guān)系模型定義2.關(guān)系的性質(zhì)

根據(jù)關(guān)系的定義，關(guān)系應(yīng)具有如下性質(zhì)：（1）列應(yīng)為同質(zhì)。即每一列中的屬性值的數(shù)據(jù)類型必須相同，來自同一個值域。（2）不同的列可以來自同一個值域，但屬性有各自不同的屬性名。（3）列的次序無關(guān)實(shí)際意義，可以任意交換。（4）不可以有完全相同的元組，即集合中不應(yīng)有重復(fù)的元組。（5）行的次序無關(guān)實(shí)際意義，可以任意交換。（6）屬性值必須為原子分量，不可再分。3.2.1關(guān)系模型定義3.2.1關(guān)系模型定義系別性別人數(shù)電子系男72女18計算機(jī)系男84女16系別年級人數(shù)男女電子系20067218計算機(jī)系20068416表3-2-2包含多值字段表3-2-3包含復(fù)合字段3.2.1關(guān)系模型定義鍵是在關(guān)系型數(shù)據(jù)庫系統(tǒng)中用于檢索和限定元組的重要機(jī)制。由關(guān)系的性質(zhì)可知，關(guān)系中的元組應(yīng)互不相同，但實(shí)際應(yīng)用中不同元組的部分屬性值可能相同。例如在下面的教師表中，不同教師的職稱很可能相同。因此，很有必要對能將一個元組和其它元組區(qū)別開的某個屬性或者屬性的組合做一個專門的定義。3.主鍵和外鍵3.2.1關(guān)系模型定義（1）候選鍵（candidatekey）

如果關(guān)系中的某個屬性或?qū)傩缘慕M合的值可以唯一地標(biāo)識一個元組，而它的任何真子集均無此特性，則稱這個屬性或?qū)傩缘慕M合為該關(guān)系的候選鍵。極端情況下，候選鍵包含全部屬性，則稱為全鍵。（2）主鍵