計算思維與

智能計算基礎(chǔ)主講老師：XXXXXXXX2025/10/142第7章數(shù)據(jù)庫與大數(shù)據(jù)2025/10/1437.1數(shù)據(jù)7.2數(shù)據(jù)庫7.3大數(shù)據(jù)2025/10/1441數(shù)據(jù)第節(jié)2025/10/1457.1.1

數(shù)據(jù)數(shù)據(jù)是數(shù)據(jù)庫系統(tǒng)研究和處理的基本對象。早期計算機系統(tǒng)主要用于科學計算，處理的數(shù)據(jù)基本都是數(shù)值型數(shù)據(jù)，其實數(shù)字只是數(shù)據(jù)的一種最簡單形式。隨著計算機應用范圍不斷擴大，數(shù)據(jù)的種類也更加豐富，2025/10/146較常見的一種數(shù)據(jù)定義：

數(shù)據(jù)是描述事物的符號記錄。數(shù)據(jù)的表現(xiàn)形式不一定能完全表達其內(nèi)容，有些需要經(jīng)過解釋才能明確其具體含義。2025/10/147

數(shù)據(jù)處理（DataProcessing）指對各種形式數(shù)據(jù)進行的收集、組織、存儲、加工和傳播等一系列工作。數(shù)據(jù)處理的實質(zhì)就是從已有數(shù)據(jù)出發(fā)，經(jīng)過一系列適當?shù)募庸ぃD(zhuǎn)換成所需要的信息的過程。

信息=數(shù)據(jù)+數(shù)據(jù)處理數(shù)據(jù)處理工作主要是3類：（1）數(shù)據(jù)管理（2）數(shù)據(jù)加工（3）數(shù)據(jù)傳播2025/10/1487.1.2

數(shù)據(jù)管理

數(shù)據(jù)管理（DataManagement），具體工作包含三部分。

一，將收集到的數(shù)據(jù)按照合理的結(jié)構(gòu)進行分類、組織和編碼，并且存儲在物理設(shè)備上，使得數(shù)據(jù)可以持久性的保存。

二，能夠根據(jù)需要進行數(shù)據(jù)的新增、修改、和刪除等操作。

三，要提供數(shù)據(jù)查詢和基本的統(tǒng)計功能，以便使用者能夠快速得到所需要的正確數(shù)據(jù)，進行各種后期處理。2025/10/149

（1）人工管理階段20世紀50年代中期以前產(chǎn)生背景：應用需求：主要用于科學計算硬件

：外存只有紙帶、卡片、磁帶等，無直接存取存儲設(shè)備軟件

：尚無操作系統(tǒng)，更沒有管理數(shù)據(jù)的專門軟件；數(shù)據(jù)處理方式是批處理。2025/10/1410應用程序1應用程序2應用程序n數(shù)據(jù)集1數(shù)據(jù)集2數(shù)據(jù)集n……圖7.1人工管理階段應用程序與數(shù)據(jù)之間的一一對應關(guān)系2025/10/1411

特點：數(shù)據(jù)管理者：用戶（程序員），數(shù)據(jù)不保存數(shù)據(jù)面向的對象：某一應用程序數(shù)據(jù)共享程度：無共享、冗余度極大數(shù)據(jù)獨立性：不獨立，完全依賴于程序數(shù)據(jù)結(jié)構(gòu)化：無結(jié)構(gòu)數(shù)據(jù)控制能力：應用程序自己控制2025/10/1412

（2）文件系統(tǒng)階段20世紀50年代后期到60年代中期產(chǎn)生背景：應用需求：科學計算、管理硬件

：磁盤、磁鼓軟件

：有文件系統(tǒng)數(shù)據(jù)處理方式：聯(lián)機實時處理、批處理。2025/10/1413應用程序1應用程序2應用程序n文件組1文件組2文件組n……存取方法圖7.2文件系統(tǒng)階段應用程序與數(shù)據(jù)之間的對應關(guān)系2025/10/1414特點：數(shù)據(jù)管理者：文件系統(tǒng)，數(shù)據(jù)可長期保存數(shù)據(jù)面向的對象：某一應用程序數(shù)據(jù)共享程度：共享性差、冗余度大數(shù)據(jù)結(jié)構(gòu)化：記錄內(nèi)有結(jié)構(gòu),整體無結(jié)構(gòu)數(shù)據(jù)獨立性：獨立性差，數(shù)據(jù)的邏輯結(jié)構(gòu)改變必須修改應用程序數(shù)據(jù)控制能力：應用程序自己控制2025/10/1415

（3）數(shù)據(jù)庫系統(tǒng)階段20世紀60年代中期以后產(chǎn)生背景：應用需求：大規(guī)模管理硬件

：大容量磁盤、磁盤陣列軟件

：數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)處理方式：聯(lián)機實時處理,分布處理,批處理2025/10/1416應用程序1應用程序2應用程序n…數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫圖7.3數(shù)據(jù)庫管理階段應用程序與數(shù)據(jù)之間的對應關(guān)系2025/10/1417

文件系統(tǒng)為主的數(shù)據(jù)管理方式已經(jīng)不能滿足應用需求，為解決多用戶、多應用共享數(shù)據(jù)需求，更加高效地管理和使用數(shù)據(jù)，數(shù)據(jù)庫技術(shù)應運而生，出現(xiàn)了統(tǒng)一管理數(shù)據(jù)的專門的軟件系統(tǒng)——數(shù)據(jù)庫管理系統(tǒng)。

用數(shù)據(jù)庫系統(tǒng)來管理數(shù)據(jù)比文件系統(tǒng)有著明顯的優(yōu)點，數(shù)據(jù)管理者：數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)共享程度：共享性高、冗余度低數(shù)據(jù)結(jié)構(gòu)化：數(shù)據(jù)獨立性：獨立性高數(shù)據(jù)安全性高2025/10/1418

（4）大數(shù)據(jù)管理階段產(chǎn)生背景：和數(shù)據(jù)庫系統(tǒng)階段的區(qū)別：數(shù)據(jù)規(guī)模數(shù)據(jù)類型處理對象處理工具2025/10/14192數(shù)據(jù)庫第節(jié)2025/10/14207.2.1

數(shù)據(jù)庫概述1、數(shù)據(jù)庫

數(shù)據(jù)庫（Database，DB）可理解為存放數(shù)據(jù)的倉庫，是指長期存儲在計算機內(nèi)的、有組織、可共享的大量數(shù)據(jù)的集合。

數(shù)據(jù)庫本身可被看作是一個電子文件柜，它是基于計算機存儲設(shè)備、按照一定的格式存放持久性數(shù)據(jù)的“容器”。

數(shù)據(jù)庫中的數(shù)據(jù)都是按照一定的模式進行組織和存儲的，具有較少的冗余度、較高的數(shù)據(jù)獨立性和易擴展性，可被多個不同的用戶同時共享使用，并可通過相應的管理系統(tǒng)進行統(tǒng)一管理。2025/10/14212、數(shù)據(jù)庫管理系統(tǒng)

數(shù)據(jù)庫中的數(shù)據(jù)達到一定規(guī)模且結(jié)構(gòu)復雜時，需要專門的軟件系統(tǒng)進行科學的組織和管理。數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem,DBMS）就是位于用戶和操作系統(tǒng)之間的一層數(shù)據(jù)管理軟件，可以高效地組織、存儲、管理和維護數(shù)據(jù)。2025/10/1422DBMS功能數(shù)據(jù)定義數(shù)據(jù)組織存儲、管理數(shù)據(jù)操作數(shù)據(jù)控制其它2025/10/14233、數(shù)據(jù)庫系統(tǒng)

數(shù)據(jù)庫系統(tǒng)（DatabaseSystem，DBS）是存儲、管理、處理和維護數(shù)據(jù)的計算機系統(tǒng)，包含了計算機硬件、數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)（及其應用開發(fā)工具）、應用系統(tǒng)和所有數(shù)據(jù)庫用戶。

2025/10/1424用戶用戶用戶應用開發(fā)工具及應用系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)具操作系統(tǒng)數(shù)據(jù)庫硬件數(shù)據(jù)庫管理員應用程序員圖7.5數(shù)據(jù)庫系統(tǒng)2025/10/14254、數(shù)據(jù)庫系統(tǒng)相關(guān)人員

分3類：1.數(shù)據(jù)庫管理員DBA全面管理數(shù)據(jù)庫系統(tǒng)。2.應用程序開發(fā)員

編寫數(shù)據(jù)庫應用程序。3.最終用戶

通過應用程序使用數(shù)據(jù)庫。

用戶用戶用戶應用開發(fā)工具及應用系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)具操作系統(tǒng)數(shù)據(jù)庫硬件數(shù)據(jù)庫管理員應用程序員圖7.5數(shù)據(jù)庫系統(tǒng)2025/10/14265、云數(shù)據(jù)庫云數(shù)據(jù)庫是指被優(yōu)化或部署到“云端”的數(shù)據(jù)庫，可以實現(xiàn)按需付費、按需擴展、高可用性以及存儲整合等優(yōu)勢。云數(shù)據(jù)庫的安裝、部署等工作，都是在云端完成的，非常便捷。特性有：實例創(chuàng)建快速、支持只讀實例、讀寫分離、故障自動切換、數(shù)據(jù)備份、Binlog備份、SQL審計、訪問白名單、監(jiān)控與消息通知等。2025/10/14277.2.2

數(shù)據(jù)模型模型是對現(xiàn)實世界中客觀存在事物特征的抽象?，F(xiàn)實世界中的具體事物不可能被計算機直接處理，因此人們必須先把具體事物轉(zhuǎn)換成計算機能夠處理的數(shù)據(jù)。數(shù)據(jù)庫技術(shù)中，同樣是在對現(xiàn)實世界進行抽象后用數(shù)據(jù)模型（DataModel）的概念來描述數(shù)據(jù)庫的結(jié)構(gòu)和定義。數(shù)據(jù)模型，是數(shù)據(jù)庫系統(tǒng)的核心和基礎(chǔ)，是用來描述數(shù)據(jù)、組織數(shù)據(jù)和對數(shù)據(jù)進行操作的。2025/10/1428三種重要的數(shù)據(jù)模型，分別是層次模型、網(wǎng)狀模型、關(guān)系模型。關(guān)系數(shù)據(jù)庫系統(tǒng)采用關(guān)系模型作為數(shù)據(jù)的組織方式1970年美國IBM公司SanJose研究室的研究員E.F.Codd首次提出了數(shù)據(jù)庫系統(tǒng)的關(guān)系模型計算機廠商推出的數(shù)據(jù)庫管理系統(tǒng)幾乎都支持關(guān)系模型。2025/10/1429

關(guān)系模型建立在嚴格的數(shù)學概念基礎(chǔ)上。從用戶觀點，關(guān)系模型是由一組關(guān)系組成的，而每個關(guān)系的數(shù)據(jù)邏輯結(jié)構(gòu)是一張二維表。關(guān)系：一個關(guān)系對應一張二維表。一般表名對應著關(guān)系名。學生登記表學號姓名年齡性別學院20150046李強20男計算機20150082王倩19女外語20150128張飛19男體育……………2025/10/1430記錄：表中的一行即為一個記錄，有的系統(tǒng)也稱為元組。屬性：表中的一列為一個屬性，每一列的名稱即屬性名。學生登記表學號姓名年齡性別學院20150046李強20男計算機20150082王倩19女外語20150128張飛19男體育……………2025/10/1431關(guān)鍵字：表中的一個屬性或若干個屬性的組合，它可以唯一確定一條記錄。如表Student中的學號可以唯一確定一個學生，因為學號不會重復，但姓名會重名，因此學號是一個關(guān)鍵字。學生登記表學號姓名年齡性別學院20150046李強20男計算機20150082王倩19女外語20150128張飛19男體育……………2025/10/1432域：域是一個或多個屬性允許的值的集合。屬性的取值范圍來自某個域。例如大學生年齡屬性的域是（15～45歲），性別的域是（男，女）。學生登記表學號姓名年齡性別學院20150046李強20男計算機20150082王倩19女外語20150128張飛19男體育……………2025/10/14337.2.3

數(shù)據(jù)庫的基本操作1、建立數(shù)據(jù)庫建立數(shù)據(jù)庫語句的簡化格式為：CREATEDATABASE<數(shù)據(jù)庫名>;刪除數(shù)據(jù)庫語句的一般格式為：DROPDATABASE<數(shù)據(jù)庫名>;【例7-1】為學生選課管理系統(tǒng)建立名稱為School的數(shù)據(jù)庫。CREATEDATABASESchool;2025/10/14342、建立數(shù)據(jù)表定義基本表語句的一般格式為：CREATETABLE<表名>(<列名><數(shù)據(jù)類型>[列級完整性約束條件][,<列名><數(shù)據(jù)類型>[列級完整性約束條件]]…[,<表級完整性約束條件>]);2025/10/1435【例7-2】在School數(shù)據(jù)庫中創(chuàng)建“學生”表Student，包含學號（Sno）、姓名（Sname）、性別（Ssex）、年齡（Sage）和所在學院（Sdept）屬性。CREATETABLEStudent(SnoCHAR(10)PRIMARYKEY,SnameCHAR(20)UNIQUE,SsexCHAR(2),SageSMALLINT,SdeptCHAR(30));2025/10/1436同樣可以創(chuàng)建“課程”表Course，包含課程號（Cno）、課程名（Cname）和學分（Ccredit）屬性，其中課程號為該關(guān)系的關(guān)鍵字。CREATETABLECourse(CnoCHAR(4)PRIMARYKEY,CnameCHAR(40)NOTNULL,CcreditSMALLINT,);2025/10/1437刪除基本表語句的一般格式為：DROPTABLE<表名>說明：一個基本表一旦被刪除后，這個表的所有數(shù)據(jù)以及在此表基礎(chǔ)上建立的索引、視圖都會被刪除。因此，執(zhí)行表刪除操作時，一定要格外小心。2025/10/14383、數(shù)據(jù)更新選定基本表，可以對表中數(shù)據(jù)進行增加、修改、刪除操作，對應著SQL中的命令分別是INSERT、UPDATE和DELETE。（1）、插入數(shù)據(jù)（INSERT）插入數(shù)據(jù)語句的一般格式為：INSERTINTO<表名>[(列名1)[,(列名2)…]]VALUES(常量1[,常量2…])說明：上述語句的功能是將新記錄插入指定表中。其中，新記錄的屬性列1取值為常量1，屬性列2取值為常量2，…。INTO子句沒有出現(xiàn)的屬性列，新記錄在這些列上將取空值。但是需要注意，若該列在定義時說明了NOTNULL的話，會出錯。INTO子句若不指定列名，則給所有列都插入值，且必須一一對應。2025/10/1439【例7-4】向Student表中插入如圖所示的學生信息。INSERTINTOStudentVALUES('20150001','張三','男',20,'計算機');INSERTINTOStudentVALUES('20150002','王倩','女',19,'外語');INSERTINTOStudentVALUES('20150003','張飛','男',19,'體育');INSERTINTOStudentVALUES('20150004','高軍軍','男',18,'計算機');INSERTINTOStudentVALUES('20150005','趙雪','女',18,'計算機');2025/10/1440（2）、修改數(shù)據(jù)（UPDATE）修改數(shù)據(jù)語句的一般格式為：UPDATE<表名>SET<列名1>=<表達式1>[,<列名1>=<表達式1>]…[WHERE<條件>]；說明：該語句功能是修改指定表中滿足WHERE子句條件的記錄，其中SET子句給出表達式的值用于取代相應的屬性列值。如果省略WHERE子句，則表示要修改表中所有記錄。2025/10/1441【例7-5】將學號為20150005的學生所在學院改為軟件。UPDATEStudentSETSdept='軟件'WHERESno='20150005';2025/10/1442（3）、刪除數(shù)據(jù)（DELETE）刪除數(shù)據(jù)語句的一般格式為：DELETEFROM<表名>[WHERE<條件>]；說明：該語句功能是刪除指定表中滿足WHERE子句條件的記錄，若省略WHERE子句，表示刪除表中全部記錄。2025/10/1443【例7-6】從Course表中刪除編號為00003104的課程?！纠?-7】刪除SC表中的全部選課記錄。DELETEFROMCourseWHERECno='00003104';DELETEFROMSC；2025/10/14444、數(shù)據(jù)查詢

數(shù)據(jù)庫最常用操作，按照用戶需要從數(shù)據(jù)庫中提取數(shù)據(jù)。SQL提供了方式靈活、功能豐富的查詢語句。查詢語句的一般格式為：SELECT[ALL|DISTINCT]<目標列表達式>[,<目標列表達式>]…FROM<表名或視圖名>[,<表名或視圖名>…][WHERE<條件表達式>][GROUPBY<列名>[HAVING<條件表達式>]][ORDERBY<列名>[ASC|DESC]];2025/10/14451、單表查詢【例7-11】查詢所有學生的姓名、學號、所在學院。SELECTSname,Sno,SdeptFROMStudent;注：各列的輸出順序可以與表中順序不同，根據(jù)用戶需求可更改。2025/10/1446【例7-9】查詢?nèi)w學生的姓名及其出生年份，出生年份的列名用BIRTHDAY表示，并在出生年份前加入一新列，新列的每行數(shù)據(jù)均為“出生年份”常量值。SELECTSname,'出生年份',2015-SageAsBIRTHDAYFROMStudent;注：查詢結(jié)果中目標列表達式可以是常量，也可以是表達式或函數(shù)。用戶還可以通過指定別名來改變查詢結(jié)果的列標題，格式為：列名|表達式[As]列別名。2025/10/1447【例7-10】SC表中查詢考試不及格學生的學號、課程號和成績。SELECT*FROMSCWHEREGrade<60;2025/10/14482、連接查詢FROM子句后面的查詢對象不僅局限于一個表，可以在一個查詢中同時涉及兩個或兩個以上的表，稱為連接查詢。連接查詢中的WHERE子句可用來表示兩個表的連接條件，若有多個條件，可用邏輯運算符進行連接。2025/10/1449【例7-12】查詢所有學生的學號、姓名、選修課程號、選修課程名、成績，并且按照成績降序排列。SELECTStudent.Sno,Sname,SC.Cno,Cname,GradeFROMStudent,SCWHEREStudent.Sno=SC.SnoANDSC.Cno=Course.CnoORDERBYGradeDESC;2025/10/1450【例7-13】查詢學號20150001的學生選修課中成績大于80分課程的課程名、成績及該學生學號。SELECTCname,Grade,SnoFROMCourse,SCWHERECourse.Cno=SC.CnoANDSno=’20150001’ANDGrade>802025/10/14513大數(shù)據(jù)第節(jié)2025/10/14527.3.1

大數(shù)據(jù)概述1.大數(shù)據(jù)的起源和發(fā)展2.大數(shù)據(jù)的概念大數(shù)據(jù)是一個極其龐大而復雜的數(shù)據(jù)集，以致無法在一定時間內(nèi)用傳統(tǒng)的數(shù)據(jù)處理方式對其進行獲取、管理、分析和傳遞等操作，需要新的處理模式才能具有更強的洞察力和決策力。2025/10/1453規(guī)模性(Volume)10T高速性(Velocity)多樣性(Variety)真實性(Veracity)價值性(Value)3.大數(shù)據(jù)的特征大數(shù)據(jù)（BigData，BD）是一個抽象的概念，它不僅表示數(shù)據(jù)規(guī)模的龐大，還反映在數(shù)據(jù)的模態(tài)類型、傳遞速度、潛在價值等方面。2025/10/14547.1.1

大數(shù)據(jù)的處理過程

大數(shù)據(jù)的處理過程，其實就是利用合適的工具采集數(shù)據(jù)源，按照一定的標準對其存儲，再利用相關(guān)的數(shù)據(jù)分析技術(shù)進行分析，從而提取出有價值的數(shù)據(jù)展示給客戶。通常，大數(shù)據(jù)處理過程主要包括數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)預處理、數(shù)據(jù)分析和數(shù)據(jù)可視化。2025/10/14551.數(shù)據(jù)采集數(shù)據(jù)源主要來自商業(yè)、互聯(lián)網(wǎng)和傳感器。根據(jù)數(shù)據(jù)源的不同，數(shù)據(jù)的采集方法也不同，常用的數(shù)據(jù)采集方法如下。①傳感器采集方法。2025/10/1456②系統(tǒng)日志采集方法。大型企業(yè)積累了大量的軟硬件資源，包括：交換機、路由器、防火墻、服務器、各類業(yè)務應用系統(tǒng)、中間件、數(shù)據(jù)庫等。這些設(shè)備持續(xù)不斷的記錄了大量的日志文件。大型企業(yè)網(wǎng)絡中，日志源眾多、格式不一、體量龐大，長期存儲的數(shù)據(jù)量可達TB或PB級別。因此，很多企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志收集，如Hadoop的Chukwa，Cloudera的ApacheFlume，F(xiàn)acebook的Scribe等，2025/10/1457③網(wǎng)絡數(shù)據(jù)采集方法。網(wǎng)絡爬蟲（Webcrawler），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，可以自動采集所有其能夠訪問到的頁面內(nèi)容，以獲取這些網(wǎng)站的內(nèi)容。爬蟲程序從一個或若干初始網(wǎng)頁的URL（統(tǒng)一資源定位器）開始，獲得初始網(wǎng)頁的URL，在抓取網(wǎng)頁的過程中，不斷地從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定條件才停止。2025/10/1458爬蟲程序從一個或若干初始網(wǎng)頁的URL（統(tǒng)一資源定位器）開始，獲得初始網(wǎng)頁的URL，在抓取網(wǎng)頁的過程中，不斷地從當前頁面上抽取新的URL放入隊列，直到滿足系統(tǒng)的一定條件才停止。2025/10/14592.數(shù)據(jù)管理數(shù)據(jù)管理主要是對數(shù)據(jù)進行分類、編碼、存儲、索引和查詢。在大數(shù)據(jù)時代，由于處理的數(shù)據(jù)量激增，且數(shù)據(jù)類型種類繁多，出現(xiàn)Hadoop。Hadoop是一個分布式計算平臺，用戶可以在它上面輕松地開發(fā)和運行處理海量數(shù)據(jù)的程序。Hadoop由很多部分組成，核心部分就是HDFS和MapReduce。Hadoop的最底層是HDFS（HadoopDistributedFileSystem）分布式文件系統(tǒng)，它是谷歌文件系統(tǒng)GFS的開源實現(xiàn)，它可以存儲大規(guī)模的數(shù)據(jù)集，具有高容錯性，并且支持Hadoop所有服務。2025/10/14603.數(shù)據(jù)預處理

大數(shù)據(jù)采集過程中通常有一個或多個數(shù)據(jù)源，這些數(shù)據(jù)源易受到噪聲數(shù)據(jù)、數(shù)據(jù)值缺失、數(shù)據(jù)沖突等影響，通常是不完整的、有噪聲的、不一致的，因此需對采集到的大數(shù)據(jù)集合進行數(shù)據(jù)預處理。大數(shù)據(jù)的預處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等環(huán)節(jié)。2025/10/1461數(shù)據(jù)清洗主要功能是補充部分數(shù)據(jù)缺失的屬性值，統(tǒng)一數(shù)據(jù)格式、編碼和度量，還有檢測和刪除異常數(shù)據(jù)、無關(guān)數(shù)據(jù)。數(shù)據(jù)集成是將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存儲。數(shù)據(jù)變換是把原始數(shù)據(jù)轉(zhuǎn)換成適合進行數(shù)據(jù)挖掘的形式。數(shù)據(jù)規(guī)約是指在盡量保持數(shù)據(jù)原貌的基礎(chǔ)上，精簡數(shù)據(jù)量。這樣，在規(guī)約后的數(shù)據(jù)集上進行分析和數(shù)據(jù)挖掘更有效率。2025/10/14624.數(shù)據(jù)分析

數(shù)據(jù)分析的主要功能是進行一般的統(tǒng)計查詢，從數(shù)據(jù)中挖掘特定的模式，還有進行預測性分析。針對大數(shù)據(jù)處理的主要計算模型有MapReduce分布式計算系統(tǒng)、分布式內(nèi)存計算系統(tǒng)、分布式流計算系統(tǒng)等。2025/10/1463

MapReduce是一個批處理的分布式計算系統(tǒng)，是Hadoop的核心。MapReduce來源于函數(shù)式語言中的內(nèi)置函數(shù)map和reduce，它利用函數(shù)式編程的思想，將對數(shù)據(jù)的處理過程分為Map和Reduce兩個階段。MapReduce處理過程通俗來說，就是把一堆雜亂無章的數(shù)據(jù)按照某種特征歸納起來，然后處理并得到最后的結(jié)果。2025/10/14645.數(shù)據(jù)可視化

數(shù)據(jù)可視化是指將大數(shù)據(jù)分析與預測結(jié)果以計算機圖形或圖像的直觀方式顯示給用戶，并與用戶進行交互式處理。

大數(shù)據(jù)可視化，除了可以使用Python的Matplotlib繪圖庫外，還有高維數(shù)據(jù)可視化工具Tableau，文本可視化工具Wordle，網(wǎng)絡可視化工具Gephi和可編程可視化工具D3。2025/10/14657.3.3大數(shù)據(jù)典型應用1.商業(yè)智能

商業(yè)智能指用現(xiàn)代數(shù)據(jù)倉庫技術(shù)、線上分析技術(shù)、數(shù)據(jù)挖掘等技術(shù)進行數(shù)據(jù)分析來實現(xiàn)商業(yè)價值。商業(yè)智能是較早的大數(shù)據(jù)應用，可以在多個方面提升企業(yè)的生產(chǎn)效率和競爭力。2025/10/14662.智慧城市

智慧城市就是運用信息和通信技術(shù)手段感測、分析、整合城市運行核心系統(tǒng)的各項關(guān)鍵信息，從而對包括民生、環(huán)保、公共安全、城市服務、工商業(yè)活動在內(nèi)的各種需求做出智能響應。其實質(zhì)是利用先進的信息技術(shù)，實現(xiàn)城市智慧式管理和運行，進而為城市中的人創(chuàng)造更美好的生活，促進城市的和諧、可持續(xù)成長。2025/10/14673.在線社交網(wǎng)絡

在線社交網(wǎng)絡是一種在信息網(wǎng)絡上由社會個體集合及個體之間的連接關(guān)系構(gòu)成的社會性結(jié)構(gòu)，其數(shù)據(jù)主要來源于即時消息、在線社交、微博和共享空間4大類應用。在線社交網(wǎng)絡大數(shù)據(jù)分析是從網(wǎng)絡結(jié)構(gòu)、群體互動和信息傳播3個維度通過基于數(shù)學、信息學、社會學、管理學等多個學科的融合理論和方法，為理解人類社會中存在的各種關(guān)系提供的一種可計算的分析方法。目前，在線社交網(wǎng)絡大數(shù)據(jù)的應用包括網(wǎng)絡輿情分析、網(wǎng)絡情報搜集與分析、社會化營銷、政府決策支持、在線教育等。2025/10/14684.健康醫(yī)療

健康醫(yī)療大數(shù)據(jù)是指所有與醫(yī)療衛(wèi)生和生命健康活動相關(guān)的數(shù)據(jù)集合，既包含個人從出生到死亡的全生命周期過程中，因免疫、體檢、治療、運動、飲食等健康相關(guān)活動所產(chǎn)生的大數(shù)據(jù)，又涉及醫(yī)療服務、疾病防控、健康保障和食品安全、養(yǎng)生保健等多方面數(shù)據(jù)的集合。2025/10/14695.人工智能

移動互聯(lián)網(wǎng)時代，各種移動終端設(shè)備的出現(xiàn)使得數(shù)據(jù)呈現(xiàn)指數(shù)級的增長?，F(xiàn)階段的“數(shù)據(jù)”包含的信息量越來越大，維度越來越多，從圖像、聲音等富媒體數(shù)據(jù)到動作、姿態(tài)、軌跡等人類數(shù)據(jù)，再到地理位置、天氣環(huán)境數(shù)據(jù)……以往數(shù)據(jù)處理的思路已經(jīng)難以適應“數(shù)據(jù)”本身的發(fā)展。

得益于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和無處不在的傳感器，我們獲得了海量的數(shù)據(jù)——大數(shù)據(jù)，它是人工智能的助推劑，利用先進的算法對大數(shù)據(jù)進行處理。

不斷提高的計算能力使人工智能的大規(guī)模運算成為可能。2025/10/14707.3.5大數(shù)據(jù)Python分析實例【例7-14】利用Python對下面一段文章制作詞云圖。原文如下：魯肅見了諸葛亮。諸葛亮說：“三天之內(nèi)要造十萬支箭，得請你幫幫我的忙?！濒斆C說：“都是你自找的，我怎么幫得了你的忙？”諸葛亮說：“你借給我二十條船，每條船上要三十多名軍士。船用青布幔子遮起來，還要一千多個草把子，排在船的兩邊。我自有妙用。第三天管保有十萬支箭。不過不能讓都督知道。他要是知道了，我的計劃就完了?！濒斆C答應了。他不知道諸葛亮借船有什么用，回來報告周瑜，果然不提借船的事，只說諸葛亮不用竹子、翎毛、膠漆這些材料。周瑜疑惑起來，說：“到了第三天，看他怎么辦！”2025/10/1471制作步驟如下：1．搭建環(huán)境本例中，首先需要下載并安裝Anaconda軟件，該軟件