認(rèn)識NoSQL數(shù)據(jù)庫1．依據(jù)關(guān)系型數(shù)據(jù)庫的經(jīng)驗(yàn)，在傳統(tǒng)行業(yè)生產(chǎn)或活動產(chǎn)生的數(shù)據(jù)有哪些特點(diǎn)？2．觀察并討論在互聯(lián)網(wǎng)上購物、社交平臺上產(chǎn)生的數(shù)據(jù)又會有哪些不一樣的特性？知識：1．能說出SQL數(shù)據(jù)庫中數(shù)據(jù)的特點(diǎn)；2．能區(qū)別SQL和NoSQL數(shù)據(jù)庫的特性；3．能描述典型NoSQL數(shù)據(jù)庫的數(shù)據(jù)存儲方式。。技能：1．能圖示NoSQL數(shù)據(jù)庫的數(shù)據(jù)存儲方式；2．能評價NoSQL數(shù)據(jù)庫的數(shù)據(jù)存儲方式；3．能確定不同型NoSQL數(shù)據(jù)庫的應(yīng)用領(lǐng)域。；活動1：認(rèn)識NoSQL數(shù)據(jù)庫1．關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)的特性2．SQL數(shù)據(jù)庫特性（1）數(shù)據(jù)結(jié)構(gòu)嚴(yán)謹(jǐn)預(yù)先明確定義，所有數(shù)據(jù)記錄的數(shù)據(jù)很整齊而密集。（2）數(shù)據(jù)來組織的實(shí)際業(yè)務(wù)活動，具有很高的數(shù)據(jù)價值?；顒?：認(rèn)識NoSQL典型數(shù)據(jù)存儲模式1．鍵值存儲鍵—值對是由一個簡單字符串（鍵）和與之綁定的數(shù)據(jù)（值）組成。鍵值存儲不用為值指定一個特定的數(shù)據(jù)類型，可以存儲任意類型的數(shù)據(jù)，值統(tǒng)一以BLOB（二進(jìn)制字節(jié)數(shù)組）進(jìn)行存儲。鍵值存儲是單純的存儲引擎，鍵和值都是字節(jié)數(shù)組，只負(fù)責(zé)存取而不關(guān)心其的含義。2．列簇存儲列簇存儲通過把若干相關(guān)的列組合到一個列簇中，以列簇為數(shù)據(jù)讀寫的基本單位進(jìn)行集中存儲。列簇存儲的邏輯結(jié)構(gòu)被設(shè)計(jì)成一張龐大的數(shù)據(jù)表，可以容納數(shù)十億行和數(shù)百萬列。列簇存儲中定位數(shù)據(jù)的要素3.文檔存儲文檔是鍵—值對的有序集。文檔的鍵和值沒有固定的類型和大小，不需要關(guān)系數(shù)據(jù)庫預(yù)定義的數(shù)據(jù)模式。一組文檔組成集合，集合可視為關(guān)系數(shù)據(jù)庫中的表。4．圖存儲圖存儲是包含一系列對象節(jié)點(diǎn)及其關(guān)系的數(shù)據(jù)集，它描繪了一組對象的關(guān)系圖。1．比較SQL數(shù)據(jù)庫與NoSQL數(shù)據(jù)的存儲模式。2．NoSQL有

典型的存儲模式。3．SQL數(shù)據(jù)庫會不會被淘汰？1．能說出SQL數(shù)據(jù)庫中數(shù)據(jù)的特點(diǎn)；2．能區(qū)別SQL和NoSQL數(shù)據(jù)庫的特性；3．能描述典型NoSQL數(shù)據(jù)庫的數(shù)據(jù)存儲方式。認(rèn)識Hbase數(shù)據(jù)模型1．回想在關(guān)系數(shù)據(jù)庫中數(shù)據(jù)模型所發(fā)揮的作用？2．討論數(shù)據(jù)模式設(shè)計(jì)的優(yōu)劣對后續(xù)數(shù)據(jù)管理和使用有何影響？知識：1．能說明HBase的數(shù)據(jù)模型的組成結(jié)構(gòu)；2．能描述HBase的數(shù)據(jù)表結(jié)構(gòu)；3．能描述HBase的物理存儲模式。技能：1．能評價HBase的數(shù)據(jù)表的特性；2．能設(shè)計(jì)HBase的數(shù)據(jù)表的結(jié)構(gòu)?；顒?：認(rèn)識HBase邏輯數(shù)據(jù)模型1．HBase邏輯數(shù)據(jù)模型2．HBase數(shù)據(jù)表結(jié)構(gòu)（1）行行由行鍵和若干列組成。行鍵類似SQL數(shù)據(jù)表中的主鍵，在表中是唯一。（2）列簇列簇是對列的分組，由一個或若干個列組成。2．HBase數(shù)據(jù)表結(jié)構(gòu)（3）列限定符列限定符一般格式為“列簇:列名”。（4）單元格單元格的數(shù)據(jù)包含值和時間戳?；顒?：HBase

的物理存儲模式1．HBase

的物理存儲HBase

的行都是離散的，分別存儲到不同的列簇中，不同的列簇可以分散存儲到集群的不同節(jié)點(diǎn)上。支持并行處理，可有效提高應(yīng)用程序性能。使用命名空間來對表進(jìn)行邏輯分組，命名空間的作用類似于關(guān)系數(shù)據(jù)庫中的database，可對不同的用戶實(shí)現(xiàn)數(shù)據(jù)隔離。2．HBase

的物理存儲優(yōu)勢1．HBase

的數(shù)據(jù)結(jié)構(gòu)是

。2．HBase數(shù)據(jù)表中定位一個數(shù)據(jù)使用的鍵由

要素組成。3．HBase數(shù)據(jù)的物理存儲模式優(yōu)點(diǎn)有

。1．能說明HBase的數(shù)據(jù)模型的組成結(jié)構(gòu)；2．能描述HBase的數(shù)據(jù)表結(jié)構(gòu)；3．能描述HBase的物理存儲模式。使用Hbase數(shù)據(jù)庫1．試回憶MySQL數(shù)據(jù)庫服務(wù)模式，用戶是通過什么方式去使用數(shù)據(jù)服務(wù)？2．在MySQL數(shù)據(jù)庫有哪些措施可以確保數(shù)據(jù)的完整性？知識：1．能說出HBase數(shù)據(jù)庫服務(wù)架構(gòu)組成；2．能描述HBase數(shù)據(jù)庫服務(wù)組件的功能；3．能描述HBase數(shù)據(jù)存取的流程。技能：1．能使用HBase的系統(tǒng)工具創(chuàng)建數(shù)據(jù)庫和數(shù)據(jù)表；2．能訪問HBase數(shù)據(jù)表的數(shù)據(jù)。；活動1：認(rèn)識HBase服務(wù)架構(gòu)組成1．HBase服務(wù)架構(gòu)2．服務(wù)組件的功能（1）Hmaster管理

HRegionServer節(jié)點(diǎn)，監(jiān)控其工作狀態(tài)；管理并維護(hù)

HBase

的命令空間和表的元數(shù)據(jù)；響應(yīng)客戶請求，為客戶提供數(shù)據(jù)表的操作接口管理客戶對

HBase

的訪問權(quán)限。（2）HRegionServerHRegionServer節(jié)點(diǎn)具體執(zhí)行數(shù)據(jù)的讀寫操作的組件?？梢怨芾?000個HRegion。（3）HRegionHBase使用行鍵自動把數(shù)據(jù)表水平切割成若干HRegion，每個HRegion由表中的多行數(shù)據(jù)組成，HRegion的默認(rèn)大小是1GB。（4）Store一個HRegion可包含一個或多個Store，一個Store可存儲表的一個列簇的數(shù)據(jù)。Store中包含一個MemStore和若干個HFile數(shù)據(jù)文件活動2：使用HBase數(shù)據(jù)服務(wù)1．啟動并連接到HBasehbaseshell1．啟動并連接到HBasehbaseshell2．創(chuàng)建數(shù)據(jù)表create′emp_tbl′,′base_info′,′etc_info3．輸入數(shù)據(jù)put′emp_tbl′,′62301′,′base_info:name′,′Nicola′3．顯示數(shù)據(jù)scan′emp_tbl′1．hbase服務(wù)體系架構(gòu)采用

模式，主節(jié)點(diǎn)是的主要作用是

，從節(jié)點(diǎn)的作用是

。2．hbase數(shù)據(jù)庫在底層使用

來存儲數(shù)據(jù)。3．hbase提供了

操作數(shù)據(jù)表的命令。1．能說出HBase

數(shù)據(jù)庫服務(wù)架構(gòu)組成；2．能描述HBase

服務(wù)組件的功能；3．能描述HBase

數(shù)據(jù)存取的流程。認(rèn)識Hive的體系架構(gòu)1．通過咨詢分享在Hadoop平臺中如何分析處理其中的數(shù)據(jù)的？2．能不能像在關(guān)系型數(shù)據(jù)中那樣的方式來處理NoSQL數(shù)據(jù)中的數(shù)據(jù)？知識：1．能說出Hive服務(wù)的功能；2．能描述Hive服務(wù)架構(gòu)組成；3．能描述Hive服務(wù)各組件的作用。技能：1．能判定Hive服務(wù)的業(yè)務(wù)應(yīng)用場景；2．能評價Hive服務(wù)在數(shù)據(jù)分析中的優(yōu)勢；3．能使用Hive開展數(shù)據(jù)處理?；顒?：認(rèn)識Hive服務(wù)架構(gòu)1．Hive的體系架構(gòu)2．服務(wù)組件功能（1）Hive的用戶接口 命令行用戶接口

Beeline命令行用戶接口、

JDBC/ODBCAPI接口

Web用戶接口。（2）HiveServer2為遠(yuǎn)程客戶端提供執(zhí)行Hive查詢的服務(wù)組件，支持多個客戶端并發(fā)請求。（3）HiveDriver它是一個語言編譯器，其將HQL語言寫成的數(shù)據(jù)分析與處理的命令轉(zhuǎn)換成MapReduce任務(wù)。（4）MetaStoreServer是元數(shù)據(jù)存儲服務(wù)組件。由關(guān)系型數(shù)據(jù)庫服務(wù)充當(dāng)。如MySQL?；顒?：Hive服務(wù)的數(shù)據(jù)處理1．Hive支持的數(shù)據(jù)類型（1）基本數(shù)據(jù)類型整型：

tinyint,smallint,int,bigint浮點(diǎn)型：

float,double定點(diǎn)型：

decimal(m,p),numeric(m,p)字符型：

char,varchar,string日期時間型：date,timestamp二進(jìn)制型：

binary布爾型：

boolean（2）復(fù)合數(shù)據(jù)類型數(shù)組：arraybase_colorsarray<'red','green','blue'>base_colors[0]映射：mapbooksmap<'string','double'>booksmap<'Hive','59.7'>結(jié)構(gòu)：structmphstruct<brand:string,type:string,price:decimal(7,2)>mph<'vivo','note2',2176.99>mph.price算術(shù)：+-*/%div&|~關(guān)系：<><=>==isnullisnotnulllikein邏輯：notandor2．Hive的數(shù)據(jù)運(yùn)算 數(shù)值類型函數(shù)：rand()日期類型函數(shù)：current_date()字符串類型函數(shù)：length()條件函數(shù)：if()雜項(xiàng)函數(shù)：cast()hash()3.Hive的系統(tǒng)函數(shù)1．Hive服務(wù)體系架構(gòu)由

組成。2．Hive使用

來分析處理數(shù)據(jù)。3．比較Hive與MySQL的數(shù)據(jù)處理方式有何不同？1．Hive服務(wù)的功能；2．Hive服務(wù)架構(gòu)組成；3．Hive服務(wù)各組件的作用；4．Hive服務(wù)的數(shù)據(jù)類型與運(yùn)算。認(rèn)識Hive的數(shù)據(jù)模型1．交流介紹數(shù)據(jù)模型在數(shù)據(jù)管理及應(yīng)用中的地位和作用？2．請你思考數(shù)據(jù)和數(shù)據(jù)模型的關(guān)系？知識：1．能說出Hive數(shù)據(jù)模型及作用；2．能比較Hive數(shù)據(jù)模型與SQL數(shù)據(jù)模型；3．能描述Hive數(shù)據(jù)表的用途；4．能描述Hive的數(shù)據(jù)文件。技能：1．能選擇需要的Hive數(shù)據(jù)表類型；2．能說明Hive數(shù)據(jù)文件的優(yōu)劣?；顒?：認(rèn)識Hive的數(shù)據(jù)模型1．Hive的數(shù)據(jù)模型Hive的數(shù)據(jù)模型相當(dāng)于SQL數(shù)據(jù)庫的邏輯數(shù)據(jù)模型用于描述Hive表的結(jié)構(gòu)。Hive表也是由邏輯行、列組成的，但與數(shù)據(jù)是分享的，數(shù)據(jù)存儲在HDFS文件系統(tǒng)中2．Hive的數(shù)據(jù)表（1）內(nèi)部表由Hive管理的表，也稱為管理表。內(nèi)部表與數(shù)據(jù)緊密相關(guān)。對應(yīng)HDFS系統(tǒng)中的一個目錄。內(nèi)部表一般用于處理僅需臨時存儲的數(shù)據(jù)。（2）自動實(shí)現(xiàn)Master/Master之間的切換2．Hive的數(shù)據(jù)表（1）內(nèi)部表由Hive管理的表，也稱為管理表。內(nèi)部表與數(shù)據(jù)緊密相關(guān)。對應(yīng)HDFS系統(tǒng)中的一個目錄。內(nèi)部表一般用于處理僅需臨時存儲的數(shù)據(jù)。（2）外部表外部表的數(shù)據(jù)不由Hive管理，它們可以存儲在HDFS中的任何目錄中。當(dāng)刪除外部表時，只是刪除了外部表的定義，而不會把數(shù)據(jù)從HDFS系統(tǒng)中刪除。類似SQL數(shù)據(jù)庫中的外模式。（3）分區(qū)表在Hive中可以根據(jù)某一列（字段）的值將表分成若干子表（對應(yīng)目錄），這樣的子表就是分區(qū)表。靜態(tài)分區(qū)表和動態(tài)分區(qū)表。分區(qū)表可提高查詢效率。（4）桶表桶是一種特殊的分區(qū)（對應(yīng)數(shù)據(jù)文件），表或分區(qū)中的數(shù)據(jù)在Hash函數(shù)控制下進(jìn)一步分成桶。（5）視圖視圖又稱為虛表，在視圖中查詢的數(shù)據(jù)要從相關(guān)的基數(shù)據(jù)表中來。視圖可以跨多個表建立。視圖的主要用途是簡化復(fù)雜查詢?nèi)蝿?wù)?；顒?：認(rèn)識Hive數(shù)據(jù)文件1．行式存儲文件（1）文本文件（2）序列化文件（3）Avro文件2．列式存儲文件（1）ORC文件（2）Parquet文件ZooKeeper

服務(wù)體系架構(gòu)由

組成。ZooKeeper

的數(shù)據(jù)存儲采用

方式。ZooKeeper

的數(shù)據(jù)有

四種形式，它們的特點(diǎn)分別是

。1．Hive表格式有

。2．Hive數(shù)據(jù)文件格式有

。3．Hive默認(rèn)數(shù)據(jù)文件是

格式，從數(shù)據(jù)分析效能來看應(yīng)選擇

格式的數(shù)據(jù)文件。1．Hive數(shù)據(jù)模型及作用；2．Hive數(shù)據(jù)表的用途；3．Hive的數(shù)據(jù)文件。認(rèn)識Sqoop服務(wù)框架與遷移工具1．結(jié)構(gòu)化SQL數(shù)據(jù)庫存儲有巨量的業(yè)務(wù)數(shù)據(jù)，由于SQL數(shù)據(jù)本身性能瓶頸不利于進(jìn)行數(shù)據(jù)分析，可有什么好的解決方法？2．?dāng)?shù)據(jù)分析生成的高價值數(shù)據(jù)體量？變得很小還適宜存儲到大數(shù)據(jù)平臺嗎？知識：1．能描述Sqoop服務(wù)架構(gòu)組成；2．能說出Sqoop服務(wù)工具及作用技能：1．能判別Sqoop服務(wù)的應(yīng)用場景；2．能為應(yīng)用選擇恰當(dāng)?shù)腟qoop數(shù)據(jù)遷移工具。活動1：認(rèn)識Sqoop服務(wù)架構(gòu)組成1．Sqoop服務(wù)架構(gòu)2．?dāng)?shù)據(jù)遷移過程（1）客戶使用Sqoop的工具發(fā)出的命令；（2）Task轉(zhuǎn)換器翻譯成相應(yīng)的MapReduce程序；（3）在YARN上執(zhí)行相應(yīng)MapReduce任務(wù)實(shí)現(xiàn)在SQL數(shù)據(jù)庫與Hadoop系統(tǒng)之間傳輸數(shù)據(jù)。活動2：Sqoop服務(wù)數(shù)據(jù)遷移工具1．?dāng)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入是指從SQL數(shù)據(jù)表中把數(shù)據(jù)遷移到HDFS系統(tǒng)的操作。1．?dāng)?shù)據(jù)導(dǎo)入

sqoopimport

<導(dǎo)入?yún)?shù)>（1）指定目標(biāo)數(shù)據(jù)文件格式（2）指定SQL數(shù)據(jù)表（3）指定查詢條件2．?dāng)?shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)出是指將數(shù)據(jù)從HDFS系統(tǒng)遷移到SQL數(shù)據(jù)表的過程。2．?dāng)?shù)據(jù)導(dǎo)出

sqoopexport

<導(dǎo)入?yún)?shù)>（1）指定導(dǎo)出文件的HDFS目錄路徑（2）設(shè)定目的表名（3）設(shè)置并行執(zhí)行的MAP任務(wù)數(shù)（4）設(shè)置數(shù)據(jù)插入時的更新方式1．Sqoop服務(wù)的核心是

。2．Sqoop數(shù)據(jù)導(dǎo)入過程是

。3．Sqoop數(shù)據(jù)導(dǎo)出過程是

。1．Sqoop服務(wù)架構(gòu)組成；2．Sqoop服務(wù)工具及作用；3．Sqoop服務(wù)數(shù)據(jù)導(dǎo)入過程；4．Sqoop服務(wù)數(shù)據(jù)導(dǎo)出過程。在SQL數(shù)據(jù)庫與HDFS間遷移數(shù)據(jù)1．交流在MySQL數(shù)據(jù)庫中導(dǎo)出數(shù)據(jù)表進(jìn)行的操作經(jīng)驗(yàn)。其中可進(jìn)行哪些控制操作？2．為什么需要在不同平臺之間遷移數(shù)據(jù)？請列舉你所知道的原因？知識：1．能說出Sqoop遷移數(shù)據(jù)的基本操作流程；2．能描述數(shù)據(jù)導(dǎo)入生成的數(shù)據(jù)文件與記錄的關(guān)系；3．能描述數(shù)據(jù)導(dǎo)出時的合并規(guī)則。技能：1．能實(shí)施數(shù)據(jù)導(dǎo)入操作；2．能實(shí)施數(shù)據(jù)導(dǎo)出操作?；顒?：導(dǎo)入數(shù)據(jù)1．連接到MySQL服務(wù)器并顯示其中的數(shù)據(jù)庫sqooplist-databases--connetcjdbc:mysql:/bds001:330