三、數(shù)據(jù)分析3.1Hive簡(jiǎn)介什么是Hive？ApacheHive是一款建立在Hadoop之上的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，可以將存儲(chǔ)在Hadoop文件中的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，基于表提供了一種類(lèi)似SQL的查詢(xún)模型，稱(chēng)為Hive查詢(xún)語(yǔ)言（HQL），用于訪問(wèn)和分析存儲(chǔ)在Hadoop文件中的大型數(shù)據(jù)集。1.1Hive的概念什么是Hive？Hive核心是將HQL轉(zhuǎn)換為MapReduce程序，然后將程序提交到Hadoop群集執(zhí)行。Hive由Facebook實(shí)現(xiàn)并開(kāi)源。1.2Hive的作用為什么使用Hive？使用HadoopMapReduce直接處理數(shù)據(jù)所面臨的問(wèn)題人員學(xué)習(xí)成本太高需要掌握java語(yǔ)言MapReduce實(shí)現(xiàn)復(fù)雜查詢(xún)邏輯開(kāi)發(fā)難度太大使用Hive處理數(shù)據(jù)的好處操作接口采用類(lèi)SQL語(yǔ)法，提供快速開(kāi)發(fā)的能力（簡(jiǎn)單、容易上手）避免直接寫(xiě)MapReduce，減少開(kāi)發(fā)人員的學(xué)習(xí)成本支持自定義函數(shù)，功能擴(kuò)展很方便背靠Hadoop，擅長(zhǎng)存儲(chǔ)分析海量數(shù)據(jù)集1.3Hive和Hadoop的關(guān)系從功能來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)軟件，至少需要具備下述兩種能力：

存儲(chǔ)數(shù)據(jù)的能力、分析數(shù)據(jù)的能力ApacheHive作為一款大數(shù)據(jù)時(shí)代的數(shù)據(jù)倉(cāng)庫(kù)軟件，當(dāng)然也具備上述兩種能力。只不過(guò)Hive并不是自己實(shí)現(xiàn)了上述兩種能力，而是借助Hadoop。Hive利用HDFS存儲(chǔ)數(shù)據(jù)，利用MapReduce查詢(xún)分析數(shù)據(jù)。這樣突然發(fā)現(xiàn)Hive沒(méi)啥用，不過(guò)是套殼Hadoop罷了。其實(shí)不然，Hive的最大的魅力在于用戶(hù)專(zhuān)注于編寫(xiě)HQL，Hive幫您轉(zhuǎn)換成為MapReduce程序完成對(duì)數(shù)據(jù)的分析。思考如果讓您設(shè)計(jì)Hive這款軟件，要求能夠?qū)崿F(xiàn)用戶(hù)只編寫(xiě)sql語(yǔ)句，Hive自動(dòng)將sql轉(zhuǎn)換MapReduce程序，處理位于HDFS上的結(jié)構(gòu)化數(shù)據(jù)。如何實(shí)現(xiàn)？場(chǎng)景設(shè)計(jì)：如何模擬實(shí)現(xiàn)Hive功能？案例如何模擬實(shí)現(xiàn)ApacheHive的功能在HDFS文件系統(tǒng)上有一個(gè)文件，路勁為/data/student.csv;需求：假設(shè)分?jǐn)?shù)≥90分為優(yōu)秀，

統(tǒng)計(jì)一下優(yōu)秀的學(xué)生有多少個(gè)？1,zhangsan,男,902,lisi,女,803,wangwu,男,874,zhaoliu,男,975,zhouba,女,926,chenjiu,男,100/data/student.csv1.4模擬實(shí)現(xiàn)Hive功能場(chǎng)景目的重點(diǎn)理解下面兩點(diǎn)：Hive能將數(shù)據(jù)文件映射成為一張表，這個(gè)映射是指什么？Hive軟件本身到底承擔(dān)了什么功能職責(zé)？映射信息記錄映射在數(shù)學(xué)上稱(chēng)之為一種對(duì)應(yīng)關(guān)系，比如y=x+1，對(duì)于每一個(gè)x的值都有與之對(duì)應(yīng)的y的值。在hive中能夠?qū)憇ql處理的前提是針對(duì)表，而不是針對(duì)文件，因此需要將文件和表之間的對(duì)應(yīng)關(guān)系描述記錄清楚。映射信息專(zhuān)業(yè)的叫法稱(chēng)之為元數(shù)據(jù)信息（元數(shù)據(jù)是指用來(lái)描述數(shù)據(jù)的數(shù)據(jù)metadata）。映射關(guān)系1,zhangsan,男,902,lisi,女,803,wangwu,男,874,zhaoliu,男,975,zhouba,女,926,chenjiu,男,100hdfs://data/student.csvHadoopHDFS映射信息記錄具體來(lái)看，要記錄的元數(shù)據(jù)信息包括：表對(duì)應(yīng)著哪個(gè)文件（位置信息）表的列對(duì)應(yīng)著文件哪一個(gè)字段（順序信息）文件字段之間的分隔符是什么映射關(guān)系1,zhangsan,男,902,lisi,女,803,wangwu,男,874,zhaoliu,男,975,zhouba,女,926,chenjiu,男,100hdfs://data/student.csvHadoopHDFS1.4模擬實(shí)現(xiàn)Hive功能SQL語(yǔ)法解析、編譯用戶(hù)寫(xiě)完sql之后，hive需要針對(duì)sql進(jìn)行語(yǔ)法校驗(yàn)，并且根據(jù)記錄的元數(shù)據(jù)信息解讀sql背后的含義，制定執(zhí)行計(jì)劃并且把執(zhí)行計(jì)劃轉(zhuǎn)換成MapReduce程序來(lái)具體執(zhí)行，把執(zhí)行的結(jié)果封裝返回給用戶(hù)對(duì)Hive的理解Hive能將數(shù)據(jù)文件映射成為一張表，這個(gè)映射是指什么？Hive軟件本身到底承擔(dān)了