Hive基礎(chǔ)與應(yīng)用一、簡答題請簡要敘述數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別。答：普通關(guān)系型數(shù)據(jù)庫主要應(yīng)用于在線事務(wù)處理，其數(shù)據(jù)的實(shí)時(shí)性要求高。與之不同，數(shù)據(jù)倉庫（DataWarehouse）則是一個面向主題的、集成的、相對穩(wěn)定的、能夠反映歷史變化的數(shù)據(jù)集合，主要用于支持管理決策。若公司A打算構(gòu)造一個網(wǎng)上商城，那么他該選擇Hive還是Mysql作為數(shù)據(jù)存儲工具，說明具體原因。答：可以結(jié)合使用Hive和Mysql網(wǎng)上商城的實(shí)時(shí)事務(wù)處理應(yīng)該使用Mysql；對網(wǎng)上商場的歷史交易數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析和管理決策可以使用Hive。簡要敘述Hive的Table的概念。答：Hive表（Table）的概念與關(guān)系型數(shù)據(jù)庫中表的概念具有相似之處，表是具有相同模式的同構(gòu)數(shù)據(jù)單位，在邏輯上由存儲的數(shù)據(jù)和描述表中數(shù)據(jù)類型的相關(guān)元數(shù)據(jù)組成。Hive的表分為“外部表”和“內(nèi)部表（托管表）”。內(nèi)部表，也叫托管表，是Hive在創(chuàng)建表時(shí)的默認(rèn)表。內(nèi)部表的生命周期時(shí)由hive控制的，默認(rèn)情況下數(shù)據(jù)都存放在/user/hive/warehouse/下面。內(nèi)部表被刪除后，表的元數(shù)據(jù)和表數(shù)據(jù)都從HDFS中完全刪除。外部表，創(chuàng)建表的SQL語句中加上external，創(chuàng)建的就是外部表。外部表的數(shù)據(jù)生命周期不受Hive控制，表中的數(shù)據(jù)在刪除后仍然在HDFS中。優(yōu)點(diǎn)：外部表的數(shù)據(jù)，可以同時(shí)作為多個外部表的數(shù)據(jù)源共享使用。適用于恢復(fù)誤刪的數(shù)據(jù)困難的情況，例如：實(shí)時(shí)采集的數(shù)據(jù)。分區(qū)會讓數(shù)據(jù)分開不同的文件進(jìn)行存儲，請簡要敘述分區(qū)的作用。答：分區(qū)的作用是可以提高查詢速度和優(yōu)化數(shù)據(jù)管理，縮小查詢范圍，加快數(shù)據(jù)的檢索速度和對數(shù)據(jù)按照一定的規(guī)格和條件進(jìn)行管理。一個數(shù)據(jù)表A(A1,A2,A3)，請幫忙用Hive的DDL實(shí)現(xiàn)該表的創(chuàng)建操作。答：createtableA(A1int,A2string,A3string)二、實(shí)驗(yàn)題【實(shí)驗(yàn)6.1】利用Hive構(gòu)建簡單的數(shù)據(jù)倉庫某大學(xué)要存儲歷年來所有學(xué)生的選課信息和歷史成績等信息，他們選擇了用Hive存儲這些歷史信息，現(xiàn)在請你幫忙構(gòu)建一個簡單的數(shù)據(jù)倉庫實(shí)現(xiàn)這些數(shù)據(jù)的存儲。他們提出了一些基本信息要求如下：學(xué)生表Student(S,Sname,Sage,Ssex)；其中各列含義為：S學(xué)生編號Sname學(xué)生姓名Sage出生年月Ssex學(xué)生性別課程表

Course(C,Cname,T)；其中各列含義為：C課程編號Cname課程名稱T教師編號教師表

Teacher(T,Tname)；其中各列含義為：T教師編號Tname教師姓名成績表

SC(S,C,score)；其中各列含義為：S學(xué)生編號C課程編號score分?jǐn)?shù)現(xiàn)請你完成數(shù)據(jù)倉庫的構(gòu)造，并實(shí)現(xiàn)下面的查詢要求。按照上述數(shù)據(jù)存儲要求進(jìn)行數(shù)據(jù)倉庫的構(gòu)造；按年級統(tǒng)計(jì)每屆學(xué)生人數(shù)；查詢“Bill”的選課信息，具體要求包括所選課程名，以及最終成績；查詢"01"課程歷年來的選課學(xué)生信息；查詢平均成績大于等于60分的同學(xué)的學(xué)生編號和學(xué)生姓名和平均成績；查詢所有同學(xué)的學(xué)生編號、學(xué)生姓名、選課總數(shù)、所有課程的總成績；參考解答：1、創(chuàng)建數(shù)據(jù)庫和表：createdatabasedb_student;usedb_student;（1）學(xué)生表createtableStudent(Sstring,Snamestring,Sagestring,Ssexstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';從.txt中導(dǎo)入數(shù)據(jù)： loaddatalocalinpath'/work/data/student.txt'intotabledb_student.Student;student.txt的格式： 2020001 Yan 1999-03-11 M 2021001 Li 2001-11-20 F 2020002 Ma 1999-10-01 M 2021002 Liu 2000-04-07 M2021003 Bill 2001-05-06 F（2）課程表createtableCourse(Cstring,Cnamestring,Tstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoCoursevalues('01','math','t01');（3）教師表

createtableTeacher(Tstring,Tnamestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoTeachervalues('t01','Zhang');（4）成績表

SCcreatetableSC(Sstring,Cstring,scorefloat)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoSCvalues('2021003','01',91);insertintoSCvalues('2021001','01',88);2、按年級統(tǒng)計(jì)每屆學(xué)生人數(shù) selectcount(*)fromstudentgroupbysubstr(S,0,4);3、查詢“Bill”的選課信息，具體要求包括所選課程名，以及最終成績；selectb.C,b.Cname,a.scorefromSCasajoinCourseasbona.C=b.Cwherea.Sin(selectSfromStudentwhereSname='Bill');4、查詢"01"課程歷年來的選課學(xué)生信息；selecta.C,b.S,b.SnamefromSCasaleftjoinStudentasbona.S=b.Swherea.C='01';(用leftjoin的原因是01課程可能沒有學(xué)生選)5、查詢平均成績大于等于60分的同學(xué)的學(xué)生編號和學(xué)生姓名和平均成績； selectS,avg(score)asavg_scorefromSCgroupbyShavingavg_score>=