第三章

列式存儲型數(shù)據(jù)庫HBase單擊此處添加副標(biāo)題演講者：認(rèn)識HBase01HBase的數(shù)據(jù)類型02HBase的Shell操作04Python與HBase05HBase安裝部署03項目實踐：設(shè)計水費繳費明細(xì)表06目錄01認(rèn)識HBaseHBase的設(shè)計哲學(xué)是“NoSQL”，?即不使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫模型，?而是采用更靈活的數(shù)據(jù)存儲和檢索方式，?特別適合大數(shù)據(jù)和數(shù)據(jù)分析場景。?它允許數(shù)據(jù)橫向擴展，?通過增加更多的節(jié)點來提高性能和存儲容量，?而不必進行復(fù)雜的數(shù)據(jù)庫重構(gòu)或遷移。高吞吐量和低延遲：HBase支持高吞吐量的數(shù)據(jù)讀寫操作，采用基于內(nèi)存的數(shù)據(jù)訪問方式，實現(xiàn)低延遲的數(shù)據(jù)讀寫。高可用性和容錯性：采用分布式架構(gòu)，支持?jǐn)?shù)據(jù)的冗余備份和負(fù)載均衡，確保數(shù)據(jù)的高可用性和容錯性。優(yōu)勢和特點包括：靈活的數(shù)據(jù)模型：HBase支持結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)存儲，能夠處理稀疏矩陣模型的數(shù)據(jù)。?良好的伸縮性：HBase支持水平擴展，可以輕松應(yīng)對大規(guī)模數(shù)據(jù)的存儲和處理需求。123456HBase概述車聯(lián)網(wǎng)：HBase適用于存儲車聯(lián)網(wǎng)中的行駛軌跡、車輛狀況、精準(zhǔn)定位等重要數(shù)據(jù)，提供低成本、彈性、靈活可靠的能力。應(yīng)用場景包括：廣告營銷：HBase可以存儲廣告營銷中的畫像特征、用戶事件、點擊流等重要數(shù)據(jù)，提供高并發(fā)和低延遲的能力，幫助構(gòu)建實時競價和廣告定位投放系統(tǒng)。?實時數(shù)據(jù)分析：HBase支持實時數(shù)據(jù)的寫入和查詢，通過與Hadoop的實時計算組件如Storm的結(jié)合，可以實現(xiàn)實時數(shù)據(jù)分析和處理。?用戶畫像：HBase可以構(gòu)建精準(zhǔn)的用戶畫像，適用于市場決策、推薦系統(tǒng)等。大規(guī)模數(shù)據(jù)存儲：HBase適用于存儲PB級別的海量數(shù)據(jù)，支持?jǐn)?shù)據(jù)的水平擴展和無限擴展。?應(yīng)用場景02HBase的數(shù)據(jù)模型HBase數(shù)據(jù)存儲結(jié)構(gòu)HBase數(shù)據(jù)模型主要由RowKey、ColumnFamily、ColumnQualifier和Timestamp四部分組成。HBase數(shù)據(jù)存儲概念HBase基本架構(gòu)03HBase安裝部署01安裝java環(huán)境02安裝Hadoop03啟動Hadoop環(huán)境準(zhǔn)備解壓、配置環(huán)境變量02配置相關(guān)XML文件03下載安裝文件01HBase安裝1啟動Hadoop2啟動HBase3訪問頁面4進入HBase啟動HBase04HBase的Shell操作查看數(shù)據(jù)庫版本：version查看數(shù)據(jù)庫中所有的表：list查看數(shù)據(jù)庫集群狀態(tài)：status基本操作表的相關(guān)操作創(chuàng)建表語法：create'表名','列蔟名'...插入數(shù)據(jù)語法：put'表名','ROWKEY','列蔟名:列名','值'查看數(shù)據(jù)語法：get'表名','rowkey'更新數(shù)據(jù)語法：put更新數(shù)據(jù)（數(shù)據(jù)存在屬于更新操作，數(shù)據(jù)不存在屬于數(shù)據(jù)插入操作）刪除數(shù)據(jù)語法：delete'表名','rowkey','列蔟:列'刪除整行數(shù)據(jù)語法：deleteall'表名','rowkey'刪除表：要刪除某個表，必須要先使用disable關(guān)鍵字禁用表，然后使用drop刪除表。05Python與HBase01配置hbase-site.xml文件安裝happybase命令：pipinstallhappybase0203環(huán)境準(zhǔn)備操作HBase啟動數(shù)據(jù)庫：先啟動Hadoop,再啟動HBase,最后啟動啟動thrift使用jps命令驗證已經(jīng)啟動的服務(wù)python操作數(shù)據(jù)庫：鏈接HBase--Connection方法增加數(shù)據(jù)--put方法查指定行--row方法查看所有數(shù)據(jù)--scan方法刪除數(shù)據(jù)--delete方法關(guān)閉鏈接--close方法06項目實踐：設(shè)計水費繳費明細(xì)表要求：自來水公司，需要存儲大量的繳費明細(xì)數(shù)據(jù)。以下是繳費明細(xì)示例數(shù)據(jù)：需要將類似數(shù)據(jù)存入數(shù)據(jù)庫HBase中。數(shù)據(jù)中在下一次收繳水費時可以更新繳費時間、表示數(shù)、用量、合計金額、查表日期、最遲繳費日期，而用戶的基本信息不變。用戶ID3919700姓名茹喜蘭地址江西省新余市分宜縣鈐山鎮(zhèn)6單元251室性別男繳費時間2024/6/24表示數(shù)（本次）62.5表示數(shù)（上次）40.5用量（立方）22合計金額132查表日期2024/6/9最遲繳費日期2024/7/24安裝HBase數(shù)據(jù)模型Python操作HBase小結(jié)練習(xí)：要求：項目實踐中只添加了一位用戶的數(shù)據(jù)，請將以下數(shù)據(jù)存入water_rate表。用戶ID50370583018827209277471523563141181姓名荊秀榮無玉梅毋文芬己愛梅駱秀珍地址上海市上海市閘北區(qū)共和新路街道7單元192室陜西省咸陽市武功縣小村鎮(zhèn)2單元168室遼寧省本溪市南芬區(qū)南芬街道18單元97室甘肅省武威市民勤縣東壩鎮(zhèn)15單元69室河南省周口市太康縣馬頭鎮(zhèn)12單元280室性別女男男女女繳費時間2024/8/112024/4/302024/2/22024/1/272024/5/19表示數(shù)（本次）255.8406.2274.864.2477.7表示數(shù)（上次）237.8379.2252.846.2457.7用量（立方）1827221820合計金額108162132