Hcatalog1.了解Hcatalog基礎(chǔ)知識

2.知道為什么選擇HCatalog

3.掌握HCalalog架構(gòu)1.HCatalog簡介

2.為什么選擇HCatalog

3.HCalalog架構(gòu)

HCatalog簡介HCatalog是Hadoop的表存儲管理工具。它將HiveMetastore的表格數(shù)據(jù)公開給其他Hadoop應(yīng)用程序。使得具有不同數(shù)據(jù)處理工具（Pig，MapReduce）的用戶能夠輕松將數(shù)據(jù)寫入網(wǎng)格。它確保用戶不必?fù)?dān)心數(shù)據(jù)存儲在何處或以何種格式存儲。HCatalog像Hive的一個關(guān)鍵組件一樣工作，它使用戶能夠以任何格式和任何結(jié)構(gòu)存儲他們的數(shù)據(jù)。為什么選擇HCatalog為正確的作業(yè)啟用正確的工具Hadoop生態(tài)系統(tǒng)包含用于數(shù)據(jù)處理的不同工具，如Hive，Pig和MapReduce。雖然這些工具不需要元數(shù)據(jù)，但它們?nèi)匀豢梢詮闹惺芤?。共享元?shù)據(jù)存儲還可以使跨工具的用戶更容易地共享數(shù)據(jù)。數(shù)據(jù)加載和使用MapReduce或Pig進(jìn)行標(biāo)準(zhǔn)化然后通過Hive分析的工作流程非常普遍。如果所有這些工具共享一個Metastore，則每個工具的用戶可以立即訪問使用其他工具創(chuàng)建的數(shù)據(jù)。不需要加載或傳輸步驟。為什么選擇HCatalog捕獲處理狀態(tài)以啟用共享HCatalog可以發(fā)布您的分析結(jié)果。所以其他程序員可以通過“REST”訪問您的分析平臺。您發(fā)布的schemas對其他數(shù)據(jù)科學(xué)家也很有用。其他數(shù)據(jù)科學(xué)家將您的發(fā)現(xiàn)用作后續(xù)發(fā)現(xiàn)的輸入。為什么選擇HCatalog將Hadoop與其他一切集成在一起Hadoop作為處理和存儲環(huán)境為企業(yè)開辟了很多機(jī)會;然而，為了推動采用，它必須與現(xiàn)有工具合作并擴(kuò)大現(xiàn)有工具。Hadoop應(yīng)作為分析平臺的輸入或與運(yùn)營數(shù)據(jù)存儲和Web應(yīng)用程序集成。組織應(yīng)該享受Hadoop的價(jià)值，而無需學(xué)習(xí)全新的工具集。REST服務(wù)使用熟悉的API和SQL類語言為企業(yè)打開了平臺。企業(yè)數(shù)據(jù)管理系統(tǒng)使用HCatalog與Hadoop平臺進(jìn)行更深入的整合。HCatalog支持以任何可以編寫SerDe（串行器-解串器）的格式讀取和寫入文件。默認(rèn)情況下，HCatalog支持RCFile，CSV，JSON，SequenceFile和ORC文件格式。要使用自定義格式，您必須提供InputFormat，OutputFormat和SerDe。HCalalog架構(gòu)HCatalog建立在HiveMetastore的頂部，并結(jié)合了Hive的DDL。HCatalog為Pig和MapReduce提供了讀寫接口，并使用Hive的命令行界面來發(fā)布數(shù)據(jù)定義和元數(shù)據(jù)探索命令。HCa