、組件比較:序號組件名稱CDH（美國Cloudera）HDP（美國Hortonworks）MAPR（美國MapR）DKH（中國大快）Transwarp（中國星環(huán)）1HadoopJVVVV2HBaseVVVV3ZookeeperJVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV、組件簡介:Hadoop簡介：集群基礎(chǔ)組件，分為存儲6DFS)和計算(Mapreduce)兩大部分。apache社區(qū)開源。技術(shù)來源于因空”的GFS和Mapreduce。Hbase簡介：鍵-值非關(guān)系型數(shù)據(jù)庫，apache社區(qū)開源。是Google的Bigtable一個開源的實(shí)現(xiàn)。Zookeeper簡介：集群協(xié)調(diào)組件，已開源。是Google的Chubby一個開源的實(shí)現(xiàn)。Spark簡介：內(nèi)存計算框架，伯克利首先提出，現(xiàn)已開源。Hive簡介：基于HDFS的SQL工具，facebook開發(fā)，后開源。6、Hue簡介：圖形化集群工具，cloudera開發(fā)，后開源。Impala簡介：基于HDFS的SQL工具，cloudera開發(fā)，后開源。Sqoop簡介：用于關(guān)系型數(shù)據(jù)庫與NOSQL數(shù)據(jù)庫之間的數(shù)據(jù)導(dǎo)入導(dǎo)出。Cloudera開發(fā)，已開源。Flume簡介：用于數(shù)據(jù)流的導(dǎo)入，Cloudera開發(fā)，已開源。Oozie簡介：工作流系統(tǒng)，用于提交、監(jiān)控集群作業(yè)。Cloudera開發(fā)，已開源。Solr簡介：基于Lucene的全文搜索服務(wù)器。已開源。Isilon簡介：基于OneFs操作系統(tǒng)的存儲產(chǎn)品，美國賽龍公司開發(fā)，后屬于EMC，一種集群存儲方案。K-Vstoreindexer簡介：為HBase到solr的索引中間件，為NGDATA公司開發(fā)，已開源。ClouderaManager簡介：CDH集群安裝管理工具。Cloudera開發(fā)。kafka簡介：消息隊(duì)列組件。已經(jīng)開源。Storm簡介：流數(shù)據(jù)處理組件。Elasticsearch簡介：基于Lucene的全文搜索服務(wù)器。已開源。ESSQL簡介：基于Elasticsearch的SQL工具，大快開發(fā)。DK-NLP簡介：自然語言處理組件。大快開發(fā)，已開源。DK-SPIDER簡介：分布式爬蟲組件。大快開發(fā)。DKM簡介：集群安裝管理工具。大快開發(fā)。DK-DMYSQL簡介：分布式MYSQL組件，大快改寫。ApacheFalcon簡介：Falcon是一個面向Hadoop的、新的數(shù)據(jù)處理和管理平臺，設(shè)計用于數(shù)據(jù)移動、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù)發(fā)現(xiàn)。ApacheKnox簡介：Apacheknox是一個訪問hadoop集群的restapi網(wǎng)關(guān)，它為所有rest訪問提供了一個簡單的訪問接口點(diǎn)。ApachePhoenix簡介：Phoenix是HBase的SQL驅(qū)動。ApachePig簡介：Pig定義了數(shù)據(jù)流語言PigLatin，它是MapReduce編程抽象。ApacheRanger簡介：ranger是一個hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個集中的管理機(jī)制，管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。ApacheSlider簡介：Slider是一個YARN應(yīng)用，用于發(fā)布已有的分布式應(yīng)用到Y(jié)ARN上，并對這些應(yīng)用進(jìn)行監(jiān)控以及根據(jù)需要調(diào)整規(guī)模。Tez簡介：Tez支持DAG作業(yè)的計算框架，它直接源于MapReduce框架，核心思想是將Map和Reduce兩個操作進(jìn)一步拆分形成一個大的DAG作業(yè)。ApacheDrill簡介：ApacheDrill是一個低延遲的分布式海量數(shù)據(jù)（涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化以及嵌套數(shù)據(jù)）交互式查詢引擎，使用ANSISQL兼容語法。MapR-DB簡介：MapR開發(fā)MapRStreams簡介：MapR開發(fā)Mahout簡介：機(jī)器學(xué)習(xí)算法庫，現(xiàn)已停止更新。HttpFS簡介：Cloudera開發(fā)的基于http協(xié)議的HDFS操作組件。Sentry簡介：ApacheSentry是Cloudera公司發(fā)布的一個Hadoop開源組件，截止目前還是Apache的孵化項(xiàng)目，它提供了細(xì)粒度級、基于角色的授權(quán)以及多租戶的管理模式。Sahara簡介：Sahara旨在為用戶提供簡單部署Hadoop集群的能力，提供在OpenStack上快速配置和部署Hadoop集群的能力。37、Myriad0.1.0簡介:Myriad是一個Mesos框架用來動態(tài)擴(kuò)展YARN集群，并支持運(yùn)行Hadoop應(yīng)用，如Spark和非Hadoop應(yīng)用，如Node.js、Memcached、RoR等。TranswarpInceptor簡介：由ApacheSpark改寫，TranswarpInceptor交互式分析引擎提供高速SQL分析和R語言數(shù)據(jù)挖掘能力，可幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉庫和/或數(shù)據(jù)集市，結(jié)合多種報表工具提供交互式數(shù)據(jù)分析、即時報表和可視化能力。星環(huán)開發(fā)。TranswarpHyperbase簡介：TranswarpHyperbase實(shí)時數(shù)據(jù)庫是建立在ApacheHBase基礎(chǔ)之上，融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時搜索、圖形數(shù)據(jù)庫在內(nèi)的實(shí)時NoSQL數(shù)據(jù)庫。星環(huán)開發(fā)。TranswarpStream簡介：TranswarpStream實(shí)時流處理引擎提供了強(qiáng)大的流計算表達(dá)能力，支持復(fù)雜的應(yīng)用邏輯，生產(chǎn)系統(tǒng)的消息通過實(shí)時消息隊(duì)列進(jìn)入計算集群，在集群內(nèi)以流水線方式被依次處理，完成數(shù)據(jù)轉(zhuǎn)換、