Hadoop是由Apache基金會(huì)開(kāi)發(fā)的一個(gè)大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)，最早版本是2003年原Yahoo!DougCutting根據(jù)Google發(fā)布的學(xué)術(shù)論文研究而來(lái)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。低成本、高可靠、高擴(kuò)展、高有效、高容錯(cuò)等特性讓Hadoop成為最流行的大數(shù)據(jù)分析系統(tǒng)，然而其賴以生存的HDFS和MapReduce組件卻讓其一度陷入困境——批處理的工作方式讓其只適用于離線數(shù)據(jù)處理，在要求實(shí)時(shí)性的場(chǎng)景下毫無(wú)用武之地。因此，各種基于Hadoop的工具應(yīng)運(yùn)而生，本次為大家分享Hadoop生態(tài)系統(tǒng)中最常用的13個(gè)開(kāi)源工具，其中包括資源調(diào)度、流計(jì)算及各種業(yè)務(wù)針對(duì)應(yīng)用場(chǎng)景。首先，我們看資源管理相關(guān)。

資源統(tǒng)一管理/調(diào)度系統(tǒng)

在公司和機(jī)構(gòu)中，服務(wù)器往往會(huì)因?yàn)闃I(yè)務(wù)邏輯被拆分為多個(gè)集群，基于數(shù)據(jù)密集型的處理框架也是不斷涌現(xiàn)，比如支持離線處理的MapReduce、支持在線處理的Storm及Impala、支持迭代計(jì)算的Spark及流處理框架S4，它們誕生于不同的實(shí)驗(yàn)室，并各有所長(zhǎng)。為了減少管理成本，提升資源的利用率，一個(gè)共同的想法產(chǎn)生——讓這些框架運(yùn)行在同一個(gè)集群上;因此，就有了當(dāng)下眾多的資源統(tǒng)一管理/調(diào)度系統(tǒng)，比如Google的Borg、Apache的YARN、Twitter的Mesos(已貢獻(xiàn)給Apache基金會(huì))、騰訊搜搜的Torca、FacebookCorona(開(kāi)源)，本次為大家重點(diǎn)介紹ApacheMesos及YARN：

1.ApacheMesos

代碼托管地址：ApacheSVN

Mesos提供了高效、跨分布式應(yīng)用程序和框架的資源隔離和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一個(gè)開(kāi)源項(xiàng)目，使用ZooKeeper實(shí)現(xiàn)容錯(cuò)復(fù)制，使用LinuxContainers來(lái)隔離任務(wù)，支持多種資源計(jì)劃分配(內(nèi)存和CPU)。提供Java、Python和C++APIs來(lái)開(kāi)發(fā)新的并行應(yīng)用程序，提供基于Web的用戶界面來(lái)提查看集群狀態(tài)。

2.HadoopYARN

代碼托管地址：ApacheSVN

YARN又被稱為MapReduce2.0，借鑒Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供Java虛擬機(jī)內(nèi)存的隔離。

對(duì)比MapReduce1.x，YARN架構(gòu)在客戶端上并未做太大的改變，在調(diào)用API及接口上還保持大部分的兼容，然而在YARN中，開(kāi)發(fā)人員使用ResourceManager、ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一個(gè)中心的服務(wù)，負(fù)責(zé)調(diào)度、啟動(dòng)每一個(gè)Job所屬的ApplicationMaster，另外還監(jiān)控ApplicationMaster的存在情況;NodeManager負(fù)責(zé)Container狀態(tài)的維護(hù)，并向RM保持心跳。ApplicationMaster負(fù)責(zé)一個(gè)Job生命周期內(nèi)的所有工作，類似老的框架中JobTracker。

Hadoop上的實(shí)時(shí)解決方案

前面我們有說(shuō)過(guò)，在互聯(lián)網(wǎng)公司中基于業(yè)務(wù)邏輯需求，企業(yè)往往會(huì)采用多種計(jì)算框架，比如從事搜索業(yè)務(wù)的公司：網(wǎng)頁(yè)索引建立用MapReduce，自然語(yǔ)言處理用Spark等。本節(jié)為大家分享的則是Storm、Impala、Spark三個(gè)框架：

3.ClouderaImpala

代碼托管地址：GitHub

Impala是由Cloudera開(kāi)發(fā)，一個(gè)開(kāi)源的MassivelyParallelProcessing(MPP)查詢引擎。與Hive相同的元數(shù)據(jù)、SQL語(yǔ)法、ODBC驅(qū)動(dòng)程序和用戶接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查詢。Impala是在Dremel的啟發(fā)下開(kāi)發(fā)的，第一個(gè)版本發(fā)布于2012年末。

Impala不再使用緩慢的Hive+MapReduce批處理，而是通過(guò)與商用并行關(guān)系數(shù)據(jù)庫(kù)中類似的分布式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成)，可以直接從HDFS或者HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲。

4.Spark

代碼托管地址：Apache

Spark是個(gè)開(kāi)源的數(shù)據(jù)分析集群計(jì)算框架，最初由加州大學(xué)伯克利分校AMPLab開(kāi)發(fā)，建立于HDFS之上。Spark與Hadoop一樣，用于構(gòu)建大規(guī)模、低延時(shí)的數(shù)據(jù)分析應(yīng)用。Spark采用Scala語(yǔ)言實(shí)現(xiàn)，使用Scala作為應(yīng)用框架。

Spark采用基于內(nèi)存的分布式數(shù)據(jù)集，優(yōu)化了迭代式的工作負(fù)載以及交互式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對(duì)象那樣管理分布式數(shù)據(jù)集。Spark支持分布式數(shù)據(jù)集上的迭代式任務(wù)，實(shí)際上可以在Hadoop文件系統(tǒng)上與Hadoop一起運(yùn)行(通過(guò)YARN、Mesos等實(shí)現(xiàn))。

5.Storm

代碼托管地址：GitHub

Storm是一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，由BackType開(kāi)發(fā)，后被Twitter捕獲。Storm屬于流處理平臺(tái)，多用于實(shí)時(shí)計(jì)算并更新數(shù)據(jù)庫(kù)。Storm也可被用于“連續(xù)計(jì)算”(continuouscomputation)，對(duì)數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)算。

Hadoop上的其它解決方案

就像前文說(shuō)，基于業(yè)務(wù)對(duì)實(shí)時(shí)的需求，各個(gè)實(shí)驗(yàn)室發(fā)明了Storm、Impala、Spark、Samza等流實(shí)時(shí)處理工具。而本節(jié)我們將分享的是實(shí)驗(yàn)室基于性能、兼容性、數(shù)據(jù)類型研究的開(kāi)源解決方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

[page]

6.Shark

代碼托管地址：GitHub

Shark，代表了“HiveonSpark”，一個(gè)專為Spark打造的大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，兼容ApacheHive。無(wú)需修改現(xiàn)有的數(shù)據(jù)或者查詢，就可以用100倍的速度執(zhí)行HiveQL。

Shark支持Hive查詢語(yǔ)言、元存儲(chǔ)、序列化格式及自定義函數(shù)，與現(xiàn)有Hive部署無(wú)縫集成，是一個(gè)更快、更強(qiáng)大的替代方案。

7.Phoenix

代碼托管地址：GitHub

Phoenix是構(gòu)建在ApacheHBase之上的一個(gè)SQL中間層，完全使用Java編寫(xiě)，提供了一個(gè)客戶端可嵌入的JDBC驅(qū)動(dòng)。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBasescan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。直接使用HBaseAPI、協(xié)同處理器與自定義過(guò)濾器，對(duì)于簡(jiǎn)單查詢來(lái)說(shuō)，其性能量級(jí)是毫秒，對(duì)于百萬(wàn)級(jí)別的行數(shù)來(lái)說(shuō)，其性能量級(jí)是秒。Phoenix完全托管在GitHub之上。

Phoenix值得關(guān)注的特性包括：1，嵌入式的JDBC驅(qū)動(dòng)，實(shí)現(xiàn)了大部分的java.sql接口，包括元數(shù)據(jù)API;2，可以通過(guò)多個(gè)行鍵或是鍵/值單元對(duì)列進(jìn)行建模;3，DDL支持;4，版本化的模式倉(cāng)庫(kù);5，DML支持;5，通過(guò)客戶端的批處理實(shí)現(xiàn)的有限的事務(wù)支持;6，緊跟ANSISQL標(biāo)準(zhǔn)。

8.ApacheAccumulo

代碼托管地址：ApacheSVN

ApacheAccumulo是一個(gè)可靠的、可伸縮的、高性能、排序分布式的鍵值存儲(chǔ)解決方案，基于單元訪問(wèn)控制以及可定制的服務(wù)器端處理。使用GoogleBigTable設(shè)計(jì)思路，基于ApacheHadoop、Zookeeper和Thrift構(gòu)建。Accumulo最早由NSA開(kāi)發(fā)，后被捐獻(xiàn)給了Apache基金會(huì)。

對(duì)比GoogleBigTable，Accumulo主要提升在基于單元的訪問(wèn)及服務(wù)器端的編程機(jī)制，后一處修改讓Accumulo可以在數(shù)據(jù)處理過(guò)程中任意點(diǎn)修改鍵值對(duì)。

9.ApacheDrill

代碼托管地址：GitHub

本質(zhì)上，ApacheDrill是GoogleDremel的開(kāi)源實(shí)現(xiàn)，本質(zhì)是一個(gè)分布式的mpp查詢層，支持SQL及一些用于NoSQL和Hadoop數(shù)據(jù)存儲(chǔ)系統(tǒng)上的語(yǔ)言，將有助于Hadoop用戶實(shí)現(xiàn)更快查詢海量數(shù)據(jù)集的目的。當(dāng)下Drill還只能算上一個(gè)框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更廣泛的數(shù)據(jù)源、數(shù)據(jù)格式及查詢語(yǔ)言，可以通過(guò)對(duì)PB字節(jié)數(shù)據(jù)的快速掃描(大約幾秒內(nèi))完成相關(guān)分析，將是一個(gè)專為互動(dòng)分析大型數(shù)據(jù)集的分布式系統(tǒng)。

10.ApacheGiraph

代碼托管地址：GitHub

ApacheGiraph是一個(gè)可伸縮的分布式迭代圖處理系統(tǒng)，靈感來(lái)自BSP(bulksynchronousparallel)和Google的Pregel，與它們區(qū)別于則是是開(kāi)源、基于Hadoop的架構(gòu)等。

Giraph處理平臺(tái)適用于運(yùn)行大規(guī)模的邏輯計(jì)算，比如頁(yè)面排行、共享鏈接、基于個(gè)性化排行等。Giraph專注于社交圖計(jì)算，被Facebook作為其OpenGraph工具的核心，幾分鐘內(nèi)處理數(shù)萬(wàn)億次用戶及其行為之間的連接。

11.ApacheHama

代碼托管地址：GitHub

ApacheHama是一個(gè)建立在Hadoop上基于BSP(BulkSynchronousParallel)的計(jì)算框架，模仿了Google的Pregel。用來(lái)處理大規(guī)模的科學(xué)計(jì)算，特別是矩陣和圖計(jì)算。集群環(huán)境中的系統(tǒng)架構(gòu)由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)這3大塊組成。

12.ApacheTez

代碼托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向無(wú)環(huán)圖，DirectedAcyclicGraph)計(jì)算框架。它把Map/Reduce過(guò)程拆分成若干個(gè)子過(guò)程，同時(shí)可以把多個(gè)Map/Reduce任務(wù)組合成一個(gè)較大的DAG任務(wù)，減少了Map/Reduce之間的文件存儲(chǔ)。同時(shí)合理組合其子過(guò)程，減少任務(wù)的運(yùn)行時(shí)間。由Hortonworks開(kāi)發(fā)并提供主要支持。

13.ApacheAmbari

代碼托管地址：ApacheSVN

ApacheAmbari是一個(gè)供應(yīng)、管理和監(jiān)視ApacheHadoop集群的開(kāi)源框架，它提供一個(gè)直觀的操作工具和一個(gè)健壯的HadoopAPI,可以隱藏復(fù)雜的Hadoop操作，使集群操作大大簡(jiǎn)化，首個(gè)版本發(fā)布于2012年6月。

ApacheAmbari現(xiàn)在是一個(gè)Apache的頂級(jí)項(xiàng)目，早在2011年8月，Hortonworks引進(jìn)Ambari作為ApacheIncubator項(xiàng)目，制定了Hadoop集群極致簡(jiǎn)單管理的愿景。在兩年多的開(kāi)發(fā)社區(qū)顯著成長(zhǎng)，從一個(gè)小團(tuán)隊(duì)，成長(zhǎng)為Hortonworks各種組織的貢獻(xiàn)者。Ambari用戶群一直在穩(wěn)步增長(zhǎng)，許多機(jī)構(gòu)依靠Ambari在其大型數(shù)據(jù)中心大規(guī)模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop組件包括：HDFS、MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。