Apache軟件基金會周三公布了其最新版本的開源數(shù)據(jù)處理程序Hadoop 2,它可以同時運行多個應(yīng)用程序,使用戶能夠快速、高效地以多種方式利用數(shù)據(jù),速度比擬超級計算機。
Apache Hadoop是一個框架,允許在集群計算機使用簡單的編程模型分布式處理大型數(shù)據(jù)集,使得企業(yè)更有效率和成本效益地存儲,處理,管理和分析不斷膨脹的數(shù)據(jù)。
部署Hadoop 的企業(yè)組織遍布世界各地,包括AOL,蘋果,易趣,F(xiàn)acebook,Netflix,Amazon Web Services,以及惠普等。
平臺的最新版本,歷時四年多打造,包括許多新的組件。最值得一提的是YARN,它將集成Hadoop的MapReduce。新版本主要功能拆分成兩個獨立的守護進程,資源管理在其中一個,其他的作業(yè)調(diào)度和監(jiān)控在另一個。
YARN在HDFS(Hadoop分布式文件系統(tǒng))之上,作為一個服務(wù)于大數(shù)據(jù)應(yīng)用的大規(guī)模、分布式操作系統(tǒng),允許多個應(yīng)用程序在其整個生命周期同時運行,以更加高效地支持數(shù)據(jù)。Hadoop 2和YARN使用戶能夠混合批量、交互和實時的工作負載在一個穩(wěn)定的Hadoop生態(tài)系統(tǒng)的基礎(chǔ)部分。
Apache軟件基金會還表示YARN是MapReduce的第2版?;饡Q,它保留API與以前的版本兼容,為MapReduce編寫的應(yīng)用程序?qū)⒛軌蜻\行在YARN上,無須重新編譯。
10多個Apache項目被集成到 Hadoop,Apache軟件基金會表示,還將有10來個。
通用版本(GA)的Hadoop 2與6月發(fā)布的預(yù)覽版本一致,其中也包括了YARN。Apache Hadoop 2將會根據(jù)Apache許可證2.0版推出。