如今全球各地的無數(shù)企業(yè)組織在處理數(shù)據(jù)集，這些數(shù)據(jù)集是如此地龐大而復(fù)雜，以至于傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件再也無法支持經(jīng)過優(yōu)化的數(shù)據(jù)分析和洞察力獲取。這是新一批大數(shù)據(jù)應(yīng)用軟件旨在解決的問題，而Apache軟件基金會(huì)(ASF)最近將一批值得關(guān)注的開源大數(shù)據(jù)項(xiàng)目升級(jí)為Apache頂級(jí)項(xiàng)目。這意味著，這些項(xiàng)目將獲得積極的開發(fā)和強(qiáng)有力的社區(qū)支持。

大多數(shù)人已聽說過Apache Spark，這種大數(shù)據(jù)處理框架擁有內(nèi)置模塊，可用于數(shù)據(jù)流、SQL、機(jī)器學(xué)習(xí)和圖形處理。IBM及其他公司正在往Spark項(xiàng)目投入數(shù)十億美元的開發(fā)資金，美國宇航局和SETI研究所在開展合作，利用Spark的機(jī)器學(xué)習(xí)能力，分析數(shù)TB的復(fù)雜的外太空無線信號(hào)，搜尋可能表明存在智能外星生命的模式。

然而，另外幾個(gè)最近被提升為頂級(jí)項(xiàng)目的Apache大數(shù)據(jù)項(xiàng)目同樣值得關(guān)注。實(shí)際上，其中一些打造的生態(tài)系統(tǒng)在活動(dòng)和開發(fā)上可與Spark的生態(tài)系統(tǒng)相媲美。本文介紹了你應(yīng)該知道的幾個(gè)Apache大數(shù)據(jù)項(xiàng)目。

下面是六個(gè)迅速崛起的項(xiàng)目：

Kylin

Apache最近宣布，Kylin項(xiàng)目這個(gè)脫胎于eBay的開源大數(shù)據(jù)項(xiàng)目已被提升為頂級(jí)項(xiàng)目。Kylin是一個(gè)開源分布式分析引擎，旨在提供一種基于Apache Hadoop的SQL接口和多維分析(OLAP)，支持極其龐大的數(shù)據(jù)集。它仍廣泛用于eBay和另外幾家組織。

Apache Kylin副總裁Luke Han說：“Apache Kylin的孵化之旅已證明了開源治理在Apache軟件基金會(huì)(ASF)具有的價(jià)值，并證明了圍繞該項(xiàng)目打造一個(gè)開源社區(qū)和生態(tài)系統(tǒng)的力量。我們的社區(qū)在與世界上最龐大的本地開發(fā)者社區(qū)積極互動(dòng)，完全依照Apache之道。”

作為一種基于Hadoop的OLAP解決方案，Apache Kylin旨在填補(bǔ)大數(shù)據(jù)探索與人類使用之間的空白，“讓分析員、最終用戶、開發(fā)人員和數(shù)據(jù)愛好者能夠?qū)嫶髷?shù)據(jù)集執(zhí)行交互式分析，延遲低于1秒，”據(jù)開發(fā)人員聲稱。他們補(bǔ)充道：“Apache Kylin將商業(yè)智能(BI)帶回給Apache Hadoop，發(fā)掘大數(shù)據(jù)的價(jià)值。”

Lens

Apache最近還宣布，Apache Lens這個(gè)開源大數(shù)據(jù)和分析工具由Apache孵化器提升為頂級(jí)項(xiàng)目(TLP)。據(jù)宣布聲稱：“Apache Lens是一種統(tǒng)一分析平臺(tái)。它為統(tǒng)一視圖的分析查詢提供了一種最佳執(zhí)行環(huán)境。Apache Lens旨在通過針對(duì)多個(gè)分層數(shù)據(jù)存儲(chǔ)系統(tǒng)，提供單一的數(shù)據(jù)視圖，從而消除數(shù)據(jù)分析孤島。”

“通過在數(shù)據(jù)基礎(chǔ)上提供一種聯(lián)機(jī)分析處理(OLAP)模型，Lens將Apach Hadoop和傳統(tǒng)數(shù)據(jù)倉庫無縫集成起來，好比是一個(gè)整體。它還為在系統(tǒng)中運(yùn)行的查詢提供了查詢歷史記錄和分析統(tǒng)計(jì)功能，另外提供了查詢生命周期管理。”

Apache Lens的副總裁Amareshwari Sriramadasu 說：“在ASF孵化Apache Lens是個(gè)神奇的經(jīng)歷。Apache Lens著眼于最終用戶，解決了大數(shù)據(jù)分析領(lǐng)域的一個(gè)非常關(guān)鍵的問題。它讓業(yè)務(wù)用戶、分析員、數(shù)據(jù)科學(xué)家、開發(fā)人員及其他用戶能夠輕松處理復(fù)雜的分析，不需要了解底層的數(shù)據(jù)布局。”

Ignite

Apache軟件基金會(huì)還宣布Apache Ingite成為了一個(gè)頂級(jí)項(xiàng)目。這個(gè)開源項(xiàng)目旨在構(gòu)建一種內(nèi)存中數(shù)據(jù)架構(gòu)(in-memory data fabric)。

據(jù)Apache社區(qū)的成員聲稱：“Apache Ignite是一種高性能、集成、分布式的內(nèi)存中數(shù)據(jù)架構(gòu)，針對(duì)大規(guī)模數(shù)據(jù)集可實(shí)現(xiàn)實(shí)時(shí)計(jì)算和處理，速度比基于磁盤或閃存的傳統(tǒng)技術(shù)要快幾個(gè)數(shù)量級(jí)。它旨在可以輕松支持成本合理、基于行業(yè)標(biāo)準(zhǔn)的硬件上的分布式大規(guī)模并行架構(gòu)中的新舊應(yīng)用程序。”

Brooklyn

Apache軟件基金會(huì)宣布，Apache Brooklyn現(xiàn)在是個(gè)頂級(jí)項(xiàng)目(TLP)，“這標(biāo)志著該項(xiàng)目的社區(qū)和產(chǎn)品已在該基金會(huì)的精英管理流程和原則下得到了妥善治理。”Brooklyn是一種應(yīng)用程序藍(lán)圖和管理平臺(tái)，用于跨多個(gè)數(shù)據(jù)中心集成服務(wù)，并集成云端的眾多軟件。

據(jù)Brooklyn宣布聲稱：“由于現(xiàn)代應(yīng)用程序由許多組件構(gòu)成，微服務(wù)架構(gòu)日前受到關(guān)注，部署應(yīng)用程序和已部署應(yīng)用程序的日常改進(jìn)成了一個(gè)越來越難的問題。Apache Brooklyn的藍(lán)圖提供了一種清晰簡(jiǎn)潔的方式，可以在部署到公共云或私有基礎(chǔ)設(shè)施之前，明確應(yīng)用程序、組件、配置以及組件之間的關(guān)系。基于策略的管理建立在自主計(jì)算理論這個(gè)基礎(chǔ)上，不斷評(píng)估運(yùn)行中的應(yīng)用程序，并對(duì)它進(jìn)行改動(dòng)，讓應(yīng)用程序保持順暢運(yùn)行，并且針對(duì)成本和響應(yīng)能力等度量指標(biāo)進(jìn)行優(yōu)化。”

Brooklyn現(xiàn)用于一些知名企業(yè)組織。云服務(wù)提供商Canopy和Virtustream已開發(fā)了基于Brooklyn的產(chǎn)品。IBM也廣泛使用Apache Brooklyn，以便將大量的工作負(fù)載從AWS遷移到IBM Softlayer。

Apex

今年4月份，Apache軟件基金會(huì)將Apex項(xiàng)目提升為頂級(jí)項(xiàng)目。它號(hào)稱是“面向Apache Hadoop生態(tài)系統(tǒng)的一種大規(guī)模、高吞吐量、低延時(shí)、容錯(cuò)、統(tǒng)一的大數(shù)據(jù)數(shù)據(jù)流和批量處理平臺(tái)。”Apex可與Apache Hadoop YARN協(xié)同運(yùn)行，后者是一種適用于Hadoop集群的資源管理平臺(tái)。

Tajo

最后，Apache Tajo是需要了解的另一個(gè)新的大數(shù)據(jù)項(xiàng)目，這是Apache Hadoop中一個(gè)先進(jìn)的開源數(shù)據(jù)倉庫系統(tǒng)。Apache聲稱，Tajo為Hadoop部署系統(tǒng)、第三方數(shù)據(jù)庫和商用商業(yè)智能工具提供了快速獲取更多信息的功能。

很顯然，雖然Apache Spark吸引了大量眼球，但它不是Apache提供的唯一引人注目的大數(shù)據(jù)工具。今年，Apache可能會(huì)將更引人注目的大數(shù)據(jù)項(xiàng)目提升為頂級(jí)項(xiàng)目，這些項(xiàng)目將得益于經(jīng)過優(yōu)化的開發(fā)資源及更多優(yōu)勢(shì)。

原文標(biāo)題：Rise six unsung apache big data projects