Hadoop是目前大數(shù)據(jù)分析領(lǐng)域中應(yīng)用最廣泛的一種分布式架構(gòu),而經(jīng)過相當(dāng)長時間的發(fā)展,Hadoop在功能上也越來越成熟。尤其在過去三年里,它得到前所未有的發(fā)展,并被很多公司大規(guī)模采用。然而時代在變化,Hadoop在多云的未來該何去何從?
根據(jù)市場調(diào)研公司Forrester估計,2017年用戶將在Hadoop軟件和相關(guān)服務(wù)上花費8億美元。這并不奇怪,因為在過去這段時間里,Hadoop供應(yīng)商們充分利用Cloudera、 Hortonworks、和MapR等產(chǎn)品使Hadoop家喻戶曉。但是,時代在變化,Hadoop與其它技術(shù)一樣也受到云計算的影響。
用戶們希望借助公有云來處理更多的大數(shù)據(jù),所以盡管Hadoop不是專為云而生,Hadoop供應(yīng)商們還是在努力將Hadoop與云聯(lián)系起來。就像一位Hadoop供應(yīng)商的內(nèi)部人士所言:“如果我們真正理解云,就不會用原來的方式去設(shè)計Hadoop。“事實上,所有Hadoop供應(yīng)商都在通過自家策略使Hadoop與云相結(jié)合,尤其是在對象存儲和調(diào)度策略上。
但是,云供應(yīng)商似乎并未向Hadoop供應(yīng)商們敞開懷抱。云供應(yīng)商正在通過自己的數(shù)據(jù)解決方案代替Hadoop,這為Hadoop在多云的未來發(fā)展蒙上了陰影。
在大數(shù)據(jù)相關(guān)業(yè)務(wù)上,云供應(yīng)商們采用了隱藏或替換Hadoop的方式滿足用戶需求。比如AWS 的Athena,你可以對大數(shù)據(jù)執(zhí)行SQL查詢,但不用關(guān)心底層的服務(wù)器。這使“無服務(wù)器”產(chǎn)品成為趨勢,比如Google云端功能就是一個例子;DataBricks則直接針對S3(亞馬遜云服務(wù))使用Spark??吹竭@個模式了嗎?
隨著越來越多的公司厭倦了Hadoop的內(nèi)部復(fù)雜性,這些公司正尋求把Hadoop堆棧轉(zhuǎn)移到公有云,這意味著Hadoop供應(yīng)商的市場和營收將被云廠商蠶食。
公有云中的Serverless架構(gòu)(無服務(wù)架構(gòu)),以及其它能夠替代Hadoop的解決方案,都將削弱Hadoop收入;所以除非Hadoop社區(qū)能夠給行業(yè)一個令人信服的理由,才能說服用戶繼續(xù)使用Hadoop,從而保住Hadoop的市場。
就Hadoop目前的生態(tài)而言,各供應(yīng)商之間系出同源但又各自為戰(zhàn)。大數(shù)據(jù)組件、安全性、元數(shù)據(jù)及管理等產(chǎn)品及服務(wù)都能單獨作為不同供應(yīng)商之間的獨特競爭力,這讓Hadoop的服務(wù)無法形成閉環(huán)。而服務(wù)閉環(huán)卻是用戶選擇將Hadoop作為他們的大數(shù)據(jù)戰(zhàn)略核心最關(guān)鍵的因素。因此,在面對亞馬遜、谷歌、IBM和其他公司提供了Hadoop替代方案的多云未來,Hadoop供應(yīng)商們無法團結(jié)起來一起保護Hadoop的地位。
所以我們有理由相信,在未來兩三年內(nèi),Hadoop將只會提供一個品牌而非一條產(chǎn)業(yè)鏈或具體的產(chǎn)品。可以看到的是,當(dāng)下的Hortonworks、Cloudera、MapR和Pivotal都紛紛脫離了Hadoop供應(yīng)商標簽,他們也正是看到了這種趨勢。
如果再考慮到深度學(xué)習(xí)和人工智能對Hadoop的影響,那就更加混亂了。就像Hadoop不是為云而生一樣,它同樣不是為深層學(xué)習(xí)所需的矩陣數(shù)學(xué)而設(shè)計的。云團隊正在忙于創(chuàng)建合適人工智能發(fā)展的友好環(huán)境,這意味著Hadoop供應(yīng)商要做更多努力以保持他們軟件的兼容性。未來Hadoop供應(yīng)商們會讓Hadoop成為AI的平臺嗎?大概不會。
所以Hadoop在未來還會保持兩到三年的強勁增長,但最終它可能只會留在數(shù)據(jù)庫與大型機身邊。數(shù)字時代的變化速度太快,沒有任何一種技術(shù)可以長盛不衰!