大數(shù)據(jù)技術(shù)快速進(jìn)化,各種跡象顯示2015年仍將持續(xù)。MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder預(yù)測,在2015年里,五大發(fā)展將會(huì)主導(dǎo)大數(shù)據(jù)技術(shù)。
在短短幾年里,大數(shù)據(jù)技術(shù)從炒作的概念變?yōu)樾聰?shù)字時(shí)代的核心破壞者。2014年,公司里越來越多的大數(shù)據(jù)舉措從測試步入生產(chǎn)。2015年,大數(shù)據(jù)將在企業(yè)里進(jìn)一步推進(jìn),使用更多的用例(特別是實(shí)時(shí)用例),Hadoop分布式專家MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder說。
Schroeder說:“今年,機(jī)構(gòu)將覆蓋之前的初次批量實(shí)現(xiàn),進(jìn)行大數(shù)據(jù)實(shí)時(shí)部署?,F(xiàn)有的行業(yè)領(lǐng)導(dǎo)者和那些后起之秀已經(jīng)付出了巨大努力,它們通過將新的大數(shù)據(jù)平臺(tái)合并到‘動(dòng)態(tài)’數(shù)據(jù)分析中來影響業(yè)務(wù),這些實(shí)現(xiàn)將驅(qū)動(dòng)行業(yè)的發(fā)展。”
Schroeder說五大發(fā)展將會(huì)主導(dǎo)2015。
1.數(shù)據(jù)敏捷性成為焦點(diǎn)
對于許多需求來說,遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫的處理過程過于緩慢和僵化,因此數(shù)據(jù)敏捷性是大數(shù)據(jù)技術(shù)發(fā)展的驅(qū)動(dòng)力之一。在2015年,Schroeder認(rèn)為,隨著機(jī)構(gòu)將他們的注意力從捕獲和管理數(shù)據(jù)轉(zhuǎn)換到使用它們,數(shù)據(jù)敏捷性將會(huì)更加集中。
他說:“遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫如此昂貴,以至于需要DBA對數(shù)據(jù)進(jìn)行全面綜合和結(jié)構(gòu)化。前期的DBA成本推遲了對新數(shù)據(jù)源的訪問,而隨著時(shí)間的推移,這剛性的結(jié)構(gòu)也很難改變。最終的結(jié)果就是,遺留數(shù)據(jù)庫不夠敏捷,不能滿足今天多數(shù)組織的需要。”
他補(bǔ)充說:“最初的數(shù)據(jù)項(xiàng)目集中在目標(biāo)數(shù)據(jù)源的存儲(chǔ)。機(jī)構(gòu)將會(huì)把自己的注意力轉(zhuǎn)移到數(shù)據(jù)敏捷性上,而不是關(guān)心正在管理著多少數(shù)據(jù)。執(zhí)行和分析數(shù)據(jù)的能力又是如何影響操作的?當(dāng)用戶偏好、市場條件、競爭行為和操作狀態(tài)發(fā)生變化時(shí),如何才能快速適應(yīng)和響應(yīng)?這些問題將會(huì)在2015年指引大數(shù)據(jù)的投資和規(guī)模。”
2.機(jī)構(gòu)從數(shù)據(jù)湖泊轉(zhuǎn)移到數(shù)據(jù)處理平臺(tái)
從某種程度上來說,2014年是數(shù)據(jù)湖泊(或者數(shù)據(jù)中心)的一年。基于對象的存儲(chǔ)倉庫以其原生格式(無論是結(jié)構(gòu)化的、非機(jī)構(gòu)化的或半結(jié)構(gòu)化的)保存著原始數(shù)據(jù),直到可以使用。數(shù)據(jù)湖泊有著強(qiáng)烈的價(jià)值主張,它們代表著一個(gè)可伸縮的基礎(chǔ)結(jié)構(gòu),這樣的結(jié)構(gòu)經(jīng)濟(jì)(降低了成本)又敏捷。
Schroeder認(rèn)為,隨著處理數(shù)據(jù)的多計(jì)算和執(zhí)行引擎就位,數(shù)據(jù)湖泊將會(huì)在2015年繼續(xù)發(fā)展。它不僅會(huì)更有效,它還會(huì)創(chuàng)建一個(gè)單點(diǎn)管理和一個(gè)單點(diǎn)安全。
“在2015年,隨著機(jī)構(gòu)從批處理轉(zhuǎn)移到實(shí)時(shí)處理,將Hadoop、數(shù)據(jù)庫和基于文件的引擎集成到他們的大規(guī)模處理平臺(tái),數(shù)據(jù)湖泊將會(huì)有所發(fā)展”,他說。 “換句話說,它并不是關(guān)于數(shù)據(jù)湖泊中支持大量查詢和報(bào)告的大規(guī)模存儲(chǔ)。2015年的大趨勢是,圍繞事件和數(shù)據(jù)的實(shí)時(shí)持續(xù)訪問和處理,以此來獲取穩(wěn)定的狀態(tài)和及時(shí)采取行動(dòng)。”
3.自助服務(wù)大數(shù)據(jù)成為主流
大數(shù)據(jù)工具和服務(wù)的進(jìn)步意味著,在2015年,商業(yè)用戶和數(shù)據(jù)科學(xué)家訪問數(shù)據(jù)的瓶頸將逐漸緩解,Schroeder說。
2015年,IT將會(huì)擁抱自助服務(wù)大數(shù)據(jù),允許商業(yè)用戶使用大數(shù)據(jù)自助服務(wù),他說。“自助服務(wù)授權(quán)開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接控制對數(shù)據(jù)的探索。”
“之前,需要IT技術(shù)來建立集中的數(shù)據(jù)結(jié)構(gòu)”,他補(bǔ)充道。“這是一種耗時(shí)和昂貴的做法。對于一些用例,Hadoop已經(jīng)使得企業(yè)適應(yīng)了‘結(jié)構(gòu)準(zhǔn)備好’。高級(jí)一點(diǎn)的機(jī)構(gòu)將會(huì)轉(zhuǎn)移到執(zhí)行上的數(shù)據(jù)綁定,遠(yuǎn)離中心結(jié)構(gòu),以此來滿足持續(xù)的需求。自助服務(wù)加快機(jī)構(gòu)利用新數(shù)據(jù)源以及回應(yīng)機(jī)會(huì)和威脅。”
4.Hadoop供應(yīng)商整合:新商業(yè)模式的發(fā)展
早在2013年,因特爾引入了它自己的Hadoop版本,聲稱這個(gè)版本將會(huì)與原版有所不同,它采用一種增強(qiáng)的方法,將Hadoop直接置入到因特爾的機(jī)器中。但是一年后,因特爾放棄了它自己的版本,然后重磅推出Hadoop發(fā)行版供應(yīng)商Cloudera。
當(dāng)時(shí),因特爾注意到,客戶們都在觀望Hadoop市場如何打開。Hadoop的選擇實(shí)在是太多了。Schroeder相信,Hadoop供應(yīng)商的整合在2015年將會(huì)繼續(xù),而失敗者將會(huì)停止它們的發(fā)行版,將注意力轉(zhuǎn)移到其它地方。
“現(xiàn)在,我們已經(jīng)貢獻(xiàn)開源代碼20年了,它為市場提供了巨大的價(jià)值”,Schroeder說。“技術(shù)處于成熟階段。技術(shù)生命周期始于創(chuàng)新和高度差異化產(chǎn)品的創(chuàng)造,止于產(chǎn)品最終商業(yè)化。[Edgar F.] Codd于1969年使用創(chuàng)新而建立了關(guān)系數(shù)據(jù)庫概念,1986年也導(dǎo)致了Oracle IPO,而起始于1995年的第一個(gè)MySQL版本。所以歷史上,數(shù)據(jù)庫平臺(tái)技術(shù)成熟之前,為了看到商業(yè)化,它花了26年時(shí)間的創(chuàng)新。”
“在技術(shù)成熟周期中,Hadoop是比較早的,自Google發(fā)布萌芽的MapReduce白皮書起,僅僅只有十年的時(shí)間”,他補(bǔ)充道。“在初級(jí)概念發(fā)布僅10年后,Hadoop在全球被采用,超越以往任何其它數(shù)據(jù)平臺(tái)。Hadoop正在創(chuàng)新階段,所以供應(yīng)商誤采用‘Red Hat for Hadoop’策略已經(jīng)在市場上出現(xiàn)了,尤其是因特爾和最近的EMC。”
Schroeder相信,2015將會(huì)見到一個(gè)嶄新的、更微妙的開源軟件的發(fā)展,它們會(huì)結(jié)合深度創(chuàng)新和社區(qū)開發(fā)。
“開源社區(qū)對于建立標(biāo)準(zhǔn)和共識(shí)是至關(guān)重要的”,他說。“競爭是催化劑,它將Hadoop從最初的批分析處理器轉(zhuǎn)換成一個(gè)全功能數(shù)據(jù)平臺(tái)。”
5.企業(yè)架構(gòu)師不再炒作大數(shù)據(jù)
2015年將會(huì)看到,企業(yè)架構(gòu)師會(huì)成為焦點(diǎn),因他們對Hadoop技術(shù)的深入理解,得到定義更好和更成熟的大數(shù)據(jù)應(yīng)用需求說明,包括像高可用性和業(yè)務(wù)連續(xù)性等元素。
“在數(shù)據(jù)中心中,隨著機(jī)構(gòu)快速從試驗(yàn)轉(zhuǎn)移到實(shí)際應(yīng)用,企業(yè)架構(gòu)師將前臺(tái)和中心轉(zhuǎn)移到實(shí)際應(yīng)用”,Schroeder說。“IT領(lǐng)導(dǎo)在決定適應(yīng)SLA的基礎(chǔ)架構(gòu)、提供高可用性、業(yè)務(wù)連續(xù)性和適應(yīng)關(guān)鍵業(yè)務(wù)需求上就很重要了。在2014年,圍繞Hadoop蓬勃發(fā)展的生態(tài)系統(tǒng),擁有大量的應(yīng)用、工具和組件。在 2015年,市場將集中在將Hadoop集成到數(shù)據(jù)中心,并交付業(yè)務(wù)結(jié)果所需的跨平臺(tái)差異和架構(gòu)上。”