大數(shù)據(jù)如何使得數(shù)據(jù)庫變得更好

責(zé)任編輯:editor005

作者:litao984lt

2016-01-04 14:35:26

摘自:機(jī)房360

摘要:當(dāng)在提及“數(shù)據(jù)庫”時(shí),大多數(shù)人第一時(shí)間想到的肯定都是已經(jīng)主宰該領(lǐng)域超過30年的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。

摘要:當(dāng)在提及“數(shù)據(jù)庫”時(shí),大多數(shù)人第一時(shí)間想到的肯定都是已經(jīng)主宰該領(lǐng)域超過30年的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。然而,這種狀況可能很快就會改變。

從NoSQL到NewSQL再到‘數(shù)據(jù)代數(shù)(data algebra)’,在這一領(lǐng)域的創(chuàng)新如今正洶涌而來。

當(dāng)在提及“數(shù)據(jù)庫”時(shí),大多數(shù)人第一時(shí)間想到的肯定都是已經(jīng)主宰該領(lǐng)域超過30年的關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)。然而,這種狀況可能很快就會改變。

一系列全新的競爭對手,現(xiàn)在正在爭奪這一關(guān)鍵的企業(yè)市場,盡管他們所采用的是不同的方法,但卻都有一個共同點(diǎn):專注于大數(shù)據(jù)領(lǐng)域。

推動這種新的替代品獲得大規(guī)模擴(kuò)散的大部分因素是源于大數(shù)據(jù)的“3V”基本屬性,即:海量(volume)、高速(velocity)和多樣(variety)。

從本質(zhì)上講,今天的數(shù)據(jù)傳輸速度比以往任何時(shí)候都快;而且其數(shù)據(jù)量也比以往任何時(shí)候都更大;其種類也更加多樣化。換句話說,這是一個全新的數(shù)據(jù)化的世界,而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)并不是真正為它設(shè)計(jì)的。

“基本上,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)不能應(yīng)對規(guī)模化的海量、或快速、或多樣的數(shù)據(jù)。”一家數(shù)據(jù)科學(xué)咨詢分析機(jī)構(gòu)KDnuggets公司的總裁Gregory Piatetsky-Shapiro表示說。

這便是哈特·漢克斯最近的發(fā)現(xiàn):截至到2013年左右,市場營銷服務(wù)機(jī)構(gòu)都在使用不同的數(shù)據(jù)庫的組合,包括Microsoft SQL Server和甲骨文公司的Real Application Clusters (RAC)。

“我們注意到,隨著數(shù)據(jù)隨時(shí)間的增長,我們的系統(tǒng)處理信息的速度不夠快。”該公司技術(shù)和開發(fā)負(fù)責(zé)人Sean Iannuzzi表示說。“就算是您企業(yè)能夠不斷地購買新的服務(wù)器,也只是剛剛能夠趕上數(shù)據(jù)增長的節(jié)奏,而我們希望確保我們能夠具備向外擴(kuò)展的平臺。”

減少干擾是一個重要的目標(biāo),Iannuzzi說,因此“我們不能只是切換到Hadoop。”

相反,其選擇了Splice Machine公司的產(chǎn)品,這實(shí)質(zhì)上是把完整的SQL數(shù)據(jù)庫與流行的Hadoop大數(shù)據(jù)平臺,使現(xiàn)有的應(yīng)用程序來與之連接,他說。

哈特·漢克斯現(xiàn)在處在實(shí)施部署的初期階段,但已經(jīng)看到了效益,Iannuzzi說,包括提高了容錯性、高可用性、冗余性、穩(wěn)定性和“性能的全面提升。”

有一種完美的風(fēng)暴推動了新的數(shù)據(jù)庫技術(shù)的出現(xiàn),IDC公司研究副總裁Carl Olofson表示說。

首先,“與過去相比,我們當(dāng)前正在使用的設(shè)備能夠快速、靈活地處理大型數(shù)據(jù)集。” Olofson指出。

在過去的日子里,這樣的數(shù)據(jù)集“需要被放在旋轉(zhuǎn)的磁盤上”,而且數(shù)據(jù)必須以特定的方式來結(jié)構(gòu)化,他解釋說。

現(xiàn)在有64位尋址能力,可以建立更大的存儲空間,以及更快的網(wǎng)絡(luò),并能夠串多臺計(jì)算機(jī)一起,作為單個大型數(shù)據(jù)庫。

“這些東西開辟了之前不可用的可能性,” Olofson說。

同時(shí),工作負(fù)載也發(fā)生了變化。例如,10年前的網(wǎng)站在很大程度上都是靜態(tài)的,而在今天我們都是現(xiàn)場的Web服務(wù)環(huán)境和互動的購物體驗(yàn)。這反過來,需要一個新水平的可擴(kuò)展性,他說。

企業(yè)也在利用新的方式使用數(shù)據(jù)。雖然在傳統(tǒng)上,我們大部分的精力都放在了處理我們的交易——例如,記錄我們銷售了多少,并將這些數(shù)據(jù)存儲起來,以便進(jìn)行分析——今天我們做得更多。

應(yīng)用程序狀態(tài)管理就是這方面的一個例子。

假設(shè)您正在玩一款網(wǎng)絡(luò)游戲。技術(shù)必須記錄您與系統(tǒng)的每一次操作,并將其連接在一起,以呈現(xiàn)出連續(xù)的體驗(yàn),即使您換了設(shè)備或者是各種操作是通過不同的服務(wù)器進(jìn)行處理的,Olofson解釋說。

這些數(shù)據(jù)必須持久化,這樣,企業(yè)可以分析這樣的問題,例如:“為什么從來沒有人穿過水晶廳。”在網(wǎng)絡(luò)購物方面,類似需要分析的問題可能是:為什么越來越多的用戶在點(diǎn)擊了顏色選擇之后,卻并沒有購買某品牌的鞋子。

“以前,我們并沒有試圖解決這些問題,或者說——就算我們試圖去解決了,也只是試圖將其擠壓在一個不太合適的盒子里。”Olofson說。

在當(dāng)今新的眾多競爭者之中,Hadoop無疑是一款重量級的。雖然其本身并不是一個數(shù)據(jù)庫,但它的成長在企業(yè)解決大數(shù)據(jù)方面扮演了關(guān)鍵性的填補(bǔ)角色作用。從本質(zhì)上來說,Hadoop是一款用于運(yùn)行高度并行化的應(yīng)用程序的數(shù)據(jù)中心平臺,具有很強(qiáng)的可擴(kuò)展性。

通過允許企業(yè)以分布的方式“向外”擴(kuò)展,而不是通過采用額外昂貴的服務(wù)器“向上”擴(kuò)展,“使得我們可以很便宜地把一個大型的數(shù)據(jù)集合整合起來,然后分析該數(shù)據(jù)集合有什么。”Olofson說。

在其他新的RDBMS的替代品是NoSQL系列產(chǎn)品,其中包括MongoDB——目前是第四大最為流行的數(shù)據(jù)庫管理系統(tǒng),根據(jù)DB-Engines和MarkLogic的數(shù)據(jù)庫排名顯示。

“關(guān)系數(shù)據(jù)庫管理系統(tǒng)成為一款偉大的技術(shù)已經(jīng)有30年的歷史了,但它是基于不同的時(shí)代的不同市場需求所構(gòu)建的不同的技術(shù)。” MarkLogic的產(chǎn)品執(zhí)行副總裁喬·帕卡說。

他說,大數(shù)據(jù)是不均勻的,但對于許多傳統(tǒng)的技術(shù),這仍然是一項(xiàng)基本要求。

“想象一下,在您筆記本電腦上唯一的一款程序是Excel會是怎樣?”帕卡說。“再試著想象一下,您想要保持與網(wǎng)絡(luò)上的朋友們的聯(lián)系,或者您正在寫一份合約,而Excel的那些行和列顯然不適合滿足這些需求。”

將數(shù)據(jù)集組合起來可能是特別棘手的工作。

“采用關(guān)系數(shù)據(jù)庫管理系統(tǒng)的話,在您把所有這些數(shù)據(jù)集整合在一起之前,您必須決定如何對所有列實(shí)施排隊(duì)。”他補(bǔ)充說。“而我們則可以采取任何形式或結(jié)構(gòu),并立即開始使用它。”

NoSQL數(shù)據(jù)庫不使用一款關(guān)系數(shù)據(jù)模型,通常沒有SQL接口。而許多NoSQL存儲為了速度和其他因素而在一致性方面進(jìn)行了妥協(xié)。而MarkLogic自身的產(chǎn)品是專為滿足企業(yè)的一致性選擇而量身定做的。

根據(jù)市場研究媒體Marketresearchmedia.com網(wǎng)站的介紹,在NoSQL市場已經(jīng)呈現(xiàn)了可觀的增長,但并非每個人都認(rèn)為這是正確的方法——至少,不是在所有的情況下。

NoSQL系統(tǒng)“通過其橫向擴(kuò)展架構(gòu),解決了許多問題,但他們拋棄了SQL。” Splice Machine公司的CEO Monte Zweben說。這反過來,構(gòu)成了現(xiàn)有代碼中的問題。

Splice Machine公司的產(chǎn)品是稱為NewSQL的,不同類別的替代品的一個例子——另一類預(yù)期在未來幾年將獲得強(qiáng)勁增長的產(chǎn)品。

“我們的理念是在保有SQL的同時(shí),添加擴(kuò)展架構(gòu)。”Zweben說。“這是創(chuàng)造一些新的東西的時(shí)候了,但我們正努力使用戶不必重寫編寫代碼。”

大數(shù)據(jù)創(chuàng)業(yè)企業(yè)Deep Information Sciences公司也選擇了堅(jiān)持使用SQL,但他們則是以另一種方法。

該公司的DeepSQL數(shù)據(jù)庫使用與MySQL相同的應(yīng)用程序編程接口(API)和關(guān)系模型,這意味著為了使用它無需進(jìn)行應(yīng)用程序的改變。但它以不同的方式處理數(shù)據(jù),使用機(jī)器學(xué)習(xí)。

DeepSQL可以使用任何工作負(fù)載組合自動適應(yīng)物理,虛擬或云主機(jī),該公司表示,從而省去了手動數(shù)據(jù)庫優(yōu)化的需要。

在這些都大大提高了性能以及擴(kuò)展到 “千億行”的能力,該公司的首席戰(zhàn)略官Chad Jones表示。

另一種完全不同的方式來自Algebraix Data公司,該公司表示說,他們已經(jīng)為數(shù)據(jù)開發(fā)了第一款真正的數(shù)學(xué)基礎(chǔ)。

而計(jì)算機(jī)硬件已經(jīng)在其建成之前進(jìn)行了數(shù)學(xué)模型,而不是在軟件的情況下,Algebraix公司首席執(zhí)行官Charles Silver表示。

“軟件,尤其是數(shù)據(jù),從未建立在數(shù)學(xué)的基礎(chǔ)上。”他說。“軟件在很大程度上是語言學(xué)的問題。”

經(jīng)過五年的研發(fā),Algebraix公司創(chuàng)造了其所謂的“代數(shù)數(shù)據(jù)(algebra of data")”,這是一種利用數(shù)學(xué)集合論實(shí)現(xiàn)的“通用數(shù)據(jù)語言”。

“大數(shù)據(jù)的小秘密是,數(shù)據(jù)仍然在不與其他數(shù)據(jù)網(wǎng)格連接的小筒倉中。” Silver解釋說。“我們已經(jīng)證明,其可以用數(shù)學(xué)方法來表示,因此所有都是集成的。”

在這個基礎(chǔ)上配備內(nèi)置平臺,Algebraix公司現(xiàn)在能夠?yàn)槠髽I(yè)用戶提供業(yè)務(wù)分析作為一種服務(wù)。改進(jìn)的性能,容量和速度都是Algebraix公司所為企業(yè)用戶承諾的預(yù)期獲益。

時(shí)間最終會證明哪些新的競爭者將獲得成功。而在此期間,市場長期的領(lǐng)軍,如甲骨文并不會完全停滯不前。

“軟件是一個非常有時(shí)尚意識的行業(yè)。” 甲骨文數(shù)據(jù)庫服務(wù)器技術(shù)的執(zhí)行副總裁安德魯·門德爾松表示說。 “事務(wù)往往從流行變?yōu)椴皇軞g迎,然后又再次回到流行。”

他說,現(xiàn)在很多創(chuàng)業(yè)公司都僅僅是“把同一款舊東西炒冷飯之后加上一點(diǎn)點(diǎn)的拋光或打磨處理。這就類似于新的一代的畢業(yè)生重塑了事務(wù)。”

SQL是“唯一一款能夠讓業(yè)務(wù)分析師提問并得到答案的語言——他們不需要成為程序員。”門德爾松說。“大市場將始終是關(guān)系數(shù)據(jù)庫。”

至于新的數(shù)據(jù)類型,關(guān)系型數(shù)據(jù)庫產(chǎn)品發(fā)展為早在上世紀(jì)90年代就支持的非結(jié)構(gòu)化數(shù)據(jù),他說。在2013年,甲骨文的同名數(shù)據(jù)庫在12c版本中增加了JSON(JavaScript對象表示法)支持。

門德爾松說,與其說是需要一款不同類型的數(shù)據(jù)庫,更是一種商業(yè)模式的轉(zhuǎn)變,而這正推動著整個行業(yè)的變革。

“云計(jì)算將是未來的發(fā)展方向,其將為現(xiàn)在的那些小企業(yè)帶來破壞性的變革。”他說。“大企業(yè)都已經(jīng)在云服務(wù)領(lǐng)域站穩(wěn)腳跟了,所以在這一領(lǐng)域幾乎已經(jīng)沒有容納這些小型競爭者的地方了?”

“小企業(yè)們要通過采用亞馬遜的云,并與亞馬遜競爭嗎?”他補(bǔ)充道。“這將是相當(dāng)困難的。”

甲骨文擁有“最廣泛的云服務(wù)。”門德爾松說。“我們對自己當(dāng)前的市場地位感覺很好。”

Gartner的一名研究主管瑞克·格林沃爾德也傾向于類似的觀點(diǎn)。

“較新的替代方案并不像傳統(tǒng)的RDBMS那樣功能齊全和強(qiáng)大。”格林沃爾德說。 “某些案例可以用新的競爭者的產(chǎn)品來解決,但并不是全部,當(dāng)然也不是只有一款技術(shù)”。

展望未來,格林沃爾德預(yù)計(jì),傳統(tǒng)的RDBMS供應(yīng)商將感受到價(jià)格壓力越來越大,并為他們的產(chǎn)品增加新的功能。“有些供應(yīng)商會甚至為其整個數(shù)據(jù)管理系統(tǒng)帶來新的競爭者。”他說。

至于新的市場進(jìn)入者,他預(yù)測,只有少數(shù)會幸存下來,“許多企業(yè)要么被收購或是耗盡其資金。”

今天的新技術(shù)并不代表傳統(tǒng)的RDBMS的結(jié)束,“傳統(tǒng)的RDBMS本身正在迅速發(fā)展。” IDC的Olofson對此也表示同意。“RDBMS需要明確定義的數(shù)據(jù) - 總有需要有這樣的角色。”

但是,他表示說,新的競爭者也會扮演一些角色,特別是在物聯(lián)網(wǎng)和新興技術(shù)領(lǐng)域,如非易失性雙列直插式內(nèi)存模塊(Non-Volatile Dual In-line Memory Module,NVDIMM)正占據(jù)上風(fēng)。

將會有無數(shù)的問題需要多種解決方案,Olofson補(bǔ)充說。“大量有趣的東西等待著人們?nèi)グl(fā)掘。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號