紐約時間3月18日,美國ACM協(xié)會宣布現(xiàn)在Microsoft Research的Leslie Lamport獲得2013年的圖靈獎——計算機(jī)界的最高成就獎項(xiàng)。AMC對Lamport獲獎的官方評價是:
“為其在分布式和并發(fā)系統(tǒng)的理論及實(shí)踐上的根本性貢獻(xiàn),特別如因果關(guān)系、邏輯時鐘、安全性和活性、復(fù)制狀態(tài)機(jī)以及順序一致性等概念的發(fā)明。”
Lamport是應(yīng)用數(shù)學(xué)家,工作領(lǐng)域?yàn)榉植际较到y(tǒng)和并發(fā)系統(tǒng),通過建立的概念和發(fā)明的算法,Lamport在看似混亂的分布式計算系統(tǒng)中建立了清晰、明確的同步。Lamport設(shè)計了重要的算法、研發(fā)了規(guī)范的模型和驗(yàn)證協(xié)議,從而提高了計算機(jī)系統(tǒng)的正確性、性能以及可靠性。Lamport在1990年提出的Paxos選舉算法(1998年發(fā)布)被谷歌公司廣泛應(yīng)用在包括B4 SDN等在內(nèi)的產(chǎn)品內(nèi)。關(guān)于B4 SDN可以參閱我們的技術(shù)報告。
Lamport還因?yàn)椴l(fā)編程和容錯計算的理論及實(shí)踐上的貢獻(xiàn)獲得過IEEE的Emanuel R. Piore獎。
物聯(lián)網(wǎng)催生大數(shù)據(jù) 數(shù)據(jù)中心技術(shù)需創(chuàng)新
Gartner最新報告顯示,2013年全球存儲市場繼續(xù)疲軟,相比于2012年,全球磁盤存儲廠商的總營收僅增長了1.4%,這與之前IDC報告的結(jié)果相差無幾。但仍有廠商交出亮眼成績,豐富全面的產(chǎn)品線或新品推出等讓EMC、HP與NetApp保持了收入增長。
但全球存儲市場的疲軟并不會讓數(shù)據(jù)增長會疲軟。Gartner預(yù)測到2020年,將有260億個物聯(lián)網(wǎng)設(shè)備被安裝并聯(lián)網(wǎng)。思科CEO錢伯斯則認(rèn)為到2020年,將會有5000億個設(shè)備聯(lián)接到互聯(lián)網(wǎng)。大量設(shè)備接入所產(chǎn)生的海量數(shù)據(jù),將給包括服務(wù)器、存儲以及網(wǎng)絡(luò)等數(shù)據(jù)中心領(lǐng)域技術(shù)帶來嚴(yán)峻的挑戰(zhàn)。這將迫使數(shù)據(jù)中心相關(guān)技術(shù)做出創(chuàng)新、變革。
遍布各地的聯(lián)網(wǎng)設(shè)備,把數(shù)據(jù)集中到單一數(shù)據(jù)中心不太現(xiàn)實(shí),主數(shù)據(jù)中心與多個小型數(shù)據(jù)中心(mini data center)相互配合將成為趨勢。Gartner認(rèn)為,除了對計算效率、網(wǎng)絡(luò)帶寬以及存儲效率等具體技術(shù)提出創(chuàng)新需求之外,DCIM(數(shù)據(jù)中心基礎(chǔ)設(shè)施管理)系統(tǒng)、運(yùn)營技術(shù)標(biāo)準(zhǔn)以及通信協(xié)議都需具備前瞻性。
盡管數(shù)據(jù)量大,但并不是所有數(shù)據(jù)都一直保持活躍,有些數(shù)據(jù)訪問時間往往只有幾小時,由此催生了一個冷存儲生態(tài)系統(tǒng)。IDC將冷存儲定義為最低層的數(shù)據(jù)存儲解決方案,總成本要低于保存其上的數(shù)據(jù)集的剩余或者已知商業(yè)價值。
IDC研究認(rèn)為,冷存儲解決方案不適合生產(chǎn)環(huán)境,其之所以形成獨(dú)有的“生態(tài)系統(tǒng)”,是云提供商、存儲系統(tǒng)和組件提供商以及ISV共同努力的結(jié)果。在未來,冷存儲介質(zhì)將逐漸被用于對延遲要求較低的數(shù)據(jù)庫、存儲系統(tǒng)與備份等應(yīng)用場景。
點(diǎn)評:如何解決海量數(shù)據(jù)給數(shù)據(jù)中心帶來的難題,在《數(shù)據(jù)中心2013:硬件重構(gòu)與軟件定義》報告中,我們詳細(xì)闡述并分析了以互聯(lián)網(wǎng)企業(yè)為代表的“硬件重構(gòu)”陣營,與傳統(tǒng)企業(yè)級用戶為代表的“軟件定義”陣營各自所使用的方法和技術(shù)。Open Rack、冷存儲、硅光子互聯(lián)、SDN、SDS以及閃存等,都是數(shù)據(jù)中心行業(yè)進(jìn)行的技術(shù)創(chuàng)新或變革。
掘金大數(shù)據(jù) 數(shù)據(jù)庫各顯其能
大數(shù)據(jù)蘊(yùn)含著不可估量的商業(yè)價值,但目前的分析方法或手段似乎難以發(fā)掘出其全部商機(jī)。改進(jìn)或創(chuàng)新數(shù)據(jù)分析技術(shù)則已經(jīng)成為一種商機(jī)。
微軟今天就發(fā)布了其最新的SQL Server 2014代碼,其最大的亮點(diǎn)在于,添加了內(nèi)存數(shù)據(jù)庫引擎功能,并與Azure集成。當(dāng)然,其功能還有改善的空間,如目前其內(nèi)存數(shù)據(jù)總量不能超過256 GB,有雙插槽硬件要求,以及應(yīng)用場景還不夠廣泛等等。但這些都可以隨時間的推移得以改進(jìn)。
微軟一邊與Oracle合作在Azure上推出更多產(chǎn)品選擇以加強(qiáng)競爭力,一邊自己發(fā)展相關(guān)技術(shù)。畢竟大家都緊盯著大數(shù)據(jù)分析這個“香餑餑”,包括開源業(yè)界,例如OpenStack就已宣布加入Cassandra,以在DBaaS生態(tài)圈分得“一杯羹”。另外,據(jù)國外消息,以Hadoop聞名于世的Cloudera又獲得了一大筆投資——1.6億美元,關(guān)于這筆投資的具體使用,Cloudera CEO將在本周四的內(nèi)部會上公布。
助力大數(shù)據(jù) SDN聯(lián)姻Hadoop
SDN(軟件定義網(wǎng)絡(luò))一大作用就是在擁有大量虛擬機(jī)和虛擬網(wǎng)絡(luò)的環(huán)境可以獲得強(qiáng)大的可定制性和自動化控制能力,然而在數(shù)據(jù)中心領(lǐng)域,其當(dāng)前能解決的問題仍然有限,特別是一些虛擬機(jī)數(shù)量較少的領(lǐng)域,例如,大數(shù)據(jù)。大數(shù)據(jù)領(lǐng)域很少應(yīng)用虛擬化技術(shù),因?yàn)檫@個領(lǐng)域的計算任務(wù)十分繁重,并且擁有自己的調(diào)度器對資源進(jìn)行調(diào)度,并不需要虛擬化帶來的定制化和自動化控制——這是當(dāng)前人們所廣泛持有的觀點(diǎn)。
事實(shí)果然如此嗎?除了VMware從2013年開始一直在推動其VMware vSphere Big Data Extensions之外,近日,來自武漢科技大學(xué)的研究人員還將SDN應(yīng)用到了大數(shù)據(jù)領(lǐng)域。在其稱為《Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data》的論文當(dāng)中,華中科技大學(xué)提供了一個稱之為BASS(Bandwidth-Aware Scheduling with SDN in Hadoop,基于SDN的Hadoop帶寬感知調(diào)度)的調(diào)度器。華中科技大學(xué)的人員認(rèn)為,當(dāng)前Hadoop擁有數(shù)種任務(wù)調(diào)度器,但全部都沒有將網(wǎng)絡(luò)帶寬考慮在內(nèi),因此,則將會“損失掉優(yōu)化調(diào)度的機(jī)會”。
由于帶寬問題而導(dǎo)致負(fù)載未能合理分配的現(xiàn)象顯然確實(shí)存在,因?yàn)镠adoop的調(diào)度器僅僅考慮了計算,沒有考慮網(wǎng)絡(luò)。BASS的目的就是在調(diào)度的時候?qū)⒕W(wǎng)絡(luò)帶寬考慮進(jìn)去,它將與OpenFlow控制器協(xié)作以獲取網(wǎng)絡(luò)相關(guān)信息,并在分配Hadoop任務(wù)的時候進(jìn)行更高效率的調(diào)度。論文顯示BASS確實(shí)比其他任務(wù)調(diào)度器更快,特別低,還可以通過額外的Pre-BASS組件得到甚至更高的效率和更快的速度。
點(diǎn)評:大數(shù)據(jù)分析的基礎(chǔ)設(shè)施向來被認(rèn)為比較簡單,不需要太復(fù)雜的管理,然而我們可以看到,軟件定義擁有的自動化管理能力和定制能力仍然能發(fā)揮作用,另一方面,軟件定義還能將割裂的計算、網(wǎng)絡(luò)和沒有提及到的存儲等資源進(jìn)行統(tǒng)合管理的能力,而傳統(tǒng)的IT架構(gòu)正缺乏這一點(diǎn)。