在云計算之前,大規(guī)模分布式系統(tǒng)與計算應(yīng)該是是網(wǎng)格計算和集群計算。在對比分析之后,云計算的最重要的區(qū)別就是自動化和Self-service自服務(wù)。應(yīng)用云的企業(yè),尤其當(dāng)面對復(fù)雜的系統(tǒng)應(yīng)用時,能做到按需分配和自服務(wù)的往往并不多。不管是作為一項服務(wù)發(fā)布給用戶,還是作為其它服務(wù)的底層平臺系統(tǒng),能否提供自動化尤為重要,自動化的資源管理、自動化的服務(wù)提供、自動化的服務(wù)創(chuàng)建和lifecycle管理等等。自動化才是企業(yè)應(yīng)用云計算的最大挑戰(zhàn),關(guān)系到云計算使用的難易程度、關(guān)系到云計算的可用性,甚至關(guān)系到服務(wù)性能。
鄭軍博士表示,云計算的核心之一,就是大型分布式系統(tǒng)的資源管理??梢詮膬蓚€維度觀察云的自動化是如何被推動和發(fā)展的。一是虛擬化的發(fā)展,從2008年虛擬化熱度到2014年Docker出現(xiàn),輕量級Linux容器實現(xiàn)了對X86服務(wù)器資源一個更細(xì)粒度的劃分,為資源管理提供了更細(xì)顆粒度的調(diào)度單元。二是軟件定義的發(fā)展,從軟件定義網(wǎng)絡(luò)發(fā)展到今天很大程度上的軟件定義一切,軟件定義實現(xiàn)了資源調(diào)度對象的拓展和延伸。同時,軟件定義也打破了硬件和軟件的隔閡,能夠快速為用戶創(chuàng)建無縫服務(wù)。從另外一個角度,這提供了基礎(chǔ),使得未來IaaS和PaaS的界限會越來越模糊,二者越來越統(tǒng)一。
當(dāng)然,云計算的發(fā)展更離不開開源。可以說開源軟件的發(fā)展直接推動了云的發(fā)展,沒有開源軟件就沒有云,就沒有工業(yè)界今天的發(fā)展。
未來的服務(wù)將由更大型的云數(shù)據(jù)中心提供,大型云數(shù)據(jù)中心內(nèi)部是成千上萬的物理服務(wù)器和更趨向透明化簡單化的硬件處理單元完成。如何在這樣的前提下,為一個或復(fù)雜或簡單的任務(wù),云平臺在后臺調(diào)度聚合成千上萬的子任務(wù)來協(xié)同計算和處理,這是非常有挑戰(zhàn)性。當(dāng)部署多層的分布式系統(tǒng)的時候,如何做到跨層全局統(tǒng)一的管理,包括資源管理等方面仍存在諸多challenge。舉例來說,如果部署一個Spark大數(shù)據(jù)系統(tǒng),很多用戶會選擇OpenStack作為最底層架構(gòu),Spark通過Mesos、YARN來管理資源,如果再基于Docker進(jìn)行spark部署,那么這三層資源的調(diào)度和綜合管理就是很大的問題。工業(yè)界還沒有一個很好的答案。華云數(shù)據(jù)在這方面也正在進(jìn)行實踐,設(shè)計通用的資源管理系統(tǒng),對接Spark大數(shù)據(jù)系統(tǒng)和云平臺。
鄭軍博士也談到,SDN和NFV近年來的發(fā)展也是如日中天,但是在自動化的資源管理方面,SDN和NFV跟Openstack結(jié)合,現(xiàn)在沒有標(biāo)準(zhǔn)的答案。
那么當(dāng)企業(yè)搭建一個大數(shù)據(jù)系統(tǒng)時,應(yīng)該怎么做?鄭軍博士分享了華云數(shù)據(jù)在這方面的實踐成果。搭建一個真正的生產(chǎn)大數(shù)據(jù)系統(tǒng)時,所有的邏輯和操作流程大約20個左右,甚至更復(fù)雜。部署大數(shù)據(jù)系統(tǒng),尤其在云上進(jìn)行部署時將面臨很大的問題。華云數(shù)據(jù)的實踐理念是“事件驅(qū)動”。首先通過資源調(diào)度,即通過SDN和NFV將底層軟硬件打通。它需要一個X86的集群,也需要不同的軟件組件。目前華云數(shù)據(jù)已經(jīng)做到了“事件驅(qū)動”,在華云私有云平臺上封裝了大數(shù)據(jù)系統(tǒng)的支撐模塊。另外一個維度與服務(wù)相關(guān),包括服務(wù)聚合和數(shù)據(jù)自動分析。華云數(shù)據(jù)正在進(jìn)行基于此的研發(fā)和創(chuàng)新,沿著自助機(jī)器學(xué)習(xí)的方向往前走。
在云計算大會上分享的最后,鄭軍博士談了他對云未來發(fā)展的三個觀點。一是云的加減法,也就是對于用戶而言,云變得越來越簡單、越來越透明;而對于華云數(shù)據(jù)這樣的云服務(wù)提供商來說,需要在紛繁復(fù)雜的軟硬件資源上提供無縫的聚合服務(wù)。第二個觀點是云需要更細(xì)顆粒度的調(diào)度資源和管理機(jī)制,實現(xiàn)更廣意義的異構(gòu)資源管理。這可以通過擴(kuò)展軟件定義和Docker等平臺系統(tǒng)來實現(xiàn)。第三就是IaaS和PaaS走向融合統(tǒng)一,界限越來越模糊。更多的用戶將會融合度更高的全棧解決方案。
所以,為了給用戶提供好的服務(wù)體驗,像華云數(shù)據(jù)這樣的云計算服務(wù)商仍然在奮斗的路上。