百度基礎(chǔ)架構(gòu)部高級總監(jiān)劉煬:開放云——大數(shù)據(jù)的基石

責任編輯:付xiao琴

2014-09-10 14:14:17

摘自:ZDNet存儲頻道

2014百度世界大數(shù)據(jù)論壇在北京大飯店舉行,百度基礎(chǔ)架構(gòu)部高級總監(jiān)劉煬對百度在開放云這個領(lǐng)域的進展情況進行了介紹。

2014百度世界大數(shù)據(jù)論壇在北京大飯店舉行,百度基礎(chǔ)架構(gòu)部高級總監(jiān)劉煬對百度在開放云這個領(lǐng)域的進展情況進行了介紹。

 

劉煬

 

以下為百度高級總監(jiān)劉煬演講實錄

劉煬:各位嘉賓下午好,非常高興今天有機會在這里給大家匯報一下百度在開放云這個領(lǐng)域的一些進展。大家都知道,今天有幾個特別熱的詞語:創(chuàng)新,互聯(lián)網(wǎng),大數(shù)據(jù),這些幾乎是所有公司今天都在追求的,不管是創(chuàng)新公司還是傳統(tǒng)企業(yè),都在追求這樣的創(chuàng)新:怎么樣跟互聯(lián)網(wǎng)進行結(jié)合,怎么樣跟大數(shù)據(jù)結(jié)合,運用大數(shù)據(jù)來提升整個公司的能力。這也是我們?yōu)槭裁匆鲩_放云的原因。

三個熱詞

首先我們來看”創(chuàng)新”,創(chuàng)新有什么煩惱?創(chuàng)新是每個人都想要的東西,但是說實話創(chuàng)新不容易,創(chuàng)新往往需要很多的投入:要買機器,要買軟件,要進行大規(guī)模的投入,IT成本非常高。錢還是小事情,時間才是大問題。也就是Time to marketing。現(xiàn)在有個講法,idea is cheap,他有一個idea,我有一個idea,誰快誰成功?;ヂ?lián)網(wǎng)一定是快速的試錯,快速的迭代。我怎么樣減少投入,怎么樣快速迭代,成為了一個至關(guān)重要的問題。

第二個熱門的詞“互聯(lián)網(wǎng)”,今天大家都在想做互聯(lián)網(wǎng)。為什么?互聯(lián)網(wǎng)將你的商業(yè)和用戶直接聯(lián)系起來。就像陳總剛剛講的,過去可能要通過渠道商或者各種各樣的方法接觸用戶,今天看來這種方法是低效的,所以必須要打破瓶頸,去第一時間直接接觸用戶,了解用戶想要什么?;ヂ?lián)網(wǎng)幫你直接接觸客戶。這個商業(yè)模式需要非常多的技術(shù)做支撐,我列了一堆名詞,都是互聯(lián)網(wǎng)技術(shù)。大家說互聯(lián)網(wǎng)技術(shù)很簡單,搞一個LAMP就是互聯(lián)網(wǎng)了,但是今天并非如此,需要非常多的技術(shù),而這些技術(shù)恰恰是小公司面臨的難題。

第三個熱門詞是“大數(shù)據(jù)”,大數(shù)據(jù)首先是大流量。今天促銷,站點流量可能是平時的幾十倍幾百倍,但這樣的大流量可能并沒有得到好的技術(shù)支撐,我們看到facebook早期的很多競爭對手都失敗了,為什么?當流量太龐大進而扛不住的話,用戶就會離開。同時流量意味著數(shù)據(jù),所以還會有非常多的數(shù)據(jù)產(chǎn)生出來,往往是PB的數(shù)量規(guī)模,這些數(shù)據(jù)有沒有好的技術(shù)架構(gòu)存下來?存下來還不夠,關(guān)鍵是你怎么把有價值的數(shù)據(jù)提煉出來,沒有提煉的數(shù)據(jù)就只是一個負債,是死數(shù)據(jù)。怎么樣把死數(shù)據(jù)變成活數(shù)據(jù),變成資產(chǎn),這就需要非常強大的數(shù)據(jù)處理能力。

我們看到的創(chuàng)新、互聯(lián)網(wǎng)、大數(shù)據(jù),其實都面臨非常大的挑戰(zhàn),不是拍腦袋想一想就能做出來,這里面的技術(shù)難度是非常高的。這也是為什么百度要去做開放云。百度開放云希望為客戶提供開放的云服務(wù)和完整的解決方案,只需要點一下按鈕,即可部署,而且是按需付費,不用一次性投入太高的成本。另外開放云提供豐富且有特色的服務(wù),可以把這些服務(wù)像積木一樣搭建起來,同時搭配百度自動化的智能運維工具,提供了完整的解決方案,幫助企業(yè)在競爭獲得更大的優(yōu)勢。

開放云結(jié)合大數(shù)據(jù)

今天的主題是開放云和大數(shù)據(jù),那開放云怎么樣和大數(shù)據(jù)結(jié)合?不管是什么業(yè)務(wù)一定有大數(shù)據(jù)存儲,數(shù)據(jù)存儲在開放云里,涉及非常多的業(yè)務(wù),可以是互聯(lián)網(wǎng)應(yīng)用,可以是一個mobile App,可以是后臺的數(shù)據(jù)處理,以及后臺的ERP流程。當所有的業(yè)務(wù)和數(shù)據(jù)都跑在云上的時候,可以讓數(shù)據(jù)存儲更容易,跟大數(shù)據(jù)能力進行更好地對接,同時把大數(shù)據(jù)處理結(jié)果進行應(yīng)用也更容易。所以這是我們?yōu)槭裁醋鲩_放云的原因。

百度一直堅持走開放的道路,在SaaS服務(wù)上面我們提供高級服務(wù),比如地圖導航,應(yīng)用統(tǒng)計,語音識別,人臉識別,視頻轉(zhuǎn)碼等等,在PaaS層也在提供BAE,輕應(yīng)用等很多服務(wù)。百度在未來會開放更多的服務(wù)。

今天百度將推出“百度開放云-云引擎beta版”。剛剛說SaaS/PaaS都是上層服務(wù),今天我們推出的“云引擎”,將覆蓋IaaS – Infrastructure as a Service,也就是我們將要開放出來的新能力。百度為什么要開放這個IaaS?很重要的一點,今天大家都知道我們的企業(yè)其實需要的不僅僅是高大上的東西,也需要完整的IT解決方案,這個解決方案既包括上層的服務(wù)應(yīng)用,也包括基本的網(wǎng)絡(luò)存儲等基礎(chǔ)設(shè)施服務(wù)。從我們跟很多企業(yè)的溝通來看,他們就有非常多的類似需求,我們希望借助百度開放平臺,為客戶提供一個完整的云到端的解決方案。大家看到,今天的百度在不斷地創(chuàng)新和開放新的東西,從設(shè)備端到云端,在云端更是從SaaS到PaaS再到IaaS。百度云引擎,大家今天就可以開始注冊試用。

百度云引擎

提到百度云引擎,提到百度基礎(chǔ)架構(gòu)技術(shù),我們有非常多的技術(shù)積累。百度為什么成為這么大的搜索引擎?大家知道百度1999年開始做搜索引擎,在2003年我們已經(jīng)將搜索技術(shù)全部換到了最先進的分布式計算系統(tǒng),真正系統(tǒng)自動地進行分布式的調(diào)度,能做到這一點靠的是不斷的技術(shù)沉淀。從2008年開始,我們在基礎(chǔ)架構(gòu)技術(shù)的投入加速,不斷推出更多的新成果。比如,剛剛余老師提到,我們的機器學習模型支持百億級的特征量;我們的數(shù)據(jù)中心能夠做到中國最好的PUE1.32;我們在做整機柜;我們的集群規(guī)模過萬臺;等等。通過這些大家可以看到百度在基礎(chǔ)技術(shù)方面積累非常多,未來百度會一個一個逐步開放,讓大家享受到百度最底層的技術(shù)所帶來的便利。

今天,百度的規(guī)模已經(jīng)非常大,所有規(guī)模數(shù)字下面都是非常多的機器,非常多的系統(tǒng),非常多的研發(fā)人員的汗水。今天百度總?cè)萘恳呀?jīng)達到千P,每天新增的數(shù)量級都有1個P,每天處理的數(shù)據(jù)超過50個P,峰值處理每秒達50個GB,更重要的是,百度的業(yè)務(wù)非常復(fù)雜,各種類型的應(yīng)用,各種各樣的數(shù)據(jù),都在我們的系統(tǒng)上跑。所以我們有信心,在座各位的復(fù)雜業(yè)務(wù)也一定可以在我們開放云上面跑起來。

用百度云引擎你可以做什么呢?這是我下面要介紹的。百度云引擎有非常多的特點,今天因為時間關(guān)系我不可能一一介紹,下面主要講三個特點:安全可靠,高性能,高擴展性。

我們先來看看安全可靠。百度開放云上將會使用百度云安全作為安全防護的系統(tǒng)。百度云安全提供WEB防火墻,百度業(yè)務(wù)都在百度云安全的保護之下,所以在百度云里面會非常安全。同時我們使用了非常高可靠的安全認證系統(tǒng),所有的行為都會需要認證,審計和應(yīng)用也都非常嚴格。百度開放云的內(nèi)容分發(fā)網(wǎng)絡(luò)也是全中國部署,可以支撐百G量級的DDoS攻擊,當有攻擊來的時候可以靈活調(diào)動化解攻擊。百度開放云還提供數(shù)據(jù)庫服務(wù),大家知道云應(yīng)用都離不開數(shù)據(jù)庫,百度內(nèi)部數(shù)據(jù)庫應(yīng)用非常廣,有超過1萬個database的實例。開放云上的數(shù)據(jù)庫服務(wù)主從實時同步,可進行秒級的快速切換,而且系統(tǒng)會定時自動備份,所以是一個非常可靠的環(huán)境。

當然光要安全可靠還不夠,還需要高性能的環(huán)境。百度對性能一直放在非常重要的優(yōu)先級,比如我們的云磁盤,我們在需要性能的地方使用SSD技術(shù),速度非??臁2坏?,我們的云磁盤都是三副本存儲,不會出現(xiàn)磁盤出了問題數(shù)據(jù)就丟掉的情況,一個磁盤壞了,還有存儲在別的磁盤的副本。而且既使是云磁盤它可能比你本地磁盤速度還是要快很多,可以保證有更高讀寫速度服務(wù)的需求。百度的云磁盤可以掛在云主機上,也就是云服務(wù)器。我們百度的云服務(wù)器是非??斓?,我們對虛擬機一直通過深度的內(nèi)核優(yōu)化來提高速度。剛剛也提到百度內(nèi)網(wǎng),我們使用萬兆的交換機,內(nèi)網(wǎng)是非常非??斓?,在開放云中訪問百度的服務(wù)非???,你自己的機器或服務(wù)之間訪問也非???。開放云的外網(wǎng)是公網(wǎng)高速的BGP,你也不用再擔心南北互聯(lián)的問題。所以這些都是幾個例子都說明我們在性能上非常地關(guān)注。

如果你有好的系統(tǒng),你有好的數(shù)據(jù),你怎么獲得業(yè)務(wù)擴展?我們相信在互聯(lián)網(wǎng)時代,流量變動非常大,互聯(lián)網(wǎng)時代要想活的好,一定是要有非常好的可擴展性。大家知道百度有云網(wǎng)盤,百度在云網(wǎng)盤是里面有幾百P的數(shù)據(jù),開放云使用相同的存儲技術(shù),所以在開放云存儲方面我們是具有非常高的可擴展性,支持EB級別的存儲。百度MapReduce兼容Hadoop,你以前的程序不需修改就可以跑在百度開放云上,同時百度MapReduce也有非常好的可擴展性。我們的負載均衡也有非常好的橫向水平伸縮能力。當你的流量大時,我們可以幫你增加資源,當你流量小的時候,我們可以幫你釋放資源。

未來百度還會提供更多的產(chǎn)品在百度云引擎上面。

最后我再一次邀請大家來試用我們的百度云引擎,大家可以通過bce.baidu.com來申請,另外大家也可以掃描二維碼,直達bce.baidu.com。我們希望為中國互聯(lián)網(wǎng)提供一個性能更高,安全更好,彈性更好,以及更便宜的IT服務(wù)鏈,謝謝大家!

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號