2016年8月，清華大學(xué)宣布與Hadoop開發(fā)社區(qū)的頂級貢獻者Cloudera公司聯(lián)合推進大數(shù)據(jù)人才教育項目，在大數(shù)據(jù)開源社區(qū)方面開展合作。在Hadoop生態(tài)領(lǐng)域，Cloudera是規(guī)模最大、知名度最高的企業(yè)，也是當(dāng)前大數(shù)據(jù)領(lǐng)域最強有力的解決方案服務(wù)商之一。帶著對中國大數(shù)據(jù)市場的滿滿誠意，Cloudera創(chuàng)始人、董事長兼首席戰(zhàn)略官Mike Olson以及Hadoop之父、Cloudera首席架構(gòu)師Doug Cutting來到清華，為三百余位現(xiàn)場聽眾及兩千余名在線直播聽眾講述了Hadoop的發(fā)展歷程，并與清華大學(xué)軟件學(xué)院副院長、黨委書記王建民及現(xiàn)場的同學(xué)們展開了深刻而有趣的對話。

Doug Cutting口述：

Hadoop十年，撬動未曾料及的魔法時代

10年前我開創(chuàng)Hadoop時，存儲企業(yè)數(shù)據(jù)和商業(yè)數(shù)據(jù)系統(tǒng)的使用和現(xiàn)在大不相同。對大多數(shù)機構(gòu)來說，企業(yè)數(shù)據(jù)建立如果不依賴關(guān)系型數(shù)據(jù)庫，就完全沒可能了解數(shù)據(jù)。但關(guān)系型數(shù)據(jù)庫使用起來很昂貴，也不適用于所有形式的數(shù)據(jù)。那時人們關(guān)注很多數(shù)據(jù)只是聚焦在關(guān)鍵字、任務(wù)、業(yè)務(wù)等(編者注：可數(shù)據(jù)庫領(lǐng)域的查詢條件)。世事變遷，Hadoop是如何帶來一些改變的呢?

因興趣創(chuàng)建Lucene，試水開源社區(qū)

在大約18年前，當(dāng)時我在Excite負(fù)責(zé)做搜索引擎。事實上，我做過多個搜索引擎，從就職Xerox開始，到蘋果再到Excite。我喜歡做搜索引擎并且一直有一個想法，用一個新的方式去寫搜索引擎，Excite對這個想法并不感興趣，于是只能自己鉆研。我嘗試用一種新的編程語言，并認(rèn)為它會成為一種通用計算機語言，就是當(dāng)時并非主流的Java。

1998年我完成了Lucene的第一個版本。當(dāng)時并沒有想好能用它做什么，只是有興趣嘗試并在業(yè)余時間完成了。兩年后，也就是2000年，我還沒想好用Lucene能做什么，但我決定不能就這樣冒然地成立一家新公司，因為我不清楚財務(wù)、人事、合同等公司常規(guī)流程。我真心希望人們能用上這個產(chǎn)品，這也是我開發(fā)這個產(chǎn)品的動機，我也希望能讓更多人發(fā)現(xiàn)它的實用性，并從中發(fā)現(xiàn)價值。我決定把它貢獻到開源社區(qū)。

在把Lucene的代碼貢獻到開源社區(qū)的第二年，它被一些小的社區(qū)使用，我也因此被邀請加入Apache軟件基金會。Apache專注于開源，集合了一群軟件界擁有最強大腦的工程師。它追求開放自由，讓人們利用軟件變得無所不能。在市場需求推動下，我們合作將軟件出版成商業(yè)產(chǎn)品，但Apache不強調(diào)歸屬于某個社區(qū)，而且所有的社區(qū)都開放，歡迎新成員加入。Apache社區(qū)上所有功能和提供的信息都及時共享并不斷更新。從2001年加入Apache到目前為止，這種模式已經(jīng)得到了令人驚嘆的成果。

其中一點，就是隨著越來越多的開發(fā)者，這種開放模式讓人們可以隨時隨地的使用開源軟件，也可以向其他推薦。當(dāng)需要向老板匯報卻又不在辦公室時，可以下載之后在家處理，信息也可以實時同步。這使得人們處理程序、改進程序、理解程序變得容易，能隨時和其他開發(fā)者溝通。如果從事軟件開發(fā)，你會發(fā)現(xiàn)以往只有機會和公司的同事討論工作，而做開源項目則可以和全世界討論，有很多表現(xiàn)的機會，甚至可以和自己在業(yè)內(nèi)的“粉絲”去溝通。這種自我展現(xiàn)的方式有很好的激勵作用，為了更好地在觀眾面前展示自己，人們會更努力地工作，讓項目日臻完美。

此外，開發(fā)者通過做軟件會被很多機構(gòu)了解并認(rèn)可，你的軟件很可能會富裕一個行業(yè)全新的生命力，所以每個方案每次改變都要有普適性。要做到為每一個人服務(wù)，還要堅持一段時間，用最好的方法做正確的事。開源并不僅是幫助開發(fā)者，它更會孕育出一批高質(zhì)量的軟件，讓人們會越來越有動力去把事情做好。

從Lucene進入開源平臺感受到的第三點，也是最有意思的一點：這是一條突飛猛進的捷徑。Lucene對原有的搜索引擎造成了很大的沖擊，因為Lucene使用成本很低，且使用效果大大好于通用的商業(yè)產(chǎn)品。經(jīng)過大量的實踐與反復(fù)改進，Lucene已經(jīng)成為世界上最受歡迎的搜索技術(shù)之一。這并非是因為它創(chuàng)造了一個軟件技術(shù)的開端——也許有這個因素——但更重要的是它是開源技術(shù)，能讓每一個人都能參與進來，學(xué)習(xí)并改進它，享受這個過程。這種開源的方法很強大，能讓技術(shù)走近更多人，也促使技術(shù)變得更好更快。

此外，就像Mike Olson說的，當(dāng)人們有選擇的時候，在企業(yè)專用軟件和開源軟件之間，人們總是傾向于選擇開源軟件。一輪又一輪迭代后，你會發(fā)現(xiàn)開源軟件在任何領(lǐng)域都會勝出。

Nutch、GFS和MapReduce, Hadoop萌芽在即

我開始了另一個名為Nutch的項目。在Lucene的基礎(chǔ)上將開源的思想繼續(xù)深化，我們從網(wǎng)頁上收集大量數(shù)據(jù)，基于這些建立一個全新的開源搜索引擎，就像Google、微軟bing或其他搜索引擎，收集特定的網(wǎng)頁及鏈接，提取信息，同時處理數(shù)十億的網(wǎng)頁請求。一臺PC無法存儲如此大量的信息，也無法在合理時間內(nèi)響應(yīng)，所以我們嘗試用分布式系統(tǒng)，Nutch在5臺電腦上運行起來。我們也把Nutch資料總結(jié)成文本放入開源社區(qū)中。

大約2003年到2004年的時候，Google發(fā)布了一些相關(guān)的研究報告，介紹了他們基于現(xiàn)有搜索引擎做的改進，吸引了我的關(guān)注。這些技術(shù)成果對我的研發(fā)有著十分直接的指導(dǎo)意義。運用這些技術(shù)，我們可以將原本需要手工操作的大量繁瑣的數(shù)據(jù)分配和空間管理等操作步驟實現(xiàn)自動化。這兩個平臺一個是GFS(Google File System)，將不同設(shè)備所產(chǎn)生的海量數(shù)據(jù)統(tǒng)一管理在同一個存儲空間內(nèi)，與所有電腦都自動關(guān)聯(lián)，其中一個設(shè)備出現(xiàn)障礙，數(shù)據(jù)不會丟失，而且程序可以遷移到其他設(shè)備繼續(xù)運行，所有數(shù)據(jù)資源可以共享。這種具備自動關(guān)聯(lián)能力的數(shù)據(jù)管理是Google實現(xiàn)的一個核心突破，這使我們的操作能力可以從五臺電腦提升到成百數(shù)千臺。同時，Google發(fā)布的另一個研究是有關(guān)MapReduce的，內(nèi)容是關(guān)于運行在GFS上時，如何用MapReduce進行大規(guī)模數(shù)據(jù)的處理。

Mike Cafarella和我開始基于這兩項技術(shù)，在開源平臺上校準(zhǔn)我們原有的程序Nutch。2005年，我們開始有數(shù)據(jù)基于20臺硬件設(shè)備在Nutch上運行，這是當(dāng)時我們能借調(diào)到設(shè)備的最大數(shù)量。我當(dāng)時在一個非營利組織工作，Mike還沒從大學(xué)畢業(yè)，20臺設(shè)備已經(jīng)是我們能籌備到的極限。以這20臺設(shè)備所支持的開發(fā)和測試情況來看，我們意識到這種數(shù)據(jù)分配的程序存在太多的bug，自動關(guān)聯(lián)很難實現(xiàn)，測試往往以失敗告終。當(dāng)你交叉驗證時，你會發(fā)現(xiàn)使用兩臺機器所產(chǎn)生的測試結(jié)果不一樣。

雅虎助力，Hadoop潛能釋放

我意識到這是一個很好的機會，通過開源平臺對世界上所有的主流數(shù)據(jù)處理模式做出徹底的革新，而且基于低廉的硬件成本。如果靠單槍匹馬去實現(xiàn)這個宏偉的計劃，它會耗費十年甚至更長時間才能最終替代現(xiàn)有的解決方案。我們需要其他幫助。

2005年底，經(jīng)過一番篩選我把目光聚焦在雅虎。雅虎對我的研究項目很感興趣，因為當(dāng)時在做搜索引擎的過程中他們也有類似的困惑，合作研發(fā)也會同時幫他們解決問題。2006年，我們加入雅虎，把Nutch分布式數(shù)據(jù)管理部分重新命名為Hadoop，名字來源于我兒子的黃色毛絨玩具——一只小象。為了新項目Hadoop的運行，雅虎做了大量投入。從一開始的10人工程師團隊迅速增加到20人然后更多;機器數(shù)量也從一開始的100臺，在6個月后增加到數(shù)千臺。六個月內(nèi)我們不斷測試、開發(fā)、運行，逐漸有了成效。

從2007到2008年，切實改進了數(shù)據(jù)關(guān)聯(lián)能力的技術(shù)，其他人也開始使用，這項技術(shù)也開始釋放富有魔力的潛能。任何人都能下載這個開源軟件，在并不昂貴的設(shè)備上運行非常大量的計算。Yahoo、Facebook、eBay、LinkedIn、Twitter等公司都開始以Hadoop為基礎(chǔ)搭建他們的業(yè)務(wù)。

未料及的行業(yè)滲透 Hadoop創(chuàng)造歷史

曾一度以為Hadoop能做的事情已經(jīng)完成，一切都在按預(yù)期發(fā)生。但我沒意識到的是，所有的傳統(tǒng)行業(yè)都在醞釀著變革，硬件設(shè)備已遍布如此廣泛，可用于計算的硬件已滲透到各行各業(yè)中，比如卡車、拖拉機、飛機、汽車等。所有這些傳統(tǒng)行業(yè)都在做數(shù)字化轉(zhuǎn)型，這正在產(chǎn)生更加海量更加有效的數(shù)據(jù)。運用好這些數(shù)據(jù)能幫助人們更高效更精準(zhǔn)的管理生活。起初我并沒有意識到這一點，曾以為只有互聯(lián)網(wǎng)公司、媒體公司才需要Hadoop技術(shù)，但Mike Olson告訴我，這項技術(shù)已在更多行業(yè)領(lǐng)域釋放出更大的能量。所以他在2008年創(chuàng)建了Cloudera——第一家專注特定領(lǐng)域的企業(yè)，也是迄今為止特定領(lǐng)域規(guī)模最大的企業(yè)。

2009年，為了參與這個讓人振奮的過程，見證更多的人利用我?guī)椭鷦?chuàng)建的軟件技術(shù)發(fā)揮更大的潛能，我加入了Cloudera?，F(xiàn)在，我們見證預(yù)言變成了現(xiàn)實，比如汽車生產(chǎn)商特斯拉，通過實時收集汽車動態(tài)數(shù)據(jù)，了解駕駛者的行為喜好，從而改進他們的下一代汽車;航空公司在飛機上安裝了數(shù)百個傳感器，根據(jù)回傳的數(shù)據(jù)，優(yōu)化航線。這真是令人矚目的改變!甚至在農(nóng)業(yè)、重型機械、鐵路、零售、健康醫(yī)療等所有我們能想到的行業(yè)，數(shù)據(jù)都在發(fā)揮強大的影響力。

Hadoop切實推動了這些令人矚目的改變的實施。在今天，Hadoop還在日益強大，但我覺得圍繞Hadoop發(fā)生的事情將更加有趣。在這個長期的過程中，它已經(jīng)孵化了更多偉大的技能。從單機項目開始，然后有了分布式的文件系統(tǒng)GFS和信息專家MapReduce，搭建的調(diào)度程序讓人們能夠基于Hadoop分享資源，并開發(fā)其他類型的引擎，類似于YARN。越來越多的軟件技術(shù)基于Hadoop衍生出來，比如在線鍵值存儲;比如面向列的開源數(shù)據(jù)庫技術(shù)HBase;超越了MapReduce的Spark，在實時批處理上表現(xiàn)更卓越;Impala能以SQL語義，快速查詢PB級大數(shù)據(jù)，Lucene擅長的搜索也被充分整合。每年都有更多的新技術(shù)刷新我們的視野。

試想一下，每一個系統(tǒng)的進化迭代，每一個開源項目的建立，都可能帶動一次技術(shù)革新。其中一些非常有用的技術(shù)，越來越多的人會開始使用。這些技術(shù)將會慢慢變成所有人認(rèn)可的通用標(biāo)準(zhǔn)，還有一些不流行地將慢慢被人們遺忘。時代在急速變化，關(guān)系型數(shù)據(jù)庫的世界幾乎固化了30年，只有非常細微的改變。在Hadoop誕生的近10年間內(nèi)，技術(shù)界發(fā)生了翻天覆地的變化。我們見到了許多新的模型，它們支持實時處理、機器學(xué)習(xí)的新功能，實現(xiàn)新事件的新方法……很多現(xiàn)在無法想象的事都將在隨后幾年發(fā)生。我認(rèn)為這就是Hadoop留給世界的最寶貴的財富。它平穩(wěn)運行10年之后，還將影響到未來的數(shù)十年。它不設(shè)中心控制的強大軟件系統(tǒng)孵化了各種不同的項目，有的失敗有的成功，但這種由平臺衍生的復(fù)雜多樣性不可能在一家公司的掌控下實現(xiàn)。

未來，為我們而來

今天，來自世界不同地方的我們通力合作，將決定下一個劃時代的平臺。時間的推移將證實我們的設(shè)想。這個平臺將更加強大靈活，適用范圍更廣，功能更多。我們能用它來應(yīng)對幾乎每一個問題，不僅是關(guān)系型問題，還能輕松完成機器學(xué)習(xí)，能搜索、對大數(shù)據(jù)實時批處理，將有更多的工具箱，讓我們在開源平臺以更低的成本更好地探索世界。我相信這是一個光明的未來。同時，硬件也在進步，英特爾發(fā)布了讓人驚喜的新技術(shù)，使硬件可以儲存更大量的數(shù)據(jù)，閃存與讀取速度更快，成本和以往差不多。當(dāng)可以在內(nèi)存里儲存PB級的數(shù)據(jù)并且訪問，甚至通過網(wǎng)絡(luò)訪問時，很多事情也會因此改變。我們很快將看到一個全新的時代，一個進步的框架，一個被充分提升的有價值產(chǎn)品。我們將這種理念運用于Impala、Kudu等新產(chǎn)品研發(fā)中，但仍有很多事情是我們尚未想到的。

這是一個令人振奮的時代，但我希望各位不僅僅是觀望，而是切身參與，加入到開源社區(qū)來，甚至是開創(chuàng)一個新的開源項目。我也看到越來越多的項目從中國出現(xiàn)，比如Apache Kylin(麒麟)。我相信在這個新世界里，改變才是常態(tài)，新的技術(shù)每年都會出現(xiàn)。這些年中國發(fā)生了巨大的變化，有很多機會可以應(yīng)用這些新技術(shù)，大數(shù)據(jù)開源社區(qū)將會在中國落地生根。我會很期待看到，有多少人采用它，中國產(chǎn)生貢獻，在接下來的幾年衍生出越來越多的機會。

巔峰對話實錄：

Hadoop未來，事實將碾壓今天所有的質(zhì)疑

人物簡介

Mike Olson：畢業(yè)于加利福利亞大學(xué)，曾作為Sleepycat軟件公司CEO主導(dǎo)開發(fā)了全球應(yīng)用廣泛的開源數(shù)據(jù)庫Berkeley DB，后被甲骨文收購，任甲骨文嵌入式技術(shù)副總裁。2008年與其他三位合伙人創(chuàng)立Cloudera，將其打造成國際領(lǐng)先的大數(shù)據(jù)數(shù)據(jù)管理和分析平臺的服務(wù)商，2014年12月Cloudera進入中國。

Doug Cutting：畢業(yè)于美國斯坦福大學(xué)，Lucene、Nutch等開源項目的發(fā)起人，打造了目前在云計算和大數(shù)據(jù)領(lǐng)域里如日中天的Hadoop，讓大數(shù)據(jù)推動業(yè)務(wù)的數(shù)字化轉(zhuǎn)型有了開源的技術(shù)平臺。他擅于把高深莫測的搜索技術(shù)形成產(chǎn)品并貢獻于市場及大眾，現(xiàn)任Cloudera首席架構(gòu)師，同時也在Apache軟件基金會董事會任職。

王建民：清華大學(xué)軟件學(xué)院副院長、清華大學(xué)軟件學(xué)院大數(shù)據(jù)中心主任，國家科技部中青年科技領(lǐng)軍人才，國家基金委杰出青年基金獲得者，國家“核高基”科技重大專項總體組成員，國家863計劃先進制造領(lǐng)域?qū)＜摇倚l(wèi)計委信息化專家委專家、我國第一個大數(shù)據(jù)專項“核高基”-“非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)”負(fù)責(zé)人;工信部“中國制造2025”：“操作系統(tǒng)與工業(yè)軟件”工作組組長。

一、 關(guān)于HADOOP與Spark、GPU，及商業(yè)化未來

1、面對Spark這類新興技術(shù)的發(fā)展，以及MapReduce市場萎縮的情況，你們?nèi)绾慰创@種市場變化?

邁克：Hadoop由很多部分構(gòu)成，第一層是HDFS，完全做分布式存儲，此外MapReduce用來做分布式處理;有分布式地面向列的開源數(shù)據(jù)庫技術(shù)HBase;Impala可以在支持Hadoop的HDFS系統(tǒng)上，直接做SQL的查詢;也有Cloudera做的Kudu這樣的新型存儲技術(shù)。

Spark只是其中的新技術(shù)之一，并不是好像全世界都只用Spark。當(dāng)然，我們?nèi)绻ケ容^Spark和MapReduce，從現(xiàn)在的情況來看，Spark的確會勝出，但基于Hadoop還會不斷涌現(xiàn)出更多新技術(shù)。

道克：沒錯，Spark的確非常好。在實時批處理上表現(xiàn)優(yōu)異，但它不是全能的，比如它不具備SQL訪問查詢、Solr和Lucence搜索倒排索引、HDFS、Kudu的數(shù)據(jù)存儲能力等。Spark僅僅是Spark，它不代表Hadoop所有的技術(shù)，Hadoop將會孕育更多新技術(shù)出來。

2、王建民：計算機和大數(shù)據(jù)技術(shù)都在日新月異的變化，特別在硬件方面，我們看到很多下一代硬件不斷的涌現(xiàn)，這些新產(chǎn)品的涌現(xiàn)對于大數(shù)據(jù)技術(shù)的未來會有什么樣的影響?

邁克：像網(wǎng)絡(luò)、CPU在未來會出現(xiàn)非常多的變化，正確的方法是軟件去適配硬件，而不是無視硬件的變化。硬件的升級并不會妨礙未來大數(shù)據(jù)技術(shù)的發(fā)展，反而大數(shù)據(jù)系統(tǒng)會更好的去利用這些新硬件去改變世界，兩者不存在替代關(guān)系。

過去十年，我們已經(jīng)看到了很多這類變化。Cloudera有著非常深厚的英特爾背景，我們的很多員工來自于英特爾，英特爾也是我們的投資人之一。我相信我們和英特爾的密切關(guān)系，未來會更多的幫助下一代軟硬件技術(shù)的融合與適配。

道克：很多人在問我，怎么把GPU和Hadoop結(jié)合，這其實是一個錯誤的命題。Hadoop實際上是基于IO Intensive的系統(tǒng)，它整個系統(tǒng)的瓶頸是在系統(tǒng)的IO上，包括磁盤IO、網(wǎng)絡(luò)IO，所以它需要解決的根本并不是CPU的問題。未來當(dāng)IO不再困擾我們的時候，也許那時再來談怎么用CPU加速的技術(shù)解決更多問題更有意義。

像谷歌Tenzing的機器學(xué)習(xí)系統(tǒng)就可以很好的利用GPU，而不是現(xiàn)在吧的大數(shù)據(jù)系統(tǒng)來加速。但我相信在這個領(lǐng)域?qū)頃懈嗟臋C會，我們將看到很多數(shù)據(jù)結(jié)構(gòu)、系統(tǒng)結(jié)構(gòu)，會適應(yīng)新硬件的變化趨勢而發(fā)生轉(zhuǎn)變。

3、Hadoop3.0的關(guān)鍵特性

邁克：Hadoop3.0的確會有一些側(cè)重，排在首位的就是多租戶技術(shù)，將來我們會在Hadoop 3.0的平臺上看到更多不同的像MapReduce、Spark這樣的技術(shù)，可以同時在一個平臺上被不同的用戶運行，就像Yarn正在做的一樣。所以Hadoop 3.0的特點就是支持更多的系統(tǒng)可以更好的運行，更好的去實現(xiàn)多租戶這個概念。

另外，Hadoop3.0更多的是適配新硬件技術(shù)的改變，比如英特爾新推出的優(yōu)化存儲、CPU的新技術(shù)，特別是SSD技術(shù)。硬件價格的走低，讓我們更有可能去利用這些技術(shù)。Cloudera新啟動的一個Apache開源項目叫Apache Kudu，這是一個新型的存儲系統(tǒng)，Kudu就正在利用這樣一些這樣的新硬件技術(shù)。

道克：現(xiàn)在還有另一個我們在做的項目，內(nèi)容是基于HDFS和新型硬件結(jié)合做系統(tǒng)復(fù)制。這種復(fù)制技術(shù)，不只能加快系統(tǒng)的速度，還會提升系統(tǒng)的容量。這個項目的開發(fā)者就在英特爾中國公司，中國已經(jīng)出現(xiàn)了很多很好的創(chuàng)新技術(shù)。

4、問題分段：CDH商業(yè)產(chǎn)品的未來怎么樣?

邁克：Cloudera一直在保持這個系統(tǒng)的開源，雖然上面有很多收費的工具，但是這樣做的目的并不是阻止用戶。因為現(xiàn)在有很多商業(yè)軟件巨頭會利用我們的開源系統(tǒng)，把它作為商業(yè)軟件，去獲得更多的市場機會，去贏取更多的利潤。所以我們一方面會保持底層數(shù)據(jù)存儲、處理引擎系統(tǒng)的開源，讓用戶可以把這個技術(shù)用得更好、讓系統(tǒng)變得更易用;同時，堅持收費的舉措也讓我們能夠有能力在大數(shù)據(jù)系統(tǒng)市場上和大型商業(yè)軟件公司競爭。

開源將有利于更多人參與系統(tǒng)的開發(fā)，讓更多的大學(xué)可以參與學(xué)習(xí)，讓更多的用戶可以接受新知識。所以大家看到了Impala和Spark。我很高興看到作為一家公司Cloudera在大數(shù)據(jù)市場上越來越多的成長機會。

道克：開源平臺上，Apache僅僅是把所有技術(shù)囊括在一起，但Apache上面可能有二十多種不同的打包方式，怎么去安裝?怎么去配置?怎么去打包?這些其實對很多用戶來講都非常具有挑戰(zhàn)性。所以我們推出CDH Commercial版，已經(jīng)幫大家把對應(yīng)的系統(tǒng)打包好了，通過CDH我們會幫助大家更好的管理數(shù)據(jù)，管理大數(shù)據(jù)系統(tǒng)。

如果用戶愿意去使用免費開源系統(tǒng)這沒有任何問題，但是如果用戶需要我們的幫助，可以去訂購Cloudera的商業(yè)版。這就是硅谷現(xiàn)在的開源文化，有越來越多的公司在做開源。開源的東西是免費的，但我們在不斷提供增值服務(wù)。我們也需要有更多的客戶認(rèn)可這樣的服務(wù)價值并愿意幫助Cloudera這樣的公司在市場上存活下去，跟我們建立更長期的合作關(guān)系，支持我們的業(yè)務(wù)。

二、 關(guān)于大數(shù)據(jù)系統(tǒng)的應(yīng)用，選擇與困擾

5、如果我們現(xiàn)在有一個項目剛開始，面對這么多大數(shù)據(jù)系統(tǒng)，應(yīng)該怎么選擇一個合適的平臺?

道克：這的確很難，我們可能需要去熟悉所有的系統(tǒng)和工具，需要更多的實驗，去測試這些系統(tǒng)。在滿足工作負(fù)載的前提下，比較在哪個系統(tǒng)工具上工作得更好。但幸運的是，這類測試的確越來越容易了，現(xiàn)在有越來越多的工具可以進行輔助。

但是真正在設(shè)計的過程中需要去考慮很多技術(shù)細節(jié)，比如系統(tǒng)處理速度和系統(tǒng)吞吐的平衡。這個過程更像是一門藝術(shù)，而不像一個技術(shù)。

邁克：你選Cloudera就行了，不用去想更多的(哈哈)。

6、王建民：我們現(xiàn)在碰到的很大問題是面對系統(tǒng)的版本升級，用戶需要不斷去升級他們建好的系統(tǒng)，Cloudera怎么看待這樣的挑戰(zhàn)?

邁克：當(dāng)然，商業(yè)版的更新很簡單，一鍵安裝新的系統(tǒng)就好了。如果是開源的系統(tǒng)就會很難，因為開源你需要去選擇一個適合的文件包，需要自己去重新搭建，需要自己去測試，而這些在Cloudera商業(yè)版里都已經(jīng)幫你做好了。

道克：如果不兼容，就只能來找Cloudera，這樣我們的商業(yè)服務(wù)就能有發(fā)展空間了(哈哈)。

王建民：看來這樣的機會、這樣的服務(wù)對于Cloudera而言是一個很有價值的業(yè)務(wù)。

邁克：我們是一家創(chuàng)新公司，所以首先我們是一群創(chuàng)新者，我們的首要工作是設(shè)立未來大數(shù)據(jù)系統(tǒng)發(fā)展的方向。第二件事，我們的確做商業(yè)軟件，我們會把這些開源系統(tǒng)打包、測試，會在上面做很多工具，我們也會利用它來提供服務(wù)。

7、大數(shù)據(jù)服務(wù)的云平臺未來應(yīng)該如何選擇?

邁克：在商業(yè)層面上各種主流的云平臺Cloudera都支持，我們在北美和AWS、谷歌等都有合作，在中國將和騰訊、百度等有更多的合作，可以看到云服務(wù)市場增長非?？?。

道克：如何選擇云服務(wù)有很多因素要考慮。第一個是經(jīng)濟角度上，到底哪種方式更具性價比，并不是所有的公有云都比私有云更便宜。第二個是安全，雖然我們可以用多種加密的方式解決這個問題，讓別人更安心，但是安全永遠是影響抉擇的重要因素。還有另一個問題，我們需要考慮得非常清楚，通常我們遷移大數(shù)據(jù)系統(tǒng)是非常昂貴的，所以我們在選擇一個云的運營商之前，首先要意識到，這個運營商給我們提供的技術(shù)是不是我們需要的。一旦需要在這個平臺上進行轉(zhuǎn)換，是不是很容易操作。我能見到的最大錯誤就是選擇了某個云平臺之后被吃定，無法遷移轉(zhuǎn)換。

邁克：我們選擇開源有一個非常大的好處，因為底層的技術(shù)其實都是一樣的，是完全兼容的。如果我們選擇了不合適的云運營商，或者不合適的大數(shù)據(jù)商業(yè)軟件合作伙伴，我們可以比較容易完成系統(tǒng)遷移。

道克：還有一個融合的問題。比如企業(yè)內(nèi)部有架構(gòu)存儲一部分?jǐn)?shù)據(jù)，同時在公有云上也存儲一部分?jǐn)?shù)據(jù)，如果我們選擇混合云的方式，可能會讓我們在處理數(shù)據(jù)時非常困難，因為這兩個架構(gòu)之間任一方向的數(shù)據(jù)遷移，都非常昂貴。是否需要把數(shù)據(jù)放在不同的地方，這也是我們在選擇云計算架構(gòu)時必須要非常認(rèn)真考慮的一個問題。

8、如何去發(fā)掘Hadoop系統(tǒng)的應(yīng)用性領(lǐng)域，尤其在中國?怎樣去發(fā)現(xiàn)中國真正的大數(shù)據(jù)市場?

邁克：大數(shù)據(jù)分析、機器學(xué)習(xí)等技術(shù)發(fā)展，都在真實發(fā)生著，這些事情觸發(fā)了我們會有更多的數(shù)據(jù)，需要更多的處理能力，需要有更多的分析應(yīng)用，這樣正是我們希望看到的市場需求。

2006年我代表Oracle來中國，當(dāng)時正好是中國“十一五”開端的第一年，中國政府第一次在“十一五”的五年規(guī)劃中開始強調(diào)創(chuàng)新，今年是2016年，是“十三五”的開局之年，中國政府不但強調(diào)創(chuàng)新，還強調(diào)了創(chuàng)業(yè)，我認(rèn)為中國現(xiàn)在有一個非常好的開端。

對于Cloudera而言，在中國市場需要尋找更多的合作伙伴。我們看到像GM跟上汽合作為全球市場設(shè)計新車，中國已經(jīng)出現(xiàn)越來越多的垂直細分領(lǐng)域，比如像電信、保險，有越來越多的中國公司在使用大數(shù)據(jù)，成為很好的行業(yè)范例。中國大數(shù)據(jù)的應(yīng)用前景非常好，已經(jīng)取得了令人刮目相看的成就。中國市場的體量非常大，增量也會很大，不只是大數(shù)據(jù)市場，中國在其它細分領(lǐng)域一定會出現(xiàn)更多更好的創(chuàng)新，會孵化出更多大數(shù)據(jù)的技術(shù)與應(yīng)用。

三、 關(guān)于開源及未來

9、事實上，人們對開源還有困惑，很多中國團隊的想要致力于開源，你們有什么建議給那些想要參與進來的人?

道克：第一件事是找到一個恰當(dāng)?shù)念I(lǐng)域，現(xiàn)在的開源項目不是那么容易做好，首先要確保你的產(chǎn)品是有用的。

提問：這個領(lǐng)域是什么?

道克：這個很難去做預(yù)測，每個細分行業(yè)都有不同的現(xiàn)實情況，但相信大家是可以找發(fā)掘的。第二點，明確領(lǐng)域后，我們要建立對應(yīng)的大數(shù)據(jù)系統(tǒng);第三點，系統(tǒng)做出來之后我們需要有更多的參與者，需要讓大家意識到這個系統(tǒng)的價值，并愿意投入去改進你現(xiàn)在做的系統(tǒng)，愿意加入這個的社區(qū)團隊。這就是我們講到的開源文化。

這三步做到之后，你的項目規(guī)模自然而然就會增長，就會吸引更多的人參與，而且在這個過程中，所有參與項目的人需要非常開放，樂于幫助，更多這樣的人加入才會促使這件事成功。反之，如果我們做的是非常狹隘的一個領(lǐng)域，并希望它控制在一個什么樣的范圍內(nèi)，通常這樣的項目就難以成功。

邁克：在成為Cloudera的Leader之前，我曾是一個開發(fā)人員，做伯克利的數(shù)據(jù)庫。在我的經(jīng)驗中，社區(qū)是最重要的。并不是說一個開源社區(qū)做出來就是為了免費，關(guān)鍵是有更多人參與。現(xiàn)在中國的團隊不只是參與到既有的項目中，有的已經(jīng)開始去創(chuàng)造自己的新項目。比如說來ebay中國的一群人創(chuàng)造了麒麟這個項目，這個項目現(xiàn)在已經(jīng)變成了Apache的一個典型項目。所以我非常樂于見到更多來自中國的技術(shù)可以貢獻在全球。

王建民：現(xiàn)在中國有非常好的開源文化，很多年輕一代都非常熱情，愿意去做這件事情，但苦于我們沒有找到正確的門路和方法。清華正在做這方面的努力，清華數(shù)科院和Cloudera的戰(zhàn)略合作，其中非常重要的部分就是如何幫助中國開源社區(qū)的成長，我們也希望通過這樣的方式，培養(yǎng)更多的中國本土的Leader，將來他們可以去創(chuàng)建多樣化的開源社區(qū)，去領(lǐng)導(dǎo)更多的項目。

道克：需要強調(diào)一下，開源并不是一件容易的事情，它意味著我們需要投入更多的努力。我們需要有大量來自全球的有關(guān)需求的溝通，可能你的團隊在中國，你的需求來自于英國或者是美國，語言障礙會帶來挑戰(zhàn)。此外，選擇做開源，選擇一個更多人可以用的東西，一定意味著需要有更多付出。

舉一個例子，我和我孩子做飯，可以選擇我自己做，讓我的孩子做，或者教我的孩子做。讓我做飯很簡單，但是讓我的孩子做飯一定是個災(zāi)難。如果讓我選擇，教我的孩子如何做飯，雖然培養(yǎng)的過程需要花很多的精力，但最終當(dāng)孩子學(xué)會做飯之后，就能一勞永逸。

開源社區(qū)也是這樣，開始階段需要投入比我們現(xiàn)有項目更多的努力，但是一旦我們很好的建立一個社區(qū)和社區(qū)文化，這個項目就會有一種自我生長、自我繁殖的能力。

10、中國另一個現(xiàn)狀就是天賦的缺失，你們有什么建議?

道克：這個的確很難，因為現(xiàn)在大數(shù)據(jù)技術(shù)的變化演進非常快，如果你希望成為一個大數(shù)據(jù)人才，就必須有非常強的學(xué)習(xí)新技術(shù)的能力。技術(shù)變化太快了，只有最好的人才能做到。真正能夠解決的方式只有自我不斷的學(xué)習(xí)，以及可以有第三方提供的培訓(xùn)來幫助大家。Cloudera提供了一些課程出來，這個課程對大學(xué)是免費的。

王建民：為了解決大數(shù)據(jù)人才的問題，中國已經(jīng)有很多大學(xué)開設(shè)了大數(shù)據(jù)教育的課程，清華數(shù)科院就有相關(guān)的碩士計劃，第一屆已經(jīng)有150名以上的學(xué)生，來自清華不同院系的師資支持這個課程，但是這個課程到底應(yīng)該怎么去上呢?

參與授課的學(xué)生基本上可以分成三類，第一類是有很強的IT背景，可以做很多數(shù)據(jù)工程的事情;第二類來自社會信息學(xué)的領(lǐng)域，在他的工作中有很大部分就是在處理數(shù)據(jù)。第三類人是來自傳統(tǒng)行業(yè)，比如像機械工程這樣的領(lǐng)域，他們以前沒有足夠的IT知識和處理數(shù)據(jù)的技能。

我們在去年的授課過程中也在不斷的調(diào)整課程，我們認(rèn)為更好的解決方法，是理論和實踐結(jié)合，讓大家在學(xué)習(xí)理論課程的同時有更多的實踐機會，能夠更好的去解決技能問題。Cloudera提供的這些免費課程將會被引進到清華大數(shù)據(jù)碩士教育的計劃中。

11、大數(shù)據(jù)技術(shù)在中國未來會怎樣發(fā)展?

王建民：第一點，大數(shù)據(jù)在中國的進步會非常好，數(shù)據(jù)來源會非常多，中國有越來越多的人、越來越多的機器、越來越多的在線交易，都在產(chǎn)生大量的數(shù)據(jù)。但是在這個過程中我們要改變現(xiàn)在的文化，讓決策聽從數(shù)據(jù)驅(qū)動。第二點，不要把大數(shù)據(jù)神化，認(rèn)為大數(shù)據(jù)可以做更多的事情，要有耐心把大數(shù)據(jù)和我們的業(yè)務(wù)更好的結(jié)合起來。第三點，我們需要更多的注意安全和隱私，我們會有越來越多的數(shù)據(jù)，數(shù)據(jù)安全實際上是這個發(fā)展的前提。第四點，要更多發(fā)展中國自己的技術(shù)。

邁克：中國大數(shù)據(jù)有非常好的未來，清華這邊也在做很多和大數(shù)據(jù)相關(guān)的事情，大數(shù)據(jù)在全球的發(fā)展已經(jīng)非常成功，在中國經(jīng)濟方面、社會方面都會涌現(xiàn)非常多的機會。

道克：是的，中國一定會有很多的機會，而且中國的技術(shù)也已經(jīng)很先進了，更重要的是現(xiàn)在開源社區(qū)給了我們更多的機會去參與學(xué)習(xí)。

12、大數(shù)據(jù)技術(shù)的未來又是什么樣的?

道克：這個非常難預(yù)測，現(xiàn)在不太可能會知道，如果要知道我就去做了。我認(rèn)為更可能知道的是在座的各位，如果大家有什么樣非常好的想法，可以去積極嘗試。

邁克：在中國，小米正在使用Kudu，而Spark社區(qū)現(xiàn)在也變得越來越熱，這個情況在五年前我們都是見不到的。所以現(xiàn)在開源社區(qū)給我們一個非常好的環(huán)境和生態(tài)系統(tǒng)，像Hadoop這樣，可以幫助大家更好的去發(fā)展更多新的技術(shù)。

王建民：我們能夠看到的是，大數(shù)據(jù)系統(tǒng)對于中國的很多用戶來講，非常難使用，已有的開源技術(shù)并不能被很好的利用起來。在我們實驗室現(xiàn)在就有這樣一個項目，可以幫助大家更簡化的使用今天Hadoop的系統(tǒng)，是一種用機器學(xué)習(xí)的方法更多去完成自動化的參數(shù)、自動化的控制，我們正在做更多的努力。

邁克：這個方向很好，機器學(xué)習(xí)一定是未來的趨勢，我們應(yīng)該思考怎么在更多方面結(jié)合這項技術(shù)。