如果這個問題換做是:在電氣時代,每家公司都要有個發(fā)電廠嗎?是不是會更好回答一些?
事實上每一種重大技術(shù)的出現(xiàn),都會對產(chǎn)業(yè)產(chǎn)生大的變化。在蒸汽時代,采礦機采用蒸汽機后,會帶來生產(chǎn)效率的極大提升,而輪船加上蒸汽機,再也不需要靠風(fēng)才能航海了。在電氣時代,電燈代替了蠟燭,電報代替了快馬送信,而報紙也被廣播和電視所侵蝕。
可以說是現(xiàn)有產(chǎn)業(yè)加上新技術(shù),形成了新產(chǎn)業(yè)。
我們回過頭來看這兩次工業(yè)革命,生產(chǎn)蒸汽機的企業(yè)只有少量幾家,而發(fā)電的企業(yè)在美國也只有通用電氣和西屋電氣。并不是每家企業(yè)都要從事這些基礎(chǔ)設(shè)施的研發(fā)和生產(chǎn),更多的是對新技術(shù)加以應(yīng)用,發(fā)揮新技術(shù)帶來的價值。
在 IT 領(lǐng)域,軟件剛出來時,可以說是計算和存儲完全混雜在一起。有人嘗試將計算硬件進行分離,歪打正著成就了 Intel。有人嘗試將存儲系統(tǒng)分離,因而有了 Oracle。
Intel 和 Oracle 固然偉大,但它們的價值更多的還在于有廣大的企業(yè)采用了這些新的技術(shù),在具體的行業(yè)中,產(chǎn)生了更大的價值。
同樣,云計算這種理念固然是好,但如果每家企業(yè)都建立自己的云計算中心,從資金和人力投入上,一定是不劃算的,更嚴(yán)重的問題是做不到最優(yōu)。相反,有了 AWS 和阿里云這樣的云計算提供商,讓中小企業(yè)更便捷的進行創(chuàng)新應(yīng)用。
回到題目中的問題,在大數(shù)據(jù)時代,每家公司都要有自己的大數(shù)據(jù)部門嗎?結(jié)論也不能下的太武斷。
早在 2008 年,云計算的概念剛剛興起,百度內(nèi)部出現(xiàn)了兩撥勢力。一撥要從零開始打造自己的大數(shù)據(jù)底層技術(shù),把 MapReduce、GFS、BigTable 這些組件都要實現(xiàn)一遍,結(jié)果花了兩三年時間,也沒能穩(wěn)定運行。
而另外一撥勢力,直接采納開源的 Hadoop 生態(tài),很快在公司內(nèi)應(yīng)用起來。而我當(dāng)時做的日志統(tǒng)計平臺,也是采用了 Hadoop。但百度的數(shù)據(jù)規(guī)模畢竟太大了,所需的集群規(guī)模,開源版本根本撐不住,于是不得不改寫 Hadoop,這樣就和開源的版本漸行漸遠,等到后來再也合不到一起了。
曾經(jīng)有一年多的時間,我們部門新設(shè)計和實現(xiàn)和底層的存儲及計算系統(tǒng),結(jié)果發(fā)現(xiàn)開源的版本也差不多實現(xiàn)到了同樣效果。雖然許多內(nèi)部的人覺得我們怎么總重復(fù)造輪子,但我明白還是需求使然,你面臨的需求相對領(lǐng)先,但也沒有領(lǐng)先到像 Google 那樣提早 5 年。
但對于小公司來說,則完全沒必要從零開始做,還是要盡量用開源的產(chǎn)品。
整個 Hadoop 生態(tài),要比我 2008 年剛用的時候,要成熟很多。那個時候我們?nèi)ツ瞄_源的版本,編譯部署,一個新手可能兩周都不一定能正常的運轉(zhuǎn)起來。而現(xiàn)在下載一個 Cloudera 發(fā)行版,兩個小時就可以正常跑任務(wù)了。
與此同時,又面臨了新的問題,因為大數(shù)據(jù)平臺牽涉到數(shù)據(jù)的采集、傳輸、建模存儲、查詢分析、可視化等多個環(huán)節(jié),而開源領(lǐng)域只是一些組件,于是各家公司都在紛紛打造自己的大數(shù)據(jù)平臺,這就像 Oracle 之前,各家都在打造自己的存儲系統(tǒng)。這顯然不是一件性價比高的事情。
有市場需求,就會有滿足相應(yīng)需求的公司誕生,于是就誕生了一堆提供大數(shù)據(jù)服務(wù)的公司。
由于這一新領(lǐng)域還處于早期,這些創(chuàng)業(yè)公司所能提供的服務(wù)并不會特別的完善,要么是以項目制的方式運轉(zhuǎn),要么是提供專門應(yīng)用場景的服務(wù)。
這樣,對于一些企業(yè)來說,這些創(chuàng)業(yè)公司提供的服務(wù),似乎自己也能實現(xiàn),那何不干脆自己做?
這創(chuàng)業(yè)一年多以來,我看到了太多的公司在打造自己的數(shù)據(jù)平臺,但做的還不夠完善。不管是技術(shù)實力還是人力投入上,都有點力不從心。如果選用了這些第三方數(shù)據(jù)服務(wù),那豈不飯碗被搶了?
可我要說的是,飯碗早晚都會被搶,只是時間早晚的問題。這里只需要問一個問題:我所做的數(shù)據(jù)平臺,是不是其他公司也是類似的需求?如果是的話,那肯定也有其他公司做著類似的事情,做的東西會大同小異。
那么,就會出現(xiàn)專門的公司,來解決這種通用的需求。因為這些公司專注于解決這一塊問題,所以會更加專業(yè),并且舍得投入。而對于需求公司來說,除非自己轉(zhuǎn)型去專門做大數(shù)據(jù)平臺,不然在投入上,肯定不是一件性價比很高的事情。與其如此,不如及早側(cè)重于自己的核心業(yè)務(wù),關(guān)注應(yīng)用需求本身。
那對于企業(yè)來說,在大數(shù)據(jù)時代,應(yīng)該怎么做呢?我的建議是三點:
首先,要擁抱大數(shù)據(jù)技術(shù)。
新的重大技術(shù)出現(xiàn),都帶有顛覆性。一不小心,就會被革命。但也不是說企業(yè)已有的業(yè)務(wù)不用搞了,都來搞大數(shù)據(jù)吧。
在大數(shù)據(jù)這件事上,還是要從需求出發(fā),而不是從大數(shù)據(jù)出發(fā)。
有人會問我,我有了一些數(shù)據(jù),給我講講怎么能發(fā)揮更大的價值。坦率來說,許多時候不了解業(yè)務(wù)場景,很難提出建設(shè)性的意見的。
相反,我們要先看在企業(yè)滿足客戶需求的時候,還有哪些重大問題沒有解決好,如果采用了大數(shù)據(jù)技術(shù),是不是可以更好的解決?如果有這樣的點,那非常好,就勇于去嘗試。如果沒有,那就繼續(xù)學(xué)習(xí)大數(shù)據(jù)的知識,再等待這樣的場景出現(xiàn)。
其次,企業(yè)要有懂大數(shù)據(jù)的人。
這種人不一定是全職的,但至少是可以將企業(yè)的業(yè)務(wù)和大數(shù)據(jù)技術(shù)結(jié)合起來的人。這種人不一定對大數(shù)據(jù)技術(shù)本身很懂,但善于使用新技術(shù)。
如果企業(yè)現(xiàn)在還沒有,并且還沒招到。可以去培養(yǎng)一個頭腦靈活,樂于學(xué)習(xí)新技術(shù)的人。如果拋開大數(shù)據(jù)系統(tǒng)的實現(xiàn)挑戰(zhàn),理解大數(shù)據(jù)的應(yīng)用場景,那難度會降低不少。
最后,要善于利用第三方服務(wù)。
能用第三方服務(wù)解決的,就盡快去嘗試。在競爭激烈的情況下,通過采用新技術(shù),獲得技術(shù)紅利,跑的更快。就像愛迪生當(dāng)年發(fā)明白熾燈后,那些更早將白熾燈用于工廠的企業(yè)家,更有可能提升工人的工作效率。