之前發(fā)一篇文章《大數(shù)據(jù)行業(yè)里的兩大誤區(qū)》,很多朋友評(píng)價(jià)還不錯(cuò),受此激勵(lì),結(jié)合最近目睹、經(jīng)歷的項(xiàng)目,想多寫一些。經(jīng)過筆者總結(jié),發(fā)現(xiàn)大數(shù)據(jù)的誤區(qū)還真是不少,尤其是國(guó)內(nèi),很多人以訛傳訛,造成了很多基本概念的偏差。接上一篇文章,再來談?wù)劥髷?shù)據(jù)中的一部分誤區(qū),供大家拍磚。
誤區(qū)三:數(shù)據(jù)量特別大才叫大數(shù)據(jù)
在 “數(shù)據(jù)界”存在這樣有一波人,他們認(rèn)為“只有Peta級(jí)以上的才叫大數(shù)據(jù),甚至到了Zeta以上才叫大數(shù)據(jù),目前還沒有到真正的大數(shù)據(jù)時(shí)代!”,每次聽到 這樣的話,我就知道這些人受IOE某巨頭的4V理論中的“容量”影響太巨大了。對(duì)此,我想說的第一句話是“盡信書不如無書,盡信巨頭不如去IOE”,去 IOE不只是要從硬件做起,還要從思想上敢于挑戰(zhàn)巨頭做起,盡管很多IT界的經(jīng)典理論都是傳統(tǒng)巨頭提出的,但是隨著挑戰(zhàn)者的出現(xiàn),萌發(fā)了新的思想和技術(shù) 后,傳統(tǒng)巨頭會(huì)被慢慢顛覆,這也是我們?nèi)祟惽斑M(jìn)向前的一個(gè)重要因素。如果我們還停留在迷信巨頭的時(shí)代,如此刻板教條的去追求一個(gè)概念,那么就不會(huì)有現(xiàn)在的 Hadoop,不會(huì)有現(xiàn)在的Spark,不會(huì)有現(xiàn)在的特斯拉,不會(huì)有機(jī)器學(xué)習(xí)人工智能,更不會(huì)有未來的第N次工業(yè)革命。
首先我想強(qiáng)調(diào),大 數(shù)據(jù)技術(shù)真的不是一個(gè)新鮮詞,在之前的文章中我已經(jīng)說過,大數(shù)據(jù)的本質(zhì)還是數(shù)據(jù),數(shù)據(jù)這個(gè)行業(yè)已經(jīng)發(fā)展了若干年,而數(shù)據(jù)量的規(guī)模永遠(yuǎn)是超出該時(shí)代的想象 的,比如十幾年前,一張軟盤的數(shù)據(jù)量也就1.44M,當(dāng)時(shí)的數(shù)據(jù)如果達(dá)到1T都讓旁人咂舌。那么按數(shù)據(jù)量的標(biāo)準(zhǔn),當(dāng)時(shí)如果有人收集了1T數(shù)據(jù)就已經(jīng)進(jìn)入大 數(shù)據(jù)時(shí)代了嗎?顯然不是!所以我想說,數(shù)據(jù)量的大小并不是衡量大數(shù)據(jù)的標(biāo)準(zhǔn),如果按數(shù)據(jù)量去判斷是否大數(shù)據(jù)的話,那么“大數(shù)據(jù)”這個(gè)詞真的是一個(gè)偽命題, 就如同“老虎比如是老的,小伙必須是小的,巨頭必須是腦袋大的,飛人必須是長(zhǎng)翅膀的”這種純粹字面意思去定義的話題一樣。
那么再回過來說,大數(shù)據(jù)的概念是什么?首先,大數(shù)據(jù)是一個(gè)完整的生態(tài)體系,從數(shù)據(jù)的產(chǎn)生、采集、加工、匯總、展現(xiàn)、挖掘、推送等方面形成了一個(gè)閉環(huán)的價(jià)值鏈,并且通過每個(gè)環(huán)節(jié)的多種技術(shù)處理后,為所在業(yè)務(wù)場(chǎng)景提供有價(jià)值的應(yīng)用和服務(wù)。其次,大數(shù)據(jù)的核心是什么?一方面是開源,一方面是節(jié)流, 目前大數(shù)據(jù)技術(shù)的核心目標(biāo)都是通過低成本的技術(shù)更好的滿足對(duì)數(shù)據(jù)的需求(尤其是處理近年來更多的非結(jié)構(gòu)化數(shù)據(jù)),并在在滿足需求的基礎(chǔ)上盡可能多的為企業(yè) 節(jié)省投資。說一千道一萬,大數(shù)據(jù)的核心理念還是滿足應(yīng)用需求,有明確目標(biāo)的技術(shù)叫生產(chǎn)力,沒有業(yè)務(wù)目標(biāo)的技術(shù)叫“浪費(fèi)生命力”。
誤區(qū)四:為了大數(shù)據(jù)而大數(shù)據(jù)
這 個(gè)誤區(qū)我認(rèn)為是目前最嚴(yán)重的。在部分企業(yè)中,追求技術(shù)一定要最新、最好、最炫,一定要拿到國(guó)際先進(jìn)、世界一流才行。所有的企業(yè),不分行業(yè)不分性質(zhì)不分地域 不分年代,一律高喊“趕超BAT,大數(shù)據(jù)助力**企業(yè)達(dá)到**目標(biāo)”,接下來就是先去IOE,然后投資買集群,把之前的各種高性能小型機(jī)大型機(jī)都不用了, 之前買的O記授權(quán)全部停了,之前的幾十年投資一夜之間作廢,又投入了更多的資源去追趕“大數(shù)據(jù)”。
同學(xué)們,這種勞民傷財(cái)?shù)氖虑橄嘈糯蠹颐刻於紩?huì)聽到或者親眼看到,很多企業(yè)不計(jì)成本就是為了博領(lǐng)導(dǎo)一笑,這得是多么大的誤區(qū)啊。對(duì)此我想說:
第 一,從技術(shù)上來說,比如BAT或者很多互聯(lián)網(wǎng)企業(yè)去追求大數(shù)據(jù),是因?yàn)闃I(yè)務(wù)發(fā)展的需要。任何一個(gè)互聯(lián)網(wǎng)企業(yè)一出生就是為了流量和點(diǎn)擊而活著,這就意味這大 量的非結(jié)構(gòu)化數(shù)據(jù)需要進(jìn)行快速處理,這時(shí)候就決定了互聯(lián)網(wǎng)企業(yè)只能通過一些并發(fā)手段去分解底層的數(shù)據(jù),然后進(jìn)行快速加工,并滿足其服務(wù)用戶和市場(chǎng)的需要。 互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)流程和業(yè)務(wù)模型就決定了必須得采用大數(shù)據(jù)技術(shù)。反之,很多企業(yè)根本用不著這些技術(shù),有些企業(yè)簡(jiǎn)單的一兩個(gè)Excel文件里面做幾個(gè)公式就 可以滿足它的發(fā)展,而且數(shù)據(jù)的周期還是按月處理的,根本不需要運(yùn)用這些技術(shù)。
第二,從投資上來說,互聯(lián)網(wǎng)企業(yè)出生都是平民,根本買不起大 型設(shè)備,就算一夜暴富后,也沒有一個(gè)傳統(tǒng)的小型機(jī)大型機(jī)可以更好的滿足它們的發(fā)展,故只能另辟蹊徑創(chuàng)造價(jià)值鏈和標(biāo)準(zhǔn)了,在之前的低投資、輕量級(jí)架構(gòu)上,不 斷進(jìn)行小量的線性硬件投資滿足業(yè)務(wù)的發(fā)展。反倒是一些傳統(tǒng)企業(yè),甚至是巨無霸,其投資計(jì)劃已經(jīng)在一年前明確,而且在原來的基礎(chǔ)上投資會(huì)更有ROI(投資回 報(bào)率),現(xiàn)在反倒為了追求大數(shù)據(jù)的口號(hào),犧牲了之前的大量投資,除了“得不償失”,剩下的只能是滿地的節(jié)操了。
大數(shù)據(jù)技術(shù)甚至任何一種技 術(shù)都是為了滿足特定的業(yè)務(wù)目標(biāo)而生的,在具備了明確的業(yè)務(wù)目的后,順勢(shì)設(shè)計(jì)符合自身業(yè)務(wù)架構(gòu)的技術(shù)架構(gòu),才是一種科學(xué)的健康的發(fā)展觀。如果您是一位老板、 CEO或者投資人,千萬要明白,大數(shù)據(jù)技術(shù)對(duì)于企業(yè)來說,有時(shí)候像水,而企業(yè)的業(yè)務(wù)目標(biāo)就是那艘船,“水能載舟,亦能覆舟”。
隨著生產(chǎn)關(guān) 系的不斷調(diào)整,又會(huì)出現(xiàn)若干輪生產(chǎn)力的不斷進(jìn)步,大數(shù)據(jù)之后的技術(shù)也會(huì)日新月異的進(jìn)步著,比如現(xiàn)在開始潮流涌現(xiàn)的“機(jī)器學(xué)習(xí)、深度學(xué)習(xí)”等諸多的人工智能 方面的技術(shù),也出現(xiàn)了比如“小數(shù)據(jù)”、“微數(shù)據(jù)”等更細(xì)方向技術(shù)的細(xì)分,在技術(shù)的洪流到來時(shí),只要保持清晰的以滿足業(yè)務(wù)為導(dǎo)向的頭腦,根據(jù)自身的業(yè)務(wù)需要 設(shè)計(jì)自身的技術(shù)架構(gòu),就不會(huì)被各種流派,各種概念淹沒。
作者系《企業(yè)網(wǎng)》特約專家:劉強(qiáng) 樂蜂網(wǎng)數(shù)據(jù)總監(jiān)