當(dāng)大數(shù)據(jù)充斥各種場合,從馬云到釋昭慧都侃侃而談,你還能不懂什么是大數(shù)據(jù)嗎?你也許已經(jīng)聽過無數(shù)的大數(shù)據(jù)神話,但對(duì)于大數(shù)據(jù)仍停留在一知半解階段,《數(shù)位時(shí)代》專訪各大大數(shù)據(jù)專家,整理出你最應(yīng)該知道的大數(shù)據(jù)。
Q:大數(shù)據(jù)是什么?
A:大數(shù)據(jù)(Big Data)又被稱為巨量數(shù)據(jù),其概念其實(shí)就是過去10年廣泛用于企業(yè)內(nèi)部的數(shù)據(jù)分析、商業(yè)智慧(Business Intelligence)和統(tǒng)計(jì)應(yīng)用之大成。但大數(shù)據(jù)現(xiàn)在不只是數(shù)據(jù)處理工具,更是一種企業(yè)思維和商業(yè)模式,因?yàn)閿?shù)據(jù)量急速成長、儲(chǔ)存設(shè)備成本下降、軟體技術(shù)進(jìn)化和云端環(huán)境成熟等種種客觀條件就位,方才讓數(shù)據(jù)分析從過去的洞悉歷史進(jìn)化到預(yù)測未來,甚至是破舊立新,開創(chuàng)從所未見的商業(yè)模式。
一般而言,大數(shù)據(jù)的定義是Volume(容量)、Velocity(速度)和Variety(多樣性),但也有人另外加上Veracity(真實(shí)性)和Value(價(jià)值)兩個(gè)V。但其實(shí)不論是幾V,大數(shù)據(jù)的數(shù)據(jù)特質(zhì)和傳統(tǒng)數(shù)據(jù)最大的不同是,數(shù)據(jù)來源多元、種類繁多,大多是非結(jié)構(gòu)化數(shù)據(jù),而且更新速度非常快,導(dǎo)致數(shù)據(jù)量大增。而要用大數(shù)據(jù)創(chuàng)造價(jià)值,不得不注意數(shù)據(jù)的真實(shí)性。
Q:為什么需要大數(shù)據(jù)?
A:因?yàn)楫?dāng)從人到機(jī)器都已經(jīng)被數(shù)據(jù)解構(gòu),數(shù)據(jù)不僅僅是歐巴馬口中的石油或是黃金,它更是血液,貫穿每個(gè)人一生中每個(gè)生命階段。這并非危言聳聽,更不是科幻電影,而是正在逐步成真的現(xiàn)實(shí)。
例如有一款叫做Ovia Fertility的App,藉由分析30萬名會(huì)員的數(shù)據(jù),開發(fā)演算法,精準(zhǔn)計(jì)算排卵期,提高懷孕的機(jī)率,這個(gè)App已幫助5萬名會(huì)員成功懷孕。又比如Workday推出一套軟體,預(yù)測員工的薪水漲幅和可能跳槽時(shí)間,幫助企業(yè)決定每名員工的加薪幅度、時(shí)間點(diǎn)和轉(zhuǎn)職時(shí)機(jī)。理財(cái)也逃不過大數(shù)據(jù)的掌控,騰訊就于年初推出第一家用大數(shù)據(jù)決定借貸與否的銀行,微眾銀行結(jié)合辨識(shí)人臉和公安部門數(shù)據(jù),決定借貸者的信用等級(jí)。
從懷孕生子、工作到理財(cái),大數(shù)據(jù)將全面影響每個(gè)人與每家企業(yè)。對(duì)企業(yè)而言,大數(shù)據(jù)可望提升服務(wù)品質(zhì)、增加管理效率、幫助決策和創(chuàng)造商業(yè)模式;對(duì)一般民眾而言,大數(shù)據(jù)是另一個(gè)自我,它可能比本人更了解本人,為你預(yù)先解決每個(gè)未知,當(dāng)一切都開始數(shù)據(jù)化,你能夠不需要數(shù)據(jù)嗎?
Q:大數(shù)據(jù)一定要很大嗎?
A:雖然大數(shù)據(jù)的狹義定義是,數(shù)據(jù)量要在100TB到PB之間,但其實(shí)絕大多數(shù)的企業(yè),都不符合這個(gè)標(biāo)準(zhǔn),大企業(yè)如eBay、亞馬遜或AT&T或許符合大數(shù)據(jù)的標(biāo)準(zhǔn)。但其實(shí)數(shù)據(jù)量只是大數(shù)據(jù)的其中一個(gè)面向,大數(shù)據(jù)揭示的是一種「數(shù)據(jù)經(jīng)濟(jì)」的精神,而非只是「大」。
「大,是大數(shù)據(jù)中最無趣的部分?!蛊髽I(yè)真正要尋找的是非傳統(tǒng)的、而且未曾被挖掘過的數(shù)據(jù),并且從這些數(shù)據(jù)中去提煉出價(jià)值,這才是對(duì)大數(shù)據(jù)應(yīng)有的正確認(rèn)知,而非只是執(zhí)著于數(shù)據(jù)大小,只要能從看似毫無意義的數(shù)據(jù)礦坑中挖掘出金礦,有誰會(huì)在意那座礦坑原本是大得像座山還是小得像狗屋呢?和沛科技創(chuàng)辦人翟本喬就指出,大數(shù)據(jù)這個(gè)名字容易讓人誤導(dǎo),因?yàn)檎嬲匾钠鋵?shí)是大智慧。大數(shù)據(jù)不只是說數(shù)據(jù)量有多大,速度快和數(shù)據(jù)量大都可以用技術(shù)輕易解決,但種類(Variety)比較需要智慧。
Q:沒有大數(shù)據(jù)就不能用大數(shù)據(jù)嗎?
A:非也,建置大數(shù)據(jù)架構(gòu)與環(huán)境的確所費(fèi)不貲,一般中小企業(yè)通常無法輕易投入鉅額成本,但大數(shù)據(jù)時(shí)代的精神在于如何妥善利用既有或非傳統(tǒng)數(shù)據(jù),從中挖掘出新商機(jī),因此即使是中小企業(yè)甚或者是新創(chuàng)企業(yè),都能在大數(shù)據(jù)時(shí)代用「大數(shù)據(jù)」。
就技術(shù)面來說,現(xiàn)在有許多業(yè)者開始提供建置成本較低的大數(shù)據(jù)處理工具和云端系統(tǒng),有些甚至跟App一樣,只要根據(jù)自身需求挑選需要購買的功能即可,例如科智提供的工業(yè)化數(shù)據(jù)管理工具即為一例。另一方面,很多時(shí)候中小企業(yè)其實(shí)不需要建設(shè)大數(shù)據(jù)系統(tǒng)。中研院資訊科學(xué)研究所研究員陳昇瑋即指出,在絕大多數(shù)情況下,大數(shù)據(jù)專案其實(shí)不需要建置Hadoop系統(tǒng),特別是臺(tái)灣的社群媒體沒那么發(fā)達(dá),而是直接采用國外的居多,數(shù)據(jù)都不在自己手上,與其盲目追求技術(shù)和工具,不如先用小量數(shù)據(jù)去驗(yàn)證一個(gè)概念,是否能將數(shù)據(jù)轉(zhuǎn)換成商業(yè)機(jī)會(huì),再來決定要不要建置大數(shù)據(jù)的作業(yè)環(huán)境。
大數(shù)據(jù)領(lǐng)域權(quán)威麥爾茍伯格(Viktor Mayer-Sch?nberger)在《大數(shù)據(jù)》一書中便提及,大公司有巨量數(shù)據(jù)的規(guī)模優(yōu)勢,但小公司有成本及創(chuàng)新上的優(yōu)勢,小公司因?yàn)樗俣葔蚩?、靈活度高,就算維持小規(guī)模,還是能夠蓬勃發(fā)展。
Q:我要怎么開始進(jìn)行大數(shù)據(jù)專案?
A:設(shè)置專門統(tǒng)籌大數(shù)據(jù)專案的部門和職銜是第一步,而且層級(jí)越高越好,企業(yè)領(lǐng)導(dǎo)人必須足夠正視大數(shù)據(jù)的力量,才能帶動(dòng)整個(gè)組織重視數(shù)據(jù)的文化。Etu負(fù)責(zé)人蔣居裕便指出,大數(shù)據(jù)其實(shí)是管理問題,而非技術(shù)問題,缺少跨部門協(xié)作,大數(shù)據(jù)專案很難有個(gè)美好的開始。
第二步,切勿陷入大數(shù)據(jù)迷思,與其急著想用數(shù)據(jù)變現(xiàn),不如先回頭看看自己企業(yè)內(nèi)部的問題為何,先定義問題,再試圖用數(shù)據(jù)找解方。阿里巴巴集團(tuán)副總裁車品覺建議,與其整天想著大數(shù)據(jù),不如先整頓自己企業(yè)內(nèi)部的數(shù)據(jù),很多時(shí)候光是企業(yè)內(nèi)部的數(shù)據(jù)就問題叢生,不同部門之間的數(shù)據(jù)無法相容,「整個(gè)數(shù)據(jù)在一個(gè)中小企業(yè)里面也是四分五裂,在這個(gè)地方?jīng)]做好的情況下,居然說你想用大數(shù)據(jù),其實(shí)是有點(diǎn)難以理解?!?br />
原文鏈接:http://www.thebigdata.cn/YeJieDongTai/13877.html