在過(guò)去的幾年中一直炒作大數(shù)據(jù),我們也都興奮于大數(shù)據(jù)到底有多少潛力。 但客觀來(lái)說(shuō),緊隨其后的卻是失望,當(dāng)一些公司把存儲(chǔ)和分析工具采購(gòu)到位后,不知道自己真正想要做什么。
從技術(shù)角度來(lái)說(shuō),目前已經(jīng)有很多技術(shù)和趨勢(shì),比如機(jī)器學(xué)習(xí)、人工智能,先進(jìn)分析、預(yù)測(cè)分析、實(shí)時(shí)分析、Hadoop和Spark,以及其他Apache基金會(huì)項(xiàng)目,如開源、云計(jì)算服務(wù)、自助服務(wù)等等。
2015年是非?;鸬囊荒?,2016年似乎將同樣熱鬧,這個(gè)趨勢(shì)不是CIO可以扭轉(zhuǎn)的。大數(shù)據(jù)技術(shù)已經(jīng)瓦解了以往單一業(yè)務(wù)運(yùn)營(yíng)模式,建立了新的產(chǎn)業(yè)形勢(shì),比如uber利用數(shù)據(jù)優(yōu)勢(shì)的方式進(jìn)行商業(yè)競(jìng)爭(zhēng),是每個(gè)人都會(huì)提到的例子?,F(xiàn)在的CIO,需要跨越兩個(gè)不同的世界,既要服務(wù)好現(xiàn)有的客戶,提供更快的即時(shí)服務(wù);同時(shí)要滿足數(shù)據(jù)驅(qū)動(dòng)的客戶需求,否則將會(huì)失去開拓新市場(chǎng)的機(jī)會(huì)。
但如何從A點(diǎn)(大數(shù)據(jù))到B點(diǎn)(商業(yè)價(jià)值)的轉(zhuǎn)化? 通過(guò)與企業(yè)高管、CIO、供應(yīng)商、分析師等進(jìn)行交流,在火爆的炒作中冷靜思考,看看2016年的大數(shù)據(jù)領(lǐng)域有哪些需要思考的熱點(diǎn)?
1
首席數(shù)據(jù)官-新興職位
企業(yè)應(yīng)對(duì)數(shù)字化時(shí)代的沖擊,尤其是要面對(duì)來(lái)自有大數(shù)據(jù)基礎(chǔ)的競(jìng)爭(zhēng)對(duì)手壓力,已經(jīng)將精力放在培養(yǎng)首席數(shù)據(jù)官(chief data officer ,CDO),來(lái)為企業(yè)發(fā)展提供大數(shù)據(jù)策略。
首席數(shù)據(jù)官地位日益重要,將獲得更多的權(quán)力和聲望。但有的人對(duì)這個(gè)職位的長(zhǎng)遠(yuǎn)發(fā)展表示質(zhì)疑。因?yàn)閷?duì)于一些有大數(shù)據(jù)分析基礎(chǔ)的企業(yè),不會(huì)從任命CDO中受益。
2
支持更多業(yè)務(wù)用戶
顯然,大數(shù)據(jù)這么熱,相對(duì)的必會(huì)出現(xiàn)人才短缺,隨著業(yè)務(wù)的發(fā)展,需要更多分析師及數(shù)據(jù)科學(xué)家補(bǔ)充進(jìn)來(lái),并且需要尋找更多的工具和功能使信息更直接地為人所用。在這種情況下怎么辦?
可以看到,微軟和Salesforce 最近都發(fā)布了解決方法,即,可以讓非編碼者創(chuàng)建應(yīng)用程序來(lái)查看業(yè)務(wù)數(shù)據(jù)。
3
智能化趨勢(shì)
無(wú)代碼編寫需求(No-coding-required)應(yīng)用程序是一種讓業(yè)務(wù)用戶更容易得到他們需要的信息的方式,簡(jiǎn)化獲取信息的流程。不過(guò)還有另一種方式,即在企業(yè)內(nèi)的應(yīng)用程序中直接嵌入分析功能。IDC預(yù)測(cè) ,到2020年,一半的業(yè)務(wù)分析軟件將建立在認(rèn)知計(jì)算功能上。
Gartner甚至指出,自主意識(shí)主體(autonomous agents and things)將成為另一個(gè)很有前途的趨勢(shì),標(biāo)志了機(jī)器人時(shí)代的到來(lái),比如自動(dòng)駕駛車輛、虛擬個(gè)人助手以及智能顧問(wèn)等等。
Gartner研究員、副總裁David Cearley在一份聲明中說(shuō),“未來(lái)五年我們將發(fā)展智能代理,推進(jìn)到后應(yīng)用時(shí)代,并提供動(dòng)態(tài)行為和接口,”他認(rèn)為,“領(lǐng)導(dǎo)人應(yīng)該探索如何使用這種機(jī)器人以強(qiáng)化人類活動(dòng),并代替一些以前必須要以人工方式完成的任務(wù)“。
4
人才短缺結(jié)束了嗎?
最近由商業(yè)咨詢企業(yè)A.T. Kearney公司發(fā)布的一份報(bào)告顯示,即便領(lǐng)先的跨國(guó)公司都在報(bào)告中說(shuō)他們很難招聘到數(shù)據(jù)科學(xué)人才。
然而, 國(guó)際研究所的分析預(yù)測(cè) ,數(shù)據(jù)人才危機(jī)可能在2016年有所緩解,因?yàn)槠髽I(yè)采用了一些新策略。
報(bào)告中顯示,“企業(yè)采取了許多方法來(lái)解決人才危機(jī),比如依靠新的大學(xué)項(xiàng)目來(lái)提高招聘,創(chuàng)建內(nèi)部項(xiàng)目培訓(xùn)現(xiàn)有員工進(jìn)行分析和挖掘數(shù)據(jù)。”
因此, IDC的報(bào)告 ,現(xiàn)在數(shù)據(jù)人才短缺已經(jīng)從數(shù)據(jù)科學(xué)家延伸到數(shù)據(jù)架構(gòu)師及數(shù)據(jù)管理專家。這也將推動(dòng)大數(shù)據(jù)相關(guān)專業(yè)服務(wù)在2020年達(dá)到23%的年復(fù)合增長(zhǎng)率。
5
機(jī)器學(xué)習(xí)的發(fā)展勢(shì)頭
機(jī)器學(xué)習(xí)也是做大數(shù)據(jù)工作的it人員非常關(guān)注的一個(gè)方面,那么它在2016年有怎樣的發(fā)展?分析企業(yè)Ovum公司預(yù)測(cè),機(jī)器學(xué)習(xí)將在2016年當(dāng)中成為“數(shù)據(jù)準(zhǔn)備與預(yù)測(cè)分析工作的敲門磚”。
和 Gartner確認(rèn) 下一階段,將先進(jìn)的機(jī)器學(xué)習(xí)作為2016年的最高發(fā)展戰(zhàn)略。 分析公司說(shuō),機(jī)器學(xué)習(xí)的一種高級(jí)形式稱為深層神經(jīng)網(wǎng)絡(luò),可以創(chuàng)建系統(tǒng)能夠自主學(xué)習(xí)自己感知的世界。“這個(gè)領(lǐng)域正在迅速發(fā)展,企業(yè)必須評(píng)估如何應(yīng)用這些技術(shù)來(lái)獲得未來(lái)的競(jìng)爭(zhēng)優(yōu)勢(shì)。”
6
Spark 成為寵兒
根據(jù)Ovum分析,SQL在大數(shù)據(jù)分析中的地位至高無(wú)上,但Spark這個(gè)后起之秀正在快速增長(zhǎng)。 “Spark將補(bǔ)充SQL的不足,比如可以實(shí)現(xiàn)圖形分析流媒體,并幫助開發(fā)人員利用自己所熟悉的語(yǔ)言對(duì)企業(yè)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)流進(jìn)行查詢”。
7
數(shù)據(jù)即服務(wù)(Data-As-A-Service)商業(yè)模式即將來(lái)臨
一個(gè)標(biāo)志性事件是,IBM收購(gòu)了美國(guó)天氣公司,包括所有相關(guān)的天氣數(shù)據(jù)、數(shù)據(jù)流,以及最核心的預(yù)測(cè)分析技術(shù),未來(lái)將會(huì)把data-streams-as-a-service作為一個(gè)新的商業(yè)模式。
巨頭收購(gòu)數(shù)據(jù)公司的這種趨勢(shì)下,其他數(shù)據(jù)公司也開始打包、出售他們的數(shù)據(jù)。Forrester預(yù)計(jì),一些公司會(huì)搭上這個(gè)順風(fēng)車,取得成功。但盡管這個(gè)未來(lái)前景非常好,大多數(shù)的公司還是會(huì)錯(cuò)失良機(jī),難以在保護(hù)個(gè)人信息和采取適當(dāng)?shù)纳虡I(yè)模式中的諸多復(fù)雜問(wèn)題中找到平衡”。
8
實(shí)時(shí)分析
Forrester預(yù)計(jì),流數(shù)據(jù)挖掘和分析在2016年將成為大數(shù)據(jù)贏家必備技能。
Forrester副總裁布萊恩·霍普金斯解釋說(shuō),“簡(jiǎn)單將數(shù)據(jù)進(jìn)行批式分析,轉(zhuǎn)化為企業(yè)行為的方式已經(jīng)遇到瓶頸。未來(lái)12個(gè)月,更多的企業(yè)會(huì)轉(zhuǎn)向基于分布式架構(gòu)的、開放源碼的流媒體,建立在像Kafka和Spark這種開源項(xiàng)目上,這類實(shí)時(shí)分析解決方案將會(huì)越來(lái)越多。”
9
又一個(gè)新興領(lǐng)域出現(xiàn):算法市場(chǎng)
Forrester的另一個(gè)預(yù)測(cè)是, “企業(yè)意識(shí)到很多算法與其自行開發(fā),不如通過(guò)市場(chǎng)購(gòu)買,直接向其中添加數(shù)據(jù)即可”。目前已經(jīng)提供此類服務(wù)的有:Algorithmia、 Data Xu和Kaggle。