從我第一次嘗試為繁榮發(fā)展的大數(shù)據(jù)生態(tài)系統(tǒng)繪制一張信息圖已經(jīng)過(guò)去了兩年, 而這期間大數(shù)據(jù)行業(yè)發(fā)生了很多巨大的變化。 我早就該對(duì)這張圖做一個(gè)更新,現(xiàn)在終于完成了。
從VC的角度,我想談?wù)剬?duì)這張圖以及大數(shù)據(jù)行業(yè)的一些想法:
越來(lái)越擁擠:創(chuàng)業(yè)者們蜂擁至這個(gè)行業(yè), VC們將大筆的資金投資到看起來(lái)有機(jī)會(huì)成功的創(chuàng)業(yè)公司,其結(jié)果是,這個(gè)行業(yè)正變得越來(lái)越擁擠。 一些類別如數(shù)據(jù)庫(kù)(不管是NoSQL還是NewSQL)和社交媒體數(shù)據(jù)分析正趨于成熟,且開始出現(xiàn)并購(gòu)或者淘汰出局(Twitter對(duì)BlueFin和GNIP的收購(gòu)可能意味著在社交媒體數(shù)據(jù)分析領(lǐng)域這種趨勢(shì)早已經(jīng)開始了)。
對(duì)于后來(lái)者來(lái)說(shuō), 雖然空間依然存在,但看起來(lái)早期的大筆風(fēng)投資金都下注在基礎(chǔ)設(shè)施(infrastructure)和分析(analytics)領(lǐng)域,導(dǎo)致成功的標(biāo)準(zhǔn)變得越來(lái)越高。 不過(guò), 這并不意味著VC的資金會(huì)停止流入這些領(lǐng)域。
對(duì)于一些領(lǐng)域,公司的數(shù)量之多顯然已經(jīng)達(dá)到了一張地圖所能容納的上限。 我相信還有一些不錯(cuò)的公司我們沒(méi)能納入進(jìn)來(lái),也許是我們沒(méi)有發(fā)現(xiàn),也許是因?yàn)榈胤讲粔蛄耍?我在此表示非常抱歉, 同時(shí)我也希望大家在評(píng)論里對(duì)于應(yīng)當(dāng)納入那些公司提出反饋和意見。
尚處在早期階段: 總體而言,這個(gè)市場(chǎng)還處在發(fā)展的早期階段。 過(guò)去幾年, 一些被看好的公司失敗了(如Drawn to Scale),一些公司的創(chuàng)業(yè)者提前退出了(例如Precog、Prior Knowledge、Lucky Sort、Rapleaf、Nodeable、Karmasphere等 ),還有一些的結(jié)局稍好(例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFin labs、BlueKai)。
與此同時(shí),一些公司看起來(lái)正越做越大,并獲得大筆驚人的風(fēng)投注資(比如MongoDB已經(jīng)融資超過(guò)2.3億美元, Palantir融資近9億美元, Cloudera近10億美元。一些大公司正積極出擊進(jìn)行并購(gòu)(Oracle收購(gòu)BlueKai, IBM收購(gòu)Cloudant),但是總體而言,多數(shù)公司離成功實(shí)現(xiàn)IPO和投資者功成身退還差的很遠(yuǎn)(雖然Splunk和Tableau做到了)。 在很多類別,創(chuàng)業(yè)公司和大公司互相競(jìng)爭(zhēng),但并沒(méi)有出現(xiàn)市場(chǎng)領(lǐng)導(dǎo)者。
市場(chǎng)宣傳遭遇現(xiàn)實(shí):在經(jīng)歷這些年狂轟濫炸的市場(chǎng)宣傳之后,大數(shù)據(jù)還是焦點(diǎn)么?未來(lái)幾年,也許大數(shù)據(jù)不再是媒體的熱門,但對(duì)于大數(shù)據(jù)市場(chǎng)而言卻是至關(guān)重要的, 因?yàn)槠髽I(yè)將要開始把大數(shù)據(jù)項(xiàng)目從試驗(yàn)轉(zhuǎn)而全面的部署實(shí)施。
雖然這意味著一些大數(shù)據(jù)提供商的利潤(rùn)會(huì)迅猛增長(zhǎng),但同時(shí)這些項(xiàng)目也將成為大數(shù)據(jù)是否能帶來(lái)它所宣傳的價(jià)值的一塊試金石。與此同時(shí),隨著“物聯(lián)網(wǎng)”行業(yè)的迅速崛起,數(shù)據(jù)將會(huì)如潮水般加速增長(zhǎng),進(jìn)一步推高市場(chǎng)對(duì)大數(shù)據(jù)技術(shù)的需求。
基礎(chǔ)設(shè)施:Hadoop似乎已經(jīng)奠定了其作為整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的關(guān)鍵部分,一些競(jìng)爭(zhēng)者依然雖在, 這一領(lǐng)域也許會(huì)進(jìn)一步發(fā)展和整合。 Sprak是另一個(gè)的基于Hadoop分布式文件系統(tǒng)(HDFS)的開源框架,它試圖填補(bǔ)Hadoop的弱項(xiàng),提供更快的的數(shù)據(jù)分析和良好的編程接口,目前正吸引大量關(guān)注(一些跡象顯示它做的還不錯(cuò))。
一些主題(比如實(shí)時(shí)數(shù)據(jù)處理)依然是重中之重,同時(shí)新的主題也在不斷涌現(xiàn)(比如新一代處理、變換、清洗數(shù)據(jù)的工具,包括Trifacta、Paxata 和 DataTamer)。 企業(yè)數(shù)據(jù)是否會(huì)真正的放到云里(公共云或私有云),如果是,還有多久才發(fā)生,將是另一個(gè)大的話題。很多人認(rèn)為財(cái)富500公司在接下來(lái)的幾年來(lái)會(huì)繼續(xù)把數(shù)據(jù)(以及處理數(shù)據(jù)的軟件)放在機(jī)房里。一批云服務(wù)+Hadoop的創(chuàng)業(yè)公司則認(rèn)為長(zhǎng)期來(lái)看,所有的數(shù)據(jù)最終都會(huì)放到云中。
分析工具:從創(chuàng)業(yè)公司和VC投資的數(shù)量來(lái)看,這一領(lǐng)域最為活躍。從excel表格式的用戶界面,到時(shí)間軸動(dòng)畫和3D動(dòng)畫, 創(chuàng)業(yè)公司提供各種各樣的數(shù)據(jù)分析工具和用戶界面,而不同的客戶也確實(shí)有不同的需求,所以這一領(lǐng)域大概依然有足夠的發(fā)展空間。
推廣產(chǎn)品的策略也不盡相同 — 有些創(chuàng)業(yè)公司更針對(duì)于數(shù)據(jù)科學(xué)家,這群人目前不多但增長(zhǎng)迅速。 另一些則正好相反,他們銷售自動(dòng)化的解決方案給一般商業(yè)用戶,完全忽略數(shù)據(jù)科學(xué)家的存在。
大數(shù)據(jù)應(yīng)用: 正如之前預(yù)測(cè)的,大數(shù)據(jù)緩慢但的確朝著應(yīng)用層面發(fā)展。 這張圖列出了一些令人興奮的創(chuàng)業(yè)公司——他們本質(zhì)上都是基于大數(shù)據(jù)技術(shù)和工具(當(dāng)然我們無(wú)法把所有的相關(guān)公司都在這里列出來(lái))。一些公司提供橫向應(yīng)用——如基于大數(shù)據(jù)的營(yíng)銷系統(tǒng),客戶關(guān)系管理系統(tǒng)和欺詐甄別解決方案。
金融業(yè)和廣告科技業(yè)一直是大數(shù)據(jù)推廣的領(lǐng)導(dǎo)者和最早的擁躉,甚至早于大數(shù)據(jù)被稱作大數(shù)據(jù)。慢慢的,大數(shù)據(jù)推廣到各行各業(yè),如醫(yī)療行業(yè)和生化行業(yè)(特別是基因研究領(lǐng)域)和教育行業(yè)?,F(xiàn)在才剛剛開始。
特別感謝我在FirstMark的同事Sutian Dong,她為這張圖做了很多的基礎(chǔ)工作。以及我在彭博Beta的前同事Shivon Zilis,他對(duì)這張圖的之前版本做了巨大的貢獻(xiàn)。