根據(jù)IDC的預(yù)測(cè)顯示，在2006年全世界的數(shù)據(jù)存儲(chǔ)量是18萬PB，而如今這個(gè)數(shù)字已經(jīng)達(dá)到了180萬PB，而到了2015年會(huì)達(dá)到800萬PB。同時(shí)相關(guān)分析公司的數(shù)據(jù)顯示，到2015年大數(shù)據(jù)的產(chǎn)值將達(dá)到169億美元。

我們看到大數(shù)據(jù)的大時(shí)代正在悄然到來。雖然數(shù)據(jù)分析一直以來都是IT產(chǎn)業(yè)的一部分，而且數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能等一直在不停的為企業(yè)的發(fā)展和創(chuàng)新提供價(jià)值，但隨著數(shù)據(jù)的規(guī)模的指數(shù)級(jí)增長，以及數(shù)據(jù)生態(tài)系統(tǒng)各個(gè)環(huán)節(jié)技術(shù)模式、標(biāo)準(zhǔn)的變化，以大數(shù)據(jù)(big data)發(fā)展做為商業(yè)機(jī)會(huì)和廣闊前景正在催生更大的市場(chǎng)和利潤空間。

現(xiàn)在我們可以把它稱為大數(shù)據(jù)，但從企業(yè)對(duì)數(shù)據(jù)利用的角度，你可以把它稱為數(shù)據(jù)分析，亦或商業(yè)分析，數(shù)據(jù)挖掘。隨你現(xiàn)在或未來怎么稱呼。我們確實(shí)需要清楚一個(gè)以數(shù)據(jù)為生命周期的生態(tài)系統(tǒng)是怎樣的。在IBM架構(gòu)師Stephen Watt的《Deriving new business insights with Big Data》中介紹了數(shù)據(jù)產(chǎn)生、處理、價(jià)值體現(xiàn)的整個(gè)過程。這個(gè)生命周期過程由多個(gè)環(huán)節(jié)組成，數(shù)據(jù)的生成、數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的處理、分享、檢索、分析和可視化等等。針對(duì)這些不同環(huán)節(jié)的商業(yè)需求正在催生新的技術(shù)模式和方法以實(shí)現(xiàn)新的商業(yè)模式。

數(shù)據(jù)存儲(chǔ)方面，Amazon是先行者，它的S3云服務(wù)已經(jīng)成為了云存儲(chǔ)的業(yè)界標(biāo)準(zhǔn)。無論在用戶使用、商業(yè)模式、所提供服務(wù)的便捷性和規(guī)模增長，Amazon都是這個(gè)領(lǐng)域的經(jīng)典范例;還有圍繞NoSQL的新技術(shù)和模式，10gen的MongoDB，DataStax的Hadoop構(gòu)建方案Cassandra，NoSQL數(shù)據(jù)庫技術(shù)提供商Couchbase等等。

數(shù)據(jù)處理方面，Hadoop無疑是首選。這一脫胎于GoogleMapReduce的大數(shù)據(jù)分布式處理架構(gòu)是大數(shù)據(jù)生態(tài)系統(tǒng)的主角。而且許多的商業(yè)和產(chǎn)品的創(chuàng)新也圍繞這個(gè)架構(gòu)產(chǎn)生。如由雅虎分拆的HortonWorks，有Hadoop創(chuàng)始人Doug Cutting坐鎮(zhèn)的Cloudera，提升Hadoop速度的MapR等。

同時(shí)針對(duì)數(shù)據(jù)分享、檢索、分析和可視化等方面創(chuàng)新公司也有很多。我們看到圍繞大數(shù)據(jù)生態(tài)系統(tǒng)的商業(yè)模式正在形成。同時(shí)這個(gè)生態(tài)系統(tǒng)在安全領(lǐng)域也引發(fā)了廣泛的討論，在安全領(lǐng)域的踐行者們開始思考，企業(yè)將自身與安全相關(guān)的數(shù)據(jù)與企業(yè)的信息數(shù)據(jù)倉庫結(jié)合能摩擦出怎樣的火花？

于是在2012年的RSA大會(huì)上引爆了大數(shù)據(jù)分析是否能給安全帶來突破的激烈討論。有的分析機(jī)構(gòu)和分析師認(rèn)為大數(shù)據(jù)將催生新的安全算法市場(chǎng)，為安全分析提供新的可能性，而且SIEM安全工具必須要跟上這樣的趨勢(shì);而有的則保持謹(jǐn)慎的態(tài)度，比如數(shù)據(jù)的統(tǒng)計(jì)分析根本不理解安全，這樣的討論才剛剛開始，面臨的問題和障礙還有很多，這不過是一個(gè)營銷的噱頭。

這樣的討論是有價(jià)值的。是“臨淵羨魚，還是退而結(jié)網(wǎng)？”安全產(chǎn)業(yè)的答案是后者。這樣的趨勢(shì)吸引了眾多的創(chuàng)新性安全公司趨之若鶩，同時(shí)也牽動(dòng)著老牌安全廠商的神經(jīng)。

在RSA 2012大會(huì)上，RSA總裁TomHeiser告訴ZDNet，“企業(yè)面對(duì)高持續(xù)性安全威脅的情況下，安全投入會(huì)持續(xù)增加。同時(shí)安全技術(shù)市場(chǎng)也將發(fā)生變化，就是基于傳統(tǒng)安全的防病毒、防火墻和IPS的技術(shù)和解決方案會(huì)向以大數(shù)據(jù)分析監(jiān)控的技術(shù)方向轉(zhuǎn)化。”正如上面討論的觀點(diǎn)之一，大數(shù)據(jù)正在為安全分析提供新的可能性，而且意味著安全信息與事件管理(SIEM)的工具必須要發(fā)生變化。

而且這樣的變化已經(jīng)開始了，比如RSA的威脅檢測(cè)產(chǎn)品NetWitness和惠普的ArcSightSIM。當(dāng)然也有很多的創(chuàng)新型安全公司正在通過新的安全方式找到安全與大數(shù)據(jù)分析(BDA)的平衡點(diǎn)，他們對(duì)大數(shù)據(jù)分析與安全結(jié)合呈樂觀的態(tài)度，并且已經(jīng)先行一步。

接下來就讓我們看看圍繞大數(shù)據(jù)生態(tài)系統(tǒng)的各個(gè)環(huán)節(jié)，安全領(lǐng)域有哪些創(chuàng)新者正在于大數(shù)據(jù)并行。在RSA 2012大會(huì)上看到了許多以大數(shù)據(jù)分析為驅(qū)動(dòng)的安全公司，他們有的基于大數(shù)據(jù)分析的技術(shù)層面進(jìn)行改變，有的基于大數(shù)據(jù)分析的應(yīng)用層面，比如SIEM、APT檢測(cè)、0day漏洞/惡意代碼分析、網(wǎng)絡(luò)異常流量檢測(cè)、用戶行為分析、網(wǎng)絡(luò)取證分析和安全情報(bào)分析等應(yīng)用方向。

NitroSecurity的架構(gòu)結(jié)合NoSQL，推出集成了RMDB和NoSQL DB的混合型存儲(chǔ)架構(gòu)NitroEDB。NitroSecurity于2011年10月被邁克菲收入麾下。它的NitroView SIEM已經(jīng)與邁克菲的ePO整合，以提升對(duì)風(fēng)險(xiǎn)和威脅進(jìn)行評(píng)估的速度。

ZettaSet的核心是Hadoop，提出了Security DW(SDW數(shù)據(jù)倉庫)。從網(wǎng)絡(luò)防火墻、安全設(shè)備、網(wǎng)站流量、業(yè)務(wù)流程以及其他事務(wù)中挖掘安全信息，確定并阻止安全性威脅，為SIEM提供的安全實(shí)踐服務(wù)。Zettaset的SDW產(chǎn)品于2011年黑帽大會(huì)上面世，目前免費(fèi)。

還有很多基于Hadoop和NoSQL架構(gòu)做SIEM的安全公司，這里不一一列舉。接下來看看從應(yīng)用層面的，上面提到的NetWitness就是一個(gè)，RSA在RSA 2012大會(huì)當(dāng)天推出了NetWitness Live平臺(tái)以擴(kuò)大企業(yè)對(duì)抗APT威脅的可執(zhí)行情報(bào)的優(yōu)勢(shì)，NetWitness于2011年4月被EMC收購，并與RSA的enVision管理平臺(tái)整合。

Narus是提供實(shí)時(shí)動(dòng)態(tài)網(wǎng)絡(luò)分析產(chǎn)品的公司，于2011年12月被波音公司收購，NarusInsight可提升網(wǎng)管對(duì)網(wǎng)絡(luò)中傳輸數(shù)據(jù)的洞察力，監(jiān)測(cè)可疑網(wǎng)絡(luò)惡意代碼和操作，并發(fā)出警告。與Narus不同，Solera Network是一家提供硬件網(wǎng)絡(luò)流量檢測(cè)設(shè)備的公司，而且剛剛在年初獲得了由英特爾主導(dǎo)的2000萬美元融資，產(chǎn)品基于DeepSee平臺(tái)對(duì)所有的網(wǎng)絡(luò)流量進(jìn)行索引及分類，為企業(yè)提供實(shí)時(shí)的網(wǎng)絡(luò)安全監(jiān)控。

用戶行為分析方面，Silver Tail systems是一家主要從事WEB欺詐檢測(cè)與防范系統(tǒng)開發(fā)的公司，創(chuàng)始人來自Paypal和eBay。

Palantir是一家網(wǎng)絡(luò)取證分析的公司，目前該公司的融資已接近2億美元，市值達(dá)到25億美元。主要為政府和金融機(jī)構(gòu)提供數(shù)據(jù)分析平臺(tái)，該產(chǎn)品源自PayPal的反欺詐措施，該公司已經(jīng)有8年的發(fā)展歷程。

安全一直在尋找與最前沿技術(shù)趨勢(shì)的契合點(diǎn)，不論是云計(jì)算還是大數(shù)據(jù)，安全也一直扮演著讓技術(shù)趨勢(shì)擺脫羈絆的救世主角色。當(dāng)安全遇上大數(shù)據(jù)，一個(gè)全新的安全生態(tài)系統(tǒng)也似乎伴隨著大數(shù)據(jù)生態(tài)系統(tǒng)的成熟逐漸在我們眼前清晰的展開，資本運(yùn)作和創(chuàng)新的動(dòng)力不斷的驅(qū)動(dòng)著安全向前邁進(jìn)。