大數(shù)據(jù)挑戰(zhàn)和機遇并存，大數(shù)據(jù)在未來幾年的發(fā)展將從前幾年的預期膨脹階段、炒作階段轉(zhuǎn)入理性發(fā)展階段、落地應用階段，大數(shù)據(jù)在未來幾年將逐漸步入理性發(fā)展期。未來的大數(shù)據(jù)發(fā)展

大數(shù)據(jù)發(fā)展的挑戰(zhàn)

目前大數(shù)據(jù)的發(fā)展依然存在諸多挑戰(zhàn)，包括七大方面的挑戰(zhàn)：業(yè)務部門沒有清晰的大數(shù)據(jù)需求導致數(shù)據(jù)資產(chǎn)逐漸流失;企業(yè)內(nèi)部數(shù)據(jù)孤島嚴重，導致數(shù)據(jù)價值 不能充分挖掘;數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差，導致數(shù)據(jù)無法利用;數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)落后，導致不具備大數(shù)據(jù)處理能力;數(shù)據(jù)安全能力和防范意識差，導致數(shù) 據(jù)泄露;大數(shù)據(jù)人才缺乏導致大數(shù)據(jù)工作難以開展;大數(shù)據(jù)越開放越有價值，但缺乏大數(shù)據(jù)相關(guān)的政策法規(guī)，導致數(shù)據(jù)開放和隱私之間難以平衡，也難以更好的開 放。

挑戰(zhàn)一：業(yè)務部門沒有清晰的大數(shù)據(jù)需求

很多企業(yè)業(yè)務部門不了解大數(shù)據(jù)，也不了解大數(shù)據(jù)的應用場景和價值，因此難以提出大數(shù)據(jù)的準確需求。由于業(yè)務部門需求不清晰，大數(shù)據(jù)部門又是非盈利部 門，企業(yè)決策層擔心投入比較多的成本，導致了很多企業(yè)在搭建大數(shù)據(jù)部門時猶豫不決，或者很多企業(yè)都處于觀望嘗試的態(tài)度，從根本上影響了企業(yè)在大數(shù)據(jù)方向的 發(fā)展，也阻礙了企業(yè)積累和挖掘自身的數(shù)據(jù)資產(chǎn)，甚至由于數(shù)據(jù)沒有應用場景，刪除很多有價值歷史數(shù)據(jù)，導致企業(yè)數(shù)據(jù)資產(chǎn)流失。因此，這方面需要大數(shù)據(jù)從業(yè)者 和專家一起，推動和分享大數(shù)據(jù)應用場景，讓更多的業(yè)務人員了解大數(shù)據(jù)的價值。

挑戰(zhàn)二：企業(yè)內(nèi)部數(shù)據(jù)孤島嚴重

企業(yè)啟動大數(shù)據(jù)最重要的挑戰(zhàn)是數(shù)據(jù)的碎片化。在很多企業(yè)中尤其是大型的企業(yè)，數(shù)據(jù)常常散落在不同部門，而且這些數(shù)據(jù)存在不同的數(shù)據(jù)倉庫中，不同部門 的數(shù)據(jù)技術(shù)也有可能不一樣，這導致企業(yè)內(nèi)部自己的數(shù)據(jù)都沒法打通。如果不打通這些數(shù)據(jù)，大數(shù)據(jù)的價值則非常難挖掘。大數(shù)據(jù)需要不同數(shù)據(jù)的關(guān)聯(lián)和整合才能更 好的發(fā)揮理解客戶和理解業(yè)務的優(yōu)勢。如何將不同部門的數(shù)據(jù)打通，并且實現(xiàn)技術(shù)和工具共享，才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價值。

挑戰(zhàn)三：數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差

很多中型以及大型企業(yè)，每時每刻也都在產(chǎn)生大量的數(shù)據(jù)，但很多企業(yè)在大數(shù)據(jù)的預處理階段很不重視，導致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預處理階段需要抽取 數(shù)據(jù)把數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類型，對數(shù)據(jù)進行清洗和去噪，以提取有效的數(shù)據(jù)等操作。甚至很多企業(yè)在數(shù)據(jù)的上報就出現(xiàn)很多不規(guī)范不合理的情況。以上種種 原因，導致企業(yè)的數(shù)據(jù)的可用性差，數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不準確。而大數(shù)據(jù)的意義不僅僅是要收集規(guī)模龐大的數(shù)據(jù)信息，還有對收集到的數(shù)據(jù)進行很好的預處理處理， 才有可能讓數(shù)據(jù)分析和數(shù)據(jù)挖掘人員從可用性高的大數(shù)據(jù)中提取有價值的信息。Sybase的數(shù)據(jù)表明，高質(zhì)量的數(shù)據(jù)的數(shù)據(jù)應用可以顯著提升企業(yè)的商業(yè)表現(xiàn)， 數(shù)據(jù)可用性提高10%，企業(yè)的業(yè)績至少提升在10%以上。

挑戰(zhàn)四：數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)

技術(shù)架構(gòu)的挑戰(zhàn)包含以下幾方面：

(1)傳統(tǒng)的數(shù)據(jù)庫部署不能處理TB級別的數(shù)據(jù)，快速增長的數(shù)據(jù)量超越了傳統(tǒng)數(shù)據(jù)庫的管理能力。如何構(gòu)建分布式的數(shù)據(jù)倉庫，并可以方便擴展大量的服務器成為很多傳統(tǒng)企業(yè)的挑戰(zhàn);

(2)很多企業(yè)采用傳統(tǒng)的數(shù)據(jù)庫技術(shù)，在設(shè)計的開始就沒有考慮數(shù)據(jù)類別的多樣性，尤其是對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的兼容;

(3)傳統(tǒng)企業(yè)的數(shù)據(jù)庫，對數(shù)據(jù)處理時間要求不高，這些數(shù)據(jù)的統(tǒng)計結(jié)果往往滯后一天或兩天才能統(tǒng)計出來。但大數(shù)據(jù)需要實時處理數(shù)據(jù)，進行分鐘級甚至是秒級計算。傳統(tǒng)的數(shù)據(jù)庫架構(gòu)師缺乏實時數(shù)據(jù)處理的能力;

(4)海量的數(shù)據(jù)需要很好的網(wǎng)絡(luò)架構(gòu)，需要強大的數(shù)據(jù)中心來支撐，數(shù)據(jù)中心的運維工作也將成為挑戰(zhàn)。如何在保證數(shù)據(jù)穩(wěn)定、支持高并發(fā)的同時，減少服務器的低負載情況，成為海量數(shù)據(jù)中心運維的一個重點工作。

挑戰(zhàn)五：數(shù)據(jù)安全

網(wǎng)絡(luò)化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現(xiàn)更高明的騙局。如何保證用戶的信息安全成為大數(shù) 據(jù)時代非常重要的課題。在線數(shù)據(jù)越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網(wǎng)站密碼泄露、系統(tǒng)漏洞導致用戶資料被盜等個人敏感信息泄露事件已經(jīng) 警醒我們，要加強大數(shù)據(jù)網(wǎng)絡(luò)安全的建設(shè)。另外，大數(shù)據(jù)的不斷增加，對數(shù)據(jù)存儲的物理安全性要求會越來越高，從而對數(shù)據(jù)的多副本與容災機制也提出更高的要 求。目前很多傳統(tǒng)企業(yè)的數(shù)據(jù)安全令人擔憂。

挑戰(zhàn)六：大數(shù)據(jù)人才缺乏

大數(shù)據(jù)建設(shè)的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術(shù)、懂管理、有大數(shù)據(jù)應用經(jīng)驗的大數(shù)據(jù)建設(shè)專業(yè)隊伍。目前大數(shù) 據(jù)相關(guān)人才的欠缺將阻礙大數(shù)據(jù)市場發(fā)展。據(jù)Gartner預測，到2015年，全球?qū)⑿略?40萬個與大數(shù)據(jù)相關(guān)的工作崗位，且會有25%的組織設(shè)立首席 數(shù)據(jù)官職位。大數(shù)據(jù)的相關(guān)職位需要的是復合型人才，能夠?qū)?shù)學、統(tǒng)計學、數(shù)據(jù)分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數(shù)據(jù)將會出現(xiàn)約 100萬的人才缺口，在各個行業(yè)大數(shù)據(jù)中高端人才都會成為最炙手可熱的人才，涵蓋了大數(shù)據(jù)的數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)分析師、數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)后臺開發(fā)工 程師、算法工程師等多個方向。因此需要高校和企業(yè)共同努力去培養(yǎng)和挖掘。目前最大的問題是很多高校缺乏大數(shù)據(jù)，所以擁有大數(shù)據(jù)的企業(yè)應該與學校聯(lián)合培養(yǎng)人 才。

挑戰(zhàn)七：數(shù)據(jù)開放與隱私的權(quán)衡

在大數(shù)據(jù)應用日益重要的今天，數(shù)據(jù)資源的開放共享已經(jīng)成為在數(shù)據(jù)大戰(zhàn)中保持優(yōu)勢的關(guān)鍵。商業(yè)數(shù)據(jù)和個人數(shù)據(jù)的共享應用，不僅能促進相關(guān)產(chǎn)業(yè)的發(fā)展， 也能給我們的生活帶來巨大的便利。由于政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃，系統(tǒng)之間缺乏統(tǒng)一的標準，形成了眾多“信息孤島”，而且受行政壟 斷和商業(yè)利益所限，數(shù)據(jù)開放程度較低，這給數(shù)據(jù)利用造成極大障礙。另外一個制約我國數(shù)據(jù)資源開放和共享的一個重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相 應的立法。無法既保證共享又防止濫用。因此，建立一個良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國大數(shù)據(jù)發(fā)展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是 大數(shù)據(jù)開放過程中面臨的最大難題。如何在推動數(shù)據(jù)全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數(shù)據(jù)時代的一個重大挑 戰(zhàn)。

大數(shù)據(jù)發(fā)展趨勢

雖然大數(shù)據(jù)仍在起步階段，存在諸多挑戰(zhàn)，但未來的發(fā)展依然非常樂觀。大數(shù)據(jù)的發(fā)展呈現(xiàn)八大趨勢：數(shù)據(jù)資源化，將成為最有價值的資產(chǎn);大數(shù)據(jù)在更多的 傳統(tǒng)行業(yè)的企業(yè)管理落地;大數(shù)據(jù)和傳統(tǒng)商業(yè)智能融合，行業(yè)定制化解決方案將涌現(xiàn);數(shù)據(jù)將越來越開放，數(shù)據(jù)共享聯(lián)盟將出現(xiàn);大數(shù)據(jù)安全越來越受重視，大數(shù)據(jù) 安全市場將愈發(fā)重要;大數(shù)據(jù)促進智慧城市發(fā)展，為智慧城市的引擎;大數(shù)據(jù)將催生一批新的工作崗位和相應的專業(yè);大數(shù)據(jù)在多方位改善我們的生活。

趨勢一：數(shù)據(jù)資源化，將成為最有價值的資產(chǎn)

隨著大數(shù)據(jù)應用的發(fā)展，大數(shù)據(jù)價值得以充分的體現(xiàn)，大數(shù)據(jù)在企業(yè)和社會層面成為重要的戰(zhàn)略資源，數(shù)據(jù)成為新的戰(zhàn)略制高點，是大家搶奪的新焦點。《華 爾街日報》在一份題為《大數(shù)據(jù)，大影響》的報告宣傳，數(shù)據(jù)已經(jīng)成為一種新的資產(chǎn)類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰 訊、百度、阿里巴巴和360等企業(yè)正在運用大數(shù)據(jù)力量獲得商業(yè)上更大的成功，并且金融和電信企業(yè)也在運用大數(shù)據(jù)來提升自己的競爭力。我們有理由相信大數(shù)據(jù) 將不斷成為機構(gòu)和企業(yè)的資產(chǎn)，成為提升機構(gòu)和企業(yè)競爭力的有力武器。

趨勢二：大數(shù)據(jù)在更多的傳統(tǒng)行業(yè)的企業(yè)管理落地

一種新的技術(shù)往往在少數(shù)行業(yè)應用取得了好的效果，對其他行業(yè)就有強烈的示范效應。目前大數(shù)據(jù)在大型互聯(lián)網(wǎng)企業(yè)已經(jīng)得到較好的應用，其他行業(yè)的大數(shù)據(jù) 尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數(shù)據(jù)作為一種從數(shù)據(jù)中創(chuàng)造新價值的工具，將會在許多行業(yè)的企業(yè)得到應用，帶來廣 泛的社會價值。大數(shù)據(jù)將在幫助企業(yè)更好的理解和滿足客戶需求和潛在需求，更好的應用在業(yè)務運營智能監(jiān)控、精細化企業(yè)運營、客戶生命周期管理、精細化營銷、 經(jīng)營分析和戰(zhàn)略分析等方面。企業(yè)管理既有藝術(shù)也有科學，相信大數(shù)據(jù)在科學管理企業(yè)方面有更顯著的促進，讓更多擁抱大數(shù)據(jù)的企業(yè)實現(xiàn)智慧企業(yè)管理。

趨勢三：大數(shù)據(jù)和傳統(tǒng)商業(yè)智能融合，行業(yè)定制化解決方案將涌現(xiàn)

來自傳統(tǒng)商業(yè)智能領(lǐng)域者將大數(shù)據(jù)當成一個新增的數(shù)據(jù)源，而大數(shù)據(jù)從業(yè)者則認為傳統(tǒng)商業(yè)智能只是其領(lǐng)域中處理少量數(shù)據(jù)時的一種方法。大數(shù)據(jù)用戶更希望 能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業(yè)內(nèi)部的業(yè)務數(shù)據(jù)，還希望能引入互聯(lián)網(wǎng)上的網(wǎng)絡(luò)瀏覽、微博、微信等非結(jié)構(gòu)化數(shù)據(jù)。除此之外，還希 望能結(jié)合移動設(shè)備的位置信息，這樣企業(yè)就可以形成一個全面、完整的數(shù)據(jù)價值發(fā)展平臺。畢竟，無論是大數(shù)據(jù)還是商業(yè)智能，目的都是為分析服務的，數(shù)據(jù)全面整 合起來，更有利于發(fā)現(xiàn)新的商業(yè)機會，這就是大數(shù)據(jù)商業(yè)智能。同時，由于行業(yè)的差異性，很難研發(fā)出一套適用于各行業(yè)的大數(shù)據(jù)商業(yè)智能分析系統(tǒng)，因此，在一些 規(guī)模較大的行業(yè)市場，大數(shù)據(jù)服務提供商將會以更加定制化的商業(yè)智能解決方案提供大數(shù)據(jù)服務。我們相信更多的大數(shù)據(jù)商業(yè)智能定制化解決方案將在電信、金融、 零售等行業(yè)出現(xiàn)。

趨勢四：數(shù)據(jù)將越來越開放，數(shù)據(jù)共享聯(lián)盟將出現(xiàn)

大數(shù)據(jù)越關(guān)聯(lián)越有價值，越開放越有價值。尤其是公共事業(yè)和互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)開放數(shù)據(jù)將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政 府和公共事業(yè)上的數(shù)據(jù)做出努力。而國內(nèi)的一些城市和部門也在逐漸開展數(shù)據(jù)開放的工作。比如北京市在2012年就開始試運行政務數(shù)據(jù)資源網(wǎng)，在2013年年 底正式開放;上海在2012年啟動了政府數(shù)據(jù)資源開放試點工作，數(shù)據(jù)涉及地理位置、交通、經(jīng)濟統(tǒng)計和資格資質(zhì)等數(shù)據(jù);2014年，貴州省也加入數(shù)據(jù)開放之 列，10月份云上貴州正式上線。對于不同的行業(yè)，數(shù)據(jù)越共享也是越有價值。如果每一個醫(yī)院想獲得更多病情特征庫以及藥效信息，那么就需要全國，甚至全世界 的醫(yī)療信息共享，從而可以通過平臺進行分析，獲取更大的價值。我們相信數(shù)據(jù)會呈現(xiàn)一種共享的趨勢，不同領(lǐng)域的數(shù)據(jù)聯(lián)盟將出現(xiàn)。

趨勢五：大數(shù)據(jù)安全越來越受重視，大數(shù)據(jù)安全市場將愈發(fā)重要

隨著數(shù)據(jù)的價值的越來越重要，大數(shù)據(jù)的安全穩(wěn)定也將會逐漸被重視。網(wǎng)絡(luò)和數(shù)字化生活也使得犯罪的分子更容易獲取關(guān)于他人的信息，也有更多的騙術(shù)和犯 罪手段出現(xiàn)，所以，在大數(shù)據(jù)時代，無論對于數(shù)據(jù)本身的保護，還是對于由數(shù)據(jù)而演變的一些信息的安全，對大數(shù)據(jù)分析有較高要求的企業(yè)將至關(guān)重要。大數(shù)據(jù)安全 是跟大數(shù)據(jù)業(yè)務相對應的，與傳統(tǒng)安全相比，大數(shù)據(jù)安全的最大區(qū)別是安全廠商在思考安全問題的時候首先要進行業(yè)務分析，并且找出針對大數(shù)據(jù)的業(yè)務的威脅，然 后提出有針對性的解決方案。比如，對于數(shù)據(jù)存儲這個場景，目前很多企業(yè)采用開源軟件如Hadoop技術(shù)來解決大數(shù)據(jù)問題，由于其開源性，但是其安全問題也 是突出的。因此，市場需要更多專業(yè)的安全廠商針對不同的大數(shù)據(jù)安全問題來提供專業(yè)的服務。

趨勢六：大數(shù)據(jù)促進智慧城市發(fā)展，為智慧城市的引擎

隨著大數(shù)據(jù)的發(fā)展，大數(shù)據(jù)在智慧城市將發(fā)揮著越來越重要的作用。由于人口聚集給城市帶來了交通、醫(yī)療、建筑等各方面的壓力，需要城市能夠更合理地進 行資源布局和調(diào)配，而智慧城市正是城市治理轉(zhuǎn)型的最優(yōu)解決方案。智慧城市是通過物與物、物與人、人與人的互聯(lián)互通能力、全面感知能力和信息利用能力，通過 物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等新一代信息技術(shù)，實現(xiàn)城市高效的政府管理、便捷的民生服務、可持續(xù)的產(chǎn)業(yè)發(fā)展。智慧城市相對于之前數(shù)字城市概念，最大的區(qū)別 在于對感知層獲取的信息進行了智慧的處理。由城市數(shù)字化到城市智慧化，關(guān)鍵是要實現(xiàn)對數(shù)字信息的智慧處理，其核心是引入了大數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)是智慧城 市的核心智慧引擎。智慧安防、智慧交通、智慧醫(yī)療、智慧城管等，都是以大數(shù)據(jù)為基礎(chǔ)的的智慧城市應用領(lǐng)域。

趨勢七：大數(shù)據(jù)將催生一批新的工作崗位和相應的專業(yè)

一個新行業(yè)的出現(xiàn)，必將在工作職位方面有新的需求，大數(shù)據(jù)的出現(xiàn)也將推出一批新的就業(yè)崗位，例如，大數(shù)據(jù)分析師、數(shù)據(jù)管理專家、大數(shù)據(jù)算法工程師、數(shù)據(jù)產(chǎn)品經(jīng)理等等。具 有有豐富經(jīng)驗的數(shù)據(jù)分析人才將成為稀缺的資源，數(shù)據(jù)驅(qū)動型工作將呈現(xiàn)爆炸式的增長。而由于有強烈的市場需求，高校也將逐步開設(shè)大數(shù)據(jù)相關(guān)的專業(yè)，以培養(yǎng)相 應的專業(yè)人才。企業(yè)也將和高校緊密合作，協(xié)助高校聯(lián)合培養(yǎng)大數(shù)據(jù)人才。如2014年，IBM 全面推進與高校在大數(shù)據(jù)領(lǐng)域的合作，引入強大的研發(fā)團隊和業(yè)務伙伴，推動“大數(shù)據(jù)平臺”和“大數(shù)據(jù)分析”的面向行業(yè)產(chǎn)學研創(chuàng)新合作以及系統(tǒng)化知識體系建設(shè) 和高價值人才培養(yǎng)，建設(shè)符合中國教學特色及人才需求的大數(shù)據(jù)相關(guān)學分課程，為未來建設(shè)特色專業(yè)方向做準備。

趨勢八：大數(shù)據(jù)在多方位改善我們的生活

大數(shù)據(jù)不僅用于企業(yè)和政府，也應用于我們的生活。在健康方面：我們可以利用智能手環(huán)監(jiān)測，對我們的睡眠模式來進行追蹤，了解睡眠質(zhì)量;我們可以利用 智能血壓計、智能心率儀遠程的監(jiān)控身在異地的家里老人的健康情況，讓遠在他方的外出工作者更加放心;在出行方面：我們可以利用智能導航出行GPS數(shù)據(jù)了解 交通狀況，并根據(jù)擁堵情況進行路線實時調(diào)優(yōu)。在居家生活方面：大數(shù)據(jù)將成為智能家居的核心，智能家電實現(xiàn)了擬人智能，產(chǎn)品通過傳感器和控制芯片來捕捉和處 理信息，可以根據(jù)住宅空間環(huán)境和用戶需求自動設(shè)置控制，甚至提出優(yōu)化生活質(zhì)量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。

關(guān)于作者：傅志華先生曾為騰訊社交網(wǎng)絡(luò)事業(yè)群數(shù)據(jù)中心總監(jiān)以及騰訊公司數(shù)據(jù)協(xié)會會長。在騰訊前，曾任DCCI互聯(lián)網(wǎng)數(shù)據(jù)中心副總裁。傅志華先生現(xiàn)就職于一家美國互聯(lián)網(wǎng)上市公司商業(yè)智能中心，同時任中國信息協(xié)會大數(shù)據(jù)分會理事、中國互聯(lián)網(wǎng)協(xié)會數(shù)據(jù)分析研究組專家、國際數(shù)字分析協(xié)會(DAA)專家，積極致力于推動大數(shù)據(jù)支撐企業(yè)運營和大數(shù)據(jù)經(jīng)驗交流。