大數(shù)據(jù)落地前企業(yè)要做的事情還有很多

責(zé)任編輯:editor007

2015-10-13 20:20:58

摘自:中關(guān)村在線

范劍青認(rèn)為,當(dāng)前最重要的難點,在于人才緊缺,缺乏人才支撐,新技術(shù)帶來的新產(chǎn)業(yè)往往難以真正落地。范劍青認(rèn)為,當(dāng)前最重要的難點,在于人才緊缺,缺乏人才支撐,新技術(shù)帶來的新產(chǎn)業(yè)往往難以真正落地。

近日,兩則關(guān)于大數(shù)據(jù)的新聞令人關(guān)注。其一,國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》,為我國大數(shù)據(jù)發(fā)展進(jìn)行頂層設(shè)計和統(tǒng)籌部署;其二,我國正在制定《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》,支持大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)創(chuàng)新發(fā)展。

正如谷歌公司憑借對搜索數(shù)據(jù)的分析,成功預(yù)測2013年美國流感爆發(fā),大數(shù)據(jù)這一全新數(shù)據(jù)科學(xué)發(fā)展至今,已被公認(rèn)為全球各行業(yè)提升能級的要素之一。然而,在這股洶涌熱潮中,新技術(shù)難免被誤讀、炒作,甚至可能陷入“從概念到概念”的封閉圈,而阻礙其良性發(fā)展。

大數(shù)據(jù),如何避免成為“概念股”?

大數(shù)據(jù)也可能出錯結(jié)果

“大數(shù)據(jù)是一座信息富礦,通過有效提取方式,相較小數(shù)據(jù)樣本研究可以獲得更多以往看不見的寶藏。”復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院院長、教授范劍青坦言。大數(shù)據(jù)有多大?假設(shè)個人電腦的硬盤容量是1TB,2003年全世界數(shù)據(jù)大約可裝滿500萬臺電腦,現(xiàn)在能裝滿80億臺,到2020年,全世界數(shù)據(jù)預(yù)計能裝滿400億臺電腦。

如此巨大的“礦山”中,許多不可能正在發(fā)生。微軟公司通過大數(shù)據(jù)分析處理,對奧斯卡金像獎作出“預(yù)言”,結(jié)果除“最佳導(dǎo)演”外,其余13項大獎全部命中。而今,大數(shù)據(jù)技術(shù)已進(jìn)入金融、科研等領(lǐng)域。國內(nèi)外均有企業(yè)通過分析社會人群對股票的關(guān)注熱度,做出在證券市場的買賣決定,獲得高額回報。范劍青說,當(dāng)過去不曾被關(guān)注的信息在大數(shù)據(jù)推動下被妥善應(yīng)用,就成為了獨一無二的“盈利點”。

“但必須強(qiáng)調(diào)的是,它并不是萬能的,也可能帶來錯誤的結(jié)果。”范劍青說。

首先,是“假相關(guān)”問題。他舉例,若在一個小村莊里,兩個人面貌相似,那么判斷其兩者具有血緣關(guān)系的準(zhǔn)確性就較高。但若在幾千萬人口的大城市,做出這一判斷,其可信度就大大降低了。在大數(shù)據(jù)分析中,由于信息海量且多元異構(gòu),影響結(jié)果的要素繁多,若不能精準(zhǔn)驗證,往往會誤解兩個參數(shù)之間具有相關(guān)性,而影響整個結(jié)論。

另一個問題,是誤差疊加。大數(shù)據(jù)涉及幾萬個、幾百萬個乃至數(shù)百億個變量,這意味著如果每一個變量都造成一點點誤差,最后的預(yù)測會是很多誤差的疊加,失之毫厘,差之千里。

在他看來,理性看待這一新技術(shù)、新學(xué)科,是其發(fā)展的基礎(chǔ),通過技術(shù)創(chuàng)新,更科學(xué)地抽取樣本、解讀數(shù)據(jù),更好地解決先天軟肋,也是大數(shù)據(jù)技術(shù)向更高層次發(fā)展的驅(qū)動力之一。

以往談到大數(shù)據(jù)發(fā)展,存在兩大瓶頸。

其一,數(shù)據(jù)價值的體現(xiàn),離不開共享,但由于相當(dāng)一部分?jǐn)?shù)據(jù)涉及普通人隱私,因此數(shù)據(jù)的使用尤其是商業(yè)使用,應(yīng)有權(quán)益邊界。在大數(shù)據(jù)更好地服務(wù)生活的同時,如何兼顧個人隱私安全,成為重要課題。其二,可公開信息尚存諸多屏障。多位信息技術(shù)研究者發(fā)現(xiàn),他們最大的苦惱在于獲取信息不易。大數(shù)據(jù)分析處理過程中,有相當(dāng)一部分?jǐn)?shù)據(jù)來源于政府部門可公開信息,然而,有時部分條塊部門不愿提供,令研究者難為無米之炊。

不過,范劍青認(rèn)為,當(dāng)前最重要的難點,在于人才緊缺,缺乏人才支撐,新技術(shù)帶來的新產(chǎn)業(yè)往往難以真正落地。

上海市數(shù)據(jù)科學(xué)重點實驗室主任朱揚(yáng)勇在近日發(fā)表的《大數(shù)據(jù)時代的數(shù)據(jù)科學(xué)家培養(yǎng)實踐》一文中透露:國外有機(jī)構(gòu)預(yù)測到2018年,僅美國本土就可能面臨缺乏19萬名具備深入分析數(shù)據(jù)能力人才的情況,同時具備通過分析大數(shù)據(jù)并為企業(yè)作出有效決策的數(shù)據(jù)管理人員和分析師也有150萬人的缺口。大數(shù)據(jù)時代,最熱門的職業(yè)是數(shù)據(jù)科學(xué)家。

與此同時,大數(shù)據(jù)技術(shù)所涉及的知識體系的復(fù)雜性,給人才培養(yǎng)帶來新挑戰(zhàn)。事實上,全球的大學(xué)開始探索培養(yǎng)數(shù)據(jù)科學(xué)研究人才,至今僅有5年。普林斯頓大學(xué)去年開始有統(tǒng)計與機(jī)器學(xué)習(xí)(大數(shù)據(jù)方向)的輔修課程,今年開始正式招生。清華大學(xué)去年成立數(shù)據(jù)科學(xué)研究院,推出大數(shù)據(jù)碩士項目。昨天,復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院、大數(shù)據(jù)研究院正式成立。由于大數(shù)據(jù)本身是統(tǒng)計學(xué)、計算機(jī)科學(xué)以及多種學(xué)科的交叉新興學(xué)科,在這些高校中傳統(tǒng)的按學(xué)科分類培養(yǎng)人才的模式“被迫”創(chuàng)新。

范劍青如今同時任美國普林斯頓大學(xué)統(tǒng)計委員會主任,他說,“如何設(shè)計課程,全世界都在摸索,我們也一樣,初步考慮,統(tǒng)計學(xué)和計算機(jī)數(shù)據(jù)處理,將成為構(gòu)成課程體系的核心。”課程體系將融匯經(jīng)濟(jì)管理、生命科學(xué)、醫(yī)療衛(wèi)生、能源環(huán)境、社會統(tǒng)計和新聞傳播等眾多學(xué)科,打造跨學(xué)科的創(chuàng)新性人才培養(yǎng)平臺。

大數(shù)據(jù)應(yīng)用“創(chuàng)意為王”

在大數(shù)據(jù)處理的軟硬件領(lǐng)域,國外已相繼推出成熟產(chǎn)品。SAP公司的HANA系統(tǒng)、EMC公司的reenplumUAP系統(tǒng)、微軟公司的AzureHadoop系統(tǒng)等多個商用或半商用產(chǎn)品強(qiáng)勢投入市場,爭奪份額。在推出單一功能產(chǎn)品的同時,海外IT巨頭還推出一體化服務(wù),以數(shù)據(jù)處理技術(shù)為核心,將存儲、數(shù)據(jù)庫維護(hù)等打包出售。這些基礎(chǔ)工具令大數(shù)據(jù)處理、分析更為便捷,門檻也更低。

但問題同時出現(xiàn)。復(fù)旦大學(xué)能源經(jīng)濟(jì)與戰(zhàn)略研究中心常務(wù)副主任吳力波坦言,在當(dāng)前大數(shù)據(jù)領(lǐng)域中,流傳著一句話,說明專業(yè)發(fā)展中的“可怕陷阱”:“garbagein,garbageout(廢料進(jìn)廢料出)。”簡而言之,就是在大數(shù)據(jù)處理過程中,往往過度依賴基本工具,而忽視了所在專業(yè)領(lǐng)域的特殊性,隨之而來的是,輸入海量數(shù)據(jù)后,處理獲得的數(shù)據(jù)也是無效的,為數(shù)據(jù)而數(shù)據(jù),難以真正服務(wù)于社會實際。

作為投身能源大數(shù)據(jù)分析的專家,吳力波認(rèn)為,在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和布局中,應(yīng)始終強(qiáng)調(diào)其“創(chuàng)意為王”的天然屬性,從數(shù)以億萬計的信息中提取關(guān)聯(lián)要素,真正為生產(chǎn)、生活提供服務(wù)。用她的話來說,就是不再從數(shù)據(jù)到數(shù)據(jù),而是從數(shù)據(jù)到故事。

舉例來說,她研究的能源大數(shù)據(jù),企業(yè)、甚至居民每分鐘的用電數(shù)據(jù)是數(shù)據(jù)來源,面對如此高頻海量的信息,首先要將其可視化處理,再清洗、修正、挖掘,找到真正相關(guān)聯(lián)的要素,許多意想不到的結(jié)論就此產(chǎn)生。例如,分析用電情況發(fā)現(xiàn),居民對階梯電價敏感程度各異,其中收入、年齡、教育背景等屬性的參差疊加,往往形成一個個特征群體,這些都可以成為今后能源政策制定、節(jié)能措施推廣的有效參考。在國外電網(wǎng)的大數(shù)據(jù)應(yīng)用中,更是將溫度、濕度、風(fēng)向、季節(jié)等非結(jié)構(gòu)性因素納入數(shù)據(jù)分析,對電網(wǎng)發(fā)電預(yù)測、價格制定、錯峰安排等決策提供重要依據(jù)。

1大數(shù)據(jù)也可能出錯結(jié)果

近日,兩則關(guān)于大數(shù)據(jù)的新聞令人關(guān)注。其一,國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》,為我國大數(shù)據(jù)發(fā)展進(jìn)行頂層設(shè)計和統(tǒng)籌部署;其二,我國正在制定《大數(shù)據(jù)產(chǎn)業(yè)“十三五”發(fā)展規(guī)劃》,支持大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)創(chuàng)新發(fā)展。

正如谷歌公司憑借對搜索數(shù)據(jù)的分析,成功預(yù)測2013年美國流感爆發(fā),大數(shù)據(jù)這一全新數(shù)據(jù)科學(xué)發(fā)展至今,已被公認(rèn)為全球各行業(yè)提升能級的要素之一。然而,在這股洶涌熱潮中,新技術(shù)難免被誤讀、炒作,甚至可能陷入“從概念到概念”的封閉圈,而阻礙其良性發(fā)展。

大數(shù)據(jù),如何避免成為“概念股”?

大數(shù)據(jù)也可能出錯結(jié)果

“大數(shù)據(jù)是一座信息富礦,通過有效提取方式,相較小數(shù)據(jù)樣本研究可以獲得更多以往看不見的寶藏。”復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院院長、教授范劍青坦言。大數(shù)據(jù)有多大?假設(shè)個人電腦的硬盤容量是1TB,2003年全世界數(shù)據(jù)大約可裝滿500萬臺電腦,現(xiàn)在能裝滿80億臺,到2020年,全世界數(shù)據(jù)預(yù)計能裝滿400億臺電腦。

如此巨大的“礦山”中,許多不可能正在發(fā)生。微軟公司通過大數(shù)據(jù)分析處理,對奧斯卡金像獎作出“預(yù)言”,結(jié)果除“最佳導(dǎo)演”外,其余13項大獎全部命中。而今,大數(shù)據(jù)技術(shù)已進(jìn)入金融、科研等領(lǐng)域。國內(nèi)外均有企業(yè)通過分析社會人群對股票的關(guān)注熱度,做出在證券市場的買賣決定,獲得高額回報。范劍青說,當(dāng)過去不曾被關(guān)注的信息在大數(shù)據(jù)推動下被妥善應(yīng)用,就成為了獨一無二的“盈利點”。

“但必須強(qiáng)調(diào)的是,它并不是萬能的,也可能帶來錯誤的結(jié)果。”范劍青說。

首先,是“假相關(guān)”問題。他舉例,若在一個小村莊里,兩個人面貌相似,那么判斷其兩者具有血緣關(guān)系的準(zhǔn)確性就較高。但若在幾千萬人口的大城市,做出這一判斷,其可信度就大大降低了。在大數(shù)據(jù)分析中,由于信息海量且多元異構(gòu),影響結(jié)果的要素繁多,若不能精準(zhǔn)驗證,往往會誤解兩個參數(shù)之間具有相關(guān)性,而影響整個結(jié)論。

另一個問題,是誤差疊加。大數(shù)據(jù)涉及幾萬個、幾百萬個乃至數(shù)百億個變量,這意味著如果每一個變量都造成一點點誤差,最后的預(yù)測會是很多誤差的疊加,失之毫厘,差之千里。

在他看來,理性看待這一新技術(shù)、新學(xué)科,是其發(fā)展的基礎(chǔ),通過技術(shù)創(chuàng)新,更科學(xué)地抽取樣本、解讀數(shù)據(jù),更好地解決先天軟肋,也是大數(shù)據(jù)技術(shù)向更高層次發(fā)展的驅(qū)動力之一。

以往談到大數(shù)據(jù)發(fā)展,存在兩大瓶頸。

其一,數(shù)據(jù)價值的體現(xiàn),離不開共享,但由于相當(dāng)一部分?jǐn)?shù)據(jù)涉及普通人隱私,因此數(shù)據(jù)的使用尤其是商業(yè)使用,應(yīng)有權(quán)益邊界。在大數(shù)據(jù)更好地服務(wù)生活的同時,如何兼顧個人隱私安全,成為重要課題。其二,可公開信息尚存諸多屏障。多位信息技術(shù)研究者發(fā)現(xiàn),他們最大的苦惱在于獲取信息不易。大數(shù)據(jù)分析處理過程中,有相當(dāng)一部分?jǐn)?shù)據(jù)來源于政府部門可公開信息,然而,有時部分條塊部門不愿提供,令研究者難為無米之炊。

不過,范劍青認(rèn)為,當(dāng)前最重要的難點,在于人才緊缺,缺乏人才支撐,新技術(shù)帶來的新產(chǎn)業(yè)往往難以真正落地。

上海市數(shù)據(jù)科學(xué)重點實驗室主任朱揚(yáng)勇在近日發(fā)表的《大數(shù)據(jù)時代的數(shù)據(jù)科學(xué)家培養(yǎng)實踐》一文中透露:國外有機(jī)構(gòu)預(yù)測到2018年,僅美國本土就可能面臨缺乏19萬名具備深入分析數(shù)據(jù)能力人才的情況,同時具備通過分析大數(shù)據(jù)并為企業(yè)作出有效決策的數(shù)據(jù)管理人員和分析師也有150萬人的缺口。大數(shù)據(jù)時代,最熱門的職業(yè)是數(shù)據(jù)科學(xué)家。

與此同時,大數(shù)據(jù)技術(shù)所涉及的知識體系的復(fù)雜性,給人才培養(yǎng)帶來新挑戰(zhàn)。事實上,全球的大學(xué)開始探索培養(yǎng)數(shù)據(jù)科學(xué)研究人才,至今僅有5年。普林斯頓大學(xué)去年開始有統(tǒng)計與機(jī)器學(xué)習(xí)(大數(shù)據(jù)方向)的輔修課程,今年開始正式招生。清華大學(xué)去年成立數(shù)據(jù)科學(xué)研究院,推出大數(shù)據(jù)碩士項目。昨天,復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院、大數(shù)據(jù)研究院正式成立。由于大數(shù)據(jù)本身是統(tǒng)計學(xué)、計算機(jī)科學(xué)以及多種學(xué)科的交叉新興學(xué)科,在這些高校中傳統(tǒng)的按學(xué)科分類培養(yǎng)人才的模式“被迫”創(chuàng)新。

2大數(shù)據(jù)應(yīng)用“創(chuàng)意為王”

范劍青如今同時任美國普林斯頓大學(xué)統(tǒng)計委員會主任,他說,“如何設(shè)計課程,全世界都在摸索,我們也一樣,初步考慮,統(tǒng)計學(xué)和計算機(jī)數(shù)據(jù)處理,將成為構(gòu)成課程體系的核心。”課程體系將融匯經(jīng)濟(jì)管理、生命科學(xué)、醫(yī)療衛(wèi)生、能源環(huán)境、社會統(tǒng)計和新聞傳播等眾多學(xué)科,打造跨學(xué)科的創(chuàng)新性人才培養(yǎng)平臺。

大數(shù)據(jù)應(yīng)用“創(chuàng)意為王”

在大數(shù)據(jù)處理的軟硬件領(lǐng)域,國外已相繼推出成熟產(chǎn)品。SAP公司的HANA系統(tǒng)、EMC公司的reenplumUAP系統(tǒng)、微軟公司的AzureHadoop系統(tǒng)等多個商用或半商用產(chǎn)品強(qiáng)勢投入市場,爭奪份額。在推出單一功能產(chǎn)品的同時,海外IT巨頭還推出一體化服務(wù),以數(shù)據(jù)處理技術(shù)為核心,將存儲、數(shù)據(jù)庫維護(hù)等打包出售。這些基礎(chǔ)工具令大數(shù)據(jù)處理、分析更為便捷,門檻也更低。

但問題同時出現(xiàn)。復(fù)旦大學(xué)能源經(jīng)濟(jì)與戰(zhàn)略研究中心常務(wù)副主任吳力波坦言,在當(dāng)前大數(shù)據(jù)領(lǐng)域中,流傳著一句話,說明專業(yè)發(fā)展中的“可怕陷阱”:“garbagein,garbageout(廢料進(jìn)廢料出)。”簡而言之,就是在大數(shù)據(jù)處理過程中,往往過度依賴基本工具,而忽視了所在專業(yè)領(lǐng)域的特殊性,隨之而來的是,輸入海量數(shù)據(jù)后,處理獲得的數(shù)據(jù)也是無效的,為數(shù)據(jù)而數(shù)據(jù),難以真正服務(wù)于社會實際。

作為投身能源大數(shù)據(jù)分析的專家,吳力波認(rèn)為,在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和布局中,應(yīng)始終強(qiáng)調(diào)其“創(chuàng)意為王”的天然屬性,從數(shù)以億萬計的信息中提取關(guān)聯(lián)要素,真正為生產(chǎn)、生活提供服務(wù)。用她的話來說,就是不再從數(shù)據(jù)到數(shù)據(jù),而是從數(shù)據(jù)到故事。

舉例來說,她研究的能源大數(shù)據(jù),企業(yè)、甚至居民每分鐘的用電數(shù)據(jù)是數(shù)據(jù)來源,面對如此高頻海量的信息,首先要將其可視化處理,再清洗、修正、挖掘,找到真正相關(guān)聯(lián)的要素,許多意想不到的結(jié)論就此產(chǎn)生。例如,分析用電情況發(fā)現(xiàn),居民對階梯電價敏感程度各異,其中收入、年齡、教育背景等屬性的參差疊加,往往形成一個個特征群體,這些都可以成為今后能源政策制定、節(jié)能措施推廣的有效參考。在國外電網(wǎng)的大數(shù)據(jù)應(yīng)用中,更是將溫度、濕度、風(fēng)向、季節(jié)等非結(jié)構(gòu)性因素納入數(shù)據(jù)分析,對電網(wǎng)發(fā)電預(yù)測、價格制定、錯峰安排等決策提供重要依據(jù)。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號