大數(shù)據(jù)的4大宏觀趨勢

責任編輯:cres

作者:Cynthia Harvey

2018-05-30 10:00:38

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

如今,企業(yè)處理大數(shù)據(jù)的方式正在迅速發(fā)生改變。短短幾年前,大數(shù)據(jù)只是一個熱門的流行語,大多數(shù)組織都在嘗試使用Hadoop和相關(guān)技術(shù)。如今,大數(shù)據(jù)技術(shù),特別是大數(shù)據(jù)分析已經(jīng)演變成為大多數(shù)企業(yè)戰(zhàn)略的重要組成部分,企業(yè)面臨著緊跟大數(shù)據(jù)快速發(fā)展的巨大壓力。

如今,企業(yè)處理大數(shù)據(jù)的方式正在迅速發(fā)生改變。短短幾年前,大數(shù)據(jù)只是一個熱門的流行語,大多數(shù)組織都在嘗試使用Hadoop和相關(guān)技術(shù)。如今,大數(shù)據(jù)技術(shù),特別是大數(shù)據(jù)分析已經(jīng)演變成為大多數(shù)企業(yè)戰(zhàn)略的重要組成部分,企業(yè)面臨著緊跟大數(shù)據(jù)快速發(fā)展的巨大壓力。
 
NewVantage公司開展的2018年合作伙伴的大數(shù)據(jù)高管調(diào)查表明,發(fā)現(xiàn)大數(shù)據(jù)項目以及這些項目帶來的收益幾乎變得很普遍。在受訪者中,有97.2%的高管表示他們的公司正在實施大數(shù)據(jù)或人工智能(AI)計劃,98.6%的人表示他們的公司正試圖創(chuàng)建一個數(shù)據(jù)驅(qū)動文化,而2017年這個數(shù)字為85.5%。絕大多數(shù)的受訪者(73%)表示,他們已經(jīng)通過大數(shù)據(jù)舉措獲得了可衡量的價值。
 
由供應(yīng)商AtScale公司獨立進行的2018年大數(shù)據(jù)成熟度調(diào)查發(fā)現(xiàn),66%的組織認為大數(shù)據(jù)具有戰(zhàn)略性或改變游戲規(guī)則,而只有17%的組織認為該技術(shù)是實驗性的。另外,95%的受訪者表示,計劃在未來三個月內(nèi)使用大數(shù)據(jù)開展更多的工作。
 
但他們對大數(shù)據(jù)究竟會做些什么呢?
 
一系列不同的趨勢正在影響大數(shù)據(jù)舉措,但四個總體主題正在成為2018年影響大數(shù)據(jù)的關(guān)鍵因素:云計算、機器學(xué)習(xí)、數(shù)據(jù)治理,以及對速度的需求。
 
1.云計算
 
分析師認為,大數(shù)據(jù)正在向云計算邁進。調(diào)研機構(gòu)Forrester公司的Brian Hopkins表示:“通過云訂閱的全球大數(shù)據(jù)解決方案支出增長速度將比內(nèi)部訂閱訂單快7.5倍。此外,根據(jù)2016年和2017年的數(shù)據(jù)調(diào)查,公共云是大數(shù)據(jù)分析專業(yè)人員的首要技術(shù)優(yōu)先事項。”他表示,通過公共云服務(wù)提供的成本優(yōu)勢和創(chuàng)新將對大多數(shù)企業(yè)來說無法抗拒。
 
而一些調(diào)查似乎支持這些結(jié)論:
 
在AtScale公司的調(diào)查報告中,59%的受訪者表示他們已經(jīng)在云中部署了大數(shù)據(jù),77%的受訪者預(yù)計其部分或全部大數(shù)據(jù)部署將在云中。
 
Teradata公司云計算狀況分析報告發(fā)現(xiàn),對基于云計算的大數(shù)據(jù)分析的需求更高。38%的受訪者表示,云端是運行分析的最佳場所,69%的受訪者表示他們希望在2023年之前在云平臺中運行所有分析。
 
他們?yōu)槭裁慈绱藷崆械剞D(zhuǎn)向云端?云計算分析的預(yù)期收益包括更快的部署(51%),更高的安全性(46%),更好的性能(44%),更快的數(shù)據(jù)洞察力(44%),用戶更容易訪問(43%),成本更低的維護(41%)。
 
 
組織將繼續(xù)將其數(shù)據(jù)存儲遷移到公共云提供商的云服務(wù)中,并且當數(shù)據(jù)已經(jīng)駐留在云中時,在云中執(zhí)行大數(shù)據(jù)分析的速度也會更快、更輕松,成本更低。
 
另外,許多云計算提供商提供人工智能和機器學(xué)習(xí)工具,使云計算更具吸引力。
 
2.機器學(xué)習(xí)和人工智能
 
機器學(xué)習(xí)是人工智能的一個重要組成部分,它在沒有被計算機明確編程的情況下學(xué)習(xí),它與大數(shù)據(jù)分析有著內(nèi)在聯(lián)系,因此這兩個術(shù)語有時會混合在一起。事實上,今年NewVantage公司年度大數(shù)據(jù)調(diào)查的封面已經(jīng)重新設(shè)計,以顯示它包含大數(shù)據(jù)和人工智能。
 
調(diào)查報告的作者寫道:“大數(shù)據(jù)和人工智能項目幾乎難以區(qū)分,特別是考慮到機器學(xué)習(xí)是處理大量快速移動數(shù)據(jù)的最流行技術(shù)之一。”
 
當這項調(diào)查要求管理人員選擇哪種大數(shù)據(jù)技術(shù)會產(chǎn)生最大的顛覆性影響時,71.8%的受訪者選擇的最多選項是人工智能。與2017年相比,這是一個顯著的增長,當時只有44.3%的受訪者表示同樣的觀點。尤其值得注意的是,人工智能遠遠領(lǐng)先于云計算(12.7%)和區(qū)塊鏈(7.0%)。
 
調(diào)查機構(gòu)Gartner公司研究副總裁John-David Lovelock的觀點與這些高管達成一致。 “由于計算能力、數(shù)量、速度和各種數(shù)據(jù)的進步,以及深度神經(jīng)網(wǎng)絡(luò)(DNNs)的發(fā)展,人工智能在未來10年內(nèi)承諾將成為最具顛覆性的技術(shù)類別。”他表示。
 
Gartner公司最近進行的預(yù)測表明,“從人工智能(AI)獲得的全球商業(yè)價值預(yù)計在2018年將達到1.2萬億美元,比2017年增長70%。”展望未來,Gartner公司分析師補充說:“預(yù)測2022年人工智能的商業(yè)價值將達到3.9萬億美元。”
 
考慮到潛在的商業(yè)價值,企業(yè)計劃大量投資于機器學(xué)習(xí)和相關(guān)技術(shù)并不令人驚訝。據(jù)調(diào)研機構(gòu)IDC公司稱,“2018年全球認知與人工智能(AI)系統(tǒng)支出將達到191億美元,比2017年的支出增長54.2%。”
 
3.數(shù)據(jù)治理
 
但是,雖然云計算和機器學(xué)習(xí)帶來的潛在收益正在推動企業(yè)投資這些大數(shù)據(jù)技術(shù),但企業(yè)仍然面臨著與大數(shù)據(jù)相關(guān)的重大障礙。
 
其中最重要的一點是如何確保所有數(shù)據(jù)的準確性、可用性、安全性和合規(guī)性。
 
當AtScale公司的調(diào)查要求受訪者指出他們面臨的與大數(shù)據(jù)相關(guān)的最大挑戰(zhàn)時,治理是排在第二位,僅落后于技能組合,而這是每年調(diào)查中所提出的頭號挑戰(zhàn)。早在2016年,治理只位列挑戰(zhàn)清單的底部,因此其升至第二位,其變化尤其顯著。組織現(xiàn)在更關(guān)心數(shù)據(jù)治理,而不是性能、安全或數(shù)據(jù)管理。
 
重新引起人們關(guān)注的部分原因可能是最近發(fā)生的Facebook公司和英國劍橋分析的數(shù)據(jù)泄露丑聞。這個違規(guī)事件非常清楚地表明,潛在的公共關(guān)系噩夢可能會由于失去數(shù)據(jù)的正常發(fā)展軌跡而發(fā)生,并且無法正確保護用戶的隱私。
 
歐盟頒布的通用數(shù)據(jù)保護條例(GDPR)是今年5月生效的另一大變革力量。它要求所有擁有歐盟公民的數(shù)據(jù)的組織都能夠滿足某些要求,例如違規(guī)通知、訪問權(quán)限、被遺忘權(quán)利、數(shù)據(jù)可移植性、設(shè)計隱私,以及任命數(shù)據(jù)保護人員。
 
監(jiān)管變革給組織帶來了越來越大的壓力,以確保他們知道自己擁有哪些數(shù)據(jù)以及駐留在哪里,并確保正確地保護這些數(shù)據(jù)。這是一項艱巨的任務(wù),需要很多企業(yè)加緊制定,并重新思考他們的大數(shù)據(jù)戰(zhàn)略。
 
4.速度的需要
 
與此同時,他們感到需要放緩處理數(shù)據(jù)治理問題的速度,許多企業(yè)也有對更快速的大數(shù)據(jù)分析的需求。
 
在NewVantage公司的調(diào)查中,47.8%的管理人員表示,他們主要使用大數(shù)據(jù)的原因是近實時的、日常儀表板和操作報告,或者是實時互動,或者是面向客戶的流媒體,或者是關(guān)鍵任務(wù)應(yīng)用。這是一個重要的發(fā)展,因為數(shù)據(jù)分析的傳統(tǒng)用途是每天、每周或每月執(zhí)行批量報告。
 
同樣,Syncsort公司的調(diào)查發(fā)現(xiàn),60.4%的受訪者對實時分析感興趣。
 
為了滿足實時或接近實時性能的需求,企業(yè)越來越傾向于使用內(nèi)存技術(shù)。由于處理內(nèi)存(RAM)中的數(shù)據(jù)比訪問存儲在硬盤驅(qū)動器或固態(tài)硬盤驅(qū)動器上的數(shù)據(jù)快得多,因此內(nèi)存技術(shù)可以顯著提高速度。
 
事實上,SAP公司宣稱其專有的HANA技術(shù)已幫助一些公司加快業(yè)務(wù)流程的速度達到原來的10000倍。盡管大多數(shù)公司沒有體驗到這種性能提升,但SAP公司并不是唯一一家在內(nèi)存技術(shù)方面做出巨大貢獻的公司。Apache Spark是一款運行在內(nèi)存中的開源大數(shù)據(jù)分析引擎,它宣稱可以運行比標準Hadoop引擎快100倍的工作負載。
 
企業(yè)似乎注意到這些性能改進。供應(yīng)商Qubole報告說,2017年至2018年期間Apache Spark在計算時間方面的用量增長了298%。當人們查看在Apache Spark上運行的命令數(shù)量時,其增長更加令人印象深刻,2017年至2018年間在Spark上運行的命令總數(shù)提高了439%。
 
在某些方面,對速度的這種需求也推動了其他三大數(shù)據(jù)宏觀趨勢的發(fā)展。其部分原因是組織將大數(shù)據(jù)遷移到云中,因為他們希望獲得性能提升。他們至少在一定程度上投資于機器學(xué)習(xí)和人工智能,因為他們希望獲得更快、更好的見解。他們正在經(jīng)歷與數(shù)據(jù)治理和合規(guī)性相關(guān)的挑戰(zhàn),至少部分原因在于他們?nèi)绱丝焖俚亟邮艽髷?shù)據(jù)技術(shù),而沒有首先解決所有數(shù)據(jù)質(zhì)量、隱私、安全和合規(guī)性問題。
 
在不久的將來,隨著企業(yè)尋找新的方式來利用大數(shù)據(jù)顛覆他們的行業(yè)。并獲得競爭優(yōu)勢,預(yù)計所有這四種趨勢將會持續(xù)并加快發(fā)展。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號