當企業(yè)組織在部署實施其大數(shù)據(jù)計劃遇到挑戰(zhàn)時，往往會感到灰心。關(guān)于大數(shù)據(jù)，當前對于其相關(guān)技術(shù)的缺乏、其安全性、數(shù)據(jù)的不可預(yù)測性、不可持續(xù)的成本，以及需要特別針對大數(shù)據(jù)項目制定相關(guān)商業(yè)案例的需求等等問題，都可能導(dǎo)致企業(yè)的大數(shù)據(jù)項目陷入困頓。

但是，鑒于大數(shù)據(jù)所具備的改革企業(yè)業(yè)務(wù)的強大能力，當前的企業(yè)組織克服這些挑戰(zhàn)，并積極的實現(xiàn)大數(shù)據(jù)項目的價值是至關(guān)重要的。云服務(wù)可以幫助企業(yè)實現(xiàn)其目標。在本文中，我們將為廣大讀者朋友們分析企業(yè)在實施大數(shù)據(jù)項目時所面臨的最大挑戰(zhàn)，并還將詳細解釋如何在云中有效克服這些挑戰(zhàn)。

現(xiàn)如今，企業(yè)管理者們幾乎每天都不可避免的會看到諸如“大數(shù)據(jù)”或“云服務(wù)”這樣的字眼。為了確保在當今的市場上具有競爭力，企業(yè)必須做出明智的業(yè)務(wù)決策，這些業(yè)務(wù)決策將產(chǎn)生真正的結(jié)果，無論這些結(jié)果是幫助增加企業(yè)的營收，留住客戶還是提高產(chǎn)品的質(zhì)量。而大數(shù)據(jù)分析項目則是實現(xiàn)這些目標的關(guān)鍵因素。

IDG公司將大數(shù)據(jù)定義為“企業(yè)從各種來源所收集的大量數(shù)據(jù)信息，包括來自企業(yè)應(yīng)用程序/數(shù)據(jù)庫的交易數(shù)據(jù)、社交媒體數(shù)據(jù)、移動設(shè)備數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)/文檔，機器生成的數(shù)據(jù)等等。”IDG稱：各種各樣的高容量、高傳輸速度的數(shù)據(jù)信息資產(chǎn)可以為企業(yè)提供更好的見解，幫助企業(yè)做出業(yè)務(wù)決策。”

大數(shù)據(jù)使企業(yè)能夠更深入地了解自己的業(yè)務(wù)，并實時制定戰(zhàn)略決策。事實上，據(jù)IDG 的《大數(shù)據(jù)和分析調(diào)研報告》稱：有1/3的受訪者表示，由于他們的所在企業(yè)實施了大數(shù)據(jù)項目，使得其決策質(zhì)量得到了提高，有助于更好地進行規(guī)劃和預(yù)測。

但是，就如同任何新興技術(shù)一樣，由其所帶來的挑戰(zhàn)也是并存的。第一大挑戰(zhàn)是海量的數(shù)據(jù)量和傳輸速度。實時變化的海量數(shù)據(jù)意味著企業(yè)現(xiàn)有的工具和方法都將不再奏效。企業(yè)還要需要考慮數(shù)據(jù)的來源：在某些情況下，大數(shù)據(jù)來自于數(shù)百萬個地方——這些來源包括：客戶、傳感器、網(wǎng)站和社交媒體。

企業(yè)以前所采用的方法是：通過構(gòu)建或擴展企業(yè)容量的方式來處理大數(shù)據(jù)所帶來的工作負載。這是一項資源密集型的舉措，其成本代價昂貴、耗時。需要花費大量IT人員的時間和技能，并且無法使您企業(yè)的業(yè)務(wù)足夠快的實現(xiàn)遷移。您企業(yè)最終可能需要花費更多的時間和資金成本在基礎(chǔ)設(shè)施上，而不是將其用于打造好的產(chǎn)品和服務(wù)。

云服務(wù)可以幫助解決很多這些問題。毫不奇怪，在未來三到五年內(nèi)，云服務(wù)和預(yù)測分析將是最有可能對企業(yè)產(chǎn)生顛覆性影響的三大技術(shù)之一。(第三個是自助IT服務(wù)。)

如果您企業(yè)要利用大數(shù)據(jù)進行預(yù)測分析，那么，憑借著其諸多的優(yōu)勢，云服務(wù)可能是一大關(guān)鍵的推動因素。

企業(yè)部署大數(shù)據(jù)項目的前5大挑戰(zhàn)

盡管已經(jīng)有了大量的成功案例，但真正實施一項大數(shù)據(jù)項目并不是一件易事。事實上，其提出了許多挑戰(zhàn)，其中任何一項挑戰(zhàn)都可能使項目在開始之前就脫軌。在其大數(shù)據(jù)和分析調(diào)查報告中，IDG確定了如下這5大挑戰(zhàn)：

1、對于相關(guān)技能的缺乏

大數(shù)據(jù)系統(tǒng)的發(fā)展速度是如此之快，以至于當前一般的企業(yè)幾乎不可能跟上其發(fā)展的步伐。新的工具、功能和框架在幾個月內(nèi)就能夠發(fā)展和成熟，導(dǎo)致企業(yè)在新興大數(shù)據(jù)技能方面存在著很大的差距，也就很容易阻礙企業(yè)大數(shù)據(jù)項目的發(fā)展。

事實上，有48%的企業(yè)受訪者認為，在數(shù)據(jù)分析和數(shù)據(jù)管理技能方面的人才的短缺是他們所在企業(yè)所面臨的第一大挑戰(zhàn)。對大數(shù)據(jù)技能的需求(尤其是在分析領(lǐng)域)的需求如此之大，以至于70%的受訪者均表示他們計劃在未來的12到18個月內(nèi)雇用具備大數(shù)據(jù)分析技能的人才。

企業(yè)在如何進行長期的IT投資，利用現(xiàn)有的技能，并獲得新的技能方面正面臨著質(zhì)疑。還有一個問題是：面臨著諸如Hive、Pig、MapReduce、Spark、NoSQL存儲等等一系列的技術(shù)和框架，企業(yè)要如何進行抉擇，以最好的適應(yīng)其特定的大數(shù)據(jù)項目。同時，企業(yè)業(yè)務(wù)對于高度分析和數(shù)據(jù)管理技能的強勁需求也在持續(xù)不斷的增長。

利用云服務(wù)，企業(yè)可以利用最新的技術(shù)，而無需投入大量的時間和資源來進行持續(xù)的設(shè)置、維護和升級工作。云服務(wù)還允許企業(yè)使用他們已有的技能，而托管服務(wù)則可以完美的補充他們所缺乏的技能。

2、成本方面的挑戰(zhàn)

47%的受訪者表示，當實施大數(shù)據(jù)項目時，預(yù)算限制是當今企業(yè)所面臨的第二大挑戰(zhàn)。成本因素已經(jīng)連續(xù)多年成為絕大多數(shù)企業(yè)所頭號關(guān)注的事實便證明了這一挑戰(zhàn)。

大多數(shù)大數(shù)據(jù)技術(shù)需要大量的服務(wù)器集群，而這需要很長的配置和設(shè)置周期，進而導(dǎo)致了大量的資本支出和維護開銷。更為復(fù)雜的是，隨著現(xiàn)有應(yīng)用程序或新業(yè)務(wù)需求的多樣化數(shù)據(jù)量的不斷增長，數(shù)據(jù)傳輸速度不斷增加，可能導(dǎo)致不可持續(xù)的IT成本。企業(yè)需要知道如何在盡量壓縮開支的情況下從大數(shù)據(jù)中獲取盡可能多的價值。

他們必須能夠擴展基礎(chǔ)架構(gòu)以管理大數(shù)據(jù)，同時降低IT成本。這正是云服務(wù)所能夠幫助企業(yè)做到的。云服務(wù)消除了企業(yè)采購和維護硬件和軟件基礎(chǔ)設(shè)施的需要，以及與之相關(guān)的大量資本支出。進而使得企業(yè)得以能夠?qū)⒂邢薜馁Y金重新分配到其核心創(chuàng)新中。

3、數(shù)據(jù)的不可預(yù)測性

大數(shù)據(jù)來自各種各樣的來源，從企業(yè)傳統(tǒng)遺留應(yīng)用程序和交易系統(tǒng)到由機器、移動設(shè)備、網(wǎng)絡(luò)日志和社交媒體生成的數(shù)據(jù)。這使得預(yù)測所需容量變得更加困難和低效。單個事件可能會導(dǎo)致數(shù)據(jù)量和工作量的突然變化。例如，一家金融服務(wù)機構(gòu)在任何一天都可能會經(jīng)歷10倍的數(shù)量波動，而具體的波動則取決于市場狀況，是很難預(yù)測的。

四分之一的企業(yè)受到大數(shù)據(jù)對存儲容量/基礎(chǔ)設(shè)施日益增長的需求的挑戰(zhàn)。企業(yè)不僅需要規(guī)劃基礎(chǔ)架構(gòu)，還必須確定如何輕松擴展，以滿足不斷變化的存儲和計算要求。對于幾乎任何企業(yè)來說，將其基礎(chǔ)架構(gòu)容量規(guī)模擴展10倍來支持峰值需求，讓這些額外的容量在90%的時間內(nèi)均處于閑置狀態(tài)，無疑是非常低效且不符合成本效益的。其他問題包括由于數(shù)據(jù)的增長所導(dǎo)致的基礎(chǔ)設(shè)施和維護成本不斷升高，還需通過實驗來確保足夠的帶寬來支持創(chuàng)新，以及數(shù)據(jù)采集和分析的成本。

借助云服務(wù)，企業(yè)無需為最大容量調(diào)整其基礎(chǔ)架構(gòu)的規(guī)模大小。其彈性屬性使企業(yè)可以根據(jù)需要實現(xiàn)動態(tài)擴展或縮減基礎(chǔ)架構(gòu)。

4、安全

隨著企業(yè)收集、存儲和分析來自新的和現(xiàn)有來源的越來越多的數(shù)據(jù)信息，數(shù)據(jù)的安全性變得更受關(guān)注。接近35%的受訪者表示不確定或不認為他們所在企業(yè)現(xiàn)有的安全解決方案和產(chǎn)品提供了足夠的數(shù)據(jù)安全性。企業(yè)正在努力的控制數(shù)據(jù)訪問，保護數(shù)據(jù)資產(chǎn)和保護基礎(chǔ)設(shè)施。最終，企業(yè)需要決定如何確保符合合規(guī)性、數(shù)據(jù)管理和安全性的要求，而又不會影響到靈活敏捷性和性能。例如，醫(yī)療保健行業(yè)的企業(yè)必須遵守HIPAA的合規(guī)性要求，這是一項復(fù)雜的任務(wù)，不僅要保護存儲數(shù)據(jù)的本身，還要確保通過計算機、打印機和復(fù)印機訪問數(shù)據(jù)時的安全。

金融服務(wù)業(yè)的企業(yè)也同樣面臨著挑戰(zhàn)。大數(shù)據(jù)是最近發(fā)展得最有前途的新技術(shù)之一，其專注于提供改善客戶體驗的，降低風(fēng)險并滿足合規(guī)性要求。而當涉及到我們所討論的大數(shù)據(jù)挑戰(zhàn)，比如安全性時，金融服務(wù)企業(yè)需要考慮：

其財務(wù)信息是否有著嚴格的管理和合規(guī)要求。

金融服務(wù)公司所創(chuàng)造或使用的所有數(shù)據(jù)基本上都是受監(jiān)管的，可能是敏感的或私人的數(shù)據(jù)信息。

金融服務(wù)機構(gòu)必須遵守GLBA、SOX / J-SOX、MiFID II、Basel II、甚至“美國愛國者法案”的規(guī)定。

大數(shù)據(jù)也意味著您企業(yè)的信息并不是閑置狀態(tài)：重點是使用這些數(shù)據(jù)來獲得更好的業(yè)務(wù)成果。這些數(shù)據(jù)不斷被多個用戶和系統(tǒng)生成、處理和分析。

結(jié)合日常的安全需求，如防范內(nèi)部和外部的安全攻擊，保證數(shù)千客戶數(shù)據(jù)的安全和隱私，使得這方面挑戰(zhàn)的范圍更加明確。

即使是大數(shù)據(jù)安全方面的挑戰(zhàn)，也可以通過選擇具有強大數(shù)據(jù)隱私保護和安全控制能力的供應(yīng)商來解決。事實上，云服務(wù)比企業(yè)自有數(shù)據(jù)中心更安全并不罕見。由于云服務(wù)提供商正在提供強大的計算基礎(chǔ)架構(gòu)，因此保持安全的環(huán)境符合他們的最大利益。為此，許多云提供商已經(jīng)積累了來自多家企業(yè)的最佳實踐方案和經(jīng)驗，并具有最嚴格的安全要求。

5、創(chuàng)建一個商業(yè)案例

在很多情況下，IT部門需要為大數(shù)據(jù)創(chuàng)建商業(yè)案例。據(jù)IDG稱，企業(yè)的IT負責(zé)人比非IT負責(zé)人更有可能負責(zé)確定需求和解決方案方面的業(yè)務(wù)需求。他們需要推薦和選擇供應(yīng)商，批準和授權(quán)采購，并在IT團隊之外銷售解決方案。但企業(yè)業(yè)務(wù)部門的領(lǐng)導(dǎo)也并不能置身事外。IDG表示，45%的受訪者表示其首席執(zhí)行官參與了大數(shù)據(jù)項目的制定實施。首席財務(wù)官和業(yè)務(wù)線主管們也越來越多地在大數(shù)據(jù)項目中發(fā)揮關(guān)鍵作用。

如果你企業(yè)還沒有建立起一個穩(wěn)定的商業(yè)案例，并收集來自強大的盟友，如關(guān)鍵業(yè)務(wù)利益相關(guān)者的意見，那么你企業(yè)很可能不會獲得大數(shù)據(jù)項目所需資源的批準。

有四分之一的受訪者表示，展示投資回報率是所有企業(yè)的大數(shù)據(jù)項目所面臨的挑戰(zhàn)。事實是，大數(shù)據(jù)還相對不成熟，可能涉及一定程度的實驗，其成本可能會非常高。為了針對具體的項目舉措進行實驗，企業(yè)必須做出無差別的繁重工作，這需要花費大量的時間和精力。這無疑會放慢創(chuàng)新的步伐，最終降低大數(shù)據(jù)項目的價值。

在許多情況下，證明投資回報最簡單的方法是降低總體擁有成本。但如前所述，傳統(tǒng)基礎(chǔ)設(shè)施管理大數(shù)據(jù)的成本是不可持續(xù)的。使用云服務(wù)重新構(gòu)建現(xiàn)有工作負載可幫助企業(yè)顯著的降低成本。另外，利用云服務(wù)還可以通過降低實驗成本來加速創(chuàng)新的步伐。成功的實驗將顯示出可衡量的效益，一旦到位，將激發(fā)更多的需求。

使用云服務(wù)來克服上述挑戰(zhàn)

正確的云計算方法有助于最大限度地減少部署大數(shù)據(jù)應(yīng)用程序的障礙，甚至消除部分障礙。像大數(shù)據(jù)一樣，云服務(wù)是具有高度顛覆性的一大力量，其正在改變企業(yè)的運作方式和經(jīng)營方式。

而如果將云和大數(shù)據(jù)結(jié)合起來，其影響就更大了。

但是決定采用云服務(wù)也并不能在一夜之間就能夠解決您企業(yè)的大數(shù)據(jù)問題。而且，許多云服務(wù)提供商也僅僅只是提供了您企業(yè)所需要的所有服務(wù)的一部分。而且，他們需要進行大量的整合工作，這往往會讓你企業(yè)面臨又一重大問題，并且讓您難以取舍：價格還是可擴展性?性能還是易用性?靈活敏捷性還說安全性?

在評估云提供商時，企業(yè)需要尋找可以直接解決這些挑戰(zhàn)的解決方案。

技能短缺：您企業(yè)需要廣泛的功能來構(gòu)建、擴展和安全部署大數(shù)據(jù)應(yīng)用程序。這些功能應(yīng)涵蓋大數(shù)據(jù)的所有不同方面，從數(shù)據(jù)收集到存儲、分析和數(shù)據(jù)可視化。企業(yè)應(yīng)該尋找能夠提供托管服務(wù)的云提供商，以盡量減少管理開銷，并能夠與大數(shù)據(jù)中廣泛的技術(shù)充分兼容。這將使您企業(yè)能夠充分利用您擁有的技能，并獲得幫助。

成本和商業(yè)案例的制定：企業(yè)遷移到云服務(wù)將無需采購和維護硬件。為了幫助構(gòu)建商業(yè)案例，請選擇一家可以幫助降低TCO的提供商。靈活的定價模式：從預(yù)留實例(Reserved Instance)到按需實例(On-demand Instance)，甚至是競價實例(Spot Instance)都可以提供巨大的節(jié)省機會，降低管理和處理數(shù)據(jù)的成本結(jié)構(gòu)。

數(shù)據(jù)的不可預(yù)測性：您企業(yè)的云服務(wù)提供商應(yīng)該允許您快速輕松地進行擴展或縮減以響應(yīng)需求的變化。例如，將存儲從計算容量中分離出來，使企業(yè)只選擇他們所需要的資源類型和規(guī)模大小，并只支付他們所使用的資源。

計算選項：您企業(yè)的提供商應(yīng)該提供適用于最廣泛的大數(shù)據(jù)工作負載的多種多樣的計算選項。這包括計算優(yōu)化的實例;用于高性能計算的GPU實例;為內(nèi)存密集型應(yīng)用程序提供內(nèi)存優(yōu)化的具有兆字節(jié)內(nèi)存的實例;以及針對大規(guī)模并行數(shù)據(jù)倉庫應(yīng)用程序，Hadoop或NoSQL數(shù)據(jù)庫的非?？斓腟SD存儲的存儲優(yōu)化實例。

安全性：尋找一款云計算基礎(chǔ)設(shè)施，旨在保證安全，并經(jīng)常審核其是否符合各種行業(yè)標準，如HIPAA、PCI DSS或FedRAMP。確保云提供商提供適合審計的服務(wù)和合規(guī)計劃，以幫助您企業(yè)滿足安全和管理要求。并確保提供商提供所有服務(wù)的靜態(tài)和傳輸數(shù)據(jù)加密，以及廣泛的數(shù)據(jù)加密選項。

云服務(wù)的本質(zhì)使其非常適合大數(shù)據(jù)。由于云計算的可擴展性，彈性和經(jīng)濟模型，可以讓企業(yè)根據(jù)需要進行規(guī)?；s放，而無需在高峰容量的環(huán)境中構(gòu)建和投資。云計算使企業(yè)能夠降低與繁重工作相關(guān)的成本，而將節(jié)省的資金再投資于能夠為企業(yè)提供價值的項目。可衡量的節(jié)省將有助于獲得更多的贊助商，而這些節(jié)余可以用來資助其他大數(shù)據(jù)項目。

結(jié)論

展望未來，大數(shù)據(jù)將在幫助企業(yè)做出更明智、更快速的業(yè)務(wù)決策方面發(fā)揮越來越重要的作用。 但是，企業(yè)不必因技能短缺，成本有限，數(shù)據(jù)的不可預(yù)測性，安全問題或創(chuàng)建商業(yè)案例方面的困難而受到阻礙。云服務(wù)，可以解決許多這些要求。其使得使企業(yè)能夠迭代大數(shù)據(jù)分析，專注于業(yè)務(wù)需求，而無需擔(dān)心收集、存儲和處理大數(shù)據(jù)所需的IT基礎(chǔ)架構(gòu)。借助由云服務(wù)供應(yīng)商所提供的解決方案，企業(yè)可以以更快，更低的成本來分析數(shù)據(jù)，從而更快地實現(xiàn)業(yè)務(wù)目標。