那么，在運行大型數(shù)據(jù)項目時，數(shù)據(jù)團隊的感知能力與實際性能之間的脫節(jié)程度如何?
以下是企業(yè)在實施大型數(shù)據(jù)項目或達(dá)到大數(shù)據(jù)成熟度時報告的五個最重要的挑戰(zhàn)：
(1)確保數(shù)據(jù)質(zhì)量
很少有人會否認(rèn)大數(shù)據(jù)在世界各地的組織所發(fā)揮的重要作用，但是發(fā)現(xiàn)這些好處需要保持高質(zhì)量的數(shù)據(jù)——這一點變得越來越困難，并且被認(rèn)為是IT和數(shù)據(jù)專業(yè)人員面臨的最大挑戰(zhàn)。在許多情況下，企業(yè)收集的數(shù)據(jù)的關(guān)鍵方面可能會因失誤，錯誤或不完整的數(shù)據(jù)而被破壞，所有這些都可能導(dǎo)致數(shù)據(jù)團隊的錯誤結(jié)論。這被稱為臟數(shù)據(jù)，它對希望利用這些數(shù)據(jù)來驅(qū)動洞察力和改進業(yè)務(wù)操作的公司來說是一個巨大的障礙。骯臟的數(shù)據(jù)并不是一個小問題。據(jù)數(shù)據(jù)倉庫研究所(TDWI)的報告，遭到損壞或不完整的數(shù)據(jù)最終導(dǎo)致美國公司每年損失6000億美元。
現(xiàn)在采取步驟清理數(shù)據(jù)并防止這個問題的發(fā)生將大大有助于組織充分利用他們收集的信息。企業(yè)可以通過定期更新系統(tǒng)來幫助保持?jǐn)?shù)據(jù)的干凈，以確保數(shù)據(jù)可以處理大量的數(shù)據(jù)收集和分析，而不會在此過程中造成損害。擁有正確技術(shù)的企業(yè)甚至可以進行數(shù)據(jù)清洗，這是一個徹底的清理過程，涉及到數(shù)據(jù)集的過濾、解碼和轉(zhuǎn)換。
(2)保持預(yù)期成本
CIO們往往難以準(zhǔn)確地預(yù)測大型數(shù)據(jù)項目的成本，特別是在缺乏經(jīng)驗的情況下。其挑戰(zhàn)在于考慮到與每個項目相關(guān)的各種不同的成本-從獲取新的硬件或軟件，支付云提供商，雇用額外的所需人員等等。由于大型數(shù)據(jù)項目的趨勢很快擴大，與這些項目相關(guān)的成本可能很快就會變得壓倒一切，如果公司沒有準(zhǔn)備好的話。對于尋求內(nèi)部部署項目的企業(yè)，決策者必須考慮培訓(xùn)、維護和擴大其數(shù)據(jù)庫和員工的成本。另一方面，雖然基于云的大數(shù)據(jù)部署通常比內(nèi)部部署數(shù)據(jù)中心具有更低的成本要求和更快的生產(chǎn)時間，但追求云模型的企業(yè)也需要評估與供應(yīng)商的服務(wù)級別協(xié)議，以確定如何收取使用費用，如果有任何額外費用可能會發(fā)生的話。
(3)滿足業(yè)務(wù)需求和期望
雖然數(shù)據(jù)團隊對提供自我服務(wù)洞察能力以滿足日益增長的需求的能力非常有信心，但很少有人能夠滿足企業(yè)的高期望值。這個問題的一部分是由于缺乏有效運行大數(shù)據(jù)操作所需的技術(shù)資源。事實上，Dimensional Research最近進行的一項調(diào)查中，近三分之一的受訪者表示，他們無法獲得實施內(nèi)部部署大型數(shù)據(jù)項目所需的基礎(chǔ)設(shè)施或技術(shù)。盡管企業(yè)可能在開始實施一個大數(shù)據(jù)項目的期望很高，他們往往沒有投資數(shù)據(jù)團隊正確實施這些項目所需的資源。為了避免這個問題，數(shù)據(jù)團隊領(lǐng)導(dǎo)者應(yīng)該在開始一個項目之前，與業(yè)務(wù)負(fù)責(zé)人磋商，根據(jù)現(xiàn)有資源制定預(yù)期。同時，數(shù)據(jù)團隊必須作為教育者，向決策者通報技術(shù)，基礎(chǔ)設(shè)施和實現(xiàn)特定目標(biāo)所需的人員的情況。
(4)量化大數(shù)據(jù)項目的價值
雖然大多數(shù)組織都主張實施自己的大數(shù)據(jù)項目的好處，了解需求和能夠量化所需的投資價值并不總是齊頭并進。例如，決定在內(nèi)部數(shù)據(jù)中心運行數(shù)據(jù)分析的企業(yè)將需要購買一些昂貴的服務(wù)器，并使用適當(dāng)?shù)能浖⑵洳渴鸬綌?shù)據(jù)中心，并運行測試以確保所有功能正常運行。這個過程可能需要幾個月甚至幾年的時間，也就是在第一個查詢甚至可以運行之前。如果一個數(shù)據(jù)小組在這個時候被要求投資回報，他們根本無法進行回應(yīng)。
云計算已經(jīng)大大改變了這種情況。雖然仍有不少組織將選擇投資于本地部署的大型數(shù)據(jù)基礎(chǔ)設(shè)施，，但越來越多的企業(yè)正在意識到基于云的大數(shù)據(jù)基礎(chǔ)設(shè)施的優(yōu)勢，可以降低前期投資和更快的部署時間。
(5)缺乏行業(yè)專長
最后，組織在實施大數(shù)據(jù)項目時面臨的最大挑戰(zhàn)之一就是尋找合格的工作人員。雖然83%的調(diào)查對象表示他們的數(shù)據(jù)團隊正在增長，但超過三分之一企業(yè)表示，他們難以找到具有處理其數(shù)據(jù)操作所需的專業(yè)知識和技能的人員。事實上，一個成功的大型數(shù)據(jù)項目無法由單一類型的用戶處理，企業(yè)需要聘請開發(fā)人員，數(shù)據(jù)科學(xué)家，分析師和其他人員，這些人都具有自己的技能和專業(yè)領(lǐng)域，所以這個問題進一步加劇。
然而，即使企業(yè)有一個熟練的團隊，許多數(shù)據(jù)團隊也會陷入維護大型數(shù)據(jù)基礎(chǔ)設(shè)施的工作中。而不是簡單地添加人員來處理這些數(shù)據(jù)管理任務(wù)，企業(yè)應(yīng)該集中精力尋找工具來幫助他們的數(shù)據(jù)團隊更有效地工作。通過云計算和機器學(xué)習(xí)，諸如容量規(guī)劃和軟件更新等耗時的任務(wù)可以實現(xiàn)無縫自動化，讓團隊專注于高價值的工作，以推動運營改進和收入。
大數(shù)據(jù)是困難和復(fù)雜的，并且充分利用它面臨很多障礙。雖然在某種程度上，在某些層面上，許多公司似乎認(rèn)識到與實施大數(shù)據(jù)項目有關(guān)的困難，但在其他方面，他們往往對實現(xiàn)下一個成熟階段所需的努力和專門知識抱有不切實際的期望。在企業(yè)能夠執(zhí)行自己成功的成熟的大數(shù)據(jù)計劃之前，他們首先需要開發(fā)必要的基礎(chǔ)設(shè)施，工具和專家資源來克服上述每個挑戰(zhàn)。通過采用DataOps方法，企業(yè)可以構(gòu)建一個自助服務(wù)數(shù)據(jù)模型，從而在整個組織中提供洞察驅(qū)動的業(yè)務(wù)決策。
京公網(wǎng)安備 11010502049343號