許多大數(shù)據(jù)分析工具最初像大數(shù)據(jù)軟件框架Hadoop一樣都是開源項(xiàng)目，但商業(yè)實(shí)體迅速涌現(xiàn)，為開源產(chǎn)品提供了新工具或商業(yè)的支持和開發(fā)。
而在這些工具中選擇是一個挑戰(zhàn)，特別是許多大數(shù)據(jù)工具只具有單一用途，而企業(yè)需要使用大數(shù)據(jù)完成許多不同的任務(wù)，因此企業(yè)的分析工具箱會變得過于充實(shí)。根據(jù)這個行業(yè)領(lǐng)域的專家顧問的建議，以下列出一系列主要的大數(shù)據(jù)分析工具，并列出三個主??要類別。
主要的大數(shù)據(jù)工具
如上所述，大數(shù)據(jù)工具都傾向于單一使用類別，并且有多種使用大數(shù)據(jù)的方式。所以可以按類別分類，然后分析每個分析工具。
大數(shù)據(jù)工具：數(shù)據(jù)存儲和管理
大數(shù)據(jù)都是從數(shù)據(jù)存儲開始。這意味著從大數(shù)據(jù)框架Hadoop開始。它是由Apache Foundation開發(fā)的開源軟件框架，用在計算機(jī)集群上分布式存儲非常大的數(shù)據(jù)集。
顯然，存儲對于大數(shù)據(jù)所需的大量信息至關(guān)重要。但更重要的是，需要有一種方式來將所有這些數(shù)據(jù)集中到某種形成/管理結(jié)構(gòu)中，以產(chǎn)生洞察力。因此，大數(shù)據(jù)存儲和管理是真正的基礎(chǔ)，而沒有這樣的分析平臺是行不通的。在某些情況下，這些解決方案包括員工培訓(xùn)。
而這個領(lǐng)域的主要的大數(shù)據(jù)工具有：
1. Cloudera
基本上，Hadoop增加了一些額外的服務(wù)，企業(yè)將需要這些服務(wù)，因?yàn)榇髷?shù)據(jù)并不是一個簡單的練習(xí)。 Cloudera的服務(wù)團(tuán)隊不僅可以幫助企業(yè)構(gòu)建大數(shù)據(jù)集群，還可以幫助培訓(xùn)員工更好地訪問數(shù)據(jù)。
2. MongoDB
MongoDB是最流行的大數(shù)據(jù)數(shù)據(jù)庫，因?yàn)樗m用于管理大數(shù)據(jù)經(jīng)常出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)或頻繁更改的數(shù)據(jù)。
3. Talend
作為一家提供廣泛解決方案的公司，Talend的產(chǎn)品是圍繞集成平臺構(gòu)建的，該平臺結(jié)合了大數(shù)據(jù)、云計算、應(yīng)用程序，以及實(shí)時數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和主數(shù)據(jù)管理。
Talend大數(shù)據(jù)集成包括數(shù)據(jù)質(zhì)量和治理功能
大數(shù)據(jù)工具：數(shù)據(jù)清理
在企業(yè)真正處理大量數(shù)據(jù)以獲取洞察信息之前，先需要對其進(jìn)行清理、轉(zhuǎn)換并將其轉(zhuǎn)變?yōu)榭蛇h(yuǎn)程檢索的內(nèi)容。大數(shù)據(jù)集往往是非結(jié)構(gòu)化和無組織的，因此需要進(jìn)行某種清理或轉(zhuǎn)換。
在這個時代，數(shù)據(jù)的清理變得更加必要，因?yàn)閿?shù)據(jù)可以來自任何地方：移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)、社交媒體。并不是所有這些數(shù)據(jù)都容易被“清理”，以產(chǎn)生其見解，因此一個良好的數(shù)據(jù)清理工具可以改變所有的差異。事實(shí)上，在未來的幾年中，將有效清理的數(shù)據(jù)視為是一種可接受的大數(shù)據(jù)系統(tǒng)與真正出色的數(shù)據(jù)系統(tǒng)之間的競爭優(yōu)勢。
4. OpenRefine
OpenRefine是一款易于使用的開源工具，通過刪除重復(fù)項(xiàng)、空白字段和??其他錯誤來清理凌亂的數(shù)據(jù)。它是開源的軟件，但它有一個可以提供幫助的大型社區(qū)。
5. DataCleaner
與OpenRefine類似，DataCleaner將半結(jié)構(gòu)化數(shù)據(jù)集轉(zhuǎn)換為數(shù)據(jù)可視化工具可讀取的干凈可讀的數(shù)據(jù)集。該公司還提供數(shù)據(jù)倉庫和數(shù)據(jù)管理服務(wù)。
6. Microsoft Excel
人們可以從各種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)。Excel對手動數(shù)據(jù)輸入和復(fù)制/粘貼操作特別有用。它可以消除重復(fù)、查找、替換，拼寫檢查以及用于轉(zhuǎn)換數(shù)據(jù)的許多公式。但它很快陷入困境，并不適用于大數(shù)據(jù)集。
大數(shù)據(jù)工具：數(shù)據(jù)挖掘
一旦數(shù)據(jù)被清理并準(zhǔn)備好進(jìn)行檢查，就可以通過數(shù)據(jù)挖掘開始搜索過程。這就是企業(yè)進(jìn)行實(shí)際發(fā)現(xiàn)、決策和預(yù)測的過程。
數(shù)據(jù)挖掘在很多方面都是大數(shù)據(jù)流程的真正核心。數(shù)據(jù)挖掘解決方案通常非常復(fù)雜，但力求提供一個令人關(guān)注和用戶友好的用戶界面，這說起來容易做起來難。數(shù)據(jù)挖掘工具面臨的另一個挑戰(zhàn)是：它們的確需要工作人員開發(fā)查詢，所以數(shù)據(jù)挖掘工具的能力并不比使用它的專業(yè)人員強(qiáng)。
7. RapidMiner
RapidMiner是一款易于使用的預(yù)測分析工具，具有非常用戶友好的可視化界面，這意味著企業(yè)無需編寫代碼，即可運(yùn)行分析產(chǎn)品。
8. IBM SPSS Modeler
IBM SPSS Modeler是一套適用于企業(yè)級的高級分析的產(chǎn)品，用于數(shù)據(jù)挖掘。而IBM的服務(wù)和咨詢無疑是首屈一指的。
9. Teradata
Teradata為數(shù)據(jù)倉庫、大數(shù)據(jù)和分析以及市場營銷應(yīng)用提供端到端解決方案。這一切意味著企業(yè)的業(yè)務(wù)可以真正成為一個數(shù)據(jù)驅(qū)動的業(yè)務(wù)，并提供商業(yè)服務(wù)、咨詢、培訓(xùn)和支持。
像許多當(dāng)前的大數(shù)據(jù)工具一樣，RapidMiner解決方案也包含云計算解決方案
大數(shù)據(jù)工具：數(shù)據(jù)可視化
數(shù)據(jù)可視化是企業(yè)的數(shù)據(jù)以可讀的格式顯示的方式。這是企業(yè)查看圖表和圖形以及將數(shù)據(jù)放入透視圖中的方法。
數(shù)據(jù)的可視化與科學(xué)一樣，是一種藝術(shù)形式。而大數(shù)據(jù)公司將擁有越來越多的數(shù)據(jù)科學(xué)家和高級管理人員，很重要的一點(diǎn)是可以為員工提供更加廣泛的可視化服務(wù)。銷售代表、IT支持、中層管理等這些團(tuán)隊中的每一個成員都需要理解它，因此重點(diǎn)在于可用性。但是，易于閱讀的可視化有時與深度特征集的讀取不一致，這成為了數(shù)據(jù)可視化工具的一個主要挑戰(zhàn)。
10. Tableau
作為這一領(lǐng)域的領(lǐng)導(dǎo)者之一，其數(shù)據(jù)可視化工具專注于商業(yè)智能，無需編程即可創(chuàng)建各種地圖、圖表、圖形等等。Tableau總共有五款產(chǎn)品，其中有一個名為Tableau Public的免費(fèi)版本供潛在客戶試用。
11. Silk
Silk是一種簡單版本的Tableau，Silk可讓企業(yè)將數(shù)據(jù)可視化為地圖和圖表，而無需任何編程。它甚至?xí)L試在第一次加載時自動將數(shù)據(jù)可視化。它還使得在線發(fā)布結(jié)果變得容易。
12. Chartio
Chartio使用自己的可視化查詢語言，只需點(diǎn)擊幾下即可創(chuàng)建功能強(qiáng)大的儀表板，而無需了解SQL或其他建模語言。與其他不同的是，企業(yè)直接連接到數(shù)據(jù)庫，因此不需要數(shù)據(jù)倉庫。
IBM Watson Analytics
IBM Watson Analytics是機(jī)器學(xué)習(xí)(ML)和人工智能(AI)的結(jié)合，可幫助提供智能數(shù)據(jù)科學(xué)助理，為業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家提供廣泛的數(shù)據(jù)科學(xué)技能集的用戶指南。
三層大數(shù)據(jù)工具
普華永道移動數(shù)據(jù)和分析計劃首席技術(shù)官Ritesh Ramesh說，就精密程度和市場戰(zhàn)略而言，大數(shù)據(jù)工具分解為三層。
第一層：也是最大的一層，是一系列開源工具。每家公司都以這種方式開始，像Cloudera和Hortonworks。除了基本的基礎(chǔ)設(shè)施。服務(wù)器和存儲之外，價值非常小。大多數(shù)云計算廠商已經(jīng)將這一層實(shí)現(xiàn)商品化。
第二層：這是大多數(shù)這些供應(yīng)商已經(jīng)意識到需要增加他們的市場份額的地方，他們必須在開放源代碼工具之上構(gòu)建一些專有應(yīng)用程序，從而與其他供應(yīng)商區(qū)分開。例如，Cloudera公司構(gòu)建了一些類似于Hadoop內(nèi)核中的數(shù)據(jù)科學(xué)平臺。
第三層：這些是垂??直專用的應(yīng)用程序。這些公司大多與普華永道、Cognizant或埃森哲等系統(tǒng)集成商合作。這就是真正的價值所在，而且這也是大數(shù)據(jù)工具制造商非常有效的競爭策略。
Ramesh說，除了基本功能之外，還有三個工具需求領(lǐng)域。首先是數(shù)據(jù)處理工具。他說，“數(shù)據(jù)學(xué)習(xí)工具是客戶進(jìn)行數(shù)據(jù)質(zhì)量和性能分析的工具包中的重要工具，可處理5000萬行數(shù)據(jù)，以發(fā)現(xiàn)洞察力。”
他說，行業(yè)領(lǐng)先的供應(yīng)商還包括Trifacta，Paxata和Talend公司。
第二大類應(yīng)用程序是治理的應(yīng)用程序，例如企業(yè)如何擁有元數(shù)據(jù)定義。“很多人都為此而努力。人們將大量垃圾轉(zhuǎn)儲到數(shù)據(jù)湖中。市場上沒有多少工具可以在數(shù)據(jù)湖中有效地工作。由于大部分這項(xiàng)工作都是由IT人員完成的，他們更有興趣將數(shù)據(jù)輸入到數(shù)據(jù)湖中，而不是將治理結(jié)構(gòu)置于其周圍。”Ramesh說。
這個行業(yè)領(lǐng)域的頂級供應(yīng)商：Waterline Data，Tamr的數(shù)據(jù)編目工具和Collibra。
經(jīng)常出現(xiàn)的第三類需求是安全性的應(yīng)用程序。Ramesh說，“人們希望單一產(chǎn)品具有所有安全訪問層、列、行和對象。他們希望支持差異數(shù)據(jù)對象的用戶訪問和安全性的產(chǎn)品。”
這個行業(yè)領(lǐng)域的主要供應(yīng)商是Wandisco公司和FireEye公司。
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號