EMC公司在EMC World 2012上宣布,1000節(jié)點(diǎn)集群Greenplum數(shù)據(jù)分析工作臺(tái)(Greenplum Analytics Workbench)已經(jīng)上線,該工作臺(tái)將作為一種實(shí)驗(yàn)室環(huán)境使用,以加速大數(shù)據(jù)創(chuàng)新的步伐。Greenplum數(shù)據(jù)分析工作臺(tái)的主要用途之一是,作為一種驗(yàn)證環(huán)境,驗(yàn)證Apache Hadoop代碼庫(kù)的可擴(kuò)展性。EMC Greenplum事業(yè)部與Apache軟件基金會(huì)展開(kāi)了積極合作,以確保運(yùn)用該數(shù)據(jù)分析工作臺(tái)得到的數(shù)據(jù)分析結(jié)果能提供給開(kāi)源社區(qū),進(jìn)而利用該工作臺(tái)的資源進(jìn)一步加速Hadoop的發(fā)展,使其成為革命性的大數(shù)據(jù)技術(shù)。來(lái)自全球數(shù)家領(lǐng)先軟件及硬件公司的技術(shù)為Greenplum數(shù)據(jù)分析工作臺(tái)提供了基礎(chǔ)架構(gòu)。
▲
Greenplum數(shù)據(jù)分析工作臺(tái)將用來(lái)測(cè)試橫向擴(kuò)展基礎(chǔ)架構(gòu)技術(shù)的限制,并用來(lái)探索大數(shù)據(jù)分析的各種應(yīng)用方式。無(wú)論是與富有遠(yuǎn)見(jiàn)的學(xué)術(shù)機(jī)構(gòu)就數(shù)據(jù)密集型研究項(xiàng)目展開(kāi)合作,還是與大數(shù)據(jù)應(yīng)用開(kāi)發(fā)商合作,Greenplum事業(yè)部都準(zhǔn)備讓該數(shù)據(jù)分析平臺(tái)為數(shù)據(jù)領(lǐng)域最具創(chuàng)新精神的思想家服務(wù)。
該1000節(jié)點(diǎn)集群也將供Greenplum的Hadoop培訓(xùn)及認(rèn)證級(jí)成員使用。Greenplum將提供一套全面的Hadoop培訓(xùn)課程,向?qū)W員提供運(yùn)用Hadoop所需的知識(shí)和編程技能,首批公開(kāi)提供的課程將于今年夏天推出。Greenplum Hadoop培訓(xùn)課程的獨(dú)特之處是,任何成功完成該課程的個(gè)人都將獲準(zhǔn)使用該1000節(jié)點(diǎn)集群,并將其作為一種沙箱環(huán)境使用。
Greenplum數(shù)據(jù)分析工作臺(tái)是數(shù)家硬件和軟件工作合作的結(jié)果,這些公司旨在共同促進(jìn)Apache Hadoop的發(fā)展,使其成為大數(shù)據(jù)分析的重要工具。這些公司包括:
EMC 英特爾 Mellanox Technologies 美光 希捷 超微 Switch VMware
除了1000多個(gè)硬件節(jié)點(diǎn)(或通過(guò)增加虛擬機(jī)達(dá)到10000個(gè)節(jié)點(diǎn)),該試驗(yàn)臺(tái)集群還包括24PB的物理存儲(chǔ)系統(tǒng)。如果將有記載以來(lái)人類(lèi)全部書(shū)面作品轉(zhuǎn)變成電子數(shù)據(jù)保存,那么24PB接近這些作品數(shù)據(jù)量的一半。
客戶及合作伙伴引言:
美國(guó)加州大學(xué)圣地亞哥分校圣地亞哥超級(jí)計(jì)算機(jī)中心大規(guī)模數(shù)據(jù)系統(tǒng)研究中心(CLDS)主任Chaitan Baru
“加州大學(xué)圣地亞哥分校大規(guī)模數(shù)據(jù)系統(tǒng)研究中心(CLDS)于5月8日至9日在美國(guó)圣何塞舉辦了大數(shù)據(jù)基準(zhǔn)研討會(huì)(Workshop on Big Data Benchmarking),在為大數(shù)據(jù)應(yīng)用開(kāi)發(fā)業(yè)界標(biāo)準(zhǔn)基準(zhǔn)方面,該研討會(huì)激起了極大的熱情。大數(shù)據(jù)基準(zhǔn)社區(qū)已開(kāi)始自發(fā)形成,以在大數(shù)據(jù)基準(zhǔn)領(lǐng)域取得進(jìn)展。就幫助該社區(qū)在這一重要領(lǐng)域取得進(jìn)步而言,Greenplum的1000節(jié)點(diǎn)集群將起到極其重要的作用,并將對(duì)企業(yè)界和科學(xué)應(yīng)用領(lǐng)域產(chǎn)生重要影響。”
Mellanox Technologies公司業(yè)務(wù)拓展副總裁Amir Prescher
“我們的系統(tǒng)已成為有史以來(lái)最大的Hadoop試驗(yàn)臺(tái)集群的一部分,而且我們?yōu)閷?shí)現(xiàn)這一領(lǐng)先的Hadoop非結(jié)構(gòu)化數(shù)據(jù)分析解決方案提供了關(guān)鍵組件,這些都令我們倍感振奮。新的Greenplum數(shù)據(jù)分析工作臺(tái)采用了我們的解決方案,將Hadoop作業(yè)的運(yùn)行時(shí)間縮短到了原來(lái)的1/2,從而優(yōu)化了大數(shù)據(jù)應(yīng)用的效率。Greenplum數(shù)據(jù)分析工作臺(tái)采用了我們的10/40GbE和FDR 56Gbps InfiniBand互連解決方案,其中包括我們的非結(jié)構(gòu)化數(shù)據(jù)加速器(UDA)軟件,該軟件增強(qiáng)了我們解決方案的互連能力,使互連具有低延遲、高吞吐量、低CPU開(kāi)銷(xiāo)和遠(yuǎn)程直接存儲(chǔ)器存取(RDMA)的特色。”
超微計(jì)算機(jī)公司國(guó)際銷(xiāo)售副總裁Wally Liaw
“EMC Greenplum數(shù)據(jù)分析工作臺(tái)的背后,是1000個(gè)數(shù)據(jù)節(jié)點(diǎn)的基礎(chǔ)架構(gòu)和整合性資源,我們?yōu)樵摶A(chǔ)架構(gòu)和整合資源做出了自己的貢獻(xiàn),以期在Hadoop開(kāi)發(fā)人員社區(qū)中加速技術(shù)創(chuàng)新和新應(yīng)用開(kāi)發(fā)。我們的企業(yè)級(jí)服務(wù)器平臺(tái)具有最高的性能,采用了開(kāi)放標(biāo)準(zhǔn)和經(jīng)濟(jì)實(shí)惠的架構(gòu),適用于海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分析。在大數(shù)據(jù)科學(xué)不斷發(fā)展的今天,能為全球Hadoop社區(qū)提供日益增強(qiáng)的支持,令我們倍感振奮。”
EMC高管引言:
EMC公司Greenplum事業(yè)部高級(jí)產(chǎn)品副總裁兼共同創(chuàng)始人Scott Yara
“我們非常高興地宣布,Greenplum數(shù)據(jù)分析工作臺(tái)上線了。隨著越來(lái)越多的公司開(kāi)始進(jìn)行大數(shù)據(jù)分析,基于Hadoop的海量數(shù)據(jù)批處理,加上連續(xù)測(cè)試,已經(jīng)變得至關(guān)重要了,這樣的數(shù)據(jù)處理和測(cè)試能促進(jìn)更好、更快的數(shù)據(jù)分析。”
關(guān)于EMC公司Greenplum事業(yè)部
Greenplum是EMC公司的一個(gè)事業(yè)部,以構(gòu)建大數(shù)據(jù)分析的未來(lái)為己任。Greenplum的數(shù)據(jù)科學(xué)團(tuán)隊(duì)?wèi){借出色的技能開(kāi)發(fā)出了眾多突破性的產(chǎn)品,以加速大數(shù)據(jù)分析的進(jìn)步,并幫助全球企業(yè)實(shí)現(xiàn)機(jī)構(gòu)敏捷性,成為以數(shù)據(jù)為主導(dǎo)的、有預(yù)見(jiàn)性的企業(yè)。Greenplum事業(yè)部提供的產(chǎn)品包括:Greenplum統(tǒng)一數(shù)據(jù)分析平臺(tái)(Greenplum Unified Analytics Platform)、Greenplum數(shù)據(jù)計(jì)算設(shè)備(Greenplum Data Computing Appliance)、Greenplum數(shù)據(jù)庫(kù)(Greenplum Database)、Greenplum數(shù)據(jù)分析實(shí)驗(yàn)室(Greenplum Analytics Lab)、Greenplum HD和Greenplum Chorus 。這些產(chǎn)品體現(xiàn)了開(kāi)放系統(tǒng)、云計(jì)算、虛擬化和社交協(xié)作的威力,能幫助全球企業(yè)利用數(shù)據(jù)獲得更深入的洞察力并從數(shù)據(jù)中獲得更大的價(jià)值。