擁抱開源!解析IBM Power8與Hadoop的不解之緣

責(zé)任編輯:editor005

作者:云中子

2016-05-27 14:29:33

摘自:51cto

大數(shù)據(jù)分析不僅改變了企業(yè)開展業(yè)務(wù)的地點(diǎn)和方式,而且還在改變業(yè)務(wù)決策流程的速度與范圍。據(jù)IBM大中華區(qū)硬件系統(tǒng)部PowerSystems產(chǎn)品總監(jiān)李紅介紹,IBM實(shí)驗(yàn)室有一套資產(chǎn)算法,去分析大氣污染,提供算法服務(wù)和支撐。

大數(shù)據(jù)分析不僅改變了企業(yè)開展業(yè)務(wù)的地點(diǎn)和方式,而且還在改變業(yè)務(wù)決策流程的速度與范圍。企業(yè)希望通過投資大數(shù)據(jù)分析技術(shù)來增強(qiáng)客戶體驗(yàn)、提高客戶忠誠(chéng)度、開創(chuàng)全新的創(chuàng)收機(jī)會(huì)。他們需要部署經(jīng)濟(jì)高效的、高性能的、可靠敏捷的IT基礎(chǔ)架構(gòu),以便利用特殊的數(shù)據(jù)資產(chǎn)來產(chǎn)生最佳業(yè)務(wù)成效。

與x86架構(gòu)相比,客戶能夠通過數(shù)量更少但卻更加可靠的Power8服務(wù)器來降低總體擁有成本(TCO)。更重要的是,這些客戶還將能夠受益于不斷發(fā)展壯大的IBM合作伙伴開源生態(tài)圈(OpenPOWER基金會(huì))及一致性附加處理器接口(CAPI)等顛覆性創(chuàng)新技術(shù)所交付的卓越價(jià)值。

  IBM以開放的態(tài)度擁抱開源

IBM一直將開源合作視為創(chuàng)新驅(qū)動(dòng)力,倡導(dǎo)、參與和支持Linux和開源軟件,并將開源技術(shù)融入滿足企業(yè)客戶需求的各種方案中。IBM是大數(shù)據(jù)市場(chǎng)中規(guī)模最大的供應(yīng)商。近10年來,他們投資超過150億美元來開發(fā)全套的大數(shù)據(jù)解決方案。Power對(duì)開源的支持,也使今天的開發(fā)者更容易利用開源技術(shù)開發(fā)大數(shù)據(jù)分析應(yīng)用。

IBM還在Power Systems服務(wù)器上提供最新版本的Ubuntu服務(wù)器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具?;赑ower 的Ubuntu為現(xiàn)有的Linux應(yīng)用向Power移植提供簡(jiǎn)便的通道,用以輕松實(shí)現(xiàn)云部署,建成新的大數(shù)據(jù)和移動(dòng)軟件應(yīng)用,并幫助提升現(xiàn)有云端應(yīng)用的性能。基于Power 的Ubuntu對(duì)已經(jīng)全線支持紅帽和SUSE Linux操作系統(tǒng)的Power Systems產(chǎn)品線提供了良好的補(bǔ)充。

此外,IBM通過OpenPOWER基金會(huì)使POWER8用于開放式的開發(fā)。OpenPOWER基金會(huì)是一個(gè)多家業(yè)內(nèi)公司圍繞著POWER8平臺(tái)成立的聯(lián)合組織,致力于加快數(shù)據(jù)中心的創(chuàng)新及基于POWER8架構(gòu)的系統(tǒng)設(shè)計(jì)變革。OpenPOWER基金會(huì)中不僅包括家喻戶曉的科技巨頭(如Google、Samsung、NVIDIA、Micron及Mellanox),還包括浪潮、中興等國(guó)內(nèi)企業(yè)。OpenPOWER基金會(huì)提供Power軟硬件用于開放型開發(fā),以及Power知識(shí)產(chǎn)權(quán)許可。Power8的開放將為大數(shù)據(jù)分析、移動(dòng)、社交催生更好的基礎(chǔ)架構(gòu)平臺(tái)。

Power8讓Hadoop應(yīng)用性能提升3.65倍

Hadoop是一個(gè)能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式存儲(chǔ)和處理的軟件框架,它具有高可靠性、高擴(kuò)展、容錯(cuò)、高效、低成本的特點(diǎn),一度廣受互聯(lián)網(wǎng)公司青睞,企業(yè)級(jí)用戶也越來越多的接受Hadoop。但凡事都有兩面性,佘暉表示,星環(huán)科技在做Hadoop應(yīng)用和技術(shù)的時(shí)候,發(fā)現(xiàn)Hadoop是非常耗費(fèi)計(jì)算資源的,用戶希望獲得更優(yōu)秀的性能。

通過測(cè)試發(fā)現(xiàn),IBM Power8產(chǎn)品非常適合Hadoop應(yīng)用。據(jù)星環(huán)科技提供資料顯示,在與IBM合作針對(duì)Hadoop的性能優(yōu)化和調(diào)優(yōu)后,IBM做了很多改進(jìn),與x86處理器相比,POWER8實(shí)現(xiàn)了3.65倍的運(yùn)行速度提升。除了性能外,POWER在中國(guó)很多的行業(yè)、在企業(yè)級(jí)市場(chǎng)有著深厚的積淀和客戶群,產(chǎn)品也非常適合這些客戶,這也是星環(huán)科技選擇POWER的原因。

大數(shù)據(jù)助力空氣質(zhì)量預(yù)測(cè)

擁有強(qiáng)大集群能力的POWER服務(wù)器在應(yīng)用方面有何過人之處呢?幫助北京預(yù)測(cè)空氣質(zhì)量就是其中之一。IBM在去年就與北京市政府簽署協(xié)議,利用先進(jìn)的天氣預(yù)報(bào)和云計(jì)算技術(shù),協(xié)助中國(guó)防治大氣污染。

據(jù)了解,北京市政府是IBM“綠色地平線”計(jì)劃(Green Horizon)的合作伙伴之一。IBM與北京市相關(guān)單位合作并共同研發(fā),利用IBM認(rèn)知計(jì)算、大數(shù)據(jù)分析以及物聯(lián)網(wǎng)技術(shù)的優(yōu)勢(shì),分析空氣監(jiān)測(cè)站和氣象衛(wèi)星傳送的實(shí)時(shí)數(shù)據(jù)流,憑借自學(xué)習(xí)能力和超級(jí)計(jì)算處理能力,提供未來72小時(shí)的高精度空氣質(zhì)量預(yù)報(bào),實(shí)現(xiàn)對(duì)北京地區(qū)的污染物來源和分布狀況的實(shí)時(shí)監(jiān)測(cè)。

綠色地平線項(xiàng)目IBM實(shí)驗(yàn)室會(huì)跟環(huán)保局、監(jiān)測(cè)站,收取很多的檢驗(yàn)數(shù)據(jù),通過軟件做預(yù)計(jì)分析。比如原來可以預(yù)測(cè)3天,現(xiàn)在可能提前到10天。

據(jù)IBM大中華區(qū)硬件系統(tǒng)部PowerSystems產(chǎn)品總監(jiān)李紅介紹,IBM實(shí)驗(yàn)室有一套資產(chǎn)算法,去分析大氣污染,提供算法服務(wù)和支撐。因?yàn)槭怯?jì)算密集型的,需要大量計(jì)算,所以用到了剛剛發(fā)布的S812LC平臺(tái)。包括其他產(chǎn)品在內(nèi),構(gòu)成了整個(gè)云平臺(tái)環(huán)境,去完成對(duì)大數(shù)據(jù)的分析,對(duì)污染環(huán)境的預(yù)測(cè)等等。這個(gè)項(xiàng)目目前還在進(jìn)行中,政府也希望這個(gè)項(xiàng)目未來可以推廣擴(kuò)展到其他的城市。

總的來看,IBM Power8依然是高性能、高可靠性的代表,它比較適合計(jì)算比較密集的場(chǎng)景,更適合于做數(shù)據(jù)倉(cāng)庫(kù)、做批處理、數(shù)據(jù)挖掘、模型建模等方面應(yīng)用。因此,它與Hadoop也就有著不解之緣,未來的各種行業(yè)應(yīng)用還在拓展之中,讓我們拭目以待!

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)