IBM Platform Symphony:功能強大的高效大數(shù)據(jù)分析平臺

責(zé)任編輯:editor04

作者:鄒大斌

2016-02-17 21:41:21

摘自:ZD至頂網(wǎng)

IBM Platform Symphony的一個核心優(yōu)勢是,它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性,在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上,為上層各個不同的大數(shù)據(jù)應(yīng)用提供一個多租戶的環(huán)境。

IBM Platform Symphony的一個核心優(yōu)勢是,它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性,在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上,為上層各個不同的大數(shù)據(jù)應(yīng)用提供一個多租戶的環(huán)境。同時,它還能支基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)在同一個分布式基礎(chǔ)設(shè)施環(huán)境上運行。

ZD至頂網(wǎng)軟件頻道消息(文/鄒大斌):隨著大數(shù)據(jù)的價值得以驗證,越來越多人的企業(yè)開始在大數(shù)據(jù)項目上進行投資,這給傳統(tǒng)IT基礎(chǔ)設(shè)施帶來相當(dāng)?shù)奶魬?zhàn)。眾所周知,傳統(tǒng)IT基礎(chǔ)設(shè)施大多是為特定應(yīng)用而構(gòu)建的,在靈活性和可擴展性上都存在明顯不足。在此背景下,人們開始尋找一種更適合大數(shù)據(jù)分析應(yīng)用的IT基礎(chǔ)設(shè)施,而IBM Platform Symphony(以下稱Platform Symphony)正是一個可以幫助企業(yè)構(gòu)建上述基礎(chǔ)設(shè)施的平臺軟件。

作為一個企業(yè)級大數(shù)據(jù)和分析平臺,Platform Symphony的一個核心優(yōu)勢是,它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性,在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上,為上層各個不同的大數(shù)據(jù)應(yīng)用提供一個多租戶的環(huán)境。同時,它還能支持Hadoop應(yīng)用,允許一些基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)用和一些并行計算分析應(yīng)用,在一個集群或者同一個分布式基礎(chǔ)設(shè)施環(huán)境上運行。

以金融領(lǐng)域常見的交叉貨幣互換期權(quán)價值分析應(yīng)用為例。為了完成這項工作,用戶需要模擬未來一段時間內(nèi)本幣利率、外幣利率和外匯匯率的發(fā)展趨勢,并通過用各種不同的利率組合來計算合約在不同情況下的價值。實踐中廣泛采用蒙特卡羅路徑模擬的方式,采用這種分析方法需要模擬大量的蒙特卡羅路徑(模擬的路徑越多,其精確度越高),計算量非常大,而且耗時。如何管理集群資源,讓其并發(fā)地完成多個蒙特卡羅路徑的模擬,是一個嚴(yán)峻挑戰(zhàn)。通過IBM Platform Symphony構(gòu)建一個分布式網(wǎng)格計算平臺,可以幫助客戶快速部署、管理、監(jiān)控資源,并保證計算的并行化,且沒有單點故障以提高可靠性,最終快速獲得所需要的結(jié)果。

圖1

如圖1所示,這是將交叉貨幣互換期權(quán)價值分析應(yīng)用提交給系統(tǒng)后的結(jié)果。通過這個管理界面,我們可以看到這個應(yīng)用之下有多個會話(Sessio,每個會話就是一個任務(wù)請求);點擊每個會話可以看到這個會話之下有多少個任務(wù)已經(jīng)在運行,有多少個任務(wù)在等待資源分配;點擊一個具體任務(wù)還可以看到這個任務(wù)在哪個機器上運行。對于每個會話、每一個任務(wù)都可以隨時終止、暫停以及重啟,或者對優(yōu)先級別進行調(diào)整。不僅如此,系統(tǒng)還提供了很多各種不同的調(diào)度策略來幫助用戶實現(xiàn)更高的可靠性,以及根據(jù)其服務(wù)水平要求來實現(xiàn)這些資源的調(diào)度,從而很好地滿足各個不同的業(yè)務(wù)部門和應(yīng)用的服務(wù)水平需求。

圖2是交叉貨幣互換期權(quán)價值分析應(yīng)用的整體配置情況圖。基于這些系統(tǒng)管理員可以了解分析應(yīng)用使用的一些特點,同時也可以基于這些數(shù)據(jù)找到系統(tǒng)的一個瓶頸,并進行未來的規(guī)劃,比方究竟需要多少CPU資源,是否需要增加系統(tǒng)內(nèi)存資源或者增加網(wǎng)絡(luò)帶寬等。

圖2

實際上,除了非常方便地調(diào)度和管理底層資源以支撐上層的這些專業(yè)的大數(shù)據(jù)分析應(yīng)用之外,Platform Symphony的優(yōu)勢還在于它對很多開源產(chǎn)品的支持,比如對Spark以及Ipython等的支持和兼容能力,其操作非常簡單,而且非常高效。

圖3是系統(tǒng)管理員通過Platform Symphony的管理控制臺為Sarah_BU這個用戶組創(chuàng)建一個Spark 應(yīng)用實例組,從創(chuàng)建實例組、部署應(yīng)用實例、到為實例配置所需資源都可以在管理控制臺完成,非常簡單、直觀。

圖3

圖4是以用戶(Sarah)身份進入到管理控制臺基于管理員分配的資源進行配置管理,提交Spark任務(wù)并對任務(wù)進行調(diào)度和運行監(jiān)控,比如,運行時使用了多少計算資源、存儲資源等。另外,還可以通過Zeppelin Notebook隨時對Spark應(yīng)用的運行結(jié)果進行查詢和展現(xiàn),非常方便。

圖4

圖5是在Platform Symphony的管理控制臺中安裝IPython Notebook后,用默認配置啟動一個Spark的實例組和IPython,然后提交一個Spark應(yīng)用。其整個操作都在同一個界面下完成,直觀明了。

圖5

圖6是提交一個新的Spark應(yīng)用,然后用IPython Notebook對應(yīng)用結(jié)果進行查詢。在執(zhí)行過程中,我們還可以根據(jù)需要隨時添加新的用戶進來,讓他可以使用IPython Notebook對Spark運行結(jié)果進行查詢和分析。

圖6

綜上所述,Platform Symphony為大數(shù)據(jù)分析不僅提供了強大的管理、調(diào)度和監(jiān)控功能,同時還提供了很強的對開源軟件的支持和兼容能力,不

僅讓基于Hadoop、Spark開發(fā)的應(yīng)用可以在Platform Symphony中運行,同時能讓用戶可以用熟悉的開源工具,如IPython、Zeppelin等,來對運行結(jié)果進行分析和展現(xiàn),極大地方便了數(shù)據(jù)的處理工作,最大化地提供了處理效率。

另外值得一提的是,與這些Spark、Hadoop等開源軟件相比,由于Platform Symphony是采用商業(yè)化的軟件模式開發(fā)的,因而在性能、時延等諸多方面都比開源產(chǎn)品有明顯優(yōu)勢。這也反映在一些實際應(yīng)用性能測試上,相較開源軟件,采用Platform Symphony可以有一些大幅度的提高(有些可能達到數(shù)十倍),尤其是一些對時間延遲比較敏感的一些應(yīng)用。

via:zd至頂網(wǎng)

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號