IBM Platform Symphony的一個核心優(yōu)勢是，它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性，在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上，為上層各個不同的大數(shù)據(jù)應(yīng)用提供一個多租戶的環(huán)境。同時，它還能支基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)在同一個分布式基礎(chǔ)設(shè)施環(huán)境上運行。

ZD至頂網(wǎng)軟件頻道消息(文/鄒大斌)：隨著大數(shù)據(jù)的價值得以驗證，越來越多人的企業(yè)開始在大數(shù)據(jù)項目上進行投資，這給傳統(tǒng)IT基礎(chǔ)設(shè)施帶來相當(dāng)?shù)奶魬?zhàn)。眾所周知，傳統(tǒng)IT基礎(chǔ)設(shè)施大多是為特定應(yīng)用而構(gòu)建的，在靈活性和可擴展性上都存在明顯不足。在此背景下，人們開始尋找一種更適合大數(shù)據(jù)分析應(yīng)用的IT基礎(chǔ)設(shè)施，而IBM Platform Symphony(以下稱Platform Symphony)正是一個可以幫助企業(yè)構(gòu)建上述基礎(chǔ)設(shè)施的平臺軟件。

作為一個企業(yè)級大數(shù)據(jù)和分析平臺，Platform Symphony的一個核心優(yōu)勢是，它能屏蔽底層基礎(chǔ)設(shè)施的復(fù)雜性，在共享底層基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上，為上層各個不同的大數(shù)據(jù)應(yīng)用提供一個多租戶的環(huán)境。同時，它還能支持Hadoop應(yīng)用，允許一些基于Hadoop開發(fā)的大數(shù)據(jù)應(yīng)用和一些并行計算分析應(yīng)用，在一個集群或者同一個分布式基礎(chǔ)設(shè)施環(huán)境上運行。

以金融領(lǐng)域常見的交叉貨幣互換期權(quán)價值分析應(yīng)用為例。為了完成這項工作，用戶需要模擬未來一段時間內(nèi)本幣利率、外幣利率和外匯匯率的發(fā)展趨勢，并通過用各種不同的利率組合來計算合約在不同情況下的價值。實踐中廣泛采用蒙特卡羅路徑模擬的方式，采用這種分析方法需要模擬大量的蒙特卡羅路徑(模擬的路徑越多，其精確度越高)，計算量非常大，而且耗時。如何管理集群資源，讓其并發(fā)地完成多個蒙特卡羅路徑的模擬，是一個嚴(yán)峻挑戰(zhàn)。通過IBM Platform Symphony構(gòu)建一個分布式網(wǎng)格計算平臺，可以幫助客戶快速部署、管理、監(jiān)控資源，并保證計算的并行化，且沒有單點故障以提高可靠性，最終快速獲得所需要的結(jié)果。

圖1

如圖1所示，這是將交叉貨幣互換期權(quán)價值分析應(yīng)用提交給系統(tǒng)后的結(jié)果。通過這個管理界面，我們可以看到這個應(yīng)用之下有多個會話(Sessio，每個會話就是一個任務(wù)請求);點擊每個會話可以看到這個會話之下有多少個任務(wù)已經(jīng)在運行，有多少個任務(wù)在等待資源分配;點擊一個具體任務(wù)還可以看到這個任務(wù)在哪個機器上運行。對于每個會話、每一個任務(wù)都可以隨時終止、暫停以及重啟，或者對優(yōu)先級別進行調(diào)整。不僅如此，系統(tǒng)還提供了很多各種不同的調(diào)度策略來幫助用戶實現(xiàn)更高的可靠性，以及根據(jù)其服務(wù)水平要求來實現(xiàn)這些資源的調(diào)度，從而很好地滿足各個不同的業(yè)務(wù)部門和應(yīng)用的服務(wù)水平需求。

圖2是交叉貨幣互換期權(quán)價值分析應(yīng)用的整體配置情況圖。基于這些系統(tǒng)管理員可以了解分析應(yīng)用使用的一些特點，同時也可以基于這些數(shù)據(jù)找到系統(tǒng)的一個瓶頸，并進行未來的規(guī)劃，比方究竟需要多少CPU資源，是否需要增加系統(tǒng)內(nèi)存資源或者增加網(wǎng)絡(luò)帶寬等。

圖2

實際上，除了非常方便地調(diào)度和管理底層資源以支撐上層的這些專業(yè)的大數(shù)據(jù)分析應(yīng)用之外，Platform Symphony的優(yōu)勢還在于它對很多開源產(chǎn)品的支持，比如對Spark以及Ipython等的支持和兼容能力，其操作非常簡單，而且非常高效。

圖3是系統(tǒng)管理員通過Platform Symphony的管理控制臺為Sarah_BU這個用戶組創(chuàng)建一個Spark 應(yīng)用實例組，從創(chuàng)建實例組、部署應(yīng)用實例、到為實例配置所需資源都可以在管理控制臺完成，非常簡單、直觀。

圖3

圖4是以用戶(Sarah)身份進入到管理控制臺基于管理員分配的資源進行配置管理，提交Spark任務(wù)并對任務(wù)進行調(diào)度和運行監(jiān)控，比如，運行時使用了多少計算資源、存儲資源等。另外，還可以通過Zeppelin Notebook隨時對Spark應(yīng)用的運行結(jié)果進行查詢和展現(xiàn)，非常方便。

圖4

圖5是在Platform Symphony的管理控制臺中安裝IPython Notebook后，用默認配置啟動一個Spark的實例組和IPython，然后提交一個Spark應(yīng)用。其整個操作都在同一個界面下完成，直觀明了。

圖5

圖6是提交一個新的Spark應(yīng)用，然后用IPython Notebook對應(yīng)用結(jié)果進行查詢。在執(zhí)行過程中，我們還可以根據(jù)需要隨時添加新的用戶進來，讓他可以使用IPython Notebook對Spark運行結(jié)果進行查詢和分析。

圖6

綜上所述，Platform Symphony為大數(shù)據(jù)分析不僅提供了強大的管理、調(diào)度和監(jiān)控功能，同時還提供了很強的對開源軟件的支持和兼容能力，不

僅讓基于Hadoop、Spark開發(fā)的應(yīng)用可以在Platform Symphony中運行，同時能讓用戶可以用熟悉的開源工具，如IPython、Zeppelin等，來對運行結(jié)果進行分析和展現(xiàn)，極大地方便了數(shù)據(jù)的處理工作，最大化地提供了處理效率。

另外值得一提的是，與這些Spark、Hadoop等開源軟件相比，由于Platform Symphony是采用商業(yè)化的軟件模式開發(fā)的，因而在性能、時延等諸多方面都比開源產(chǎn)品有明顯優(yōu)勢。這也反映在一些實際應(yīng)用性能測試上，相較開源軟件，采用Platform Symphony可以有一些大幅度的提高(有些可能達到數(shù)十倍)，尤其是一些對時間延遲比較敏感的一些應(yīng)用。

via:zd至頂網(wǎng)