選擇Isilon部署Hadoop的六大優(yōu)勢

責任編輯:editor005

2015-04-03 14:29:38

摘自:EMC中文支持論壇

利用EMC Isilon橫向擴展 NAS可以將大數(shù)據(jù)集聚合到一個強大但易于管理的存儲平臺上,該平臺具有強大的可擴展性、很高的性能、無與倫比的效率以及運營的靈活性,可支持廣泛的應程序。

介紹

利用EMC Isilon橫向擴展 NAS可以將大數(shù)據(jù)集聚合到一個強大但易于管理的存儲平臺上,該平臺具有強大的可擴展性、很高的性能、無與倫比的效率以及運營的靈活性,可支持廣泛的應程序。本文將為您列舉選擇Isilon橫向擴展NAS進行大數(shù)據(jù)分析的6大優(yōu)勢。

更多信息

Hadoop主要由二個重要組件構成:文件系統(tǒng)(HDFS)和計算系統(tǒng)(MapReduce)。在Hadoop生態(tài)系統(tǒng)中還包括眾多開源工具,如:RHIPE、Pig、Mahout、Hive、HBase等等。Hadoop生態(tài)系統(tǒng)可以參考下圖:

那么在EMC的Isilon橫向擴展NAS上部署Hadoop具備哪些優(yōu)勢呢?總結下來主要是以下六個方面:

1、橫向擴展存儲平臺

Hadoop構建在橫向擴展架構上,可以利于集群上所有節(jié)點引擎的處理能力,高效和快速的運行智能分析軟件。Isilon橫向擴展NAS既能適應不斷變化的基礎架構和數(shù)據(jù)容量需求,也能輕松處理不斷增長的應用流量,而且不失簡單性和易用性。

2、無單點故障

在使用傳統(tǒng)的直連存儲進行Hadoop計算時,所有文件系統(tǒng)命令空間都由一個NameNode進行管理。但是,在Isilon存儲中,每個Isilon節(jié)點都可以響應NameNode請求。每當Hadoop計算客戶端向Isilon集群發(fā)送文件請求時,該請求都會被發(fā)送到不同的Isilon節(jié)點。 在Hadoop環(huán)境中,集群的每個節(jié)點都充當NameNode和SpaceNode,這樣可以對多個映射程序的文件請求實現(xiàn)負載均衡。通過這種方式,Isilon可以消除傳統(tǒng)Hadoop集群存在的單點故障,實現(xiàn)負載均衡。

3、端到端數(shù)據(jù)保護

通過SnapshotIQ、SyncIQ和NDMP功能,Isilon可以提供高性能異地數(shù)據(jù)復制、本地備份和快照功能,已滿足不同端到端數(shù)據(jù)保護需求??蛻艨梢栽谙到y(tǒng)成本和容災要求之間找到很好的平衡。

4、存儲效率業(yè)界領先

Isilon OneFS操作系統(tǒng)使用業(yè)界領先的Erasure Code(糾刪碼)保護數(shù)據(jù),存儲管理員可以在單個目錄下管理整個存儲池,配置簡單高效。另外,Isilon作為第一個為Hadoop HDFS整合大數(shù)據(jù)分析提供的存儲解決方案,同時支持HDFS的1.0和2.0協(xié)議,允許相同的數(shù)據(jù)以多種方式輸出,裸存儲利用率達到80%以上,提供了業(yè)界領先的利用率水平。

5、獨立的可擴展性

Isilon OneFS操作系統(tǒng)是全分布式,具有很好的擴展性,最大可以擴展到144個存儲節(jié)點,單一卷容量可達20PB。相對傳統(tǒng)存儲都是集中式的,擴展性不好。

6、多協(xié)議

Isilon橫向擴展NAS支持眾多行業(yè)標準協(xié)議,如:NFS、SMB、FTP、HTTP和Hadoop HDFS,可以簡化業(yè)務分析計劃、簡化和整合工作流、提高靈活性以及為企業(yè)應用程序提供更大的靈活性。

應用于

選擇Isilon部署Hadoop的六大優(yōu)勢。

轉(zhuǎn)載請在文首保留原文出處:EMC中文支持論壇https://community.emc.com/go/chinese

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號