AWS 將如何在云環(huán)境中進(jìn)一步整合數(shù)據(jù)?

責(zé)任編輯:editor005

作者:核子可樂(lè)譯

2015-10-13 14:45:47

摘自:51CTO

在本屆Reinvent大會(huì)上,Amazon Web Services針對(duì)數(shù)據(jù)在云環(huán)境下的每個(gè)使用階段分別給出了新的方案選項(xiàng)。Amazon QuickSight旨在對(duì)保存在Amazon各服務(wù)當(dāng)中的數(shù)據(jù)進(jìn)行快速分析,并最終可與Tableau等現(xiàn)有商務(wù)智能產(chǎn)品相對(duì)接。

在本屆Reinvent大會(huì)上,Amazon Web Services針對(duì)數(shù)據(jù)在云環(huán)境下的每個(gè)使用階段分別給出了新的方案選項(xiàng)。

AWS 將如何對(duì)云環(huán)境中的數(shù)據(jù)加以整理?

數(shù)據(jù)上傳、數(shù)據(jù)提取與數(shù)據(jù)分析——我們通常會(huì)把這三項(xiàng)功能與云工作負(fù)載關(guān)聯(lián)起來(lái)。Amazon公司在本周三的Reinvent大會(huì)主題演講當(dāng)中宣稱(chēng),未來(lái)將有新型服務(wù)幫助大家搞定這三項(xiàng)任務(wù)——以更具創(chuàng)造力的方式。

舉例來(lái)說(shuō),我們?yōu)槭裁匆ㄟ^(guò)線纜與Amazon對(duì)接才能完成數(shù)據(jù)同步?為什么不直接作為郵包寄給服務(wù)供應(yīng)商?而且考慮到Amazon承載著海量等待進(jìn)行分析處理的數(shù)據(jù),何不推出一款專(zhuān)門(mén)面向商業(yè)客戶(hù)——而非IT人士——的工具,從而幫助他們從信息當(dāng)中獲取價(jià)值?

AWS導(dǎo)入/導(dǎo)出Snowball

“永遠(yuǎn)不要低估數(shù)據(jù)往來(lái)不絕的大規(guī)模傳輸場(chǎng)景下的網(wǎng)絡(luò)帶寬問(wèn)題,”計(jì)算機(jī)科學(xué)家Andy Tannenbaum曾經(jīng)指出。而Amazon針對(duì)數(shù)據(jù)向云端遷移所推出的新設(shè)備顯然將這一箴言融入了血液當(dāng)中。

AWS 將如何對(duì)云環(huán)境中的數(shù)據(jù)加以整理?

AWS導(dǎo)入/導(dǎo)出Snowball的設(shè)計(jì)原型早在2009年就已經(jīng)確立,但Amazon隨后又對(duì)其進(jìn)行了重新定義,旨在幫助用戶(hù)將數(shù)據(jù)保存在指定的設(shè)備當(dāng)中并直接郵寄給Amazon。有了Snowball,Amazon將能夠以自動(dòng)化方式完成整個(gè)硬件裝載郵寄流程,同時(shí)精簡(jiǎn)其往來(lái)投遞工作。

AWS導(dǎo)入/導(dǎo)出Snowball能夠自動(dòng)完成數(shù)據(jù)面向AWS的上傳工作。用戶(hù)的負(fù)載數(shù)據(jù)會(huì)被保存在一款特定設(shè)備當(dāng)中,通過(guò)郵寄交付至AWS并完成上傳,而后再將其寄還給用戶(hù)——整個(gè)過(guò)程只需200美元。

Snowball設(shè)備其實(shí)是一套堅(jiān)固耐用、具備防篡改功能且能夠接入網(wǎng)絡(luò)的磁盤(pán)陣列,同時(shí)具備一個(gè)10 GB網(wǎng)絡(luò)端口。用戶(hù)可以一次性向其中導(dǎo)向50 TB數(shù)據(jù),而后將其郵寄給Amazon公司,從而快速將這部分?jǐn)?shù)據(jù)上傳到指定的S3存儲(chǔ)分卷當(dāng)中。每臺(tái)設(shè)備每次服務(wù)要價(jià)200美元,而每超出限定使用周期10天(即超過(guò)10天仍未將設(shè)備寄回)則需額外承擔(dān)每天15美元的滯納金。

Snowball的主要賣(mài)點(diǎn)在于其極為便利,其能夠確??蛻?hù)在當(dāng)下乃至今后不會(huì)被徹底吞沒(méi)在數(shù)據(jù)海洋當(dāng)中,而又無(wú)力將其及時(shí)上傳至AWS中。另外該設(shè)備當(dāng)中的數(shù)據(jù)會(huì)被加密,Amazon公司還會(huì)在Snowball的郵寄途中不斷更新其當(dāng)前位置:“正郵寄給客戶(hù)”、“正郵寄至AWS”、“導(dǎo)入中”等等。該設(shè)備上的電子墨水掃描裝置甚至能夠作為郵寄標(biāo)簽使用,而Amazon公司表示“未來(lái)可能還會(huì)有更多功能增強(qiáng)機(jī)制推出,包括持續(xù)不斷的GPS位置追蹤。”

Amazon數(shù)據(jù)庫(kù)遷移服務(wù)

對(duì)于那些樂(lè)于將自己的結(jié)構(gòu)化數(shù)據(jù)逐步交由Amazon數(shù)據(jù)中心打理的客戶(hù),AWS也推出了類(lèi)似的方案選項(xiàng):Amazon數(shù)據(jù)庫(kù)遷移服務(wù)。

甲骨文、MySQL或者微軟SQL Server的用戶(hù)可以將數(shù)據(jù)從自己的數(shù)據(jù)中心內(nèi)復(fù)制到AWS中的同類(lèi)數(shù)據(jù)庫(kù)處,或者是選擇另一種完全不同的遷移目的地——例如將甲骨文數(shù)據(jù)庫(kù)內(nèi)容導(dǎo)入到MySQL中。AWS方面提供一款使得的模式轉(zhuǎn)換工具,能夠確保轉(zhuǎn)換后的數(shù)據(jù)不會(huì)在遷移過(guò)程中受到任何破壞,而Amazon公司還強(qiáng)調(diào)稱(chēng)其建議客戶(hù)以并行方式使用該功能,因?yàn)槠淇赡茉谀承┠繕?biāo)平臺(tái)上無(wú)法正常起效。

這項(xiàng)服務(wù)的計(jì)費(fèi)機(jī)制以每虛擬機(jī)實(shí)例每小時(shí)計(jì)算——也就是運(yùn)行該遷移服務(wù)的虛擬機(jī)數(shù)量(起步價(jià)位為每小時(shí)1.8美分),不過(guò)像Migration Service實(shí)例這類(lèi)在同一可用區(qū)內(nèi)遷移的數(shù)據(jù)庫(kù)無(wú)需任何使用成本。

那么這項(xiàng)服務(wù)的目標(biāo)受眾何在?可能主要是那些有意向Amazon遷移,但卻沒(méi)有能力或者沒(méi)有時(shí)間自行實(shí)施的客戶(hù)。通過(guò)這樣一種方式,此類(lèi)客戶(hù)能夠在后端建立起一條數(shù)據(jù)復(fù)制通道,其與現(xiàn)有業(yè)務(wù)運(yùn)營(yíng)體系并行不悖,而且不至于由于全面向AWS遷移而導(dǎo)致正常業(yè)務(wù)陷入停滯。

Amazon Kinesis Firehose

Amazon的Kinesis服務(wù)旨在幫助AWS客戶(hù)捕捉并處理實(shí)時(shí)數(shù)據(jù),無(wú)論其來(lái)自何處。作為全新方案選項(xiàng),Amazon Kinesis Firehose并沒(méi)有在實(shí)質(zhì)上做出任何改變——事實(shí)上,它反而對(duì)原有功能進(jìn)行了削減。

顧名思義,F(xiàn)irehose更像是一款連接器,允許客戶(hù)在獲取到數(shù)據(jù)流時(shí)將其寫(xiě)入到S3或者Redshift當(dāng)中。Firehose對(duì)于數(shù)據(jù)流的惟一額外操作(可選)就是進(jìn)行壓縮或者加密。而從客戶(hù)角度出發(fā),他們可以在數(shù)據(jù)出現(xiàn)之前為其設(shè)定緩存大小以及將要寫(xiě)入的目標(biāo)存儲(chǔ)桶。

有趣的是,F(xiàn)Irehose服務(wù)還允許大家以獨(dú)立方式對(duì)數(shù)據(jù)進(jìn)行收集與處理。舉例來(lái)說(shuō),用戶(hù)能夠在Firehose數(shù)據(jù)抵達(dá)目標(biāo)S3存儲(chǔ)桶時(shí)觸發(fā)AWS Lambda任務(wù)。如此一來(lái),我們就能以數(shù)據(jù)輸入為條件進(jìn)行任何需要的工作,而且只需要為每種Lambda處理模型完成最基本的代碼編寫(xiě)。

QuickSight

云環(huán)境下的數(shù)據(jù)本身可能質(zhì)量不高。Amazon公司從傳統(tǒng)角度講缺乏豐富的選項(xiàng)來(lái)以規(guī)?;绞绞占⒋鎯?chǔ)數(shù)據(jù),但現(xiàn)在其為用戶(hù)帶來(lái)一種新的方案,能夠?qū)σ呀?jīng)儲(chǔ)備到的全部數(shù)據(jù)進(jìn)行分析以及可視化處理——這一切皆由一項(xiàng)托管在Amazon上的服務(wù)實(shí)現(xiàn),也就是QuickSight。

AWS 將如何對(duì)云環(huán)境中的數(shù)據(jù)加以整理?

Amazon的新型商務(wù)智能產(chǎn)品Q(chēng)uickSight能夠與Amazon的現(xiàn)有數(shù)據(jù)庫(kù)集合(包括RDS、DynamoDB、ElastiCache以及Redshift)以及分析系統(tǒng)(包括EMR、DataPipeline、Elasticsearch Service、Kinesis以及機(jī)器學(xué)習(xí)等)相對(duì)接。一旦接入給定數(shù)據(jù)源,用戶(hù)則可以使用一套界面操作類(lèi)似于Tableau簡(jiǎn)化版的產(chǎn)品,同時(shí)從最適合選定數(shù)據(jù)集的可視化工具推薦中挑選對(duì)應(yīng)方案。

Amazon QuickSight旨在對(duì)保存在Amazon各服務(wù)當(dāng)中的數(shù)據(jù)進(jìn)行快速分析,并最終可與Tableau等現(xiàn)有商務(wù)智能產(chǎn)品相對(duì)接。

Amazon公司的云產(chǎn)品對(duì)于用戶(hù)的技能水平一直有著比較高的要求,但這一次推出的QuickSight似乎非常直觀且簡(jiǎn)潔——這也可以理解,畢竟該服務(wù)的主要受眾為企業(yè)中的業(yè)務(wù)人員而非IT人員。作為另一項(xiàng)面向業(yè)務(wù)用戶(hù)的方案,Amazon還承諾可以將由QuickSight收集到的數(shù)據(jù)通過(guò)SQL類(lèi)命令語(yǔ)言進(jìn)行訪問(wèn),這意味著其它合作產(chǎn)品(目前包括Domo、Qlik、Tableau以及Tibco)最終將能夠使用QuickSight提供的內(nèi)存內(nèi)處理機(jī)制。換言之,我們最終一定會(huì)迎來(lái)將Excel導(dǎo)入QuickSight的途徑,否則Amazon將錯(cuò)過(guò)Excel這一在企業(yè)客戶(hù)中普及程度最高的自助式數(shù)據(jù)處理工具。

而作為吸引企業(yè)客戶(hù)的另一大賣(mài)點(diǎn),QuickSight每用戶(hù)每月只需支付12美元,如果一次訂購(gòu)整年則每用戶(hù)每月只折合9美元。使用者每次最多可以將來(lái)自其它系統(tǒng)的10 GB數(shù)據(jù)導(dǎo)入QuickSight,且存儲(chǔ)容量供大家免費(fèi)使用。不過(guò)企業(yè)客戶(hù)恐怕還需要一段時(shí)間的評(píng)估來(lái)審視Amazon的這項(xiàng)新服務(wù)是否真的優(yōu)于傳統(tǒng)商務(wù)智能方案——畢竟QuickSight預(yù)計(jì)要到“2016年年初”才會(huì)正式推出。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)