從Amazon的DevOps到AWS的崛起

責(zé)任編輯:editor007

作者:林坦

2016-07-05 20:47:25

摘自:36kr

Amazon是一個集合了各種矛盾的地方。它連續(xù)十多年虧損,市值卻節(jié)節(jié)高攀。內(nèi)部開會不用slides而是寫paper。

Amazon是一個集合了各種矛盾的地方。它連續(xù)十多年虧損,市值卻節(jié)節(jié)高攀。內(nèi)部開會不用slides而是寫paper。員工一面抱怨者公司很mean,一面也承認(rèn)學(xué)到了很多。也許唯一不矛盾的地方是都認(rèn)為Jeff Bezos是個不錯的Visionary。

Amazon核聚變

Amazon的技術(shù)既普通又神秘,普通是因?yàn)锳mazon從一個賣書的起家,從來沒造過什么黑科技,每一項(xiàng)技術(shù)運(yùn)用的都過于接地氣而顯得有點(diǎn)屌絲。神秘是因?yàn)锳mazon也從來不樂于分享自己的技術(shù)(內(nèi)部有大量的講座,培訓(xùn),但從來沒有對外的Engieering Blog之類的東西),卻又可以建造出AWS這樣技術(shù)的帝國。

Amazon在工程上做的最牛的一件事,在2002年的一聲炸雷中,Bezos下令:

所有小組必須開放程序功能模塊與數(shù)據(jù)并提供接口

所有小組的模塊通訊必須通過這些接口

所有模塊間不能有其它通訊形勢

所有模塊的設(shè)計(jì)需考慮到將來可以把接口開放給全世界

不這么做的人就滾蛋

這就是著名的SOA(Service Oriented Architecture),放在國內(nèi)現(xiàn)在無論是上市公司還是創(chuàng)業(yè)公司,能得其精髓的也相當(dāng)少,在十幾年前,Bezos就敢如此大規(guī)模的應(yīng)用,腦洞和膽識也不是一般的大。

又或者說那時候就考慮到了AWS形態(tài),以至于要求之一是考慮到把接口開放給全世界。

DevOps形成

在Amazon之前,沒有公司如此大規(guī)模的應(yīng)用過SOA,所以任何其它公司的經(jīng)驗(yàn),咨詢公司都無能為力。在大型SOA的道路上,Amazon也學(xué)得了大量構(gòu)建大型服務(wù)的經(jīng)驗(yàn)。也因?yàn)镾OA對工程師所需能力的客觀性,形成了DevOps文化。

SOA有個比較嚴(yán)重的問題:服務(wù)之間互相連接,系統(tǒng)出錯的時候往往要一個ticket在幾個組之間來回傳幾十次才能找到真正的原因。另外如果上游服務(wù)出錯會嚴(yán)重影響到下游服務(wù)的功能和性能。“由于SOA中遇到的問題,必須靠devs統(tǒng)一考慮解決而不是靠ops打輔助,便有了devops的角色。所以DevOps更適合開拓新領(lǐng)域,尤其是跨幾層網(wǎng)絡(luò)模型的新領(lǐng)域。”(來自Amazon Xia Jie的補(bǔ)充)

為了解決這些問題,撇開臭名昭著的Oncall外,Amazon制造了大量的internal tools,幫助對代碼和服務(wù)進(jìn)行監(jiān)控和管理,每個組可以負(fù)責(zé)好屬于自己的服務(wù),以最快速度解決問題,當(dāng)然也因此經(jīng)常有員工抱怨在Amazon雜事纏身。相比微軟,Google等公司,Amazon真正做到了最大程度的壓榨員工剩余價(jià)值(Jeff不愧是科班出身的華爾街資本家)。

這些internal tools同時也大大提高了員工工作效率,可以讓產(chǎn)品以最快的速度更新迭代,一個工程師便可以完成編寫代碼,測試代碼,版本管理,部署上線,服務(wù)監(jiān)測等任務(wù)。所以一個工程師即是develoepr,也是QA,也是deployer。

Facebook,Airbnb的創(chuàng)始人都說過從Amazon文化上學(xué)到了很多,但也許Jeff對意識形態(tài)的輸出并不感興趣,Amazon從來沒有對外宣傳自己信奉的一些理念。現(xiàn)在看來這樣在對開發(fā)者的號召力上失去一些優(yōu)勢,我認(rèn)為這也許是將來阻礙Amazon發(fā)展的一小塊絆腳石。

無論如何,DevOps從那時起便成為了Amazon的文化之一。

AWS的崛起

目前國內(nèi)很多大型的互聯(lián)網(wǎng)公司內(nèi),internal tools還各自為政,經(jīng)常有不同部門重復(fù)造輪子。而在美國的互聯(lián)網(wǎng)公司,統(tǒng)一internal tools早已經(jīng)是基本常識。Amazon是最積極,最重視,也是最早這么做的公司之一。而在統(tǒng)一了工具后,就會促使工程師們開始想,要么可以把其產(chǎn)品化,提供給其他的公司,要么可以把框架開源,提供給開發(fā)者。

Amazon選擇了產(chǎn)品化,于是AWS誕生了。從第一個服務(wù)EC2開始,到目前為止,比較典型的有虛擬化,文件存儲,數(shù)據(jù)庫,數(shù)據(jù)倉儲,代碼管理,自動部署,持續(xù)發(fā)布,服務(wù)監(jiān)測,服務(wù)配置,自動化運(yùn)維,身份管理,消息隊(duì)列。通通來自Amazon的內(nèi)部工具,在我離開之前,還知道若干個正在產(chǎn)品化的內(nèi)部工具。AWS也不再局限于產(chǎn)品化內(nèi)部工具,同時也積極融合最新的開源技術(shù),把他們加到AWS的陣容中。

而這樣做的好處是,相比Google和Facebook不停嘗試和關(guān)停各種各樣的項(xiàng)目,AWS的服務(wù)幾乎沒有失敗,因?yàn)檫@些工具內(nèi)部已經(jīng)被使用過若干年無數(shù)次,需求早以非常明確,工具也被打磨的比較完善了。這樣一個個幾乎不敗的服務(wù)和產(chǎn)品,使得AWS崛起異常迅猛,即便是微軟和Google快速反應(yīng)過來開始做Azure和Google Cloud,由于缺乏內(nèi)部成因,最終被越甩越遠(yuǎn)。

相比其他公司AWS到底有多領(lǐng)先?我曾參加的Amazon內(nèi)部Conference的時候講到以技術(shù)著稱的Google在AWS推出S3后也推出了類似的服務(wù),當(dāng)時Speaker調(diào)侃到,Google的存儲服務(wù)的內(nèi)部API文檔適用于S3但卻不適用于他們自己的服務(wù),這是為什么呢?

截止2015年,AWS的年?duì)I收增長達(dá)到了81%,營收額為71億美元,而增長排名第二的企業(yè)服務(wù)公司是Salesforce,增長為24%。AWS作為Amazon的一個部門,如果拿出來單獨(dú)上市,其市值的估計(jì)為1000億美元以上,遠(yuǎn)超Salesforce,SAP等企業(yè)服務(wù)公司。接近Oracle,IBM等曾經(jīng)最大巨頭的市值。用戶數(shù)上,AWS穩(wěn)居第一,其數(shù)量是第二名到第三十名的總和的兩倍。近期也看到新聞?wù)fGoogle承認(rèn)在云服務(wù)方面已落后于AWS,希望從自動化方面反超等新聞。不可否認(rèn),AWS的崛起并穩(wěn)占第一,DevOps是因子之一。

Amazon的未來

其實(shí)寫完上一段就沒什么想再說的了,但寫文章總要有個收尾,所以形式上再加幾句。

相比其他大公司的員工對公司的“愛戴”,Amazon的員工似乎更樂于自嘲,經(jīng)常和其他大公司的員工一起吐槽Amazon的公司的福利待遇,嘲笑Amazon的fire phone實(shí)在可笑讓股票大跌3個季度。Bezos也一邊開著萬貨商店,一邊玩著技術(shù),一邊也搗鼓搗鼓火箭。

曾經(jīng)在Peter Thiel的課上聽他講How to invest, 其中之一提到Fouder-led companies outperform in general,其中也舉例了Amazon,反向?qū)Ρ攘俗约航⒌腜aypal。對于Founder而已,公司就像自己的孩子一般。所以盡管有時候?qū)嵲谧屓丝床欢瓸ezos這個Visionary到底在想什么,但很多事只有作為對公司完全傾注了心血的Founder才會更清楚自己的孩子會有一個怎樣的未來。拭目以待吧。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號