今天和一個做某超市的電商的一個技術(shù)核心聊的時候,發(fā)現(xiàn)了一個很重要的信息,我不斷的去思考和挖掘它們是怎么去應(yīng)對大數(shù)據(jù)已經(jīng)淘寶的電商網(wǎng)站的架構(gòu)是如何的。其中得出一下幾點心得,第一:服務(wù)器負責(zé)均衡,第二:數(shù)據(jù)庫主從分離,第三:安全性。
第一點服務(wù)器負責(zé)均衡:
web 負載均衡的作用就是把請求均勻的分配給各個節(jié)點,它是一種動態(tài)均衡,通過一些工具實時地分析數(shù)據(jù)包,掌握網(wǎng)絡(luò)中的數(shù)據(jù)流量狀況,把請求理分配出去。對于不同的應(yīng)用環(huán)境(如電子商務(wù)網(wǎng)站,它的計 算負荷大;再如網(wǎng)絡(luò)數(shù)據(jù)庫應(yīng)用,讀寫頻繁,服務(wù)器的存儲子系統(tǒng)系統(tǒng)面臨很大壓力;再如視頻服務(wù)應(yīng)用,數(shù)據(jù)傳輸量大,網(wǎng)絡(luò)接口負擔(dān)重壓。),使用的均衡策略 (算法)是不同的。 所以均衡策略(算法)也就有了多種多樣的形式,廣義上的負載均衡既可以設(shè)置專門的網(wǎng)關(guān)、負載均衡器,也可以通過一些專用軟件與協(xié)議來實現(xiàn)。在OSI七層協(xié)議模型中的第二(數(shù)據(jù)鏈路層)、第三(網(wǎng)絡(luò)層)、第四(傳輸層)、第七層(應(yīng)用層)都有相應(yīng)的負載均衡策略(算法),在數(shù)據(jù)鏈路層上實現(xiàn)負載均衡的原理是根據(jù)數(shù)據(jù)包的目的MAC地址選擇不同的路徑;在網(wǎng)絡(luò)層上可利用基于IP地址的分配方式將數(shù)據(jù)流疏通到多個節(jié)點;而傳輸層和應(yīng)用層的交換(Switch),本身便是一種基于訪問流量的控制方式,能夠?qū)崿F(xiàn)負載均衡。
目前,基于負載均衡的算法主要有三種:輪循(Round-Robin)、最小連接數(shù)(Least Connections First),和快速響應(yīng)優(yōu)先(Faster Response Precedence)。
①輪循算法,就是將來自網(wǎng)絡(luò)的請求依次分配給集群中的節(jié)點進行處理。
②最小連接數(shù)算法,就是為集群中的每臺服務(wù)器設(shè)置一個記數(shù)器,記錄每個服務(wù)器當(dāng)前的連接數(shù),負載均衡系統(tǒng)總是選擇當(dāng)前連接數(shù)最少的服務(wù)器分配任務(wù)。 這要比"輪循算法"好很多,因為在有些場合中,簡單的輪循不能判斷哪個節(jié)點的負載更低,也許新的工作又被分配給了一個已經(jīng)很忙的服務(wù)器了。
③快速響應(yīng)優(yōu)先算法,是根據(jù)群集中的節(jié)點的狀態(tài)(CPU、內(nèi)存等主要處理部分)來分配任務(wù)。 這一點很難做到,事實上到目前為止,采用這個算法的負載均衡系統(tǒng)還很少。尤其對于硬件負載均衡設(shè)備來說,只能在TCP/IP協(xié)議方面做工作,幾乎不可能深入到服務(wù)器的處理系統(tǒng)中進行監(jiān)測。但是它是未來發(fā)展的方向。
上面是負載均衡常用的算法,基于以上負載均衡算法的使用方式上,又分為如下幾種:
1、DNS輪詢
最早的負載均衡技術(shù)是通過DNS來實現(xiàn)的,在DNS中為多個地址配置同一個名字,因而查詢這個名字的客戶機將得到其中一個地址,從而使得不同的客戶訪問不同的服務(wù)器,達到負載均衡的目的。
DNS負載均衡是一種簡單而有效的方法,但是它不能區(qū)分服務(wù)器的差異,也不能反映服務(wù)器的當(dāng)前運行狀態(tài)。當(dāng)使用DNS負載均衡的時候,必須盡量保證不同的 客戶計算機能均勻獲得不同的地址。由于DNS數(shù)據(jù)具備刷新時間標(biāo)志,一旦超過這個時間限制,其他DNS服務(wù)器就需要和這個服務(wù)器交互,以重新獲得地址數(shù) 據(jù),就有可能獲得不同IP地址。因此為了使地址能隨機分配,就應(yīng)使刷新時間盡量短,不同地方的DNS服務(wù)器能更新對應(yīng)的地址,達到隨機獲得地址,然而將過 期時間設(shè)置得過短,將使DNS流量大增,而造成額外的網(wǎng)絡(luò)問題。DNS負載均衡的另一個問題是,一旦某個服務(wù)器出現(xiàn)故障,即使及時修改了DNS設(shè)置,還是 要等待足夠的時間(刷新時間)才能發(fā)揮作用,在此期間,保存了故障服務(wù)器地址的客戶計算機將不能正常訪問服務(wù)器
2、反向代理服務(wù)器
使用代理服務(wù)器,可以將請求轉(zhuǎn)發(fā)給內(nèi)部的服務(wù)器,使用這種加速模式顯然可以提升靜態(tài)網(wǎng)頁的訪問速度。然而,也可以考慮這樣一種技術(shù),使用代理服務(wù)器將請求均勻轉(zhuǎn)發(fā)給多臺服務(wù)器,從而達到負載均衡的目的。
這種代理方式與普通的代理方式有所不同,標(biāo)準代理方式是客戶使用代理訪問多個外部服務(wù)器,而這種代理方式是代理多個客戶訪問內(nèi)部服務(wù)器,因此也被稱為反向代理模式。雖然實現(xiàn)這個任務(wù)并不算是特別復(fù)雜,然而由于要求特別高的效率,實現(xiàn)起來并不簡單。
使用反向代理的好處是,可以將負載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起,提供有益的性能。然而它本身也存在一些問題,首先就是必須為每一種服務(wù)都專門開發(fā)一個反向代理服務(wù)器,這就不是一個輕松的任務(wù)。
代理服務(wù)器本身雖然可以達到很高效率,但是針對每一次代理,代理服務(wù)器就必須維護兩個連接,一個對外的連接,一個對內(nèi)的連接,因此對于特別高的連接請求, 代理服務(wù)器的負載也就非常之大。反向代理方式下能應(yīng)用優(yōu)化的負載均衡策略,每次訪問最空閑的內(nèi)部服務(wù)器來提供服務(wù)。但是隨著并發(fā)連接數(shù)量的增加,代理服務(wù) 器本身的負載也變得非常大,最后反向代理服務(wù)器本身會成為服務(wù)的瓶頸。
3、地址轉(zhuǎn)換網(wǎng)關(guān)
支持負載均衡的地址轉(zhuǎn)換網(wǎng)關(guān),可以將一個外部IP地址映射為多個內(nèi)部IP地址,對每次TCP連接請求動態(tài)使用其中一個內(nèi)部地址,達到負載均衡的目的。很多 硬件廠商將這種技術(shù)集成在他們的交換機中,作為他們第四層交換的一種功能來實現(xiàn),一般采用隨機選擇、根據(jù)服務(wù)器的連接數(shù)量或者響應(yīng)時間進行選擇的負載均衡 策略來分配負載。由于地址轉(zhuǎn)換相對來講比較接近網(wǎng)絡(luò)的低層,因此就有可能將它集成在硬件設(shè)備中,通常這樣的硬件設(shè)備是局域網(wǎng)交換機。
第二:數(shù)據(jù)庫主從關(guān)系的映射:
很重要一個信息就是數(shù)據(jù)庫的分離,電商的數(shù)據(jù)庫業(yè)務(wù)是這樣做的,業(yè)務(wù)數(shù)據(jù)的增刪改進行的是在主數(shù)據(jù)庫的操作,全部的查詢都是在從數(shù)據(jù)庫操作,大家可能就會有疑問了,那么怎么保證數(shù)據(jù)的一致性呢,是因為數(shù)據(jù)庫服務(wù)進行映射和配置,當(dāng)主數(shù)據(jù)庫發(fā)生了數(shù)據(jù)變化會立刻同步到所有的從數(shù)據(jù)庫。這樣的做法的好處就是減少數(shù)據(jù)庫服務(wù)器的壓力。從而大大的提升查詢和性能。真是一種聰明的做法。
采用的架構(gòu)是:Springmvc+Mybatis+Freemarker+Nginx+Tomcat6.x+Mysql數(shù)據(jù)庫。