【編者按】在《InfoWorld》評選的年度最佳開源平臺、基礎設施、管理和編排軟件中，Container相關的軟件上榜無數(shù)，而OpenStack榜上無名，但這并不意味著IaaS的沒落，它仍是云的基石，只是在國外已經(jīng)比較成熟。但在中國市場，說得上的OpenStack案例，往往來自互聯(lián)網(wǎng)公司，盡管有企業(yè)就緒的呼聲，傳統(tǒng)行業(yè)對OpenStack仍然觀望居多。本文介紹了IT大廠聯(lián)想集團基于OpenStack構建私有云的轉型實踐，從技術架構和業(yè)務應用層面，驗證了OpenStack的企業(yè)級高可用。盡管OpenStack承載的仍是互聯(lián)網(wǎng)業(yè)務，但聯(lián)想計劃在年內將20%的IT系統(tǒng)遷移到云，這是難能可貴的一大步。

在走向移動化、社交網(wǎng)絡的過程中，無論傳統(tǒng)的PC與手機都經(jīng)歷著激烈的競爭及快速的技術轉變。在面臨市場的飛速演變與競爭中，聯(lián)想集團提出了從產(chǎn)品導向到用戶導向轉型的新戰(zhàn)略。而只有可快速迭代、彈性擴展的企業(yè)云平臺才能夠支撐聯(lián)想這種業(yè)務創(chuàng)新的需求。經(jīng)過慎重研究與評估后，聯(lián)想IT選擇了基于OpenStack承載其“互聯(lián)網(wǎng)”戰(zhàn)略的企業(yè)云平臺。經(jīng)過半年多的實踐，已經(jīng)建設成為規(guī)模超過3000 Core的OpenStack生產(chǎn)級環(huán)境，數(shù)據(jù)以最高10TB/天的速度快速增長，并計劃在年內將10%~20% IT負載遷移到云環(huán)境。

轉型與云選型

以往的聯(lián)想的內部IT主要面向大型客戶以及渠道為主，系統(tǒng)架構以包括IBM Power小機、AIX、PowerVM、DB2及近年普遍使用的VMware虛擬化的傳統(tǒng)IT架構構建而成。在向互聯(lián)網(wǎng)企業(yè)轉型的過程中，首先在用戶數(shù)與交易量就遠遠無法支撐全新的B2C的業(yè)務。其次在成本方面，聯(lián)想以往的IT架構是大規(guī)模采用商用化的解決方案，可靠但不便擴展且成本昂貴。

此外，對于IT團隊的效率與安全合規(guī)性，傳統(tǒng)的IT架構仍然無法支撐起聯(lián)想面向電商與移動新業(yè)務轉型。2015年，聯(lián)想IT進入到基礎架構再造的階段——需要采用新的云計算平臺來支撐新的業(yè)務。

在選型過程中，聯(lián)想對主流的x86虛擬化技術、私有云平臺、公有云進行了全面分析與對比后，聯(lián)想從穩(wěn)定性、可用性、開放性、以及生態(tài)系統(tǒng)的全面與活躍度等因素考慮，最終認為OpenStack云平臺技術可以滿足聯(lián)想的企業(yè)需求，聯(lián)想確定采用OpenStack作為其業(yè)務持續(xù)創(chuàng)新的基礎云平臺。

在OpenStack架構設計之初，聯(lián)想就考慮了容災方案，包括虛機、云硬盤、數(shù)據(jù)庫等，確保在發(fā)生故障時可以迅速切換，確保業(yè)務的高可靠性。

高可用的架構設計

在邏輯架構上，聯(lián)想企業(yè)云平臺完全通過軟件定義環(huán)境的方式來管理基礎架構，底層采用x86服務器以及10Gb網(wǎng)絡，引入互聯(lián)網(wǎng)式的監(jiān)控運維解決方案，并用OpenStack平臺來管理所有資源。

　　聯(lián)想企業(yè)云邏輯架構

出于高可用角度、最大化的提升云平臺的系統(tǒng)效率，聯(lián)想設計了云平臺的物理架構，并采用高配置的服務器來構成計算、存儲與網(wǎng)絡一體的超融合系統(tǒng)，通過OpenStack整合為統(tǒng)一的資源池，將計算節(jié)點和存儲節(jié)點放在同一個物理節(jié)點上。

　　聯(lián)想企業(yè)云物理架構

硬件層面，雙路的System X3650服務器，以及四路的ThinkServer RQ940，成為了聯(lián)想企業(yè)云平臺的硬件支柱。每節(jié)點用5個SSD硬盤與12個SAS硬盤來構成存儲模塊；SSD不僅用來做存儲的緩沖，也是高性能存儲池資源；并通過VM訪問分布式存儲，來實現(xiàn)系統(tǒng)的高可用性。

為了將OpenStack提升至企業(yè)級服務水平，聯(lián)想在計算、網(wǎng)絡、存儲等方面解決了很多挑戰(zhàn)。

計算

在計算方面，聯(lián)想采用高密度的虛機部署方式，底層基于KVM 虛擬化技術，通過多種優(yōu)化手段，發(fā)揮物理機最大性能，在計算存儲融合架構下對CPU，內存等硬件資源做隔離。最終實現(xiàn)在每臺雙路CPU計算節(jié)點上保證50+虛機仍能平穩(wěn)高效運行。

另外，在云環(huán)境里面一般提倡應用程序自身高可用來應對硬件故障，但仍然有一些應用屬于傳統(tǒng)應用，對于單個主機的可用性還有要求。對于不能做高可用的傳統(tǒng)應用，聯(lián)想通過Compute HA技術實現(xiàn)了計算節(jié)點的高可用，通過多種檢測手段判定計算結點是否發(fā)生故障，將故障物理機上的虛機遷到其它可用的物理機上，整個過程無人值守，最大程度減少因為物理機故障導致的業(yè)務中斷。

　　網(wǎng)絡

l 網(wǎng)絡隔離

使用不同網(wǎng)卡，不同交換機或不同VLAN將各種網(wǎng)絡隔離，如：單獨的OpenStack管理網(wǎng)，虛機生產(chǎn)網(wǎng)絡，存儲網(wǎng)絡，公網(wǎng)，PXE網(wǎng)絡。避免網(wǎng)絡相互干擾，達到提高整體帶寬和更好監(jiān)控網(wǎng)絡的目的。

　　聯(lián)想OpenStack企業(yè)云平臺網(wǎng)絡架構

l 多Public網(wǎng)絡

通過多個Public網(wǎng)絡實現(xiàn)網(wǎng)絡靈活性，便于管理安全策略。比如聯(lián)通Public網(wǎng)絡，電信Public網(wǎng)絡，辦公Public網(wǎng)絡。

　　l 網(wǎng)絡及優(yōu)化

使用VLAN網(wǎng)絡模式，與傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡更好的整合，通過優(yōu)化VLAN數(shù)據(jù)包處理，達到很好的網(wǎng)絡數(shù)據(jù)包處理能力，讓虛機網(wǎng)絡帶寬接近物理網(wǎng)絡帶寬。

l 雙網(wǎng)卡綁定，多交換機

通過雙網(wǎng)卡綁定到不同的交換機達到物理網(wǎng)絡的高可用。

l 網(wǎng)絡節(jié)點HA

通過多個網(wǎng)絡節(jié)點，實現(xiàn)公網(wǎng)的負載均衡及HA，實現(xiàn)高性能和高可用, 網(wǎng)絡節(jié)點使用Router級別的Active/Standby方式實現(xiàn)HA，使用獨立的網(wǎng)絡路由監(jiān)控服務確保網(wǎng)絡HA的穩(wěn)定性。

　　存儲

聯(lián)想OpenStack云平臺采用Ceph作為統(tǒng)一存儲后端，其中Glance鏡像、Nova虛擬機系統(tǒng)盤、Cinder云硬盤的數(shù)據(jù)存儲由Ceph RBD提供，利用Ceph的Copy on Write特性，通過修改OpenStack代碼，可做到秒級虛擬機部署。

Ceph作為統(tǒng)一存儲后端，其性能無疑是企業(yè)核心應用是否虛擬化、云化的關鍵指標之一。在計算存儲共同運行的超融合部署架構中，存儲性能調優(yōu)既要最大化存儲性能、又要保證計算和存儲資源的隔離，保證系統(tǒng)的穩(wěn)定性。針對如下圖所示的整個IO棧，聯(lián)想從下往上，對各層進行了優(yōu)化：

　　l 網(wǎng)絡方面

打開Jumbo幀，提高數(shù)據(jù)傳輸效率；同時可采用10Gb以太網(wǎng)絡來承載Ceph Cluster網(wǎng)絡的流量，提高Ceph數(shù)據(jù)復制效率。

l 性能方面

利用SSD固態(tài)盤作為Ceph OSD日志盤來提高整個集群IO性能，來達到關鍵業(yè)務（如電商系統(tǒng)的數(shù)據(jù)庫業(yè)務等）對性能的要求，做到性能和成本的最佳平衡點。SSD 具有低功耗，響應時間短，高IOPS，高吞吐量的特點。在Ceph的日志系統(tǒng)，對應的是多線程訪問，采用SSD來代替機械硬盤，可以充分發(fā)揮，SSD隨機讀寫響應時間短，高IO吞吐量的特點。通過調整IO調度策略，使之更適合于SSD盤，降低了整個IO的延時。

　　l 合理規(guī)劃

根據(jù)服務器上虛擬機的密度，合理規(guī)劃超融合節(jié)點下Ceph OSD的數(shù)量，并為OSD預分配CPU和內存等資源，同時，為保證系統(tǒng)穩(wěn)定性，采用cgroup、taskset等工具對QEMU-KVM和Ceph OSD進行資源隔離。

l 參數(shù)調優(yōu)

Ceph參數(shù)調優(yōu)方面，通過調整Journal，F(xiàn)ileStore的默認隊列、OSD的OP線程數(shù)等參數(shù)，可有效提高性能。其它更多調優(yōu)參數(shù)，可通過迭代測試，找到當前硬件環(huán)境的最佳參數(shù)。

l 數(shù)據(jù)高可用

數(shù)據(jù)高可用方面，除了OpenStack已有的數(shù)據(jù)保護措施之外，聯(lián)想未來規(guī)劃中的兩地三中心也做了數(shù)據(jù)災備方案的準備：

通過專有的低延遲的光纖專線，數(shù)據(jù)可同步存儲在同城備份中心，可異步存儲在異地災備中心，最大限度保證數(shù)據(jù)安全性。

AD集成

此外，聯(lián)想還將自身的業(yè)務需求融入到了OpenStack企業(yè)云平臺中，作為一個擁有數(shù)萬名員工的大企業(yè)，需要通過AD活動目錄來進行認證，員工就不用單獨再建用戶、記口令等；通過協(xié)作方的定制開發(fā)，聯(lián)想已將AD功能融入OpenStack企業(yè)云平臺之中。

應用成果

在構建好整個OpenStack企業(yè)云平臺之后，聯(lián)想面向“互聯(lián)網(wǎng)”轉型的關鍵才得以展開，電子商務、大數(shù)據(jù)分析、IM、手機在線業(yè)務支撐等互聯(lián)網(wǎng)業(yè)務，從測試到生產(chǎn)真正的由聯(lián)想企業(yè)云平臺支撐起來。從創(chuàng)新應用的測試團隊反饋來看，聯(lián)想企業(yè)云平臺目前運行良好。

在聯(lián)想OpenStack企業(yè)云平臺的建設過程中，聯(lián)想選擇了國內的OpenStack公司提供專業(yè)咨詢與服務，幫助聯(lián)想建設初期平臺，培養(yǎng)了OpenStack專家。對聯(lián)想而言，選擇OpenStack合作伙伴的主要考慮因素，就是對社區(qū)的兼容和不斷的升級，以及企業(yè)級服務經(jīng)驗。