數(shù)據(jù)更是金融業(yè)最重要的核心資產(chǎn)之一，然而，在底層數(shù)據(jù)庫平臺上，此前金融行業(yè)長久以來對國外產(chǎn)品依賴度較高。近年來，隨著華為GaussDB、螞蟻金服Oceanbase以及SequoiaDB巨杉數(shù)據(jù)庫等國產(chǎn)自研產(chǎn)品的不斷走向成熟和規(guī)模應(yīng)用，金融行業(yè)在數(shù)據(jù)庫方面也迎來了新的轉(zhuǎn)型期。正如巨杉數(shù)據(jù)庫聯(lián)合創(chuàng)始人兼CTO王濤所言，“金融行業(yè)迎來新的分布式數(shù)據(jù)庫轉(zhuǎn)型期。”

巨杉數(shù)據(jù)庫聯(lián)合創(chuàng)始人兼CTO王濤

三大問題驅(qū)動數(shù)據(jù)庫技術(shù)發(fā)展

“回顧數(shù)據(jù)庫的發(fā)展歷程，主要圍繞解決數(shù)據(jù)量、成本、系統(tǒng)架構(gòu)這三大核心問題。”王濤表示：“ 隨著互聯(lián)網(wǎng)的發(fā)展，企業(yè)需要保存的數(shù)據(jù)也越來越多。過去我們硬件單位成本和計算成本都非常高，一臺大型主機采購成本動輒幾千萬，即使小型機也要幾百萬。而現(xiàn)在幾十萬的服務(wù)器磁盤空間就能達到上百TB，服務(wù)器的成本降低使分布式數(shù)據(jù)庫更便于普及。”

“從系統(tǒng)架構(gòu)來看，隨者企業(yè)不同應(yīng)用的增多，數(shù)據(jù)量的激增，也反過來促進了企業(yè)從傳統(tǒng)單點架構(gòu)向分布式架構(gòu)進行轉(zhuǎn)型。大數(shù)據(jù)理念帶來的數(shù)據(jù)共享、數(shù)據(jù)融合理念結(jié)合互聯(lián)網(wǎng)企業(yè)使用的敏捷開發(fā)會造成整個數(shù)據(jù)庫上層應(yīng)用需要進行重新解耦。原來只需要一個數(shù)據(jù)庫就能滿足現(xiàn)在則需要用十來個甚至幾十個小的數(shù)據(jù)庫才能滿足。這使得數(shù)據(jù)庫的應(yīng)用開發(fā)以及數(shù)據(jù)庫運維理念產(chǎn)生了翻天覆地的變化。現(xiàn)在一個企業(yè)就可能使用三四百個數(shù)據(jù)庫甚至三四千個數(shù)據(jù)庫。”

“此外，針對如今行業(yè)推崇的‘微服務(wù)’架構(gòu)，需要針對應(yīng)用、平臺進行更細粒度的管理，單點式的數(shù)據(jù)庫在服務(wù)微服務(wù)應(yīng)用是必定會存在諸多問題。因此，分布式數(shù)據(jù)庫，實例化、云化的管理能力，才能更好的的支撐新一代云化架構(gòu)下的微服務(wù)應(yīng)用。”

在解決了成本、架構(gòu)、數(shù)據(jù)量的基礎(chǔ)問題后，分布式數(shù)據(jù)庫才能唄大規(guī)模應(yīng)用接納和使用。

兩大維度六個特性幫你選擇下一代分布式數(shù)據(jù)庫

解決數(shù)據(jù)庫發(fā)展的三個大問題，針對金融級的交易應(yīng)用，對分布式數(shù)據(jù)庫提出了更嚴苛的挑戰(zhàn)。

金融機構(gòu)其關(guān)鍵的業(yè)務(wù)是交易型業(yè)務(wù)。“因此用戶在選擇交易型分布數(shù)據(jù)庫主要考慮兩大維度，首先是對傳統(tǒng)技術(shù)的兼容性，另外就是在最新技術(shù)的前瞻性。通過六大技術(shù)特性體現(xiàn)這兩個維度，來幫助用戶選出靠譜的下一代分布式數(shù)據(jù)庫。“王濤這樣表示。

第一是ACID。它是指Atomic(原子性)、Consistency(一致性)、Isolation(隔離性)、Durability(持久性)這是做數(shù)據(jù)庫的最基本要求，這樣才能保證一個提交不會失敗。

第二是對SQL完整支持。要與傳統(tǒng)技術(shù)兼容，需要兼容MySQL甚至Oracle、DB2，要盡量做到讓客戶少改或不更改代碼。

第三安全性。確保當硬件或者數(shù)據(jù)中心宕機的時候?qū)?shù)據(jù)不會造成影響。

從技術(shù)前瞻性出發(fā)，第一點要求就是分布式與靈活擴展。王濤認為，未來5G到來之后，面臨的數(shù)據(jù)量的變化是巨大的。

在數(shù)據(jù)量的吞吐量方面，目前可能我們每秒有幾萬的交易量，在5G之后，可能會達到每秒有幾十萬交易量，包括對非結(jié)構(gòu)化的數(shù)據(jù)的支持?，F(xiàn)在能在10臺機器里部署分布式數(shù)據(jù)庫，需要把這種架構(gòu)和企業(yè)的私有云進行整合。讓他們數(shù)據(jù)實現(xiàn)真正意義上的彈性擴展，當用戶的數(shù)據(jù)量增長之后，不需要用戶自己干預，自動地進行擴充，而不僅是擴充數(shù)據(jù)庫某個實例。

創(chuàng)新的第二點是HTAP(混合事務(wù)分析處理能力)，它要求數(shù)據(jù)庫能夠混合支持OLTP 和 OLAP 業(yè)務(wù)同時處理的能力。HTAP的出現(xiàn)打破事務(wù)處理和分析之間的邊界。支持更多的信息和“實時業(yè)務(wù)”的決策。以銀行用戶為例，應(yīng)用新一代數(shù)據(jù)庫，剛開始只做查詢或交易，后來發(fā)現(xiàn)有不斷有分析或者小的報表業(yè)務(wù)需求的接入，因此分布式數(shù)據(jù)庫能夠支持OLTP 和 OLAP兩種業(yè)務(wù)就成為一種提升平臺能力的必然需求。

此外，面對AI運算更偏重于數(shù)據(jù)計算，數(shù)據(jù)庫的本質(zhì)偏重于存儲，通過類似HTAP的理念，也可以很好的將數(shù)據(jù)應(yīng)用于特定的AI應(yīng)用領(lǐng)域，這塊巨杉的一些探索未來也會找機會分享給大家。

第三，支持云與多租戶。傳統(tǒng)數(shù)據(jù)庫應(yīng)用與數(shù)據(jù)庫基本是一對一映射，但現(xiàn)在分布式數(shù)據(jù)庫面對的是大規(guī)模集群，上層面的應(yīng)用不是一個應(yīng)用而是成百上千個不同的應(yīng)用，每個應(yīng)用有不同業(yè)務(wù)場景和需求，物理層面需要隔離，當面對一些應(yīng)用壓力非常大的時候，還要能保證其他高頻次和交易型應(yīng)用不受干擾，這也分布式數(shù)據(jù)庫需要滿足的場景。

金融業(yè)核心數(shù)據(jù)庫自研升級之路

巨杉數(shù)據(jù)庫目前大型銀行客戶已經(jīng)突破50家，金融生產(chǎn)環(huán)境最大的單集群超過2PB存儲量，銀行用戶最大單集群達到141臺物理服務(wù)器，單集群超過5440億條記錄存儲。其中，應(yīng)用場景也包括了眾多的金融級交易業(yè)務(wù)。

巨杉數(shù)據(jù)庫產(chǎn)品已經(jīng)走過了8年的自研歷程，作為國內(nèi)分布式數(shù)據(jù)庫領(lǐng)域最早的“開路先鋒”，在王濤看來，堅持自研才能保證產(chǎn)品和技術(shù)長期持續(xù)性地健康發(fā)展。

自研絕不是“喊口號”，而是從技術(shù)和商業(yè)角度出發(fā)，基礎(chǔ)軟件的唯一選擇。

“從技術(shù)角度來說，自研代表著完全自主掌控產(chǎn)品代碼和產(chǎn)品的發(fā)展路線，只有這樣才不會受制于人。同時，自研能保證技術(shù)產(chǎn)品的持續(xù)生命力，在快速應(yīng)對客戶需求的同時也保證產(chǎn)品化。最后，自研的技術(shù)閉環(huán)流程要求一個成熟的產(chǎn)品不斷地在金融級應(yīng)用中實踐歷練，獲取市場反饋的同時不斷積累經(jīng)驗、完善細節(jié)，實現(xiàn)持續(xù)地技術(shù)創(chuàng)新和產(chǎn)品化。”

巨杉數(shù)據(jù)庫的架構(gòu)設(shè)計主要采用的計算存儲分離的架構(gòu)，兩層分別展開來看，所有節(jié)點都是完全分布式的，可以進行橫向的彈性擴展。王濤介紹，第一層是數(shù)據(jù)庫的實例層，把整個集群對外體現(xiàn)為一個個的不同的數(shù)據(jù)庫實例，比如MySQL實例、PG實例，甚至還有非結(jié)構(gòu)化實例，對于已有的大部分應(yīng)用可以說做到極低的遷移成本。在存儲引擎方面，巨杉數(shù)據(jù)庫的數(shù)據(jù)存儲、事務(wù)交易放在存儲層，這層叫做分布式存儲層。巨杉數(shù)據(jù)庫引擎完整支持分布式事務(wù)、強一致、多副本高可用，可以完全滿足分布式核心交易業(yè)務(wù)需求;采用原生分布式架構(gòu)，PB 級數(shù)據(jù)彈性擴展。

在今年的數(shù)據(jù)技術(shù)嘉年華大會上，巨杉正式發(fā)布的SequoiaDB巨杉數(shù)據(jù)庫 v3.4版本。SequoiaDB v3.4針對分布式交易業(yè)務(wù)的性能大幅提升。對比上一版，在分布式交易場景，讀寫性能提升達30%，更新性能提升1倍-1.5倍，查詢性能較v3.2提升1.5倍以上。

此外，新版本實現(xiàn)了實現(xiàn)多層級內(nèi)存池和無鎖內(nèi)存模型、數(shù)據(jù)庫集群池化內(nèi)存資源，內(nèi)存池多級管理，會話訪問實現(xiàn) 99.99% 內(nèi)存訪問命中率，實現(xiàn)高并發(fā) OLTP 場景下內(nèi)存的無鎖訪問，SequoiaDB v3.4同時提供在線內(nèi)存監(jiān)控和離線內(nèi)存分析能力，自動化生成內(nèi)存分析報告。 并且推出了多種性能診斷工具，幫助用戶大幅減低運維成本。