隨著新一代信息技術(shù)的飛速發(fā)展,數(shù)據(jù)已成為重要的戰(zhàn)略性資源,驅(qū)動(dòng)經(jīng)濟(jì)社會(huì)的發(fā)展,提高生產(chǎn)效率,創(chuàng)造更多價(jià)值。如今,數(shù)據(jù)資產(chǎn)正在逐步成為一種極其重要的新的資產(chǎn)類別。
Kyligence聯(lián)合創(chuàng)始人兼CEO 韓卿在3月1日舉辦的Kyligence 2022春季線上論壇中提到:“以前我們都會(huì)把數(shù)據(jù)當(dāng)成資產(chǎn)去運(yùn)營(yíng),但是任何資產(chǎn)其實(shí)都是成本。Thought Works 最近提出了一個(gè)非常重要的概念叫數(shù)據(jù)即產(chǎn)品,這是我們非常認(rèn)可的未來趨勢(shì)。”
據(jù)悉,Kyligence的客戶正在通過其平臺(tái)構(gòu)建數(shù)據(jù)產(chǎn)品,從而對(duì)外提供數(shù)據(jù)價(jià)值,進(jìn)行數(shù)據(jù)變現(xiàn),其中部分客戶所構(gòu)建的數(shù)據(jù)產(chǎn)品,已經(jīng)成為其核心業(yè)務(wù)的收入來源。
數(shù)據(jù)基礎(chǔ)架構(gòu)向去中心化的方向演進(jìn)
隨著企業(yè)IT設(shè)施的增多,煙囪式的數(shù)據(jù)設(shè)施,帶來了數(shù)據(jù)孤島的問題,數(shù)據(jù)的使用、遷移、同步難度過大,且數(shù)據(jù)的不連通使得企業(yè)不能很好地發(fā)掘數(shù)據(jù)價(jià)值。以往的數(shù)倉(cāng)產(chǎn)品僅能處理結(jié)構(gòu)化數(shù)據(jù),但企業(yè)內(nèi)外部繁雜的數(shù)據(jù)類型,使得傳統(tǒng)方法捉襟見肘。
作為Kyligence的投資人,紅點(diǎn)中國(guó)合伙人劉嵐在會(huì)上表示:“湖倉(cāng)一體化的架構(gòu)思路被推向主流,可以很好的解決數(shù)據(jù)孤島的問題,讓企業(yè)內(nèi)部的指標(biāo)管理更統(tǒng)一,數(shù)據(jù)接口更標(biāo)準(zhǔn),分析更自助。而Kyligence正在積極地解決這一問題,并且已在平安、招行等多家銀行客戶落地,提供了標(biāo)準(zhǔn)范式。”
在過去的一到兩年,數(shù)據(jù)基礎(chǔ)架構(gòu)正在從中心化架構(gòu)向去中心化架構(gòu)的方向快速演進(jìn),Kyligence 的產(chǎn)品和架構(gòu)非常符合這樣的發(fā)展方向,已經(jīng)能夠虛擬化不同的數(shù)據(jù)源,并且在中間構(gòu)建了一整套抽象的數(shù)據(jù)集市層,即傳統(tǒng)意義上的統(tǒng)一語(yǔ)義層。通過這個(gè)統(tǒng)一語(yǔ)義層,Kyligence 將企業(yè)內(nèi)外部的所有數(shù)據(jù)看成一個(gè)更大的數(shù)倉(cāng)或數(shù)據(jù)湖,并在其上構(gòu)建了整體的數(shù)據(jù)連接能力。
OLAP on 數(shù)據(jù)湖:提供構(gòu)建數(shù)據(jù)服務(wù)產(chǎn)品的能力
韓卿認(rèn)為,每個(gè)企業(yè)其實(shí)都是一家數(shù)據(jù)公司,都將能夠基于現(xiàn)有數(shù)據(jù)開發(fā)新的產(chǎn)品或創(chuàng)造新的價(jià)值,實(shí)現(xiàn)業(yè)務(wù)的提升與創(chuàng)新,為企業(yè)的數(shù)字化轉(zhuǎn)型奠定良好的基石。與此同時(shí),企業(yè)需要構(gòu)建積極的數(shù)據(jù)文化和生態(tài),數(shù)據(jù)團(tuán)隊(duì)將不再是單純導(dǎo)數(shù)據(jù)的“表哥”和“表姐”,而是與業(yè)務(wù)團(tuán)隊(duì)共同為客戶提供數(shù)據(jù)服務(wù)產(chǎn)品,從而讓企業(yè)實(shí)現(xiàn)更好的業(yè)務(wù)增長(zhǎng)曲線。
基于 Kyligence的OLAP 引擎,企業(yè)可以基于特定的業(yè)務(wù)場(chǎng)景構(gòu)建相應(yīng)的數(shù)據(jù)集市或索引,從而確保這些數(shù)據(jù)能夠更快、更安全地被訪問。Kyligence OLAP on Data Lake,是基于云上的數(shù)據(jù)湖提供的企業(yè)級(jí)OLAP引擎,具備六大特色優(yōu)勢(shì):
1)支持SQL查詢,可以直接使用各種各樣的BI工具或Excel等數(shù)據(jù)服務(wù);
2)其云原生的彈性架構(gòu),只依賴云的存儲(chǔ)和計(jì)算資源;
3)彈性伸縮、定時(shí)啟停集群、夜間休眠等功能,大大降低了云端數(shù)據(jù)分析TCO;
4)通過標(biāo)準(zhǔn)SQL/MDX/Rest API 等多種接口對(duì)接各類前端數(shù)據(jù)工具,以極低的云端成本實(shí)現(xiàn)統(tǒng)一的管控能力;
5)提供審計(jì)接口,助力企業(yè)內(nèi)部的數(shù)據(jù)合規(guī),實(shí)現(xiàn)企業(yè)級(jí)的安全管控能力;
6)通過智能查詢下壓和內(nèi)置AI增強(qiáng)引擎,數(shù)據(jù)管理員能夠更好地運(yùn)維和治理數(shù)據(jù)集。
大數(shù)據(jù)時(shí)代,一線業(yè)務(wù)人員對(duì)于數(shù)據(jù)的敏捷性有著更強(qiáng)烈的需求,為了能夠盡快搶占市場(chǎng)先機(jī),業(yè)務(wù)人員需要及時(shí)使用數(shù)據(jù)開展經(jīng)營(yíng)決策。Kyligence通過統(tǒng)一的語(yǔ)義層,為客戶在云上構(gòu)建多維數(shù)據(jù)集市,業(yè)務(wù)人員只需要在這樣的數(shù)據(jù)集市中進(jìn)行各種操作,而無需關(guān)心這些數(shù)據(jù)來自哪里,是什么類型。通過Kyligence批流一體的能力,業(yè)務(wù)人員只需要使用數(shù)據(jù)就可以了。
OLAP on Data Lake實(shí)現(xiàn)了一套語(yǔ)義支持多個(gè)BI工具,集數(shù)據(jù)定義、安全管理、審計(jì)等能力于一身,實(shí)現(xiàn)了云上數(shù)據(jù)的統(tǒng)一管控能力,避免了Excel場(chǎng)景中大量數(shù)據(jù)被導(dǎo)出后分發(fā)不受控的情況。
韓卿提到,2021年底,Kyligence 在支持亞馬遜云科技Spot Instance后,以更加經(jīng)濟(jì)、高效和高并發(fā)的方式,幫助客戶將云上的支出成本降低了70%以上。
企業(yè)級(jí)指標(biāo)中臺(tái) 以數(shù)據(jù)驅(qū)動(dòng)管理效能提升
在過去的幾年,多數(shù)企業(yè)都在面臨“轉(zhuǎn)型找死,不轉(zhuǎn)等死”的困境,CIO也是一個(gè)非常容易焦慮的群體。數(shù)字化轉(zhuǎn)型趨勢(shì)下,即使是中等規(guī)模以上的BI或數(shù)倉(cāng)的技術(shù)棧,也會(huì)有幾百至幾千張報(bào)表,每張報(bào)表的數(shù)據(jù)指標(biāo)如果在十個(gè)以上,那就意味著有幾萬甚至幾十萬個(gè)業(yè)務(wù)指標(biāo),這些數(shù)據(jù)的口徑是否統(tǒng)一?哪些數(shù)據(jù)被誰使用?哪些是最有價(jià)值的數(shù)據(jù)?這些問題都非常復(fù)雜。
更可怕的是,伴隨ETL任務(wù)的膨脹,一張?jiān)幢砜赡墚a(chǎn)生幾萬張衍生表,而整個(gè)數(shù)倉(cāng)可能充斥著幾百萬張表,無數(shù)個(gè)ETL任務(wù)的重復(fù)性工作,帶來的不僅是存儲(chǔ)問題,不斷被消耗的數(shù)據(jù)集群資源使CIO面臨著更加嚴(yán)峻的挑戰(zhàn)。實(shí)際上,Kyligence能夠很好地解決這一問題,幫助企業(yè)客戶更好地達(dá)成碳中和。
過去的幾年里,各大銀行紛紛投入建設(shè)口徑統(tǒng)一、自上而下的新型指標(biāo)平臺(tái),來有效衡量業(yè)務(wù)經(jīng)營(yíng)和發(fā)展情況,降低業(yè)務(wù)數(shù)據(jù)使用門檻,真正實(shí)現(xiàn)數(shù)據(jù)賦能一線業(yè)務(wù),全面推動(dòng)銀行數(shù)字化經(jīng)營(yíng)。Kyligence在服務(wù)這些銀行類高端客戶的過程中,積累了一整套指標(biāo)中臺(tái)的通用能力。
Kyligence指標(biāo)中臺(tái)解決方案,將助力企業(yè)以指標(biāo)為中心,去構(gòu)建整個(gè)數(shù)字化體系建設(shè)的方法論,從而建立數(shù)據(jù)管理共識(shí),最終服務(wù)于企業(yè)管理目標(biāo)。
多維數(shù)據(jù)集市是指標(biāo)中臺(tái)的最佳技術(shù)底座,Kyligence期望通過其多維數(shù)據(jù)集市,為上層的數(shù)據(jù)指標(biāo)提供更好的能力。基于Kyligence獨(dú)有的AI增強(qiáng)引擎,企業(yè)客戶可以通過現(xiàn)有SQL識(shí)別出相應(yīng)的數(shù)據(jù)集市,并進(jìn)一步通過系統(tǒng)自動(dòng)化地推薦和治理重要指標(biāo)。
據(jù)悉,Kyligence指標(biāo)中臺(tái)支持全生命周期的指標(biāo)自動(dòng)化構(gòu)建和管理,給業(yè)務(wù)人員提供了用數(shù)字化的方式優(yōu)化自身工作的賦能空間。以平安銀行搭建的指標(biāo)管理和指標(biāo)應(yīng)用的統(tǒng)一平臺(tái)——潘多拉平臺(tái)為例,實(shí)現(xiàn)了全生命周期的指標(biāo)自動(dòng)化構(gòu)建和管理,顯著提升了數(shù)據(jù)開發(fā)產(chǎn)能,對(duì)數(shù)據(jù)進(jìn)行了有效的治理。
Kyligence聯(lián)合創(chuàng)始人兼CTO李揚(yáng)在接受企業(yè)網(wǎng)D1Net采訪時(shí)介紹:“指標(biāo)中臺(tái)包含原子指標(biāo)和偏業(yè)務(wù)向的衍生和派生指標(biāo)兩大類,后一類為業(yè)務(wù)創(chuàng)新提供了廣泛的空間。例如,在標(biāo)準(zhǔn)標(biāo)價(jià)之上,業(yè)務(wù)人員可以通過一些營(yíng)銷策略和階梯折扣價(jià),以數(shù)字化的方式證明自己有更好的報(bào)價(jià)方案。在統(tǒng)一的指標(biāo)中臺(tái)的口徑之上,業(yè)務(wù)人員能夠在現(xiàn)有原子指標(biāo)的標(biāo)準(zhǔn)之上進(jìn)行微創(chuàng)新,更能滿足業(yè)務(wù)的靈活性和機(jī)動(dòng)性。”
某銀行經(jīng)營(yíng)管理作戰(zhàn)室,在使用Kyligence 指標(biāo)中臺(tái)技術(shù)能力的過程中,不僅可以從現(xiàn)有的系統(tǒng)中抽取指標(biāo)、進(jìn)行管理,還能以寬表的形式自動(dòng)化或半自動(dòng)化地過渡到以維度為模型的經(jīng)過治理的平臺(tái),大大地降低了ETL 的調(diào)度任務(wù)以及人力干預(yù)。
Kyligence 根據(jù)指標(biāo)的基礎(chǔ)定義,對(duì)指標(biāo)進(jìn)行智能建模,然后通過調(diào)度從數(shù)據(jù)湖中自動(dòng)地加載數(shù)據(jù),對(duì)指標(biāo)進(jìn)行加工和計(jì)算,整個(gè)過程無需手工的 ETL 開發(fā)。通過指標(biāo)查詢引擎,指標(biāo)裝配人員可以對(duì)指標(biāo)進(jìn)行查詢和前端裝配。與傳統(tǒng)方案中指標(biāo)的加工和處理相比,新的方案通過全自動(dòng)化的指標(biāo)加工和計(jì)算,大幅減少了指標(biāo)的 ETL 開發(fā)工作,提升了開發(fā)效率和指標(biāo)的上線速度,從而推動(dòng)了作戰(zhàn)室的快速建設(shè),同時(shí)結(jié)合 Kyligence 的高性能在線聯(lián)機(jī)分析引擎,保障了指標(biāo)的秒級(jí)查詢響應(yīng)。
會(huì)上,Kyligence還分享了某股份制銀行建設(shè)指標(biāo)平臺(tái)推動(dòng)數(shù)據(jù)治理與數(shù)字化戰(zhàn)略的實(shí)踐,以及某領(lǐng)先的城商行通過指標(biāo)平臺(tái)賦能掌上銀行智慧經(jīng)營(yíng)的案例。
云上數(shù)據(jù)分析代運(yùn)營(yíng) 帶給中小企業(yè)的福音
盡管數(shù)字化轉(zhuǎn)型是大勢(shì)所趨,但是對(duì)于中小企業(yè)而言,技術(shù)學(xué)習(xí)、架構(gòu)搭建和部署的時(shí)間和成本都需要持續(xù)性投入,這讓很多企業(yè)負(fù)擔(dān)沉重。
Kyligence在服務(wù)客戶的過程中發(fā)現(xiàn):由于一些中小型企業(yè)的IT 管理人員并非大數(shù)據(jù)專業(yè)出身,因此在云上部署大數(shù)據(jù)基礎(chǔ)設(shè)施時(shí),往往面臨著很大壓力,而維持大數(shù)據(jù)系統(tǒng)的穩(wěn)定,可能比搭建它要困難十倍。中小型企業(yè)更想直接使用專業(yè)的數(shù)據(jù)能力,而非組建整個(gè)數(shù)據(jù)團(tuán)隊(duì)。
為此,Kyligence推出了全托管或半托管的云上數(shù)據(jù)分析代運(yùn)營(yíng)服務(wù),目前這項(xiàng)服務(wù)已支持微軟云 Azure 、亞馬遜云科技、華為云和 Google Cloud 平臺(tái)的用戶使用。
Kyligence Cloud代運(yùn)營(yíng)模式,在數(shù)據(jù)不離開企業(yè)VPC(虛擬私有云)的前提下,以遠(yuǎn)程的方式幫助企業(yè)高效安全地運(yùn)維 Kyligence 產(chǎn)品,并在現(xiàn)有的標(biāo)準(zhǔn)技術(shù)支持體系之上,額外提供集監(jiān)控告警、定期服務(wù)健康檢查、TCO 優(yōu)化建議三位一體的增值服務(wù)。
據(jù)李揚(yáng)介紹:Kyligence推出代運(yùn)營(yíng)服務(wù),就是希望給用戶提供一種拎包入住的體驗(yàn)??蛻粼诰€上進(jìn)行服務(wù)申請(qǐng)后,只需享受大數(shù)據(jù)分析的能力即可,而無需負(fù)擔(dān) IT 運(yùn)維工作,整個(gè)數(shù)據(jù)平臺(tái)的搭建和運(yùn)維都將由 Kyligence 的專業(yè)工程團(tuán)隊(duì)來完成。
Strikingly是一家網(wǎng)站建設(shè)的SaaS服務(wù)商,基于開源 Kylin 構(gòu)建的網(wǎng)絡(luò)流量分析平臺(tái),為全球200多個(gè)國(guó)家的上百萬客戶提供服務(wù)。起初,Strikingly的大數(shù)據(jù)IT管理員負(fù)責(zé)開發(fā)和運(yùn)行簡(jiǎn)單的點(diǎn)擊流分析產(chǎn)品,但服務(wù)不太穩(wěn)定,有時(shí)會(huì)出現(xiàn)服務(wù)不可用的情況,這直接影響其客戶體驗(yàn)。
2021年,Strikingly成為 Kyligence Cloud 代運(yùn)營(yíng)服務(wù)的典型客戶,Kyligence Cloud 是完整的云原生架構(gòu),不僅替換了Hadoop,還將技術(shù)棧遷移到Spark ,以代運(yùn)營(yíng)替換其原有的運(yùn)維方式,不僅大幅節(jié)約了IT資源,具備更強(qiáng)的彈性和伸縮能力,還將云上成本節(jié)約了53%。
Strikingly通過8項(xiàng)關(guān)鍵指標(biāo)幫助其客戶指導(dǎo)網(wǎng)站建設(shè),屬于非常典型的指標(biāo)型的數(shù)據(jù)應(yīng)用。通常,數(shù)據(jù)分析引擎的性能會(huì)隨著數(shù)據(jù)量的增長(zhǎng)呈現(xiàn)線性下降的趨勢(shì),但是Kyligence 的預(yù)計(jì)算技術(shù)在這些數(shù)據(jù)增長(zhǎng)場(chǎng)景下表現(xiàn)非常優(yōu)異,無論是查詢的響應(yīng)速度,還是查詢的吞吐量,均處于非常平穩(wěn)的態(tài)勢(shì)。這說明在典型的指標(biāo)應(yīng)用場(chǎng)景下,預(yù)計(jì)算技術(shù)與指標(biāo)數(shù)據(jù)能夠互相配合,很好地解決了數(shù)據(jù)量增長(zhǎng)、IT 成本也會(huì)隨之不停增長(zhǎng)的問題。
Strikingly CTO 在溝通中反饋:節(jié)約成本并不是其最大收益,Kyligence能夠預(yù)判安全隱患,保障業(yè)務(wù)穩(wěn)定,免除運(yùn)維壓力才是他們最看中的。因?yàn)榫湍壳岸裕胝业揭粋€(gè)好的運(yùn)維人員,對(duì)很多企業(yè)來說非常困難,這不僅是人員薪資,還意味著很多管理成本。
以指標(biāo)為中心 構(gòu)建建設(shè)指標(biāo)中臺(tái)的方法論
在接受企業(yè)網(wǎng)D1Net采訪時(shí)韓卿強(qiáng)調(diào):“Kyligence希望以指標(biāo)為中心構(gòu)建建設(shè)指標(biāo)中臺(tái)的方法論,任何指標(biāo)平臺(tái)一定是一個(gè)管理系統(tǒng),任何技術(shù)都無法解決所有的管理問題,例如不同部門指標(biāo)不統(tǒng)一、指標(biāo)過時(shí)等等,都屬于管理問題。”
因此,首先應(yīng)從管理入手,進(jìn)行變革、協(xié)調(diào)和同步。從高層開始為服務(wù)某個(gè)管理目標(biāo)建立共識(shí),而非單純搭建一個(gè)可視化的平臺(tái)。他舉例,在某公司,IT部門只負(fù)責(zé)做好指標(biāo)平臺(tái)的底座,而數(shù)據(jù)的標(biāo)準(zhǔn)定義則交給規(guī)劃和戰(zhàn)略管理部,這也是一種可行的做法。
其次,企業(yè)應(yīng)該更聚焦、更快地去做閉環(huán)。例如,從一個(gè)部門或從一條產(chǎn)品線完成整個(gè)閉環(huán)鏈路,這樣能夠快速見到成效。不同部門的指標(biāo)定義口徑可能并不相同,而技術(shù)無法解決這一問題,Kyligence的方法是在一個(gè)部門或一條產(chǎn)品線內(nèi)將其打通,形成統(tǒng)一的指標(biāo)口徑或指標(biāo)治理目標(biāo),使效果易于被量化。在收獲良好的成效之后,企業(yè)可以進(jìn)一步地嘗試更多應(yīng)用,實(shí)現(xiàn)邊使用、邊治理,不斷挖掘更多數(shù)據(jù)價(jià)值。