以下是現(xiàn)場速記。

普元大數(shù)據(jù)首席顧問 李書超

 

李書超：各位嘉賓下午好!非常榮幸今天給各位嘉賓帶來這樣一個主題分享。

 

主要從我們的視角，最近幾年我們看到的各個行業(yè)對于數(shù)據(jù)建設的一些很好的心得體會，想跟大家做一些分享，給各位嘉賓在自身建設中提供一些幫助，就是非常有意義的事情。

 

分享分三部分：

 

1.數(shù)據(jù)建設的現(xiàn)狀和問題

 

2.數(shù)據(jù)治理運營一體化能力連接。在數(shù)據(jù)建設場景下，需要把全部能力做全景化連接。

 

3.業(yè)界數(shù)據(jù)建設標桿參考

 

一、數(shù)據(jù)建設現(xiàn)狀和問題

 

現(xiàn)在大家講數(shù)字化轉型，無論做業(yè)務的模式變革、業(yè)務的創(chuàng)新，做數(shù)字化的驅動，其實本身對于信息化而言，大部分都是一些IT的重構，之前我和一些大型企業(yè)，比如建行總工聊時，非常精準概括，他認為數(shù)字化轉型本質就是把原有IT重構掉。傳統(tǒng)很多應用，如ERP、MES、PDM、SCADA等很多企業(yè)做得很成熟、做得很好了，未來重構IT，不是把這些系統(tǒng)重新做一遍，會有很多創(chuàng)新的應用產生，如業(yè)務的協(xié)同，產供一體化、銷服一體化、數(shù)字化運營等，個人總結下來，現(xiàn)在要做的未來數(shù)字化應用和傳統(tǒng)的應用有什么區(qū)別?傳統(tǒng)的應用更多是表單流程式的，數(shù)據(jù)自維護，業(yè)務人員自己錄入自己用，或者我錄入給別人用，給業(yè)務操作提供方便。未來有什么特點?有幾個方向：基于數(shù)據(jù)的應用，沒有數(shù)據(jù)玩不轉，而且數(shù)據(jù)不是自己產生的，不是由業(yè)務人員自己錄入的，可能上游給我的，可能內部匯總的，可能是收集的，是給業(yè)務提供建議和指導的，不是提供方便。傳統(tǒng)應用更多是方便，對于超大型企業(yè)而言有IT是必要的，整個IT建設、信息化建設，從最早的無紙化、電算化，上OA、財務系統(tǒng)，大部分是提供便捷，對一些中小企業(yè)而言，沒有這些也可以用。對于未來整個建設思考是在做數(shù)字化轉型，是一些基于數(shù)據(jù)的應用來建設，才能對我提供支撐。

 

數(shù)據(jù)本身存在種種問題，也不一一贅述，幾乎整個業(yè)界大家都非常理解，不可知、不可尋、不可用、不可供、不可連接，總會遇到其中一兩個問題，數(shù)據(jù)質量問題、格式不對、異常、數(shù)據(jù)斷流，種種問題都會困擾著我們。

 

我們在數(shù)據(jù)共享應用中也存在諸多問題，想把數(shù)據(jù)用起來，數(shù)據(jù)在哪里，在硬盤深還是Excel文件。什么形式?接口、數(shù)據(jù)下發(fā)。共享內容也不清晰，需要數(shù)據(jù)的人，不知道數(shù)據(jù)誰有，采購、研發(fā)、技術、銷售、售后各部門之間業(yè)務壁壘嚴重，尤其大型企業(yè)，需要的數(shù)據(jù)哪個部門給我，最終都會找到IT。提供方，數(shù)據(jù)共享給誰，他為什么要這個數(shù)據(jù)，這個數(shù)據(jù)做什么用，這時提供方很擔心的。我有這個數(shù)據(jù)，但數(shù)據(jù)安全性很高。管理職責不明確，誰來管，管什么，如何管，管到什么樣的程度。

 

為了解決這些問題，相信在座的嘉賓自身企業(yè)里或多或少都建了一些數(shù)據(jù)能力，有數(shù)據(jù)集成、實時計算的、報表工具、BI工具、大數(shù)據(jù)平臺、混合的存儲、Hadoop平臺、內存數(shù)據(jù)庫等等非常多樣化的存儲，數(shù)據(jù)的開發(fā)、數(shù)據(jù)治理、主數(shù)據(jù)、隱私計算、數(shù)據(jù)安全，可能上了很多平臺，平臺越來越多時，相信現(xiàn)在沒有任何一家廠商說一個廠商能提供所有的工具，不是重ERP時代了，這時候即使都使用一個廠商的工具，也可能是不同部門研發(fā)的，工具之間如何集成?工具之間會不會一些阻礙?都阻礙著我們去使用數(shù)據(jù)平臺，支撐我們數(shù)據(jù)建設一個非常大的問題，經常各自為戰(zhàn)，如何捏合在一起。

 

我們有了工具，還要干活，無論是我們自己的人還是供應商，還是廠商、外包的，有很多種模式，在這種模式下會有各種各樣的工作，需要有一個需求，業(yè)務提了分析的需求，我要給他出一個報表;老板要看經營情況，跟競爭對手分析的需求，很多分段工作，數(shù)據(jù)的接入、數(shù)據(jù)的治理、數(shù)據(jù)加工、軟件開發(fā)、需求對接這些內容并不是說我們新提出來的，大家都了解，這些事情中可能會包含很多段工作，很多大型客戶就把這些數(shù)據(jù)拆成一段一段的，A廠商做數(shù)據(jù)接入，B廠商做數(shù)據(jù)治理，D廠商做數(shù)據(jù)開發(fā)，因為每個廠商有自己的擅長能力。從分工協(xié)作角度上蠻好的，但是這么運轉過了兩年之后發(fā)現(xiàn)，在整個溝通協(xié)作上會有非常大的問題，因為無論底層工具平臺從原始數(shù)據(jù)，經過集成、計算、元數(shù)據(jù)、標準質量、主數(shù)據(jù)、開發(fā)、隱私計算、報表流轉過來之后，很多時候最終需求的人、需求的用戶可能看到的成果跟他提出的需求確實不匹配，太常見了。很多時候我要的是這個東西，你給我的是另外一個東西。

 

就像綜藝節(jié)目一樣，經常會做傳話游戲，第一個人傳給第二個人，第二個人傳給第三個人，傳到最后，那句話跟開始的本意已經發(fā)生了很大的變化。這也是我們在數(shù)據(jù)建設中發(fā)現(xiàn)的問題，很多大型企業(yè)都在經歷這個陣痛，不是中小企業(yè)就不會這樣，中小企業(yè)可能體量比較小，工作比較少，是不是幾個人就結束掉了。人和人之間的理解還不一樣，所以會導致很多段工作之間有很多問題。最終展現(xiàn)結果和需求不匹配，要找問題，一段一段找，接入時把數(shù)據(jù)來源50億條，接入時少了一些，中間代碼轉換，數(shù)據(jù)格式變了，加工時做了維度上的匯聚，最后展現(xiàn)開發(fā)，生成一個報表，多段分工模式下，會有非常大的協(xié)作模式。

 

現(xiàn)在我們很多客戶，包括我們和客戶共建時開始探討端到端的概念，是否能夠把整體打穿。如何整體打穿?第一部分講的是很多企業(yè)建設過程中遇到的一些困惑、問題，無論平臺還是工具。

 

二、治理運營一體化能力連接

 

治理是什么、運營是什么?治理一詞現(xiàn)在大家叫得比較濫，什么都可能叫治理。運營是什么?數(shù)據(jù)是一個很長的鏈路，數(shù)據(jù)的來源，ERP、MES、WMS，接很多數(shù)據(jù)過來，有很多流式數(shù)據(jù)接入，或工業(yè)互聯(lián)網(wǎng)的壓力、溫度、傳感數(shù)據(jù)接入，還有批量的，然后有數(shù)據(jù)清洗、存儲，存儲上有邏輯的劃分，哪些存在大數(shù)據(jù)平臺，哪些存在內存數(shù)據(jù)庫，包括原始數(shù)據(jù)存在哪里，最后結果存在哪里。進行一些主題和模型的設計，經過一些規(guī)則、算法、關聯(lián)形成數(shù)倉、數(shù)據(jù)集市、大數(shù)據(jù)湖或大數(shù)據(jù)平臺、數(shù)據(jù)中心、主題庫，最終給內部無論是IT也好還是業(yè)務也好共享數(shù)據(jù)，或者把數(shù)據(jù)加工好，把結果提供給他。會發(fā)現(xiàn)這是一個非常長的數(shù)據(jù)鏈路。對這個數(shù)據(jù)鏈路要掌握，而且這個鏈路的工作不是一次性的，這個鏈路會持續(xù)發(fā)生，今天在跑，明天也在跑，而且新來一個需求馬上就跑。所以我們叫做數(shù)據(jù)運營。

 

“運營”一詞最近兩年也被逐漸納入到大家視野中，包括國家現(xiàn)在發(fā)的很多政策，未來政務的公共數(shù)據(jù)要授權運營，肯定是國企。類似于企業(yè)做數(shù)據(jù)運營，未來社會數(shù)據(jù)要進行交易，現(xiàn)在國家“十四五”中講產業(yè)數(shù)字化，數(shù)字產業(yè)化。未來相信在座的各位嘉賓的企業(yè)里的一些數(shù)據(jù)在有安全保障的條件下，可以進入市場進行流通，為企業(yè)通過數(shù)據(jù)創(chuàng)造價值，數(shù)據(jù)交易已經開始了。

 

去年下半年，南方電網(wǎng)把第一筆數(shù)據(jù)交易賣給了廣發(fā)銀行，賣的是制造業(yè)指數(shù)。因為電網(wǎng)是知道每一個企業(yè)里的用電量增加，用電量增加代表業(yè)務增加，無論對金融信貸、國家企業(yè)扶持都有非常大的價值，所以可以把內容包裝成產品。我相信未來無論是我們自身還是很多跟外部的數(shù)據(jù)，都可以把我們的數(shù)據(jù)以產品的形式包裝出去對外營銷，也可以對外采購外部數(shù)據(jù)。相信大家?guī)缀醵紩少復獠繑?shù)據(jù)，未來有些數(shù)據(jù)政府可以提供，有些數(shù)據(jù)是企業(yè)之間互相流通。這是數(shù)據(jù)運營的概念。

 

數(shù)據(jù)治理市什么?更多是對整個數(shù)據(jù)運營過程中相關的模型、知識、算法、規(guī)范、應用每一個內容進行管控的過程，要管理每一個環(huán)節(jié)，所以治理和運營是相輔相成的，是密不可分的。所以才叫做治理和運營的一體化，既要把數(shù)據(jù)運轉用起來，也把數(shù)據(jù)治理好。

 

我們一體化理念是什么?以數(shù)據(jù)資產為核心。“資產”一詞也是好多年前提出來的，不是一個庫、一個表、一個字段就是資產，能夠發(fā)揮資產對內對外的共享和交易的過程。資產為核心，達成全能力有機結合，所有平臺、所有工具都應該為資產服務，有的平臺是用來匯集資產的，有的平臺是用來存儲資產的，有的平臺是用來形成資產、共享資產、治理資產，更好把它用起來的。以數(shù)據(jù)治理為起點形成資產和優(yōu)化資產，以數(shù)據(jù)運營為目標提供資產、應用資產。

 

這時候就把整個治理和運營一體化的場景做一個勾勒，有很多工具，主數(shù)據(jù)、大數(shù)據(jù)平臺、集成工具，這么多工具如何有機結合在一起，能夠為整體企業(yè)發(fā)揮價值，而不是各自為政。

 

如圖，最開始是從整體核心，資產目錄(資源目錄)，本質上就是數(shù)據(jù)的分類展示內容，如何形成一個數(shù)據(jù)的歸集，數(shù)據(jù)的編目、分類、展示，就是一個圖書館一樣，可能會由設計人員、咨詢人員、業(yè)務人員輸出很多相關的模型設計，由技術人員進行元數(shù)據(jù)的采集，有一部分會納入到主數(shù)據(jù)的建設，很大一部分會納入到標準質量，這些其實都是我們去修內功的，如何形成資產、優(yōu)化資產。

 

對外(指IT外部)，對業(yè)務會有多個門戶，無論是面向業(yè)務人員的門戶，面向管理人員的門戶，面向技術人員的門戶，每個門戶都有人提交不同的需求，提交一個需求，希望得到服務，管理人員審批需求，技術人員開發(fā)任務，最終通過數(shù)據(jù)服務做封裝，而且這里跟主數(shù)據(jù)有連接，主數(shù)據(jù)管核心的數(shù)據(jù)，整個治理運營一體化要把全部數(shù)據(jù)覆蓋。要把所有數(shù)據(jù)全合到一起去看，這是我們認為治理和運營一體化的全部場景，可以把你在整個數(shù)據(jù)領域內的相關能力、平臺、工具、工作概括到一起、捏合到一起。當然建立這樣一個運轉機制，對于未來數(shù)據(jù)工作還是非常有價值的。

 

以中間資產目錄為切面，把下面叫做數(shù)據(jù)治理，跟傳統(tǒng)的數(shù)據(jù)、標準、質量是一樣的，上面叫做數(shù)據(jù)運營，未來要把數(shù)據(jù)更好地去面向用戶發(fā)揮價值，做開發(fā)，這是我們講的治理、運營一體化。

 

工具無論用什么，用某一個廠家或用多廠家的，關鍵要捏合到一起。

 

如何做治理?如何做運營?

 

治理現(xiàn)在有非常多的概念，比如通過咨詢做治理，通過基礎平臺做治理，做元數(shù)據(jù)采集，相關內容有很多咨詢廠商或專家也在做探討，我們重點講結果?，F(xiàn)在大家做治理、做數(shù)據(jù)資產的盤點、數(shù)據(jù)資產的形成，更多是自上而下和自下而上相結合，自上而下從業(yè)務出發(fā)，按照業(yè)務分，業(yè)務有研發(fā)、生產、制造、倉儲、物流、營銷、售后，按照業(yè)務主題劃分，層層抽絲剝繭，到主題模型、概念模型、邏輯模型，自上而下有好處，跟業(yè)務結合有好處，缺點是有時候會不接地氣，所以才需要自下而上經過一些工具、技術，找到你做的主題模型落地在哪個系統(tǒng)的哪個庫的哪個表上，這是雙向結合的思路，而且是現(xiàn)在經過了整個行業(yè)錘煉和實踐過來的結果。

 

大家之前講數(shù)據(jù)治理其實更多都是事后的，事后可以做，但缺點是不及時，比如做數(shù)據(jù)質量，有客戶問我做數(shù)據(jù)質量很好，一掃數(shù)據(jù)，10億條中1億條有問題，你發(fā)50萬、100萬條數(shù)據(jù)給業(yè)務，業(yè)務絕對不會給你改的。我們希望把事后能往前推，在事中、事前，甚至跟IT項目的建設過程相結合?，F(xiàn)在大家做數(shù)字化轉型，IT重構，應用重構，要重新做應用，整個相關數(shù)據(jù)的管理就在應用過程中做了，沒有必要等傳統(tǒng)一個系統(tǒng)做完之后再去做治理，這時候要在項目過程中每一個階段去落地一些治理的工作和管控的內容，優(yōu)化數(shù)據(jù)架構、數(shù)據(jù)模型，無論在需求階段、設計階段、開發(fā)測試、上線、運維、迭代、模型變更、質量檢核、數(shù)據(jù)標準規(guī)劃、元數(shù)據(jù)采集、資產關聯(lián)以及相關管控審核，很多企業(yè)寫信息化項目管理規(guī)范時，很多人會寫上一句話，“要進行架構審核，做技術架構、應用架構、數(shù)據(jù)架構”，寫歸寫，數(shù)據(jù)架構怎么審?要做相關管控，去做相關審核，就是要做數(shù)據(jù)架構審核內容。

 

數(shù)據(jù)的運營。運營可能是長期的、長效的，可能有一些是由別人提需求我來反饋結果。這里講到數(shù)據(jù)的需求是全景化的需求，要一個數(shù)據(jù)，給我一個API，是一種返回，我要一個數(shù)據(jù)，給我一個Excel，也是一種返回，你給我一個在線查詢、一個報表，甚至做一個PPT，類似于這樣，未來數(shù)據(jù)運營就是滿足業(yè)務全部的數(shù)據(jù)需求，你有什么樣的需求，統(tǒng)一數(shù)據(jù)源管理，你要取數(shù)，不需要知道數(shù)據(jù)存在哪兒，我要找一個庫存，庫存數(shù)據(jù)在哪兒?在哪個庫哪個表里他也不知道，你告訴我要什么數(shù)據(jù)，我給你取，統(tǒng)一的數(shù)據(jù)源管理，統(tǒng)一的服務封裝，這個服務不是API。

 

通常意義上講的服務都是API，這里的服務是抽象化的，所有數(shù)據(jù)的結果都可以定義為服務，接入式服務，把數(shù)據(jù)接過來，數(shù)據(jù)的下發(fā)，發(fā)給二級公司，數(shù)據(jù)的獲取，給你一個API、Excel，給你數(shù)據(jù)報表，數(shù)據(jù)的加工、租戶的開通、質量的檢核都可以具象化一個服務，有服務就要有人去干，有一些可以通過平臺解決，因為業(yè)界有很多數(shù)據(jù)開發(fā)平臺可以自動化做很多開發(fā)，做服務的封裝，但逃不掉還是有相關技術人員介入的，可以通過開發(fā)的管理，通過技術的開發(fā)來實現(xiàn)數(shù)據(jù)服務需求。

 

也就是說可以把很多數(shù)據(jù)類工作全部以數(shù)據(jù)服務的方式進行封裝，包括接入、數(shù)據(jù)開發(fā)的服務、結果的服務、資源開通的服務、數(shù)據(jù)展示的服務、數(shù)據(jù)治理的服務。

 

信標委有一個大數(shù)據(jù)服務工作組，我本人在組里探討一些未來數(shù)據(jù)標準，未來我們做大數(shù)據(jù)服務，什么是服務?不是API，肯定有很多抽象化的封裝以及具象化的落地。

 

我們希望建立數(shù)據(jù)服務需求、開發(fā)、交付、反饋的全流程，就像電商平臺一樣，下一個訂單，要一個數(shù)據(jù)，這個數(shù)據(jù)怎么包裝好了給你，拿到之后用的好不好，好了給我反饋一下，不好也可以投訴我，對于整個服務來說，通過服務的目錄、服務的申請、版本授權、服務的日志、監(jiān)控這些輔助功能，對服務的全生命周期，通過服務的開發(fā)、發(fā)布、部署、更新、下線以及對相關數(shù)據(jù)源的適配，對各種工具的統(tǒng)一管理，也就是說未來企業(yè)內部很多數(shù)據(jù)都要統(tǒng)一接進來，登一個賬號就可以打開一個報表工具，無論哪個廠商，打開大數(shù)據(jù)平臺、打開數(shù)據(jù)庫、打開機器學習平臺、打開多方安全計算平臺，可以做到統(tǒng)一的門戶上，讓業(yè)務人員提需求，讓開發(fā)人員做開發(fā)，大家把整個認知拉平，把整個任務做一個協(xié)同。這是我們認為從治理到運營從場景到具象化內容的介紹。

 

三、業(yè)界數(shù)據(jù)建設標準參考

 

相信隨著數(shù)字化進程，這一波潮流是國家和行業(yè)驅動下的，數(shù)據(jù)的建設相信未來會逐漸越來越深化，不僅是大型企業(yè)，大數(shù)據(jù)不是量大，是數(shù)據(jù)復雜，業(yè)務就是復雜的，量雖然不大，可能一天就幾百萬條，全年也就幾億條，但數(shù)據(jù)的復雜度決定還是大數(shù)據(jù)，這里需要整個相關建設，很多大型客戶所走過的路未來是很大一部分企業(yè)未來要走的路，因為大家的企業(yè)都是想做大做強。

 

標桿案例參考

 

案例1，助力某制造型企業(yè)，雖然這個領域比較小，是一個細分領域上獨特品類的龍頭，做到了國內第一、世界第一，構建整個產品數(shù)據(jù)全生態(tài)，因為從大家講數(shù)字化應用、產控平衡、數(shù)字化供應鏈，都希望做到按需生產，大型制造業(yè)、機械制造也備品備件，包括供應鏈端和銷售端如何達到平衡，以及跟售后的協(xié)調，無論做主數(shù)據(jù)也好，還是做數(shù)倉也好，都解決不了大型數(shù)字化轉型或數(shù)字化應用的問題，需要以產品為核心，把它從整個后端，從研發(fā)、采購、生產、質量控制到市場銷售、售后服務全環(huán)節(jié)打通，甚至與外部的物流、市場、競品等外部數(shù)據(jù)打通。很多部門之間有大量數(shù)據(jù)需求的，這些需求之間可能被忽視掉或拿不到真實的數(shù)據(jù)，類似這個時候，可以助力他把內部的數(shù)據(jù)打通。

 

案例2，城市級，直轄市公共數(shù)據(jù)數(shù)據(jù)治理應用，也是全國的標桿，未來大家會發(fā)現(xiàn)政務內容原本跟我們可能距離很遠，北京、上海、廣州各地都成立了交易所，未來政務數(shù)據(jù)之后授權運營，相信每一個在座的CIO或每一個企業(yè)都能拿到很多政務有償共享過來的數(shù)據(jù)。未來很多時候政府會首選運營，政府拿出任何社會企業(yè)拿不到的數(shù)據(jù)，比如做供應商入圍，供應商認證，想拿到它的信用數(shù)據(jù)，很多社會企業(yè)只能爬蟲去拿公共的信用數(shù)據(jù)，政府可以拿到它的證照、納稅信息，可能會給你一些評級，類似這樣的時候，公共數(shù)據(jù)也會參與到企業(yè)數(shù)據(jù)流轉，政府會把數(shù)據(jù)給你，你也把數(shù)據(jù)給政府。特斯拉、上汽大眾在林崗的工廠都要給政府上報生產經營數(shù)據(jù)，海關要做無感通關，也就是說有一筆采購可能不做海關查驗，直接讓你通關，比如大眾進口80萬個螺栓，海關不可能人工查，要求在數(shù)據(jù)無感通關之后，到了倉庫入ERP的時候，把ERP的數(shù)據(jù)給我，這時候知道你的入庫數(shù)據(jù)，生產線，這個月下線了多少臺車，下線10萬臺，出口12萬臺，肯定虛報。這是一個趨勢，國家在很多地方做一些試點。這時候，我們通過整個數(shù)據(jù)的歸集，政府體系內數(shù)據(jù)的歸集，體系外的歸集，全部編目，無論做一網(wǎng)通辦、一網(wǎng)同管，所有未來政務信息化應用都在這里整體實現(xiàn)。

 

案例3，一家大型央企，核心是寄遞和郵物，包括銀行、信托、保險，它的總部對31個省公司所有條線、事業(yè)部會有非常大的數(shù)據(jù)需求承接的內容，這時候構建集團數(shù)據(jù)中臺，全部串聯(lián)集融合、存儲、治理和應用全過程，面向不同角色，比如面向內部人員，通過PC端、微信、小程序、APP，給集團總部金融條線、銀行、證券、保險、信托、事業(yè)部、省分公司、電商公司所有人去賦能，一個業(yè)務人員直接在終端上可以提需求，就能看到一個數(shù)據(jù)的報表或拿到一個數(shù)據(jù)的文件。面向客戶，把數(shù)據(jù)包裝成營銷活動、維系活動，給分子公司、網(wǎng)點，未來有非常大的網(wǎng)點賦能的內容，還有電商平臺、營銷人員賦能，面向合作伙伴，未來我們很多時候互相合作，我可以把我的數(shù)據(jù)提供給你，你可以把你的數(shù)據(jù)提供給我，還可以跟監(jiān)管部門、供應商平臺、物流平臺實現(xiàn)多方協(xié)作。相信類似于這樣建設時，真的就可以說通過數(shù)據(jù)的建設形成了一個企業(yè)內外部非常暢通的數(shù)據(jù)生態(tài)的通道。

 

總結

 

1.從我們認知下對各行各業(yè)企業(yè)遇見的數(shù)據(jù)建設中一些常見的現(xiàn)狀和問題做了總結。

 

2.介紹了我們認為要捏合數(shù)據(jù)治理運營一體化相關架構。

 

3.通過我們協(xié)助客戶建設的一些有經驗或者有成效的內容，希望跟各位做一個參考。

 

普元是一家傳統(tǒng)軟件廠商，有相關的中間件、數(shù)據(jù)中臺產品，為很多行業(yè)做場景化數(shù)字應用。

 

我們提供產品，我們更多提供方案，整合性方案，不一定產品都百分之百是我們的，但我們要為客戶整合交付他數(shù)據(jù)領域全體系，至少在數(shù)據(jù)方面。這也是普元公司治理與做的事情。

 

今天分享就到這里，謝謝大家!