小編的話

“技術(shù)干貨”系列文章意在分享技術(shù)牛人的知識(shí)干貨，每期主題都不一樣喲！期待各位讀者在文后發(fā)表留言，來(lái)一場(chǎng)技術(shù)上的交流和思想上的碰撞！本期將由品高大數(shù)據(jù)平臺(tái)產(chǎn)品經(jīng)理李偉文帶來(lái)“云和大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理”的分享。

分享嘉賓

李偉文，目前就任品高大數(shù)據(jù)平臺(tái)——BingoInsightDIG平臺(tái)的產(chǎn)品經(jīng)理，專(zhuān)注于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域，擁有多個(gè)數(shù)據(jù)分析領(lǐng)域項(xiàng)目經(jīng)驗(yàn)，14年開(kāi)始轉(zhuǎn)向數(shù)據(jù)平臺(tái)方向的研究，主要負(fù)責(zé)產(chǎn)品規(guī)劃、設(shè)計(jì)和售前支持。

分享正文

大家好，非常榮幸能和大家一起學(xué)習(xí)和交流，品高有將近10年數(shù)據(jù)分析領(lǐng)域的實(shí)施經(jīng)驗(yàn)，數(shù)據(jù)分析產(chǎn)品化是必然結(jié)果，所以今天主要跟大家分享一下本人對(duì)企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的一些觀點(diǎn)和品高大數(shù)據(jù)平臺(tái)BingoInsight的產(chǎn)品設(shè)計(jì)理念，歡迎大家和我碰撞和切磋。

Hadoop和Spark只是框架并非產(chǎn)品，

Hadoop離企業(yè)大數(shù)據(jù)的期望還有一段距離。

企業(yè)使用Hadoop構(gòu)建平臺(tái)會(huì)面臨諸多問(wèn)題，技術(shù)體系龐大選型復(fù)雜、開(kāi)源無(wú)服務(wù)支撐、集群部署復(fù)雜等，Hadoop只解決了數(shù)據(jù)存儲(chǔ)和計(jì)算問(wèn)題，企業(yè)還需考慮數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)運(yùn)維、數(shù)據(jù)開(kāi)放、數(shù)據(jù)可視化等一系列的問(wèn)題；好復(fù)雜，感覺(jué)不會(huì)再愛(ài)了。

因此，我們品高大數(shù)據(jù)平臺(tái)BingoInsight（以下簡(jiǎn)稱(chēng)BingoInsight）的定位就是一站式大數(shù)據(jù)解決方案，幫助企業(yè)快速交付數(shù)據(jù)價(jià)值。以下給大家介紹一下BingoInsight的產(chǎn)品特性和設(shè)計(jì)理念；

第一，存儲(chǔ)和計(jì)算集群環(huán)境：一鍵交付

企業(yè)可自助定義大數(shù)據(jù)平臺(tái)存儲(chǔ)架構(gòu)技術(shù)及集群配置，Hadoop、Spark、Nosql、RDB數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)、全文檢索等集群均可一鍵交付，節(jié)省了軟件部署的諸多時(shí)間。

第二，數(shù)據(jù)采集：只需簡(jiǎn)單配置即可從多種數(shù)據(jù)源快速集成數(shù)據(jù)

可支持的數(shù)據(jù)源包括Oracle、DB2、Mysql、Sqlserver等主流RDB以及Nosql、MPP、文本、FTP、網(wǎng)頁(yè)、Excel、Socket、Webservice，采集周期可以是分鐘、小時(shí)、日、周、月，非常靈活。

第三，數(shù)據(jù)存儲(chǔ)和計(jì)算：開(kāi)放性設(shè)計(jì)，擁抱不同的存儲(chǔ)計(jì)算技術(shù)，滿(mǎn)足不同企業(yè)的需求

不限制企業(yè)是用hadoop，MPP、RDB作為存儲(chǔ)計(jì)算，企業(yè)可按實(shí)際的數(shù)據(jù)量和應(yīng)用場(chǎng)景靈活選擇。以上BingoInsight支持調(diào)度；

第四，數(shù)據(jù)處理和開(kāi)發(fā)：從場(chǎng)景出發(fā)，將常見(jiàn)的數(shù)據(jù)處理場(chǎng)景模板化，提升數(shù)據(jù)處理效率

數(shù)據(jù)進(jìn)到數(shù)據(jù)平臺(tái)后怎樣進(jìn)行處理呢？ 我們把企業(yè)數(shù)據(jù)處理的場(chǎng)景做了詳細(xì)的梳理和抽象，包括報(bào)表數(shù)據(jù)處理、指標(biāo)數(shù)據(jù)處理、文本分類(lèi)、全文索引構(gòu)建、數(shù)據(jù)挖掘、提數(shù)、數(shù)據(jù)探索等，我們將這些場(chǎng)景總結(jié)沉淀為一個(gè)個(gè)數(shù)據(jù)處理的模板庫(kù)，用戶(hù)做數(shù)據(jù)處理和開(kāi)發(fā)時(shí)按需選取一個(gè)數(shù)據(jù)處理的模板，然后再通過(guò)設(shè)置數(shù)據(jù)處理的一些參數(shù)即可進(jìn)行開(kāi)發(fā)，相當(dāng)于用戶(hù)在做數(shù)據(jù)處理的時(shí)候不需要開(kāi)發(fā)或者是少量的開(kāi)發(fā)就可以處理數(shù)據(jù)。規(guī)則設(shè)置好之后BingoInsight會(huì)自動(dòng)調(diào)度。

第五，數(shù)據(jù)開(kāi)放和共享：打破部門(mén)壁壘和邊界，統(tǒng)一開(kāi)放數(shù)據(jù)

去年8月份國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，對(duì)政府和企業(yè)明確提出數(shù)據(jù)共享和開(kāi)放要求，BingoInsight通過(guò)數(shù)據(jù)共享開(kāi)放平臺(tái)為政府和企業(yè)各部門(mén)實(shí)現(xiàn)內(nèi)部橫向和垂直部門(mén)的數(shù)據(jù)交換和共享，并以數(shù)據(jù)服務(wù)總線將數(shù)據(jù)統(tǒng)一開(kāi)放，保障數(shù)據(jù)訪問(wèn)的安全和效率，提供數(shù)據(jù)應(yīng)用市場(chǎng)，統(tǒng)一管理、分發(fā)、檢索數(shù)據(jù)應(yīng)用

第六，數(shù)據(jù)分析和可視化：讓數(shù)據(jù)盡快應(yīng)用于生產(chǎn)

通過(guò)儀表盤(pán)、報(bào)表、自助分析、數(shù)據(jù)地圖等分析工具快速連接業(yè)務(wù)部門(mén)和數(shù)據(jù)，一般情況下 ，業(yè)務(wù)部門(mén)無(wú)需再找IT部門(mén)提數(shù)，如工具無(wú)法滿(mǎn)足需求，BingoInsight亦提供基于Html5的數(shù)據(jù)可視化開(kāi)發(fā)框架，提供100多個(gè)數(shù)據(jù)可視化分析組件，快速定制數(shù)據(jù)應(yīng)用。

好的，今天就聊這么多，大家如有疑問(wèn)，歡迎在右下方留言，一起交流！

歡迎大家一起來(lái)交流！

想提出問(wèn)題的同學(xué)們，可以在右下方“寫(xiě)留言”，分享嘉賓會(huì)熱情并且耐心地進(jìn)行解答噢！

你想和更多志同道合的技術(shù)大咖一起交流嗎？！你想收聽(tīng)每周的“品高微信群公開(kāi)課”的直播嗎？！加入我們“漫步云端 微信群”吧！

掃描下面二維碼添加“品高云珍珠妹”為好友，輸入“我要入群！”的暗號(hào)，即可得到入群指引噢~