小編的話
“技術(shù)干貨”系列文章意在分享技術(shù)牛人的知識(shí)干貨,每期主題都不一樣喲!期待各位讀者在文后發(fā)表留言,來(lái)一場(chǎng)技術(shù)上的交流和思想上的碰撞!本期將由品高大數(shù)據(jù)平臺(tái)產(chǎn)品經(jīng)理李偉文帶來(lái)“云和大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理”的分享。
分享嘉賓
李偉文,目前就任品高大數(shù)據(jù)平臺(tái)——BingoInsightDIG平臺(tái)的產(chǎn)品經(jīng)理,專(zhuān)注于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域,擁有多個(gè)數(shù)據(jù)分析領(lǐng)域項(xiàng)目經(jīng)驗(yàn),14年開(kāi)始轉(zhuǎn)向數(shù)據(jù)平臺(tái)方向的研究,主要負(fù)責(zé)產(chǎn)品規(guī)劃、設(shè)計(jì)和售前支持。
分享正文
大家好,非常榮幸能和大家一起學(xué)習(xí)和交流,品高有將近10年數(shù)據(jù)分析領(lǐng)域的實(shí)施經(jīng)驗(yàn),數(shù)據(jù)分析產(chǎn)品化是必然結(jié)果,所以今天主要跟大家分享一下本人對(duì)企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)的一些觀點(diǎn)和品高大數(shù)據(jù)平臺(tái)BingoInsight的產(chǎn)品設(shè)計(jì)理念,歡迎大家和我碰撞和切磋。
Hadoop和Spark只是框架并非產(chǎn)品,
Hadoop離企業(yè)大數(shù)據(jù)的期望還有一段距離。
企業(yè)使用Hadoop構(gòu)建平臺(tái)會(huì)面臨諸多問(wèn)題,技術(shù)體系龐大選型復(fù)雜、開(kāi)源無(wú)服務(wù)支撐、集群部署復(fù)雜等,Hadoop只解決了數(shù)據(jù)存儲(chǔ)和計(jì)算問(wèn)題,企業(yè)還需考慮數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)運(yùn)維、數(shù)據(jù)開(kāi)放、數(shù)據(jù)可視化等一系列的問(wèn)題;好復(fù)雜,感覺(jué)不會(huì)再愛(ài)了。
因此,我們品高大數(shù)據(jù)平臺(tái)BingoInsight(以下簡(jiǎn)稱(chēng)BingoInsight)的定位就是一站式大數(shù)據(jù)解決方案,幫助企業(yè)快速交付數(shù)據(jù)價(jià)值。以下給大家介紹一下BingoInsight的產(chǎn)品特性和設(shè)計(jì)理念;
第一,存儲(chǔ)和計(jì)算集群環(huán)境:一鍵交付
企業(yè)可自助定義大數(shù)據(jù)平臺(tái)存儲(chǔ)架構(gòu)技術(shù)及集群配置,Hadoop、Spark、Nosql、RDB數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)、全文檢索等集群均可一鍵交付,節(jié)省了軟件部署的諸多時(shí)間。
第二,數(shù)據(jù)采集:只需簡(jiǎn)單配置即可從多種數(shù)據(jù)源快速集成數(shù)據(jù)
可支持的數(shù)據(jù)源包括Oracle、DB2、Mysql、Sqlserver等主流RDB以及Nosql、MPP、文本、FTP、網(wǎng)頁(yè)、Excel、Socket、Webservice,采集周期可以是分鐘、小時(shí)、日、周、月,非常靈活。
第三,數(shù)據(jù)存儲(chǔ)和計(jì)算:開(kāi)放性設(shè)計(jì),擁抱不同的存儲(chǔ)計(jì)算技術(shù),滿(mǎn)足不同企業(yè)的需求
不限制企業(yè)是用hadoop,MPP、RDB作為存儲(chǔ)計(jì)算,企業(yè)可按實(shí)際的數(shù)據(jù)量和應(yīng)用場(chǎng)景靈活選擇。以上BingoInsight支持調(diào)度;
第四,數(shù)據(jù)處理和開(kāi)發(fā):從場(chǎng)景出發(fā),將常見(jiàn)的數(shù)據(jù)處理場(chǎng)景模板化,提升數(shù)據(jù)處理效率
數(shù)據(jù)進(jìn)到數(shù)據(jù)平臺(tái)后怎樣進(jìn)行處理呢? 我們把企業(yè)數(shù)據(jù)處理的場(chǎng)景做了詳細(xì)的梳理和抽象,包括報(bào)表數(shù)據(jù)處理、指標(biāo)數(shù)據(jù)處理、文本分類(lèi)、全文索引構(gòu)建、數(shù)據(jù)挖掘、提數(shù)、數(shù)據(jù)探索等,我們將這些場(chǎng)景總結(jié)沉淀為一個(gè)個(gè)數(shù)據(jù)處理的模板庫(kù),用戶(hù)做數(shù)據(jù)處理和開(kāi)發(fā)時(shí)按需選取一個(gè)數(shù)據(jù)處理的模板,然后再通過(guò)設(shè)置數(shù)據(jù)處理的一些參數(shù)即可進(jìn)行開(kāi)發(fā),相當(dāng)于用戶(hù)在做數(shù)據(jù)處理的時(shí)候不需要開(kāi)發(fā)或者是少量的開(kāi)發(fā)就可以處理數(shù)據(jù)。規(guī)則設(shè)置好之后BingoInsight會(huì)自動(dòng)調(diào)度。
第五,數(shù)據(jù)開(kāi)放和共享:打破部門(mén)壁壘和邊界,統(tǒng)一開(kāi)放數(shù)據(jù)
去年8月份國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,對(duì)政府和企業(yè)明確提出數(shù)據(jù)共享和開(kāi)放要求,BingoInsight通過(guò)數(shù)據(jù)共享開(kāi)放平臺(tái)為政府和企業(yè)各部門(mén)實(shí)現(xiàn)內(nèi)部橫向和垂直部門(mén)的數(shù)據(jù)交換和共享,并以數(shù)據(jù)服務(wù)總線將數(shù)據(jù)統(tǒng)一開(kāi)放,保障數(shù)據(jù)訪問(wèn)的安全和效率,提供數(shù)據(jù)應(yīng)用市場(chǎng),統(tǒng)一管理、分發(fā)、檢索數(shù)據(jù)應(yīng)用
第六,數(shù)據(jù)分析和可視化:讓數(shù)據(jù)盡快應(yīng)用于生產(chǎn)
通過(guò)儀表盤(pán)、報(bào)表、自助分析、數(shù)據(jù)地圖等分析工具快速連接業(yè)務(wù)部門(mén)和數(shù)據(jù),一般情況下 ,業(yè)務(wù)部門(mén)無(wú)需再找IT部門(mén)提數(shù),如工具無(wú)法滿(mǎn)足需求,BingoInsight亦提供基于Html5的數(shù)據(jù)可視化開(kāi)發(fā)框架,提供100多個(gè)數(shù)據(jù)可視化分析組件,快速定制數(shù)據(jù)應(yīng)用。
好的,今天就聊這么多,大家如有疑問(wèn),歡迎在右下方留言,一起交流!
歡迎大家一起來(lái)交流!
想提出問(wèn)題的同學(xué)們,可以在右下方“寫(xiě)留言”,分享嘉賓會(huì)熱情并且耐心地進(jìn)行解答噢!
你想和更多志同道合的技術(shù)大咖一起交流嗎?!你想收聽(tīng)每周的“品高微信群公開(kāi)課”的直播嗎?!加入我們“漫步云端 微信群”吧!
掃描下面二維碼添加“品高云珍珠妹”為好友,輸入“我要入群!”的暗號(hào),即可得到入群指引噢~