美團(tuán)數(shù)據(jù)挖掘工程師分析企業(yè)大數(shù)據(jù)

責(zé)任編輯:一三

2014-01-26 15:52:12

摘自:CSDN

云計算再掀創(chuàng)業(yè)熱潮,19家企業(yè)入駐微軟創(chuàng)投,愛奇藝運營副總裁詳細(xì)談了他們是如何挖掘5.5億用戶數(shù)據(jù)價值的。

本周的云熱點,關(guān)注點有:阿里巴巴資深專家詳細(xì)解析分布式系統(tǒng)的事務(wù)處理經(jīng)典問題及模型,美團(tuán)網(wǎng)從事數(shù)據(jù)開發(fā)和挖掘工作的梁堰波分析如何讓大數(shù)據(jù)在企業(yè)當(dāng)中發(fā)揮價值,AWS啟動大規(guī)模降價(其中部分產(chǎn)品降幅達(dá)到50%),還有IBM 斥資12億美元在全球建造數(shù)據(jù)中心。云計算再掀創(chuàng)業(yè)熱潮,19家企業(yè)入駐微軟創(chuàng)投,愛奇藝運營副總裁詳細(xì)談了他們是如何挖掘5.5億用戶數(shù)據(jù)價值的。下面我們來詳細(xì)梳理一下本周的熱點云資訊:

1. 深入解析:分布式系統(tǒng)的事務(wù)處理經(jīng)典問題及模型

分布式系統(tǒng)需要在數(shù)據(jù)完整、一致性和性能間做平衡。阿里巴巴北京研發(fā)中心、商家業(yè)務(wù)部任資深專家陳皓在《分布式系統(tǒng)的事務(wù)處理》一文 詳細(xì)介紹了處理分布式數(shù)據(jù)一致性的技術(shù)模型,如:Master-Slave,Master-Master,2PC/3PC,經(jīng)典的將軍問題,Paxos,以及Dynamo的NRW和VectorClock的模型。

Two Generals Problem 兩將軍問題是這么一個思維性實驗問題: 有兩支軍隊,它們分別有一位將軍領(lǐng)導(dǎo),現(xiàn)在準(zhǔn)備攻擊一座修筑了防御工事的城市。這兩支軍隊都駐扎在那座城市的附近,分占一座山頭。一道山谷把兩座山分隔開來,并且兩位將軍唯一的通信方式就是派各自的信使來往于山谷兩邊。不幸的是,這個山谷已經(jīng)被那座城市的保衛(wèi)者占領(lǐng),并且存在一種可能,那就是任何被派出的信使通過山谷是會被捕。 請注意,雖然兩位將軍已經(jīng)就攻擊那座城市達(dá)成共識,但在他們各自占領(lǐng)山頭陣地之前,并沒有就進(jìn)攻時間達(dá)成共識。兩位將軍必須讓自己的軍隊同時進(jìn)攻城市才能取得成功。因此,他們必須互相溝通,以確定一個時間來攻擊,并同意就在那時攻擊。如果只有一個將軍進(jìn)行攻擊,那么這將是一個災(zāi)難性的失敗。 這個思維實驗就包括考慮將軍如何去做這件事情。

2. 一位數(shù)據(jù)挖掘工程師眼中的“大數(shù)據(jù)與企業(yè)的數(shù)據(jù)化運營”

現(xiàn)于美團(tuán)網(wǎng)從事數(shù)據(jù)開發(fā)與挖掘工作的梁堰波對一個企業(yè)如何讓大數(shù)據(jù)發(fā)揮出價值,推動企業(yè)業(yè)績的增長做了一個非常全面的分析。梁堰波畢業(yè)于北京航空航天大學(xué)計算機(jī)碩士專業(yè),之前曾工作于VMware、百度、法國電信研發(fā)中心等多家知名機(jī)構(gòu)。大數(shù)據(jù)在改造傳統(tǒng)企業(yè)中能發(fā)揮多大的力量,怎么樣才能發(fā)揮更大的力量,他談了自己的觀點。

1.以用戶和業(yè)務(wù)為核心,以思路為重點,以數(shù)據(jù)挖掘技術(shù)為輔助

2.小步快跑,快速迭代,持續(xù)優(yōu)化

3.用戶的反饋很重要,要積極調(diào)動用戶的參與度

4.從運營驅(qū)動到數(shù)據(jù)驅(qū)動

5.業(yè)務(wù)人員和數(shù)據(jù)挖掘人員的密切配合

6.與客戶的溝通方式(運營手段)很重要

7.大數(shù)據(jù)帶來的價值如何衡量

大數(shù)據(jù)的短期回報是精準(zhǔn)營銷,而從長期的角度來看對于一個企業(yè)或者平臺來說更重要的是客戶關(guān)系維護(hù),增加用戶的粘性和購買力,從而使得用戶很難遷移到其他平臺上,所以說大數(shù)據(jù)的價值可以在產(chǎn)品的各個層次得到體現(xiàn),而具體價值的衡量也要因不同的業(yè)務(wù)模式而有所不同。同時大數(shù)據(jù)也幫助企業(yè)更好的理解這個行業(yè),建立起行業(yè)的壁壘,從而更好的支撐管理者的決策。

3. AWS啟動大規(guī)模降價,引領(lǐng)行業(yè)降價潮流

Amazon周二公有云主管宣布啟動一攬子降價措施,在某些情況下,標(biāo)準(zhǔn)的EBS和I/O請求方面的降價幅度高達(dá)50%。S3的降幅也達(dá)到22%,保守估計,這是自8年前發(fā)布服務(wù)以來第40次價格調(diào)整。

從Amazon公司得知,新的大中型M3通用實例是基于Intel Xeon Sandy Bridge 或Ivy Bridge 處理器。與老的M1實例相比,M3實例提供更快的時鐘頻率,更好的內(nèi)存性能和基于SSD的存儲。

Amazon繼續(xù)其降價政策以及升級其產(chǎn)品性能,但是他的競爭對手們絕不會坐以待斃,IBM上周也吹響了進(jìn)攻的號角,宣布投資12億美元在全球建造云數(shù)據(jù)中心,同時業(yè)界新貴Digital Ocean公司也宣稱將提供性價比更高的云產(chǎn)品,同時還有更人性化的包裝。

4. 大數(shù)據(jù)整理:囊括分片、存儲方法、擴(kuò)展等多個方面

從OLTP及OLAP到數(shù)據(jù)分片,再到擴(kuò)展性及相關(guān)NoSQL盤點,Krishna在其個人博客上分享了一篇全面的大數(shù)據(jù)科普文,其中包括眾多有益的鏈接。Krishna本身精通Java、Scala等多門語言,擁有多年的互聯(lián)網(wǎng)開發(fā)經(jīng)驗。他認(rèn)為,對比昂貴及很容易達(dá)到瓶頸的縱向擴(kuò)展,廉價的無共享及集群架構(gòu)顯然更適合當(dāng)下的大數(shù)據(jù)處理。

5. IBM斥資12億美元,全球大規(guī)模擴(kuò)建數(shù)據(jù)中心

目前云計算業(yè)務(wù)還處于增長期,IBM預(yù)測全球云服務(wù)市場規(guī)模2020年將達(dá)到2000億美元,其日前宣布將斥資12億美元,在五大洲新建15個數(shù)據(jù)中心,未來IBM在全球范圍內(nèi)的數(shù)據(jù)中心數(shù)量將達(dá)到40個,覆蓋15個國家。

IBM此舉是為了增強(qiáng)在與亞馬遜Web Services云服務(wù)(簡稱AWS)競爭中的籌碼,后者目前在云計算領(lǐng)域可供租賃的計算能力是其他廠商的5倍以上,而來自市場研究機(jī)構(gòu)Gartner的分析稱,目前亞馬遜云計算業(yè)務(wù)的營收為30億美元,占公司總營收的5%。 目前亞馬遜的AWS服務(wù)的數(shù)據(jù)中心一共有8個,其中有3個位于美國境內(nèi),其余的則分別位于愛爾蘭、日本、澳大利亞、巴西和中國。

6. 云計算再掀創(chuàng)業(yè)熱潮,19家企業(yè)入駐微軟創(chuàng)投

2014年1月13日,微軟創(chuàng)投加速器三期初創(chuàng)企業(yè)展示日在北京舉行。同時,微軟創(chuàng)投加速器第四期創(chuàng)業(yè)團(tuán)隊名單也于今日正式宣布,入選的19家初創(chuàng)企業(yè)于1月中旬入駐微軟亞太研發(fā)集團(tuán)總部大樓。第四期項目將為期6個月,自2014年1月起至2014年7月結(jié)束。

在第四期初創(chuàng)企業(yè)招募中,共有420家創(chuàng)業(yè)團(tuán)隊申報微軟創(chuàng)投加速器項目。經(jīng)過層層篩選,最終有19家團(tuán)隊脫穎而出,他們的創(chuàng)業(yè)方向涵蓋了多個領(lǐng)域,如:面向金融領(lǐng)域的股票模擬應(yīng)用與互聯(lián)網(wǎng)金融服務(wù)平臺;面向城市生活的消費電子與智能家居及保健產(chǎn)品;面向交通行業(yè)的物聯(lián)網(wǎng)應(yīng)用與模式創(chuàng)新; UGC視頻移動端服務(wù)與自媒體廣播;面向娛樂與明星數(shù)字經(jīng)紀(jì)和版權(quán)內(nèi)容云服務(wù)平臺,以及面向各行各業(yè)的大數(shù)據(jù)可視化解決方案。

7. 物聯(lián)網(wǎng) ,下一個云計算市場

智能對象的功能變化僅僅是物聯(lián)網(wǎng)革命潛能的一小部分。智能對象將被賦予傳感器,然后它將數(shù)據(jù)回傳到云平臺進(jìn)行分析。在數(shù)以百萬計的不同節(jié)點上有大量的數(shù)據(jù)流,我們擁有的關(guān)于世界多樣性和精確性知識也將會爆炸式增長。云技術(shù)是唯一能適合過濾、分析、存儲和訪問信息的有效途徑。

物聯(lián)網(wǎng)前景雖然美妙,但是歸根結(jié)底云計算才是物聯(lián)網(wǎng)發(fā)展的基石,首先,運用云計算模式使物聯(lián)網(wǎng)中以兆計算的各類物品的實時動態(tài)管理和智能分析變得可能;其次,云計算促進(jìn)物聯(lián)網(wǎng)和互聯(lián)網(wǎng)的智能融合,從而構(gòu)建智慧地球。總之,物聯(lián)網(wǎng)和云計算的關(guān)系確實是非常的密切,所以誰掌控云計算,誰就將在物聯(lián)網(wǎng)的競爭中脫穎而出。

8. 耿曉華:愛奇藝5.5億用戶價值的挖掘分析

大數(shù)據(jù)提高了預(yù)測的價值,精準(zhǔn)的用戶分析改變了用戶體驗,愛奇藝運營副總裁耿曉華分享了他對于大數(shù)據(jù)的一些見解,以及對電視互聯(lián)網(wǎng)行業(yè)的愿景。

對于面向用戶的企業(yè)來說,如何利用大數(shù)據(jù)現(xiàn)在的玩法應(yīng)該是比較清楚了。簡單來說就是以用戶和業(yè)務(wù)為核心,對用戶的相關(guān)維度進(jìn)行數(shù)據(jù)挖掘,構(gòu)建用戶和業(yè)務(wù)的屬性和特征庫,服務(wù)業(yè)務(wù)需求。具體再實施過程中還需要重點考慮以下問題: 大數(shù)據(jù)最重要的價值是預(yù)測,大數(shù)據(jù)讓用戶服務(wù)更精確,大數(shù)據(jù)下的視頻機(jī)會。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號