01
這位先生,您好,您聽過大數(shù)據(jù)么?
不不不,不是鋸大樹的那個鋸...是很大的數(shù)據(jù),特別大,是今年最流行的,人人都在談的先進技術——您只要用了我們的大數(shù)據(jù)分析方案,保證您的企業(yè)盈利得到前所未有的增長。
嗯?怎么用?那別提有多簡單了,您看,不就是很大量的數(shù)據(jù)嘛,我這里有特別多,可以先撥一點給您用用。
有多大的量?嗯,您看,太多了您也用不著——這樣,我這里一口氣給您兩千條,您也是個爽快人,就一口價,五百,都在這個U盤里了。
誒?什么?這個U盤就值10塊錢?不不不,這里可是有價值連城的數(shù)據(jù), 現(xiàn)在這個數(shù)據(jù)驅動的時代,數(shù)據(jù)就是財產(chǎn),就是金錢啊 !
這樣,我盼著您以后還要和我們多合作來著,就二百五,給您打個對折,您覺得好我們可以繼續(xù)合作……
什么?你說我才是二百五?
欸欸!我們談生意你怎么動起手來了?別打人啊你?
……
02
據(jù)說是著名的產(chǎn)品經(jīng)理圣經(jīng)《Don't make me think》(別讓我思考)里有這樣一個有意思的場景:
“一次宗教辯論”
產(chǎn)品經(jīng)理,技術經(jīng)理和市場銷售在一起為了一個產(chǎn)品的功能開會。對于功能A,產(chǎn)品經(jīng)理覺得很有必要做,他想問問技術和銷售的看法。
技術方面認為功能A的開發(fā)難度與回報率不成正比,因此強烈反對此功能。銷售方面卻認為功能A的反響也許會不錯,至少比現(xiàn)存的功能B要受到客戶歡迎,卻也沒有辦法拿出切實的證據(jù),比如到底有多少用戶希望有這樣一個新功能。
由于技術是開發(fā)的主要實現(xiàn)者,無法說服技術,于是關于這個功能的談判不歡而散,這又是一次“無效的會議”。
試想一下兩種不同的說法:
1.因為在街上許多人都對我很友善,因此我認為大多數(shù)人都喜歡我。
2.根據(jù)在街上隨機抽樣10000人的結果顯示,里面的8000個人表達了對我的喜歡,因此我認為大多數(shù)人都喜歡我。
哪一個更有說服力呢?拋開隨機抽樣的科學性和偶然性不談,顯然第二個說法更有說服力, 因為比起第一個“感覺上”的說法,至少它提供了一定的“證據(jù)”。
再想想最開始書中的那個例子,如果銷售能夠提供有力的數(shù)據(jù)證據(jù)證明這個功能受歡迎,或者技術能夠證明開發(fā)這個功能得不償失,這個會議就很容易達成有效的結果。
數(shù)據(jù)思維,也可以說是量化思維,它的核心在于“以數(shù)據(jù)為證據(jù)”。數(shù)據(jù)思維,實際上就是把數(shù)據(jù)作為事實的一種,作為思維決策的依據(jù)。
所以什么是數(shù)據(jù)時代思維的核心呢?
現(xiàn)在對于各種機器學習和人工智能鋪天蓋地的宣傳,有可能會給人一個錯誤的印象:制造一個機器或程序,集成一堆牛逼的算法,給它一堆大數(shù)據(jù),它就能回答你與這些數(shù)據(jù)有關的有的沒的的問題。
就好像是存在一個萬能的黑箱,你輸入一堆關于自己的生辰八字,住址戶籍,身高體重等等信息,然后你問它:
“萬能的數(shù)據(jù)之神呀,你覺得我怎樣才能讓我走上人生巔峰,讓思聰都要叫我爸爸呢?”
醒醒吧孩子,你需要被這個世界溫柔以待...
03
回想我們之前說的,數(shù)據(jù)是一種“事實”或者“證據(jù)”。 有一些“事實”和“證據(jù)”很直接,不需要復雜的判斷你就能給出結果:
湯姆與杰瑞
比如作為一只老鼠,它知道奶酪好,貓壞,如果有奶酪出現(xiàn)就可以吃,有貓出現(xiàn)就要跑。這里”奶酪出現(xiàn)”和“貓出現(xiàn)”都是事實,根據(jù)這個事實,老鼠就可以進行簡單的判斷。
有些時候,數(shù)據(jù)的片段能夠作為“事實”,很輕易構成完整的邏輯鏈:
比如聊天系統(tǒng)顯示,你一直和一個女生溝通很頻繁,每天有超過200條聊天數(shù)據(jù),最近這個數(shù)據(jù)突然上升到300;你的搜索記錄顯示你頻繁搜索“第一次見面“這個關鍵詞;淘寶的交易記錄還顯示你買了一些安全類產(chǎn)品,就在后天寄到。
綜上所述,我能90%地肯定,你最近要和一個曖昧已久的妹子見面了。
你懂的
怎么樣?要是你把這些事情和我說一遍,我也八九不離十能猜到你最近要和一個曖昧已久的妹子見面。然而在這個例子里,你并沒有告訴我你要做這些事兒, 只是你的行為被轉化成了數(shù)據(jù),成為了我做推斷的事實 。
知道為什么你的網(wǎng)頁左右兩邊時常出現(xiàn)你想要買的東西的廣告了嗎?如這個例子一樣,你平時在網(wǎng)頁上點點點,搜索引擎框里搜搜搜的這些行為,都被轉化成了數(shù)據(jù),從而出賣了你的想法。
有一個著名的案例叫“Target超市比父母更早知道你的女兒懷孕”。這個案例講的是因為女兒在Tareget超市中購買的物品的數(shù)據(jù)被經(jīng)過分析,得出了女兒大概在什么時候懷孕,從而提前開始向家里寄廣告。這導致一開始父母都不知道為什么,后來才恍然大悟。
數(shù)據(jù)時代的一個重大變化就在于: 那些平日里被我們認為沒有意義的舉動或者瞬間,實際上都被事無巨細地轉化成數(shù)據(jù),保留成事實,從而用來有效地推斷你的行為。
04
當零零散散的數(shù)據(jù)被記錄下來,最終構成一個龐大的集合, 比起之前那個脈絡清晰的個人分析,你發(fā)現(xiàn)想要從這個集合中獲取有價值的特征信息變難了。
舉個例子,在一個龐大的數(shù)據(jù)系統(tǒng)中,記錄了每個人的相關身份信息以及信用違約記錄,這個數(shù)據(jù)系統(tǒng)里有1000萬條數(shù)據(jù),雖然還遠遠稱不上“大數(shù)據(jù)”,然而早已超出了人力能夠觀察承受的范圍。
這個時候,我們就需要利用一些數(shù)據(jù)分析的技術——你所聽到的統(tǒng)計分析,神經(jīng)網(wǎng)絡,等等等等,都屬于這樣一個范疇。在此本狗不深究分析的技術細節(jié),但想要高度概括地表達一下:
所有的技術,都是用來輔助你表達對于數(shù)據(jù)的觀點,如同我們通過觀察現(xiàn)象,從而表達對事實的觀點一樣。
數(shù)數(shù),是人類最早掌握的關于統(tǒng)計的,最簡單的技巧,光用這一點,人們就已經(jīng)開始利用觀察到的數(shù)據(jù)證明事實。
比如著名的“世界上沒有黑天鵝”的例子:相比于見到黑天鵝的人,見到白天鵝的人實在是太多了,因此人們利用“數(shù)數(shù)”,將這樣一個數(shù)據(jù)組成一個集合,作為說服人的依據(jù)——我已經(jīng)遇到了9999個見到白天鵝的人,沒有人見到黑天鵝,因此下一只見到的天鵝也一定是白的。
黑天鵝
一些更復雜的技巧與方法,能體現(xiàn)出“事實之下的事實”,跨越了“數(shù)量”這樣給人最直觀感覺的事實。平均數(shù),眾數(shù),期望等——能體現(xiàn)不同標準下最有可能出現(xiàn)的事實;方差,標準差——體現(xiàn)事實的變動程度。
再往下,人們嘗試尋找事實的“分布”,也就是事實出現(xiàn)的一般規(guī)律。再深一點,人們開始意識到事情并不是A喜歡B,B喜歡C,那么A喜歡C那么簡單,于是出現(xiàn)了事實之間的線性,非線性關系,從數(shù)據(jù)進行推斷,表達觀點的過程變得越來越復雜。
但最終說了這么多,我們再回到最開始 —— “數(shù)據(jù)分析”,是用數(shù)據(jù)作為事實證據(jù),從而來表達觀點的過程。如同一般講道理,表達觀點的思維一樣,我們永遠需要疑問的兩點是:
1.作為事實的數(shù)據(jù)值得信賴嗎? (比如黑天鵝的例子,我們觀察到的數(shù)據(jù)并不是事實的全部,然而事實上人們常常使用錯誤的數(shù)據(jù)嘗試證明一個看似正確實則錯誤的觀點)
2.表達觀點的過程有道理嗎? (不管是多高級的方法,支持向量機,AlphaGo用的深度學習網(wǎng)絡等等,都是需要有一個符合直覺的解釋,就像是我們利用事實講道理一樣)
為此,人們又研究發(fā)明了許多方法來證明這兩點,從而證明整個利用數(shù)據(jù)推斷的過程都是可以信賴的,最終才能證明得到的結論值得信賴。然而這些都是后話了,有興趣的讀者可以自行搜索交叉驗證,P值,置信區(qū)間等等關鍵詞。
只要明白這兩點,你就能逐漸開始明白大數(shù)據(jù)世界中的謊言與事實,開始漸漸明白數(shù)據(jù)思維的樂趣。