1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘(Data Mining，簡稱DM)，是指從大量的數(shù)據(jù)中，挖掘出未知的且有價值的信息和知識的過程。

2 機器學習 與 數(shù)據(jù)挖掘

與數(shù)據(jù)挖掘類似的有一個術語叫做”機器學習“，這兩個術語在本質上的區(qū)別不大，如果在書店分別購買兩本講數(shù)據(jù)挖掘和機器學習的書籍，書中大部分內容都是互相重復的。具體來說，小的區(qū)別如下：

機器學習：更側重于技術方面和各種算法，一般提到機器學習就會想到語音識別，圖像視頻識別，機器翻譯，無人駕駛等等各種其他的模式識別，甚至于谷歌大腦等AI，這些東西的一個共同點就是極其復雜的算法，所以說機器學習的核心就是各種精妙的算法。

數(shù)據(jù)挖掘：更偏向于“數(shù)據(jù)”而非算法，而且包括了很多數(shù)據(jù)的前期處理，用爬蟲爬取數(shù)據(jù)，然后做數(shù)據(jù)的清洗，數(shù)據(jù)的整合，數(shù)據(jù)有效性檢測，數(shù)據(jù)可視化(畫圖)等等，最后才是用一些統(tǒng)計的或者機器學習的算法來抽取某些有用的“知識”。前期數(shù)據(jù)處理的工作比較多。

所以，數(shù)據(jù)挖掘的范疇要更廣泛一些。

3 數(shù)據(jù)挖掘所覆蓋的學科

數(shù)據(jù)挖掘是一門交叉學科，覆蓋了統(tǒng)計學、計算機程序設計、數(shù)學與算法、數(shù)據(jù)庫、機器學習、市場營銷、數(shù)據(jù)可視化等領域的理論和實踐成果

4 數(shù)據(jù)挖掘的誤區(qū)

誤區(qū)一：算法至上論。認為數(shù)據(jù)挖據(jù)是某些對大量數(shù)據(jù)操作的算法，這些算法能夠自動地發(fā)現(xiàn)新的知識。

誤區(qū)二：技術至上論。認為數(shù)據(jù)挖據(jù)必須需要非常高深的分析技能，需要精通高深的數(shù)據(jù)挖掘算法，需要熟練程序開發(fā)設計。

這兩種認知都有一定的偏頗。實際上，數(shù)據(jù)挖掘本質上是人們處理商業(yè)問題的方法，通過適量的數(shù)據(jù)挖掘來獲得有價值的結果，技術在隨著大數(shù)據(jù)時代的來臨變得愈發(fā)重要，但是最好的數(shù)據(jù)挖掘工程師往往是那些熟悉和理解業(yè)務的人。

5 數(shù)據(jù)挖掘能解決什么問題

商業(yè)上的問題多種多樣，例如：

“如何能降低用戶流失率?”

“某個用戶是否會響應本次營銷活動?“

"如何細分現(xiàn)有目標市場?"

“如何制定交叉銷售策略以提升銷售額?”

“如何預測未來銷量?”

從數(shù)據(jù)挖掘的角度看，都可以轉換為五類問題：

分類問題

聚類問題

回歸問題

關聯(lián)分析

推薦系統(tǒng)

5.1 分類問題

簡單來說，就是根據(jù)已經分好類的一推數(shù)據(jù)，分析每一類的潛在特征建立分類模型。對于新數(shù)據(jù)，可以輸出新出具屬于每一類的概率。

比如主流郵箱都具備的垃圾郵件識別功能：一開始，正常郵件和垃圾郵件都是混合在一起的，如果我們手工去點擊哪些是垃圾郵件，逐漸的，垃圾郵件就會自動被識別放到垃圾文件夾。如果我們對于混在正常郵件中的垃圾持續(xù)進行判斷，系統(tǒng)的識別率就會越來越高。我們人工點擊判斷，相當于預先分類(兩類：垃圾郵件和非垃圾郵件)，系統(tǒng)就會自己學習兩類郵件的特征建立模式，對于新郵件，會根據(jù)模式判斷屬于每個類別的可能性。

　　分類算法示意

5.2 聚類問題

和分類算法是不同概念，但是工作中業(yè)務人員經常誤用。 聚類的的目的也是把數(shù)據(jù)分類，但類別并不是預先定義的，算法根據(jù)“物以類聚”的原則，判斷各條數(shù)據(jù)之間的相似性，相似的就歸為一類。

比如我有十萬消費者的信息數(shù)據(jù)，比如包括性別，年齡，收入，消費等，通過聚類的方法事可以把這些數(shù)據(jù)分成不同的群，理論上每群用戶內都是相似性較高的，就可以覆蓋分群用戶制定不同的策略

　　聚類算法示意

5.3 回歸問題

回歸問題和分類問題有點類似，但是回歸問題中的因變量是一個數(shù)值，而分類問題，最終輸出的因變量是一個類別。簡單理解，就是定義一個因變量，在定義若干自變量，找到一個數(shù)學公式，描述自變量和因變量之間的關系。

比如，我們要研究房價(Y)，然后收集房子距離市中心的距離(X1)，面積(X2)，收集足夠多的房子的數(shù)據(jù)，就可以建立一個房價和距離、面積的方程式(例如Y=aX1+bX2)，這樣給出一個新的距離和面積數(shù)據(jù)，就可以預測這個房子的價格。

　　回歸問題示意

5.4 關聯(lián)分析

關聯(lián)分析主要就是指”購物籃分析“，很有名氣案例是【啤酒與尿布】的故事，”據(jù)說“這是一個真實的案例：沃爾瑪在分析銷售記錄時，發(fā)現(xiàn)啤酒和尿布經常一起被購買，于是他們調整了貨架，把兩者放在一起，結果真的提升了啤酒的銷量。后來還分析背后的原因，說是因為爸爸在給寶寶買尿布的時候，會順便給自己買點啤酒……

所以，關聯(lián)分析就是基于數(shù)據(jù)識別產品之間潛在的關聯(lián)，識別有可能頻繁發(fā)生的模式。

5.5 推薦系統(tǒng)

利用電子商務網站向客戶提供商品信息和建議，幫助用戶決定應該購買什么產品，模擬銷售人員幫助客戶完成購買過程。也就是平時我們在瀏覽電商網站、視頻網站、新聞App中的"猜你喜歡"、“其他人也購買了XXX”等類似的功能。

5.6 數(shù)據(jù)挖掘的工作流程

數(shù)據(jù)挖掘的通用流程叫做CRISP-DM(Cross Industry Standard Process-Data Mining)數(shù)據(jù)挖掘方法論。

　　CRISP-DM

6.1 商業(yè)理解

商業(yè)理解階段主要完成對商業(yè)問題的界定，以及對企業(yè)內外部資源進行評估與組織，最終確定將企業(yè)的商業(yè)目標轉化為數(shù)據(jù)挖掘目標，并制定項目的方案

6.2 數(shù)據(jù)理解

了解企業(yè)目前數(shù)據(jù)現(xiàn)狀，提出數(shù)據(jù)需求，并盡可能多的收集數(shù)據(jù)。通過初步的數(shù)據(jù)探索，快速了解數(shù)據(jù)的質量

6.3 數(shù)據(jù)準備

在建立數(shù)據(jù)挖掘模型之前對數(shù)據(jù)做最后的準備工作，主要是把收集到的各部分數(shù)據(jù)關聯(lián)起來，形成一張最終數(shù)據(jù)寬表。這個階段其實是耗時最長的階段，一般會占據(jù)整個數(shù)據(jù)挖掘項目的70%左右的時間，包括數(shù)據(jù)導入、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)合并、新變量計算等工作。

6.4 模型構建

模型構建是數(shù)據(jù)挖掘工作的核心階段。主要包括準備模型的訓練集和驗證集，選擇并使用適當?shù)慕＜夹g和算法，模型建立，模型效果對比等工作

6.5 模型評估

模型評估主要從兩個方面進行評價：

1)技術層面：

- 設計對照組進行比較。

- 根據(jù)常用的模型評估指標進行評價，如命中率、覆蓋率、提升度等

2)業(yè)務經驗：業(yè)務專家憑借業(yè)務經驗對數(shù)據(jù)挖掘結果進行評估

6.6 模型部署

將數(shù)據(jù)挖掘成果程序化，將模型寫成存儲過程固化到IT平臺上，并持續(xù)觀察模型衰退變化，在發(fā)生模型衰退時，引入新的變量進行模型優(yōu)化。