大數據中數據挖掘分析及案例

大數據時代的數據挖掘分析及案例（含CRISP-DM方法論）

課程收益：

通過本次培訓中實際案例的分享，了解數據管理和運營中的各種經驗教訓（別人花費上百億學費買來的經驗啊?。?，深刻理解數據運營的意義，通過數據挖掘技術，發(fā)掘客戶精細營銷和運營的價值，實現產品設計的個性化需求分析。 通過本次培訓中實際案例的分享，學習數據挖掘的基本算法，了解數據挖掘的各種方法，深刻理解大數據時代的數據價值，學習提升企業(yè)精細化管理的途徑和案例。學習互聯網思維如何應用于數據挖掘領域，提升客戶體驗，加強產品的個性化設計需求。

課程背景：

2015年，中國的營銷者正面臨著一個極具挑戰(zhàn)的經濟時局，然而他們有機會通過撬動海量數據的杠桿來獲取巨額收益。

面對中國5.13億的互聯網用戶、多樣化的1.8萬億GB數據，以及企業(yè)數據每年55%的增長速度，在蓬勃發(fā)展的中國市場環(huán)境中，大數據所帶來的機遇前所未有，這將是中國市場的營銷者們預期取得大回報的最佳時機。營銷者必須知道如何透過數據庫的挖掘與分析，讓手中的數據與信息發(fā)揮最大的價值，通過有效整合、分析線上和線下數據，提高與客戶、潛在客戶互動的精準度，及時發(fā)現企業(yè)經營中的各種問題和風險。

在制造行業(yè)，通過ERP、CRM等系統(tǒng)，企業(yè)在產品制造的過程中也逐步積累了各種形式的大數據，如何將這些大數據服務于企業(yè)的生產過程，提高產品質量控制能力，并提升對客戶服務質量，也是擺在制造企業(yè)面前的一個緊迫問題。

其中手機制造企業(yè)如何使用數據挖掘的方法，深化客戶需求分析，改進產品設計，提升客戶營銷能力，擴展市場份額是擺在企業(yè)面前的問題。

培訓目標：

大數據時代下，客戶的重新認識和精細營銷，企業(yè)的精細化管理，產品質量的精準控制，如何提升企業(yè)的核心競爭能力，如何更新企業(yè)運營的新理念。了解互聯網時代帶來的互聯網思維，分享互聯網行業(yè)大數據分析案例，對傳統(tǒng)制造產業(yè)帶來的沖擊分析，探索制造業(yè)大數據應用場景。了解大數據處理的基本技術，包括數據倉庫、數據挖掘、云計算、數據挖掘、元數據等基本內容。解決數據質量的方法和經驗，數據管理的組織機構設置等。

課程內容：

一、“大數據、大機會”：

1.概述

1)大數據概念和特點

2)大數據需要哪些技術支撐

3)大數據能夠帶來哪些新應用？

2.大數據時代帶來對傳統(tǒng)營銷的挑戰(zhàn)

1)大數據如何成為資產？——GOOGLE的市值遠超過制造企業(yè)

2)大數據如何體現精細營銷

3)大數據的價值——靠空調電表判斷氣候趨勢（“指數”）

3.大數據時代的“互聯網思維”營銷模式

1) 互聯網思維——先圈用戶再掙錢

2）互聯網的營銷模式——微博營銷、網頁營銷等

3) CRM——“舊貌煥發(fā)新顏”

4)精細營銷——裝上了GPS，實現“精確打擊”

4.如何在海量數據中整合線上、線下數據，形成你對客戶的獨特洞察力

1)知道客戶的各個屬性——互聯網時代不再“是否是狗”

2)客戶的群體特征——“人以群分”

5.如何建立產品分析的數據平臺，提供產品的“標尺”

1)產品的數據有哪些？

2)產品設計的互聯網思維？——小米手機

3)產品的大數據分析——哪些維度？

4）如何“產品為中心”發(fā)展為“客戶為中心”？——有數據就有可能

6.大數據對企業(yè)的精細管理提升

1）企業(yè)的精細管理——不再盲人摸象

2）企業(yè)的KPI儀表板——進入駕駛艙

3）預防企業(yè)的管理風險——早診斷、早發(fā)現

4）員工的量化績效評定——計件之后計量

7.大數據提升企業(yè)的產品質量

1）建立量化的產品管理方法——辣椒的辣度評定

2）產品制造過程的管理控制——監(jiān)控大數據分析

3）產品問題的及時監(jiān)控——溫度、風速等異常早發(fā)現

4）產品訂制的范例——好萊塢大片的大數據

5）產品質量的量化管控——擋板安裝的故事

二、大數據的“數據挖掘技術”

1. 數據挖掘概述

1）基本概念——“啤酒和尿布的故事”

2）與專家系統(tǒng)、統(tǒng)計分析、人工智能的關系——演進歷史分析

3）數據挖掘在制造行業(yè)的應用內容——如何體現“智能制造”？

2. CRISP-DM過程描述

1）商業(yè)理解——要實現什么“目的”？

2）數據的理解以及收集——手里有哪些數據？

3）數據的準備——數據的清洗及轉換

4）應用數據挖掘工具建立模型——使用哪種數據挖掘算法和工具？

5）模型評估——算法評估

6）部署（并形成數據挖掘報告）——實際使用及形成報告

3. 數據挖掘常用算法介紹

預測型

1）分類算法

2）回歸分析

3）時間序列

描述型

4）關聯分析

5）序列關聯分析

6）聚類分析

4.數據挖掘具體算法舉例

1）神經網絡算法

2）決策樹算法

5.根據實際問題選擇數據挖掘算法

1）客戶離網分析

2）客戶分群模型

3）產品關聯分析

4）問題的描述

需要解決的關鍵問題

如何轉換成為數據挖掘的描述

數據挖掘算法的選擇依據

預測類還是描述類

與各種算法的使用特點結合

6.分析結果的檢驗

對照組數據的選擇方法

對照組數據的時間窗口選擇

對照組數據的抽樣

數據挖掘模型的修訂

1） 如何剔除無效的結果數據

2） 根據反饋結果進行模型修訂

7.數據挖掘項目的投入產出

數據挖掘項目的投入成本計算

數據挖掘項目的產出計算依據

8. 如何形成分析報告

1）分析報告的組成部分

2）部分優(yōu)秀的分析報告演示

9．常用數據挖掘工具介紹

1）SAS

2 ) SPSS

三、數據挖掘具體案例分析

某電信公司具體數據挖掘案例（某產品營銷）詳細舉例

1.商業(yè)理解：提升哪個KPI指標？（ARPU/MOU等）

2.數據理解及收集:哪些具體的數據（客戶詳單、客戶資料等）

3.數據準備：

1）客戶數據質量分析

如何保障數據質量——哪些衡量指標

如何發(fā)現異常數據——剔除干擾數據

2）客戶數據抽樣過程

抽樣比例分析

抽樣的具體方法

3）挖掘應用需求描述

如何篩選有用數據——選擇相關變量和匯總數據

如何描述需求

4.數據挖掘工具建立模型

挖掘算法選擇

如何選擇合適的分析方法

如何剔除無效的干擾數據

選擇關鍵變量

挖掘具體過程

結果數據分析

5.模型（算法）評估

LIFT值等分析

6.實際部署及分析報告

實際分析報告編寫示例

如何計算該項目的投入、產出

項目的投入計算依據

項目的產出計算方法

項目的投入/產出結果

四、基礎數據的收集和整理

1、數據的種類

1）客戶數據內容（保險客戶的基本資料）

2）產品數據內容（產品的編碼）

3）營銷數據內容（交易記錄的保存）

4）服務數據內容（客戶服務數據的保存）

5）制造行業(yè)數據的特點：（數據類型雜、數據量大等）

2、數據的存放方法

1）數據的清洗、轉換和加載

2）存放在數據庫/數據倉庫

3）數據的基本分析工具EXCEL等

3、數據的基本整理

1）數據的歸類存放（建模型）

2）數據的基本加工

4、數據的基礎分析

1）數據的基本匯總

2）數據中的“金子”：從石頭中淘金子

5、數據質量的基本保障

1）指標的口徑描述和統(tǒng)一

2）后期補數據成本是前提收集數據成本的15倍

3）“差之毫厘謬以千里”

6、制造業(yè)企業(yè)數據的收集和整理

1）制造環(huán)境的數據收集/整理

2）采購數據的收集/整理

3）營銷數據的收集/整理：

4）人力資源數據的收集/整理

示例：某企業(yè)的數據收集/整理方案

五、云計算技術

1.Hadoop項目簡介

2.HDFS體系結構

3.HDFS關鍵運行機制

4.MapReduce產生背景

5.MapReduce編程模型

6.MapReduce實現機制

7.MapReduce案例分析

8.HIVE介紹

9.HBASE介紹

六、總結和展望

主講老師：

段博士　首席講師

專業(yè)背景：

1．北京大學信息與通信工程專業(yè)　 博士后從事數據倉庫方面研究，提出了分級式數據倉庫理論

2．北京郵電大學電子工程系　 博士從事計算機電信集成（CTI）方面研究，是該方向中國第一個博士畢業(yè)生，后期從事數據倉庫/數據挖掘等相關技術的研究工作。

工作經驗：

1． 在電信領域積累了十余年的行業(yè)專業(yè)業(yè)務經驗，具有市場、技術的背景，擁有10年的全球最大移動運營商總部的實際管理工作經驗；

2． 負責主持過移動集團國內大型信息系統(tǒng)的系統(tǒng)開發(fā)、運維管理，主持建立了世界最大的數據倉庫系統(tǒng)；

3． 引導了國內電信領域在數據倉庫和信息分析領域的業(yè)務、技術發(fā)展，帶動了相關產業(yè)的發(fā)展，主持編著了國內電信領域數據倉庫的第一本專業(yè)書籍；

4． 99年開始了對呼叫中心的研究和探討。熟悉呼叫中心領域的相關技術和運營，并具體主持設計了大規(guī)模的呼叫中心系統(tǒng)；曾為多家知名企業(yè)提供呼叫中心咨詢服務，并以顧問的身份，參加過如下較大項目的評審過程：

1） 信息產業(yè)部2000年問題呼叫中心；

2） 中國互聯網信息中心（CNNIC）呼叫中心；

3） 中國吉通公司北京總部呼叫中心；

4） 首都信息發(fā)展公司的呼叫中心；

5） 中國移動公司呼叫中心改造系統(tǒng)；

同時，也應中國聯通公司、國信公司之邀，進行過有關的技術交流活動；

業(yè)績情況

1.段博士主持設計并完成了世界上最大的數據倉庫系統(tǒng)建設

段博士在中國移動工作期間，創(chuàng)制性地提出了分級式數據倉庫理論，主持設計并建設了中國移動的“經營分析系統(tǒng)”，前后投資了六十多億，建成了目前國際最大容量的數據倉庫系統(tǒng)。

2.提出的分級式數據倉庫理論：在國內首次系統(tǒng)性地引入了數據倉庫的各種業(yè)務應用（報表/指標/OLAP/數據挖掘等），建立了系統(tǒng)的數據倉庫數據質量管理體系。并完成了《移動通信海量數據倉庫構建與應用研究》的博士后報告。

3.帶動了國內數據倉庫產業(yè)的發(fā)展：通過段博士主持和設計的最大的數據倉庫系統(tǒng)，填補了國內在數據倉庫領域技術和應用的很多空白，帶動了國內一批數據倉庫領域的研究力量，對國內數據倉庫行業(yè)的發(fā)展起到了積極的推動作用。

4.組織了中國移動在數據倉庫領域的隊伍

帶動中國移動的相關員工，通過多次的培訓，逐步組織了各省公司的數據倉庫骨干團隊，對系統(tǒng)的維護、新業(yè)務的開發(fā)和工程項目的管理等方面，積累了寶貴的經驗。

5.段博士先后在電子工業(yè)出版社出版了《數據倉庫技術及其在電信領域中的應用》和《數據倉庫基礎》兩本書籍，并發(fā)表了幾十篇文章。

段方方老師的其它課程