本系列課程從(cong)實際(ji)的(de)業(ye)(ye)務(wu)需求出發，結合(he)行業(ye)(ye)的(de)典型應用特(te)點，圍繞實際(ji)的(de)商(shang)業(ye)(ye)問(wen)題，對數(shu)(shu)(shu)據(ju)分析(xi)(xi)(xi)及數(shu)(shu)(shu)據(ju)挖掘技(ji)術進行了全面的(de)介紹（從(cong)數(shu)(shu)(shu)據(ju)收集(ji)與處(chu)理，到(dao)數(shu)(shu)(shu)據(ju)分析(xi)(xi)(xi)與挖掘，再到(dao)數(shu)(shu)(shu)據(ju)可視化和(he)報告撰寫），通過大(da)量的(de)操(cao)作演練，幫助學員掌(zhang)握(wo)數(shu)(shu)(shu)據(ju)分析(xi)(xi)(xi)和(he)數(shu)(shu)(shu)據(ju)挖掘的(de)思(si)路(lu)、方法、表達(da)、工具(ju)，從(cong)大(da)量的(de)企業(ye)(ye)經營(ying)數(shu)(shu)(shu)據(ju)中進行分析(xi)(xi)(xi)，挖掘客(ke)戶(hu)行為特(te)點，幫助運營(ying)團隊深入理解業(ye)(ye)務(wu)運作，以達(da)到(dao)提升學員的(de)數(shu)(shu)(shu)據(ju)綜(zong)合(he)分析(xi)(xi)(xi)能力，支撐運營(ying)決策的(de)目的(de)。

通(tong)過本課(ke)程的(de)學(xue)習，達到(dao)如下目的(de)：

1、  了(le)解數(shu)(shu)據挖掘基(ji)礎知識，以及(ji)數(shu)(shu)據挖掘標(biao)準過(guo)程。

2、  掌握建模前的影響因(yin)素分析，學會尋找影響業務(wu)的關鍵因(yin)素。

3、  熟練使用數值(zhi)預測模型(xing)，掌握回(hui)歸(gui)預測模型(xing)，學會解讀模型(xing)中業(ye)務(wu)規律。

4、  學會自定義回歸(gui)(gui)模(mo)型(xing)(xing)，能(neng)夠對回歸(gui)(gui)模(mo)型(xing)(xing)進行優(you)化，并找到最優(you)的回歸(gui)(gui)模(mo)型(xing)(xing)。

5、  熟練掌握(wo)預處(chu)(chu)理的基本過程，并根據(ju)業務(wu)實(shi)際情況進(jin)行處(chu)(chu)理。

【學員(yuan)要求(qiu)】

1、  每(mei)個學(xue)員(yuan)自備一臺便攜機(必須)。

2、  便攜機(ji)中事先安(an)裝好Microsoft Office Excel 2013版本(ben)及以上(shang)。

3、  便攜機中事先安裝(zhuang)好(hao)IBM SPSS Statistics v19版本及以(yi)上。

注：講師可以(yi)提供(gong)試用版本軟件及分析數據源。

【授課(ke)方式(shi)】

數(shu)據分析基礎 + 方(fang)法講解 + 實(shi)際業務(wu)問題(ti)分析 + 工具實踐操作

采(cai)用互動式教學(xue)，圍繞業務問題，展開數據分(fen)析過程(cheng)，全過程(cheng)演(yan)練(lian)操作，讓學(xue)員在分(fen)析、分(fen)享、講授、總結、自我(wo)實(shi)踐過程(cheng)中獲得能力提升。

【課程大綱】

第一部分：  數據(ju)挖掘基礎(chu)

1、         數據挖掘概述

2、         數據挖掘的標(biao)準流程（CRISP-DM）

‐  商業(ye)理解

‐  數據準(zhun)備

‐  數據理解

‐  模型(xing)建立(li)

‐  模型評估

‐  模型應用

案(an)例：客(ke)戶(hu)流失預測及客(ke)戶(hu)挽留

3、         數據集概述

4、         變量的類型

‐  存(cun)儲(chu)類(lei)型

‐  度量(liang)類型

‐  角色(se)

5、         SPSS工具介紹

6、         數(shu)據挖(wa)掘(jue)常用模型

第二部分：  影響因素(su)分析篇

問題：如何判(pan)斷一(yi)個因(yin)素對另一(yi)個因(yin)素有影(ying)(ying)響？比如：價格是否會影(ying)(ying)響產(chan)品銷量？產(chan)品的(de)陳列位置是否會影(ying)(ying)響銷量？學歷是否與客戶流失有關系(xi)？影(ying)(ying)響風險的(de)關鍵因(yin)素有哪些？

1、 影(ying)響因(yin)素分析的常見(jian)方法(fa)

2、 相關分析（衡量兩數據型變(bian)量的線性(xing)相關性(xing)）

問題：這兩個屬性是否會相互影響(xiang)？影響(xiang)程(cheng)度(du)大嗎？

‐  相關分析(xi)簡介

‐  相關分析的(de)應用(yong)場景

‐  相(xiang)關分(fen)析的種類

◢   簡單相關分析(xi)

◢   偏相關分析

◢   距離相關分析

‐  相關系數的三(san)種(zhong)計(ji)算公式(shi)

◢   Pearson相關(guan)系數

◢   Spearman相(xiang)關系數

◢   Kendall相關系數

‐  相關分析的假設(she)檢驗

‐  相關分析的四個基(ji)本步驟

演練：體(ti)(ti)重(zhong)與腰圍(wei)的關(guan)系

演(yan)練：營銷(xiao)費用會影(ying)響銷(xiao)售額嗎

演練：哪些因(yin)素與汽車銷量有相關性

演練：話費與網齡的相關分析

‐  偏(pian)相關分析

◢   偏相關原理：排除不可控因素后的(de)兩變(bian)量(liang)的(de)相關性

◢   偏相關系數的計算(suan)公式(shi)

◢   偏(pian)相(xiang)關分析的適用場(chang)景

‐  距離(li)相(xiang)關(guan)分析

3、 方差分析（衡量類別變量與數值變量間的相關性(xing)）

問題：哪些才是影(ying)響銷量的關鍵(jian)因(yin)素？

‐  方(fang)差分析的應用場景(jing)

‐  方(fang)差分析的(de)三個種類

◢   單(dan)因(yin)素方差分(fen)析

◢   多(duo)因素(su)方(fang)差分析

◢   協方差分(fen)析(xi)

‐  方差分析的原(yuan)理

‐  方差(cha)分析(xi)的四個步驟

‐  解讀方差分析(xi)結果的(de)兩個要(yao)點(dian)

演(yan)練：終端擺放位置與終端銷量有關嗎(ma)

演練：開(kai)通月數對(dui)客戶流(liu)失的影響分析

演(yan)練：客戶學(xue)歷(li)對(dui)消費水(shui)平的(de)影(ying)響分析(xi)

演練：廣告和價(jia)格(ge)是影響終端銷量的關鍵因素嗎

演練：營(ying)業員的(de)性別、技能級別對(dui)產品銷量(liang)有影響(xiang)嗎(ma)

演練：尋找影響產品銷(xiao)量的關鍵因素(su)

‐  多因素方差(cha)分析(xi)原(yuan)理

‐  多(duo)因(yin)素(su)方(fang)差分析(xi)的(de)作用(yong)

‐  多(duo)因素方差(cha)結果的解讀

演練：廣告形式、地(di)區對銷量的影響因素分析（多因素）

‐  協方差分析(xi)原理

‐  協(xie)方差分析的(de)適用場(chang)景

演(yan)練：飼料對生(sheng)豬體(ti)重的(de)影(ying)響分析(xi)（協方差分析(xi)）

4、 列聯分析/卡方檢驗（兩類別變量的相關性分析）

‐  交叉表(biao)與列聯表(biao)

‐  卡方檢驗(yan)的(de)原理

‐  卡(ka)方檢驗(yan)的幾個計算公(gong)式

‐  列(lie)聯表(biao)分(fen)析的適用場景

案(an)例(li)：套(tao)餐類型對(dui)客戶流(liu)失的影響分析

案例：學歷對(dui)業務套(tao)餐偏(pian)好(hao)的(de)影(ying)響分析

案例：行業/規模對風控的影響分析

5、 相(xiang)關(guan)性分析方(fang)法(fa)總結(jie)

第三部分：  回歸預測模型篇

問題：如何預測產品的銷量/銷售金額？

1、 常用預測模型

‐  數值預測：回歸預測/時序預測

‐  分類預測：邏輯回歸、決策樹、神經網絡、…

2、 回歸分析/回歸預測

問題(ti)：如何預(yu)測未來的銷售量(liang)（定(ding)量(liang)分析）？

‐  回歸分析(xi)簡介

‐  回歸分析的種類（一元/多元、線性/曲線）

‐  得到回歸方程的常用工具

◢   散點圖+趨勢線

◢   線性回(hui)歸工具

◢   規劃(hua)求解工具

演練：散點圖找營銷(xiao)費(fei)用與銷(xiao)售額的關系（一元(yuan)回歸）

‐  線性回歸(gui)分析(xi)的五(wu)個步驟

演練(lian)：營銷(xiao)(xiao)費用、辦公費用與銷(xiao)(xiao)售額的關系（線性回歸）

‐  解(jie)讀線性回(hui)歸分析結果(guo)的技巧

◢   定性描述：正相關/負相關

◢   定量(liang)描述：自(zi)變(bian)(bian)量(liang)變(bian)(bian)化導致因變(bian)(bian)量(liang)的變(bian)(bian)化程度(du)

‐  回歸預測(ce)模(mo)型質量評估

◢   評估指標：判定系數R^2、標準誤差

◢   如何選(xuan)擇最佳回歸模型(xing)

演(yan)練(lian)：如(ru)何選擇最佳的回歸預測模型(xing)（一元曲線回歸）

‐  預測值準確(que)性評估(gu)

◢   MAD、MSE/RMSE、MAPE等

‐  帶分(fen)類變量(liang)的回(hui)歸預測

演練：汽(qi)車(che)季度(du)銷量預測

演練：工齡、性別與終端銷量的關系

演(yan)練：如何評估銷售目標與資源配(pei)置（營業廳）

3、 自動篩(shai)選(xuan)不顯著因素（自變量）

第四部分：  回歸模型(xing)優(you)化篇(pian)

1、 回(hui)歸分析的基本原理

‐  三(san)個基本概念：總變差、回(hui)歸(gui)變差、剩余(yu)變差

‐  方程的顯著性檢驗：是否可以做(zuo)回歸分(fen)析？

‐  因素的(de)顯著(zhu)性檢驗：自變量是否可用？

‐  擬合優度檢驗：回歸模(mo)型的質量(liang)評估？

‐  理解標準(zhun)誤差的含義：預(yu)測的準(zhun)確性？

2、 模型優(you)化思(si)路：尋找最佳(jia)回(hui)歸擬合線

‐  如何處理預測離群值（剔除離群值）

‐  如何剔除不顯著(zhu)因(yin)素（剔除不顯著(zhu)因(yin)素）

‐  如何(he)進(jin)行(xing)非線性(xing)關(guan)系檢(jian)驗（增加非線性(xing)自變量）

‐  如何進(jin)行相(xiang)互(hu)作(zuo)用(yong)檢驗(yan)（增加相(xiang)互(hu)作(zuo)用(yong)自變量）

‐  如何進行多重共(gong)線(xian)性檢(jian)驗（剔(ti)除共(gong)線(xian)性自(zi)變量）

‐  如何(he)檢驗誤差(cha)項（修改因變量）

‐  如何判斷模(mo)型過擬合（模(mo)型過擬合判斷）

演練：模型優化案(an)例

3、 規劃求(qiu)解工具簡介(jie)（自定(ding)義回(hui)歸(gui)模型的工具）

4、 自(zi)定義(yi)模型(xing)（如何(he)利用(yong)規劃(hua)求解進行自(zi)定義(yi)模型(xing)）

案例：如何對餐廳客流量進(jin)行(xing)建模(mo)(mo)及模(mo)(mo)型優化(hua)

5、 好模型都是優化出來的

第五部分：  時序預測模型(xing)篇

問題：類似于GDP這種無法找到或找全影響因素，無法進行回歸建模，怎么辦？

1、 時間(jian)序列簡介

2、 時間(jian)序列常(chang)用(yong)模型

3、 評估預測值(zhi)的準確度指標

‐  平均絕對誤差MAE

‐  均方差MSE/RMSE

‐  平均誤差率MAPE

4、 移動平均（MA）

‐  應用場(chang)景及(ji)原(yuan)理

‐  移動(dong)平均種類(lei)

◢   一次移(yi)動平均

◢   二次(ci)移動平均

◢   加權移(yi)動平(ping)均(jun)

◢   移動平均比率法

‐  移動平均關鍵問題

◢   期數N的最佳選擇方法

◢   最優權重系數的(de)選取方(fang)法

演練：平板(ban)電(dian)腦銷量預測及評估

演練：快銷(xiao)產品季節銷(xiao)量預(yu)測及評估(gu)

5、 指數平滑（ES）

‐  應用(yong)場景及原(yuan)理

‐  最優平滑系數的選取原則

‐  指數平滑種類

◢   一次指數(shu)平滑(hua)

◢   二次指數平滑（Brown線性、Holt線性、Holt指數、阻尼線性、阻尼指數）

◢   三(san)次指數(shu)平滑

演練：煤(mei)炭產量預測

演練：航空(kong)旅(lv)客(ke)量預測及(ji)評估

6、 溫特斯(si)季(ji)節預(yu)測(ce)模型

‐  適用場景及(ji)原理

‐  Holt-Winters加(jia)法模型(xing)

‐  Holt-Winters乘法模型

演練：汽車銷量預測及評估

7、 回(hui)歸季節預測模型

‐  回歸季節模(mo)型的(de)參數

‐  基于時期t的相加模型

‐  基于時期t的相乘模型

‐  怎樣(yang)解(jie)讀模型的含(han)義(yi)

案(an)例：美國(guo)航空旅客里程的季(ji)節(jie)性趨(qu)勢分(fen)析

8、 ARIMA模型(xing)

‐  適用場景及原理

‐  ARIMA操作

演(yan)練：上海證券交易所綜合指數收益率序(xu)列分(fen)析

演(yan)練：服裝(zhuang)銷售(shou)數據季節性趨勢預測(ce)分析

9、 新產品銷量預測模型

‐  新產品累計銷量的S曲線

‐  如何評估銷量增長的拐點(dian)及銷量上限

‐  珀爾曲線(xian)與龔鉑茲曲線(xian)

演練：預測IPad產品的銷量

演練：預測Facebook的用戶增長情況

第六部分：  數據預處(chu)理篇(pian)（了解你(ni)的數據集）

1、數據(ju)預(yu)處理的(de)主要任務

‐  數(shu)據集成：多個(ge)數(shu)據集的(de)合并

‐  數據清(qing)理：異(yi)常值的處理

‐  數據(ju)(ju)處理：數據(ju)(ju)篩選、數據(ju)(ju)精簡、數據(ju)(ju)平衡

‐  變(bian)量(liang)處理：變(bian)量(liang)變(bian)換、變(bian)量(liang)派生、變(bian)量(liang)精簡

‐  數據歸約：實現降(jiang)維(wei)，避(bi)免(mian)維(wei)災(zai)難

2、數據集成

‐  外部數據讀入：Txt/Excel/SPSS/Database

‐  數據追加(jia)（添加(jia)數據）

‐  變(bian)量(liang)合并（添加(jia)變(bian)量(liang)）

3、數據理(li)解(jie)（異常數據處理）

‐  取(qu)值(zhi)范圍限定

‐  重復值處理(li)

‐  無效值/錯誤值處理

‐  缺失值處理

‐  離群值/極端值處理

‐  數據質(zhi)量評估

4、數(shu)據準備(bei)：數(shu)據處理

‐  數據篩選：數據抽樣/選擇（減少樣本數量）

‐  數據精簡：數據分段/離散化（減少變量的取值個數）

‐  數據平衡(heng)：正反樣(yang)本比例均衡(heng)

5、數(shu)據(ju)準備(bei)：變量處理

‐  變(bian)(bian)量變(bian)(bian)換(huan)：原變(bian)(bian)量取值更新，比(bi)如(ru)標準化(hua)

‐  變(bian)(bian)量(liang)派(pai)生(sheng)：根據舊變(bian)(bian)量(liang)生(sheng)成新的(de)變(bian)(bian)量(liang)

‐  變量(liang)精(jing)簡：降維，減(jian)少變量(liang)個數

6、數據降(jiang)維

‐  常用降(jiang)維的方(fang)法

‐  如何確定(ding)變量個(ge)數

‐  特征選擇：選擇重要(yao)變量，剔除不重要(yao)的變量

◢   從變(bian)量本身考(kao)慮(lv)

◢   從輸入變(bian)量與目標變(bian)量的(de)相關性考慮

◢   對輸入變(bian)量進行(xing)合并

‐  因子分析(xi)（主成分分析(xi)）

◢   因(yin)子分析的原(yuan)理(li)

◢   因子個數如何選(xuan)擇

◢   如何解讀因子含義

案例：提取影響電信客戶流(liu)失的主成(cheng)分分析(xi)

7、數據探索性分析

‐  常用統計指標(biao)分(fen)析(xi)

‐  單變量：數值變量/分類變量

‐  雙變量：交叉分析/相關性分析

‐  多變量：特征選擇、因子分析(xi)

演練(lian)：描述(shu)性分(fen)析（頻數、描述(shu)、探索、分(fen)類匯總）

8、數據可(ke)視化

‐  數據可視化：柱(zhu)狀圖(tu)(tu)、條形圖(tu)(tu)、餅圖(tu)(tu)、折線圖(tu)(tu)、箱圖(tu)(tu)、散點圖(tu)(tu)等

‐  圖形的表達及(ji)適用場(chang)景

演(yan)練：各種圖形繪(hui)制

結(jie)束：課程(cheng)總結(jie)與問(wen)題答疑。