第一部分：  數(shu)據核心理(li)念—數(shu)據思維篇(pian)

問題：什么是數據(ju)思維？大數據(ju)決策的底(di)層邏(luo)輯以及決策依據(ju)是什么？

1、 大(da)數據(ju)的本質

‐  數據，是事物發(fa)展(zhan)和變化(hua)過程中(zhong)留(liu)下的痕跡

‐  大數據不在于量大，而在于全（多維性）

‐  業務(wu)導向還是技術導向

2、 大數據決策的底層邏輯(ji)（即四大核心價(jia)值）

‐  探索業務規(gui)律，按(an)規(gui)律來管理決策

案例：客流規律與排班及最佳營(ying)銷時機

案例：致命(ming)交通事故發生的時間規(gui)律

‐  發現(xian)運營(ying)變(bian)化，定短板來(lai)運營(ying)決策

案例(li)：考核周期導致的員工月初(chu)懈怠

案例：工序(xu)信號異常監測設備故障

‐  理(li)清要素關系(xi)，找影響(xiang)因素來決策(ce)

案例：情緒對于(yu)股市漲跌的(de)影(ying)響

案例(li)：為何升職(zhi)反而會增加離職(zhi)風(feng)險？

‐  預測未來趨勢，通過預判(pan)進(jin)行決策

案例：海爾(er)利用(yong)數據(ju)來預測空(kong)調故障(zhang)，實現事前(qian)檢(jian)修

案例：保險(xian)公司的車險(xian)預(yu)測與個性化保費定價

3、 大(da)數據決策的三個關(guan)鍵環節

‐  業務數據化：將業務問題轉(zhuan)化為數據問題

‐  數據信息化：提取(qu)數據中(zhong)的業務規律信息

‐  信息策(ce)略(lve)(lve)化(hua)：基于規律形成業務應對策(ce)略(lve)(lve)

案例：用數據來(lai)識別喜(xi)歡賺“差價”的(de)營業員

第二部分：  數(shu)據(ju)分析基(ji)礎—流程步驟(zou)篇

1、 數據分析的六步曲

2、 步驟1：明確目的，確定分析思路

‐  確定分析(xi)目的：要解決什么樣的業(ye)務問(wen)題(ti)

‐  確(que)定分析(xi)思路：分解(jie)業務問題，構建(jian)分析(xi)框架

3、 步驟2：收集數據，尋找分析素材

‐  明確數據范(fan)圍

‐  確定收集來源

‐  確(que)定(ding)收(shou)集(ji)方法

4、 步驟3：整理數據，確保數據質量

‐  數(shu)據質量評(ping)估

‐  數(shu)據清洗、數(shu)據處理和(he)變量處理

‐  探(tan)索性(xing)分析

5、 步驟4：分析數據，尋找業務答案

‐  選擇合適的(de)分(fen)析方法

‐  構建合(he)適(shi)的分(fen)析模(mo)型

‐  選擇合適的分析工(gong)具

6、 步驟5：呈現數，解讀業務規律

‐  選(xuan)擇恰當的圖表

‐  選(xuan)擇合適的可視化工(gong)具

‐  提煉(lian)業務含(han)義

7、 步驟6：撰寫報告，形成業務策略

‐  選擇報告(gao)種類(lei)

‐  完整(zheng)的報(bao)告結構

演(yan)練：產品精準營銷案(an)例分(fen)析(xi)

‐  如何(he)搭建精準營銷分析(xi)框架

第三部分：  用戶行為分(fen)析—統計(ji)方(fang)法(fa)篇

問題：數據(ju)分析方(fang)法的(de)種類(lei)？分析方(fang)法的(de)不同(tong)應用場景？

1、 業務分析(xi)的三個階段

‐  現(xian)(xian)狀分(fen)析：通過企業運營指標來(lai)發(fa)現(xian)(xian)規律(lv)及(ji)短板

‐  原因(yin)分析：查找數據相關(guan)性(xing)，探尋目標影響因(yin)素

‐  預(yu)測分析：合理(li)配置資源，預(yu)判業務未來的趨勢

2、 常用的數據(ju)分析方法種類

3、 統計分析基(ji)礎(chu)

4、 基本分析方(fang)法及其適用場景

‐  對(dui)比分析（查看數據(ju)差(cha)距，發現(xian)事物變化）

演練：分析理財產品受(shou)歡迎情況及貢獻(xian)大小

演練：用戶(hu)消費(fei)水平差異分析，提(ti)取優質客(ke)戶(hu)特征

‐  分(fen)布分(fen)析（查看(kan)數據分(fen)布，探索業務層次）

案例：銀行用戶的消費層次/消費檔次分析

演練：客戶年齡分布/收入分布分析

‐  結構(gou)分析（查看指(zhi)標構(gou)成，評估結構(gou)合理性）

案例：收入結構分析/成本結構分析

案例(li)：動態結構分析

‐  趨勢分析（查(cha)看變(bian)化趨勢，了解季(ji)節周期性）

案例：營(ying)業廳客流量規律與(yu)排班(ban)

案例：用戶活躍時間規律/產品銷量的淡旺季分析

演練：產(chan)品(pin)訂(ding)單(dan)的季節周期性規律(lv)

‐  交叉分(fen)析（從多個維(wei)度的數據指標分(fen)析）

演(yan)練(lian)：不同客戶(hu)的(de)產(chan)品(pin)偏(pian)好(hao)分析

演練：銀行(xing)用(yong)戶違約的影(ying)響因素(su)分(fen)析

第四部分：  用(yong)戶行為分(fen)析—分(fen)析框架篇

問題：如何才能全面/系統地分析而不遺漏？如何分解和細化業務問題？

1、 分析(xi)框架來源于業務模型

‐  商業目標（粗(cu)粒度）

‐  分析維度/關鍵步驟

‐  業務問題（細粒度）

‐  涉及數據/關鍵指標

2、 常用的業務模型：PEST/5W2H/SWOT/PDCA/AARRR…

研討：結合(he)公司業務情(qing)況，選取業務目標，構建(jian)系(xi)統(tong)的數據分(fen)析框架

第五部分：  用戶(hu)風(feng)險識別—異常數據篇(pian)

1、 反(fan)欺(qi)詐識(shi)別的重點(dian)內容(rong)

‐  如(ru)何識別異常數據

‐  如何查找影響因素

‐  如何提取(qu)欺詐用戶的(de)特征

‐  如何預測用戶的欺詐行為

2、 異(yi)常(chang)數據的(de)定義

3、 異(yi)常數(shu)據的檢(jian)測方法

‐  基于統(tong)計法(fa)：標準(zhun)差法(fa)、四分位(wei)距法(fa)、離群點(dian)檢測算法(fa)

‐  基于機器(qi)學(xue)習(xi)：回(hui)歸(gui)、聚類等

4、 異常數據處(chu)理方法

演練：各種異常(chang)數據識別

第六部分：              影(ying)響因素(su)分析(xi)—根(gen)因分析篇

問題：如(ru)何做原因分析？比如(ru)價格是(shi)否可用于(yu)產(chan)品銷量？影響(xiang)用戶違約(yue)的(de)關鍵因素是(shi)什么？

1、 數據預處理vs特征工程

2、 特征選擇常用(yong)方法

‐  相關分析(xi)、方差分析(xi)、卡方檢驗

3、 相關(guan)分(fen)析（衡量(liang)(liang)兩數據(ju)型(xing)變量(liang)(liang)的線性(xing)相關(guan)性(xing)）

‐  相關分析簡介(jie)

‐  相關分析的應用(yong)場景

‐  相關分析的種(zhong)類

◢    簡單相關分析

◢    偏(pian)相關(guan)分析

◢    距離相(xiang)關分(fen)析

‐  相關系數的三(san)種(zhong)計算公(gong)式

◢    Pearson相關系數

◢    Spearman相關(guan)系數

◢    Kendall相關(guan)系數(shu)

‐  相關分析的假設檢(jian)驗(yan)

‐  相關分析的四(si)個基(ji)本步驟

演練(lian)：營銷費用(yong)會(hui)影(ying)響銷售額嗎？影(ying)響程(cheng)度(du)如(ru)何量化？

演練：哪(na)些(xie)因素(su)與產品銷(xiao)量有顯著(zhu)的相關(guan)性

演練(lian)：影響用(yong)戶消費(fei)水平的(de)因素(su)會有哪些(xie)

‐  偏(pian)相關分析

◢    偏相關(guan)原理：排除不(bu)可控因素(su)后的(de)兩變(bian)量的(de)相關(guan)性

◢    偏相(xiang)關(guan)系數的計算公式

◢    偏相關分析的適用場景(jing)

4、 方差分析（衡量(liang)類別變量(liang)與數值變量(liang)間的(de)相關(guan)性(xing)）

‐  方差(cha)分析的應用場景

‐  方差分析的(de)三個種類

◢    單因素方(fang)差(cha)分析

◢    多(duo)因素方差分析

◢    協方差分析

‐  單(dan)因素(su)方差分析的(de)原理

‐  方差分析的四個(ge)步(bu)驟

‐  解讀方差分析(xi)結果的兩個要點

案例(li)：擺放位置與銷量有關(guan)嗎

演練：客戶學歷對消費(fei)水平(ping)的影響(xiang)分(fen)析

‐  多因素方差分析原理

‐  多因素方差(cha)分析的作(zuo)用(yong)

‐  多因素方差結果的(de)解(jie)讀(du)

案例：廣告形式、地(di)區對銷售額的影(ying)響因素(su)分(fen)析

演練：銷售員的(de)性別(bie)(bie)、技能級別(bie)(bie)對銷量(liang)有(you)影響嗎(ma)

‐  協方差分析原(yuan)理

‐  協方差(cha)分析(xi)的適(shi)用場景

演(yan)練：排(pai)除用戶收入，其(qi)余哪些因素對銷量有顯著影響？

5、 列聯分析/卡方檢驗（兩類別變量的相關性分析）

‐  交叉表與列聯表：計數值與期望值

‐  卡方檢驗的原理

‐  卡方檢驗(yan)的幾個計算公式

‐  列聯表分析(xi)的適用場(chang)景

案例(li)：產品類型對客戶流失的影響分析(xi)

案例：用戶學(xue)歷(li)對產品類型偏好的影響分析

研討：行業/規模對風控的影響分析

第七部分：              數據建(jian)模基礎—流(liu)程步驟篇

1、 預測建(jian)模(mo)六步法

‐  選擇模型(xing)：基于業務(wu)選擇恰(qia)當的數據模型(xing)

‐  特(te)征工程：選(xuan)擇對目(mu)標變量有顯著(zhu)影響的屬性來建模

‐  訓練模型(xing)：采用(yong)合(he)適的算法(fa)對模型(xing)進(jin)行訓練，尋找到最優參數

‐  評(ping)估模型：進行(xing)評(ping)估模型的質(zhi)量，判斷模型是否可用

‐  優化模型(xing)：如果評(ping)估結果不理想，則需要對(dui)模型(xing)進行優化

‐  應(ying)用模型：如果評估結(jie)果滿(man)足(zu)要求，則可應(ying)用模型于業(ye)務場景

2、 數據挖(wa)掘常用的模型

‐  定(ding)量預(yu)測(ce)模型：回歸預(yu)測(ce)、時(shi)序預(yu)測(ce)等

‐  定性(xing)預測模型(xing)：邏輯回(hui)歸、決策(ce)樹、神經網絡、支持(chi)向量機等(deng)

‐  市場細分：聚類、RFM、PCA等

‐  產品(pin)推薦(jian)：關聯分析、協同過(guo)濾等

‐  產品(pin)優化：回歸、隨機效用等

‐  產品定價：定價策略/最優定價等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身(shen)特(te)征

‐  基于相關性判斷(duan)

‐  因子合并（PCA等）

‐  IV值篩選（評分卡(ka)使(shi)用）

‐  基于信息(xi)增益判(pan)斷（決策(ce)樹使用(yong)）

4、 模型(xing)評(ping)估

‐  模型質量評估指標：R^2、正確率/查全率/查準率/特異性等

‐  預測值評估指標：MAD、MSE/RMSE、MAPE、概率等

‐  模型評估方法：留出法、K拆交叉驗證、自助法等

‐  其它評估(gu)：過擬合評估(gu)、殘差檢驗

5、 模型優化

‐  優化模型：選擇新模型/修改模型

‐  優化數據：新增顯著自(zi)變量

‐  優化公(gong)式：采用新的計算公(gong)式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預測(ce)模(mo)型介紹：回歸、時序(xu)、分類

第八部分：  客戶(hu)行為預(yu)測—分類模型篇

問題：如何評估客戶購買產品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產品或業務？

1、 分類模型概述及其應用(yong)場景

2、 常見(jian)分類預測(ce)模型

3、 邏輯回歸（LR）

‐  邏(luo)輯回歸的適用場景

‐  邏輯(ji)回歸的模型原理(li)

‐  邏輯回歸(gui)分類(lei)的幾何意(yi)義

‐  邏(luo)輯(ji)回歸的種類(lei)：二(er)項、多項

‐  如何解(jie)讀邏(luo)輯回歸方程

‐  帶分類自變量的邏輯回(hui)歸(gui)分析

‐  多項邏(luo)輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產品

案(an)例：多品牌(pai)選擇模(mo)型分(fen)析（多項邏輯回歸）

4、 分類決策樹（DT）

問題：如何(he)預(yu)測(ce)客(ke)戶行為？如何(he)識別潛在(zai)客(ke)戶？

風控：如(ru)何(he)識(shi)別欠貸(dai)者的特(te)征(zheng)，以及預測(ce)欠貸(dai)概率？

客戶(hu)保有：如何識別流(liu)失客戶(hu)特征，以(yi)及預測客戶(hu)流(liu)失概率？

‐  決(jue)策樹(shu)分類簡(jian)介(jie)

演練：識別銀行欠(qian)貨風險，提取(qu)欠(qian)貸者的特(te)征

‐  決策樹分類的幾何(he)意義(yi)

‐  構建(jian)決策(ce)樹的三個關鍵問題

◢   如何選擇最佳屬性來構建節點：熵/基尼系數、信息增益

◢   如何分裂變量：多元/二元劃分、最優切割點

◢   修剪決策樹：剪枝原則、預(yu)剪枝與后剪枝

‐  構(gou)建(jian)決策樹的四個算法(fa)

‐  如何選擇(ze)最(zui)優(you)分類模型？

案例(li)：商場(chang)用戶(hu)的典型(xing)特征提取

案(an)例(li)：客戶流失預警與客戶挽留

案例(li)：識別拖欠銀行貨款者的特征(zheng)，避(bi)免不(bu)良貨款

‐  多分類決策樹

案例(li)：識別不同理財客戶的典型特(te)征，實現精準推薦

‐  決策樹模型的保存(cun)與應用

5、 人工神經網絡（ANN）

‐  神經網絡的結構

‐  神經網絡基本原理(li)

‐  神經網絡分類的幾何意義(yi)

‐  神經(jing)網(wang)絡的建(jian)立步(bu)驟及實現算法(fa)

‐  神經網絡(luo)的關鍵問題(ti)

案例：評估銀行用戶拖欠貨(huo)款的概率

6、 支持向量機（SVM）

‐  SVM基本(ben)原理

‐  線性(xing)可分問(wen)題：最大(da)邊界超(chao)平(ping)面

‐  線性不(bu)可分問題(ti)：特(te)征(zheng)空間的轉換

‐  維(wei)災難與核函數(shu)

第九部分：  客戶行為預測—模型評估篇

1、模型的評估(gu)指標(biao)

‐  兩大(da)矩(ju)陣(zhen)：混淆矩(ju)陣(zhen)，代價矩(ju)陣(zhen)

‐  六大指標：Acc,P,R,Spec,F1,lift

‐  三(san)條曲線：

◢   ROC曲線和AUC

◢   PR曲線和BEP

◢   KS曲線和KS值

2、模型(xing)的評估方法

‐  留出法（Hold-Out）

‐  交叉驗證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  客戶行為預(yu)測—集成優化篇(pian)

1、模(mo)型的優化思路(lu)

2、集(ji)成算法基本原(yuan)理

‐  單獨構建多個弱分(fen)類(lei)器

‐  多個(ge)弱分類(lei)器組(zu)合投票，決(jue)定預測結果

3、集成方法的種(zhong)類：Bagging、Boosting、Stacking

4、Bagging集成：隨機森林RF

‐  數據/屬性重抽樣

‐  決策依據：少數(shu)服從多(duo)數(shu)

5、Boosting集成：AdaBoost模型

‐  基于誤分數據建模

‐  樣本選擇權重更新公(gong)式

‐  決策依據：加權投(tou)票

6、高級(ji)模型介(jie)紹與實現(xian)

‐  GBDT梯度提升決策樹

‐  XGBoost

‐  LightGBM

第十一部分：        市場細分(fen)模型(xing)—聚類模型篇

問題：我們的客戶有幾類？各類特征是(shi)什么(me)？如何實現客戶細分，開發符合細分市場的新產品？如何提取客戶特征，從而對產品進行市場定位？

1、 市場(chang)細(xi)分的常用方法

‐  有指導細(xi)分

‐  無指導細分

2、 聚類分析(xi)

‐  如何更好的了解客戶群體(ti)和市(shi)場細分(fen)？

‐  如何識別客戶(hu)群體特(te)征？

‐  如何(he)確定客戶要分成(cheng)多少適(shi)當的類別(bie)？

‐  聚類方法原(yuan)理介(jie)紹

‐  聚類方法作用及其適用場景

‐  聚(ju)類分析的種類

◢    K均值聚類

◢    層次(ci)聚類(lei)

◢    兩步(bu)聚類

‐  K均值聚(ju)類（快速聚(ju)類）

‐  層次聚(ju)類(lei)（系統聚(ju)類(lei)）：發現(xian)多個(ge)類(lei)別

‐  兩步聚類

演練：劃(hua)分(fen)合適的客戶(hu)群，提取不同客戶(hu)群的典型(xing)特征

3、 客戶細分與PCA分析法

‐  PCA主成(cheng)分分析的(de)原(yuan)理

‐  PCA分析法的(de)適用場景

演練：利用PCA對客戶群進行細分

第十二部分：        銀行客戶信用(yong)卡模型

1、 信用評(ping)分(fen)卡模型簡(jian)介

2、 評分(fen)卡(ka)的關鍵問題

3、 信用(yong)評分卡(ka)建立過程

‐  篩選重要屬性

‐  數據集轉化

‐  建立分類模型

‐  計算(suan)屬性分值

‐  確定審批閾(yu)值

4、 篩選重(zhong)要屬性

‐  屬(shu)性分段

‐  基本概念：WOE、IV

‐  屬(shu)性(xing)重要性(xing)評估

5、 數(shu)據集轉化

‐  連續屬性最優分段(duan)

‐  計算屬性取值的WOE

6、 建立分類模型

‐  訓練邏輯回(hui)歸模型

‐  評(ping)估模型

‐  得到(dao)字段系數

7、 計算屬性(xing)分(fen)值

‐  計算補償(chang)與刻度(du)值

‐  計算各字(zi)段得分

‐  生(sheng)成評分(fen)卡(ka)

8、 確定審批閾值

‐  畫K-S曲線

‐  計算K-S值

‐  獲(huo)取最優閾值(zhi)

案例：構(gou)建銀(yin)行小額貸款的用戶信用模型(xing)

第十三部分：        數據建(jian)模實戰篇(pian)

1、電(dian)信業客戶(hu)流失預警和(he)客戶(hu)挽留模型實戰

2、銀行欠貸風險(xian)預測模(mo)型實戰

3、銀行信(xin)用(yong)卡(ka)評分模型實戰

結束：課程總結與(yu)問題答疑。