让天下没有难找的讲师,职业讲师,商业讲师,培训师,讲师库-北京昭智教育

傅一航:大数据建模应用实战

[复制链接]
大数据建模应用实战
【课程目标】
本课程专注于大数据建模课程,面向数据分析部等专门负责数据分析与建模的人士。主要内容包括数据建模的过程和步骤,以及建模涉及到的分析方法、分析模型,以及模型优化等。
本课程从实际的业务需求出发,对数据分析及数据挖掘技术进行了全面的介绍,通过大量的操作演练,帮助学员掌握数据分析和数据挖掘的思路、方法、工具,从大量的企业经营数据中进行分析,发现业务运作规律,进行客户洞察,挖掘客户行为特点,消费行为,实现精准营销,帮助运营团队深入理解业务运作,以达到提升学员的数据综合分析能力,支撑运营决策的目的。
通过本课程的学习,达到如下目的:
1、  掌握数据建模的基本过程和步骤。
2、  掌握数据建模前的属性筛选的系统方法,为建模打下基础。
3、  掌握常用的数值预测模型,包括回归预测和时序预测,以及其适用场景。
4、  掌握常用的分类预测模型,包括逻辑回归、决策树、神经网络、判别分析等等,以及分类模型的优化。
5、  掌握数据挖掘常用的专题模型。
【授课时间】
2-3天时间(每天6个小时)
【授课对象】
业务支撑、网络中心、IT系统部、数据分析部等对业务数据分析有较高要求的相关专业人员。
【学员要求】
1、    每个学员自备一台便携机(必须)。
2、    便携机中事先安装好OfficeExcel 2013版本及以上。
3、    便携机中事先安装好IBMSPSS Statistics v24版本以上软件。
注:讲师可以提供试用版本软件及分析数据源。
【授课方式】
基础知识精讲 + 案例演练 + 实际业务问题分析 + SPSS实际操作
本课程突出数据挖掘的实际应用,结合行业的典型应用特点,从实际问题入手,引出相关知识,进行大数据的收集与处理;探索数据之间的规律及关联性,帮助学员掌握系统的数据预处理方法;介绍常用的模型,训练模型,并优化模型,以达到最优分析结果。
【课程大纲】
第一部分:  数据建模基本过程
1、 预测建模六步法
Ø  选择模型:基于业务选择恰当的数据模型
Ø  属性筛选:选择对目标变量有显著影响的属性来建模
Ø  训练模型:采用合适的算法对模型进行训练,寻找到最合适的模型参数
Ø  评估模型:进行评估模型的质量,判断模型是否可用
Ø  优化模型:如果评估结果不理想,则需要对模型进行优化
Ø  应用模型:如果评估结果满足要求,则可应用模型于业务场景
2、 数据挖掘常用的模型
Ø  数值预测模型:回归预测、时序预测等
Ø  分类预测模型:逻辑回归、决策树、神经网络、支持向量机等
Ø  市场细分:聚类、RFM、PCA等
Ø  产品推荐:关联分析、协同过滤等
Ø  产品优化:回归、随机效用等
Ø  产品定价:定价策略/最优定价等
3、 属性筛选/特征选择/变量降维
Ø  基于变量本身特征
Ø  基于相关性判断
Ø  因子合并(PCA等)
Ø  IV值筛选(评分卡使用)
Ø  基于信息增益判断(决策树使用)
4、 模型评估
Ø  模型质量评估指标:R^2、正确率/查全率/查准率/特异性等
Ø  预测值评估指标:MAD、MSE/RMSE、MAPE、概率等
Ø  模型评估方法:留出法、K拆交叉验证、自助法等
Ø  其它评估:过拟合评估
5、 模型优化
Ø  优化模型:选择新模型/修改模型
Ø  优化数据:新增显著自变量
Ø  优化公式:采用新的计算公式
6、 模型实现算法(暂略)
7、 好模型是优化出来的
案例:通信客户流失分析及预警模型
第二部分:  属性筛选方法
问题:如何选择合适的属性来进行建模预测?
比如:价格是否可用于产品销量的预测?套餐的合理性是否会影响客户流失?在欺诈风险中有哪些数据会有异常表现?
1、 属性筛选/变量降维的常用方法
Ø  基于变量本身特征来选择属性
Ø  基于数据间的相关性来选择属性
Ø  基于因子合并(如PCA分析)实现变量的合并
Ø  利用IV值筛选
Ø  基于信息增益来选择属性
2、 相关分析(衡量变量间的线性相关性)
问题:这两个属性是否会相互影响?影响程度大吗?
Ø  相关分析简介
Ø  相关分析的三个种类
²  简单相关分析
²  偏相关分析
²  距离相关分析
Ø  相关系数的三种计算公式
²  Pearson相关系数
²  Spearman相关系数
²  Kendall相关系数
Ø  相关分析的假设检验
Ø  相关分析的四个基本步骤
演练:体重与腰围的关系
演练:营销费用会影响销售额吗
演练:哪些因素与汽车销量有相关性
演练:通信费用与开通月数的相关分析
Ø  偏相关分析
²  偏相关原理:排除不可控因素后的两变量的相关性
²  偏相关系数的计算公式
²  偏相关分析的适用场景
Ø  距离相关分析
3、 方差分析(衡量类别变量与数据变量的相关性)
问题:哪些才是影响销量的关键因素?
Ø  方差分析的应用场景
Ø  方差分析的三个种类
²  单因素方差分析
²  多因素方差分析
²  协方差分析
Ø  方差分析的原理
Ø  方差分析的四个步骤
Ø  解读方差分析结果的两个要点
演练:终端摆放位置与终端销量有关吗
演练:开通月数对客户流失的影响分析
演练:客户学历对消费水平的影响分析
演练:广告和价格是影响终端销量的关键因素吗
演练:营业员的性别、技能级别对产品销量有影响吗
演练:寻找影响产品销量的关键因素
Ø  多因素方差分析原理
Ø  多因素方差分析的作用
Ø  多因素方差结果的解读
演练:广告形式、地区对销量的影响因素分析(多因素)
Ø  协方差分析原理
Ø  协方差分析的适用场景
演练:饲料对生猪体重的影响分析(协方差分析)
4、 列联分析/卡方检验(两类别变量的相关性分析)
Ø  交叉表与列联表
Ø  卡方检验的原理
Ø  卡方检验的几个计算公式
Ø  列联表分析的适用场景
案例:套餐类型对客户流失的影响分析
案例:学历对业务套餐偏好的影响分析
案例:行业/规模对风控的影响分析
5、 相关性分析各种方法的适用场景
6、 主成份分析(PCA)
Ø  因子分析的原理
Ø  因子个数如何选择
Ø  如何解读因子含义
案例:提取影响电信客户流失的主成分分析
第三部分:  回归预测模型篇
问题:如何预测产品的销量/销售金额?如果产品跟随季节性变动,该如何预测?新产品上市,如果评估销量上限及销售增速?
1、 常用的数值预测模型
Ø  回归预测
Ø  时序预测
2、 回归预测/回归分析
问题:如何预测未来的销售量(定量分析)?
Ø  回归分析的基本原理和应用场景
Ø  回归分析的种类(一元/多元、线性/曲线)
Ø  得到回归方程的四种常用方法
²  Excel函数
²  散点图+趋势线
²  线性回归工具
²  规范求解
Ø  线性回归分析的五个步骤
Ø  回归方程结果的解读要点
Ø  评估回归模型质量的常用指标
Ø  评估预测值的准确度的常用指标
演练:散点图找推广费用与销售额的关系(一元线性回归)
演练:推广费用、办公费用与销售额的关系(多元线性回归)
演练:让你的营销费用预算更准确
演练:如何选择最佳的回归预测模型(曲线回归)
Ø  带分类变量的回归预测
演练:汽车季度销量预测
演练:工龄、性别与终端销量的关系
演练:如何评估销售目标与资源配置(营业厅)
3、 自动筛选不显著自变量
第四部分:  回归预测模型优化篇
1、 回归分析的基本原理
Ø  三个基本概念:总变差、回归变差、剩余变差
Ø  方程的显著性检验:是否可以做回归分析?
Ø  因素的显著性检验:自变量是否可用?
Ø  拟合优度检验:回归模型的质量评估?
Ø  理解标准误差的含义:预测的准确性?
2、 回归模型优化思路:寻找最佳回归拟合线
Ø  如何处理预测离群值(剔除离群值)
Ø  如何剔除非显著因素(剔除不显著因素)
Ø  如何进行非线性关系检验(增加非线性自变量)
Ø  如何进行相互作用检验(增加相互作用自变量)
Ø  如何进行多重共线性检验(剔除共线性自变量)
Ø  如何检验误差项(修改因变量)
Ø  如何判断模型过拟合(模型过拟合判断)
案例:模型优化案例
3、 规划求解工具简介
4、 自定义回归模型(如何利用规划求解进行自定义模型)
案例:如何对餐厅客流量进行建模及模型优化
5、 好模型都是优化出来的
第五部分:  时序预测模型
问题:无法找到影响因素,无法回归建模,怎么办?随着业务受季节性因素影响,未来的销量如何预测?
1、 时序序列简介
2、 时序分析的原理及应用场景
3、 常见时序预测模型
1、 评估预测值的准确度指标
Ø  平均绝对误差MAD
Ø  均方差MSE/RMSE
Ø  平均误差率MAPE
4、 移动平均
Ø  应用场景及原理
Ø  移动平均种类
²  一次移动平均
²  二次移动平均
²  加权移动平均
²  移动平均比率法
Ø  移动平均关键问题
²  最佳期数N的选择原则
²  最优权重系数的选取原则
演练:平板电脑销量预测及评估
演练:快销产品季节销量预测及评估
5、 指数平滑
Ø  应用场景及原理
Ø  最优平滑系数的选取原则
Ø  指数平滑种类
²  一次指数平滑
²  二次指数平滑(Brown线性、Holt线性、Holt指数、阻尼线性、阻尼指数)
²  三次指数平滑
演练:煤炭产量预测
演练:航空旅客量预测及评估
6、 温特期季节性预测模型
Ø  适用场景及原理
Ø  Holt-Winters加法模型
Ø  Holt-Winters乘法模型
演练:汽车销量预测及评估
7、 回归季节预测模型
Ø  季节性回归模型的参数
Ø  基于时期t的相加模型
Ø  基于时期t的相乘模型
Ø  怎样解读模型的含义
案例:美国航空旅客里程的季节性趋势分析
8、 新产品预测模型与S曲线
Ø  新产品累计销量的S曲线模型
Ø  如何评估销量增长的上限以及拐点
Ø  珀尔曲线与龚铂兹曲线
案例:如何预测产品的销售增长拐点,以及销量上限
演戏:预测IPad产品的销量
第六部分:  分类预测模型
问题:如何评估客户购买产品的可能性?或者说,影响客户购买意向的产品关键特性是什么?
1、分类预测模型概述
2、常见分类预测模型
3、 评估分类模型的常用指标
Ø  正确率、查全率/查准率、特异性等
4、逻辑回归分析模型(LR)
问题:如果评估用户是否购买产品的概率?
Ø  逻辑回归模型原理及适用场景
Ø  逻辑回归的种类
²  二项逻辑回归
²  多项逻辑回归
Ø  如何解读逻辑回归方程
Ø  带分类自变量的逻辑回归分析
Ø  多项逻辑回归
案例:如何评估用户是否会购买某产品(二项逻辑回归)
案例:多品牌选择模型分析(多项逻辑回归)
5、决策树分类(DT)
问题:如何提取客户流失者、拖欠货款者的特征?如何预测其流失的概率?
Ø  决策树分类的原理
Ø  决策树的三个关键问题
²  如何选择最佳属性来构建节点
²  如何分裂变量
²  如何修剪决策树
Ø  选择最优属性
²  熵、基尼索引、分类错误
²  属性划分增益
Ø  如何分裂变量
²  多元划分与二元划分
²  连续变量离散化(最优划分点)
Ø  修剪决策树
²  剪枝原则
²  预剪枝与后剪枝
Ø  构建决策树的四个算法
²  C5.0、CHAID、CART、QUEST
²  各种算法的比较
Ø  如何选择最优分类模型?
案例:识别银行欠货风险,提取欠货者的特征
案例:客户流失预警与客户挽留模型
6、人工神经网络(ANN)
Ø  神经网络概述
Ø  神经网络基本原理
Ø  神经网络的结构
Ø  神经网络的建立步骤
Ø  神经网络的关键问题
Ø  BP反向传播网络(MLP)
Ø  径向基网络(RBF)
案例:评估银行用户拖欠货款的概率
7、判别分析(DA)
Ø  判别分析原理
Ø  距离判别法
Ø  典型判别法
Ø  贝叶斯判别法
案例:MBA学生录取判别分析
案例:上市公司类别评估
8、最近邻分类(KNN)
Ø  基本原理
Ø  关键问题
9、 贝叶斯分类(NBN)
Ø  贝叶斯分类原理
Ø  计算类别属性的条件概率
Ø  估计连续属性的条件概率
Ø  贝叶斯网络种类:TAN/马尔科夫毯
Ø  预测分类概率(计算概率)
案例:评估银行用户拖欠货款的概率
第七部分:  分类模型优化篇(集成方法)
1、 集成方法的基本原理:利用弱分类器构建强分类模型
Ø  选取多个数据集,构建多个弱分类器
Ø  多个弱分类器投票决定
2、 集成方法/元算法的种类
Ø  Bagging算法
Ø  Boosting算法
3、 Bagging原理
Ø  如何选择数据集
Ø  如何进行投票
Ø  随机森林
4、 Boosting的原理
Ø  AdaBoost算法流程
Ø  样本选择权重计算公式
Ø  分类器投票权重计算公式
第八部分:  银行信用评分卡模型
1、 信用评分卡模型简介
2、 评分卡的关键问题
3、 信用评分卡建立过程
Ø  筛选重要属性
Ø  数据集转化
Ø  建立分类模型
Ø  计算属性分值
Ø  确定审批阈值
4、 筛选重要属性
Ø  属性分段
Ø  基本概念:WOE、IV
Ø  属性重要性评估
5、 数据集转化
Ø  连续属性最优分段
Ø  计算属性取值的WOE
6、 建立分类模型
Ø  训练逻辑回归模型
Ø  评估模型
Ø  得到字段系数
7、 计算属性分值
Ø  计算补偿与刻度值
Ø  计算各字段得分
Ø  生成评分卡
8、 确定审批阈值
Ø  画K-S曲线
Ø  计算K-S值
Ø  获取最优阈值
结束:课程总结与问题答疑。

使用道具

管理技能讲师|企业战略讲师|网络媒体讲师|营销服务讲师|职场技能讲师|人力资源讲师|党政爱国讲师|财税金融讲师|生产管理讲师|其他类讲师|内训课程|讲师列表|手机版|

讲师库 | 讲师列表 | 账号登录 | 立即注册 | 网站地图 | 京公网安备11010702002698 | 京ICP备2024062795号-1

返回顶部 返回列表