|
Python数据建模及模型优化（回归篇） 【课程目标】 本课程为高级课程《Python数据建模》的第一篇：回归篇 本课程主要讲解如何利用Python进行数据建模，建立数学模型，来拟合业务的各个要素之间的关系，来模拟业务的未来发展和变化。 基于真实的业务问题，在数据建模的标准过程指导下，从模型选择到特征工程，从训练模型到算法实现，从模型评估到模型优化，再到模型解读及模型应用，带领大家一步步实现一个回归预测模型。
通过本课程的学习，达到如下目的： 1、掌握数据建模的标准流程。 2、掌握数据预处理常用的方法，包括特征筛选、变量合并等。 3、掌握回归模型的原理，以及算法实现。 4、熟练使用模型的评估指标，评估方法，以及过拟合的评估。 5、掌握模型优化的基本措施，学会欠拟合的解决方法。 6、学会过拟合评估，学会使用有正则项来解决过拟合问题。 7、熟练使用sklearn库的常用回归类。 8、学会超参优化的常用方法，能够设置最优超参。 【授课时间】 2-3天时间 （要根据学员的实际情况调整重点内容及时间） 【授课对象】 业务支持部、数据分析部、系统设计部、系统开发部、网络运维部等相关技术人员。 【学员要求】 1、每个学员自备一台便携机(必须)。 2、便携机中事先安装好Python 3.9版本及以上。 3、安装好Numpy,Pandas,statsmodels,sklearn,scipy等常用库。 注：讲师现场提供分析的数据源。
【授课方式】 建模流程+ 案例演练 + 开发实践 + 可视化呈现 采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。 【课程大纲】 第一部分： 预测建模基础1、 数据建模六步法 Ø 选择模型：基于业务选择恰当的数据模型 Ø 属性筛选：选择对目标变量有显著影响的属性来建模 Ø 训练模型：采用合适的算法，寻找到最合适的模型参数 Ø 评估模型：进行评估模型的质量，判断模型是否可用 Ø 优化模型：如果评估结果不理想，则需要对模型进行优化 Ø 应用模型：如果评估结果满足要求，则可应用模型于业务场景 2、 数据挖掘常用的模型 Ø 数值预测模型：回归预测、时序预测等 Ø 分类预测模型：逻辑回归、决策树、神经网络、支持向量机等 Ø 市场细分：聚类、RFM、PCA等 Ø 产品推荐：关联分析、协同过滤等 Ø 产品优化：回归、随机效用等 Ø 产品定价：定价策略/最优定价等 3、 属性筛选/特征选择/变量降维 Ø 基于变量本身特征 Ø 基于相关性判断 Ø 因子合并（PCA等） Ø IV值筛选（评分卡使用） Ø 基于信息增益判断（决策树使用） 4、 训练模型及实现算法 Ø 模型原理 Ø 算法实现 5、 模型评估 Ø 评估指标 Ø 评估方法 Ø 过拟合评估 6、 模型优化 Ø 优化模型：选择新模型/修改模型 Ø 优化数据：新增显著自变量 Ø 优化公式：采用新的计算公式 7、 模型应用 Ø 模型解读 Ø 模型部署 Ø 模型应用 8、 好模型是优化出来的
第二部分： 回归模型评估1、 三个基本概念：SST、SSR、SSE 2、 三个方面评估：指标、方法、过拟合 3、 拟合程度指标： 4、 预测值误差指标：MAE/RMSE/MAPE 5、 信息损失准则指标：AIC/BIC/HQIC 6、 评估方法 Ø 留出法（Hold-Out） Ø 交叉验证法（k-fold cross validation） Ø 自助采样法（Bootstrapping） 7、 其它评估 Ø 过拟合评估：学习曲线 Ø 残差评估：白噪声评估
第三部分： 影响因素分析问题：如何选择合适的属性来进行建模预测？如何做特征选择/特征降维？ 1、属性筛选/变量降维的常用方法 2、影响因素分析常用方法：相关/方差/卡方 3、相关分析（衡量变量间的线性相关性） 问题：这两个属性是否会相互影响？影响程度大吗？ Ø 相关分析简介 Ø 相关分析的三个种类 ² 简单相关分析 ² 偏相关分析 Ø 相关系数的三种计算公式 ² Pearson相关系数 ² Spearman相关系数 ² Kendall相关系数 Ø 相关分析的假设检验 Ø 相关分析的四个基本步骤 演练：体重与腰围的关系 演练：营销费用会影响销售额吗 演练：网龄与消费水平的关系 Ø 偏相关分析 ² 偏相关原理：排除不可控因素后的两变量的相关性 ² 偏相关系数的计算公式 ² 偏相关分析的适用场景 4、方差分析(衡量类别变量与数据变量的相关性) 问题：哪些才是影响销量的关键因素？主要因素是哪些？次要因素是哪些？ Ø 方差分析的应用场景 Ø 方差分析原理 Ø 方差分析前提：齐性检验 Ø 方差分析的三个种类：单因素/多因素/协方差 Ø 方差分析的四个步骤 Ø 分析结果解读要点 演练：终端摆放位置与终端销量有关吗 演练：客户学历对消费水平的影响分析 演练：广告形式和价格是影响终端销量的关键因素吗 演练：营业员的性别、技能级别对产品销量有影响吗 演练：寻找影响产品销量的关键因素 Ø 多因素方差分析原理 Ø 多因素方差分析的作用 Ø 多因素方差结果的解读 演练：广告形式、地区对销量的影响因素分析 Ø 协方差分析原理 Ø 协方差分析的适用场景 演练：排除收入后，网龄对消费水平的影响大小分析 5、列联分析/卡方检验（两类别变量的相关性分析） Ø 卡方检验应用场景 Ø 交叉表与列联表 Ø 计数值与期望值 Ø 卡方检验的原理 Ø 卡方检验的几个计算公式 Ø 列联表分析的适用场景 案例：套餐类型对客户流失的影响分析 案例：学历对业务套餐偏好的影响分析 案例：银行用户违约的影响因素分析 6、属性重要程度排序/筛选
第四部分： 线性回归模型问题：如何预测产品的销量/销售金额？ 1、常用数值预测的模型 Ø 通用预测模型：回归模型 2、线性回归应用场景 3、线性回归模型种类 Ø 一元线性回归 Ø 多元线性回归 4、线性回归建模过程 5、带分类变量的回归建模 6、回归模型的质量评估 7、回归方程的解读 第五部分： 回归算法实现1、基本概念 Ø 损失函数 2、普通最小二乘法OLS Ø 数学推导 Ø OLS存在的问题 3、梯度下降算法 Ø 梯度概念 Ø 梯度下降/上升算法 Ø 批量梯度/随机梯度/小批量梯度 Ø 学习率的影响 Ø 早期停止法 4、牛顿法/拟牛顿法 Ø 泰勒公式(Taylor) Ø 牛顿法(Newton) Ø 拟牛顿法(Quasi-Newton)的优化 ² DFP/BFGS/L-BFGS 5、算法比较-优缺点
第六部分： 回归模型优化6、回归分析的基本原理 Ø 三个基本概念：总变差、回归变差、剩余变差 Ø 方程的显著性检验：是否可以做回归分析？ Ø 因素的显著性检验：自变量是否可用？ Ø 拟合优度检验：回归模型的质量评估？ Ø 理解标准误差的含义：预测的准确性？ 7、欠拟合解决：多项式回归 Ø 剔除离群值 Ø 剔除非显著因素 Ø 非线性关系检验 Ø 相互作用检验 Ø 共线性检验 Ø 检验误差项 案例：销量预测模型优化示例 8、过拟合解决：正则项 Ø 岭回归（Ridge） Ø 套索回归（Lasso） Ø 弹性网络回归（ElasticNet） 9、超参优化 Ø 手动交叉cross_val_score Ø 交叉验证RidgeCV/LassCV/ElasticNetCV Ø 网格搜索GridSearchCV Ø 随机搜索RandomizedSearchCV Ø 贝叶斯搜索BayesSearchCV 第七部分： 自定义回归模型1、自定义回归模型 2、模型参数最优法方法 Ø 全局优化/暴力破解brute Ø 局部优化fmin Ø 有约束优化minimize 3、好模型都是优化出来的 案例：餐厅客流量进行建模及模型优化 4、基于回归季节模型 Ø 季节性回归模型的参数 Ø 相加模型 Ø 相乘模型 Ø 模型解读/模型含义 案例：美国航空旅客里程的季节性趋势分析 5、新产品预测与S曲线 Ø 产品累计销量的S曲线模型 Ø 如何评估销量增长的上限以及拐点 Ø 珀尔曲线 Ø 龚铂兹曲线 案例：预测IPAD的销售增长拐点，以及销量上限 第八部分： 案例实战1、客户消费金额预测模型 2、房价预测模型及优化
结束：课程总结与问题答疑。
| 
