|
Python实现大数据挖掘技术培训 【课程目标】 Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。 本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。 通过本课程的学习，达到如下目的： 1、全面掌握Python语言以及其编程思想。 2、掌握常用扩展库的使用，特别是数据挖掘相关库的使用。 3、学会使用Python完成数据挖掘项目整个过程。 4、掌握利用Python实现可视化呈现。 5、掌握数据挖掘常见算法在Python中的实现。 【授课时间】 2-5天时间 （要根据学员的实际情况调整重点内容及时间） 【授课对象】 业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。 【学员要求】 课程为实战课程，要求： 1、每个学员自备一台便携机(必须)。 2、便携机中事先安装好Python 3.6版本及以上。 3、安装好Numpy,Pandas,sklearn等常用库。 注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。 【授课方式】 语言基础 + 挖掘模型 + 案例演练 + 开发实践 + 可视化呈现 采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。 【课程大纲】 第一部分： 数据对象基本操作目的：掌握数据集结构及基本处理方法，进一步巩固Python语言 1、数据挖掘常用扩展库介绍 Ø Numpy数组处理支持 Ø Scipy矩阵计算模块 Ø Matplotlib数据可视化工具库 Ø Pandas数据分析和探索工具 Ø StatsModels统计建模库 Ø Scikit-Learn机器学习库 Ø Keras深度学习（神经网络）库 Ø Gensim文本挖掘库 2、数据集构建 Ø Index,Series, DataFrame对象 Ø 手工构建（创建索引、序列、数据集） Ø 读取文件（CSV文件、Excel文件） Ø 读取数据库 Ø 数据集保存（CSV、Excel） 3、数据集基本操作 Ø 基本属性访问 ² shape,ndim,index,columns,values,empty,size Ø 数据类型处理：查看、修改、转换 Ø 排序 ² 排序依据：标题、索引、字段 ² 排序顺序：升序、降序 ² 自定义排序：按标题、索引、字段、有序类别变量排序 Ø 基本访问 ² 行访问、列访问、值访问 ² 访问方式：标签、位置 ² 访问类型：单行列、多行列、连续行列 ² 布尔数组访问 Ø 字段管理、新增、删除、修改、替换、移位 Ø 数据筛选：条件筛选、多值筛选、筛选空值/非空值 演练：用Python实现数据的基本访问 第二部分： 大数据预处理目的：掌握数据预处理的基本环节，以及Python的实现。 1、预处理任务 Ø 数据清洗 Ø 数据集成 Ø 数据处理 Ø 变量处理 2、数据清洗 Ø 重复值处理 ² 重复字段、重复标题、重复索引 ² 处理方式：查找、删除、修改 Ø 错误值处理 ² 查找错误值 ² 置空/删除 ² 重新编码/替换 Ø 离群值处理： ² 检测标题：3σ准则，IQR准则，K均值 ² 处理方式：查找、置空、截尾、缩尾 ² 基于K均值的离群值检测 Ø 缺失值处理： ² 查找、删除 ² 插补(固定值/均值/向下填充/向上填充/插入法/拉格朗日) 3、数据集成 Ø 数据追加 Ø 变量合并（连接类型） 4、数据处理 Ø 数据筛选 Ø 数据抽样 ² 简单抽样（有放回、无放回） ² 分层抽样 Ø 离散化/分箱 ² 等宽 ² 等频 ² 自定义间隔 ² K均值 5、变量处理 Ø 处理方式：变量变换、变量派生 Ø 规范化：min-max /mean-std/exp-max Ø 哑变量化 案例：用Python实现数据预处理 第三部分： 数据可视化处理目的：掌握作图扩展库，实现数据可视化 1、统计基础 Ø 数值变量：描述统计 Ø 类别变量：分类计数 Ø 分类统计：分类汇总 2、常用的Python作图库 Ø Matplotlib库 Ø Pygal库 3、各种图形的画法 Ø 柱状图 Ø 直方图 Ø 饼图 Ø 折线图 Ø 散点图 Ø … 演练：用Python库作图来实现产品销量分析，并可视化 第四部分： 影响因素分析/特征选择目的：掌握判断事物间相关性的常用方法，熟悉建模前如何进行属性筛选/特征选择，以实现降维的目的。 1、影响因素分析常用方法 2、相关分析 Ø 相关分析原理 Ø 相关系数公式种类 ² Pearson相关系数 ² Spearman等级相关系数 ² Kendall等级相关系数 3、方差分析 Ø 方差分析原理 Ø 方差分析种类 ² 单因素方差分析 ² 多因素方差分析 ² 协方差分析 4、列联分析/卡方检验 Ø 列联分析原理 Ø 计数与期望值 Ø 卡方检验公式 5、主成分分析：降维 Ø PCA方法原理 第五部分： 回归预测模型实战1、常用数值预测的模型 Ø 通用预测模型：回归模型 Ø 季节性预测模型：相加、相乘模型 Ø 新产品预测模型：珀尔曲线与龚铂兹曲线 2、回归分析概念 3、常见回归分析类别 4、回归分析常见算法 Ø 普通最小二乘法OLS Ø 岭回归（RR） Ø 套索回归Lasso Ø ElasticNet回归 5、回归模型的评估 Ø 判定系数R^2 Ø 平均误差率MAPE 第六部分： 分类预测模型实战1、常见分类预测的模型与算法 2、如何评估分类预测模型的质量 Ø 正确率、查准率、召回率、F1 Ø ROC曲线 3、逻辑回归分析模型 Ø 逻辑回归的原理 Ø 逻辑回归建模的步骤 案例：用sklearn库实现银行贷款违约预测 4、决策树模型 Ø 决策树分类的原理 Ø 决策树的三个关键问题 Ø 决策树算法与实现 案例：电力窃漏用户自动识别 5、决策树算法 Ø 最优属性选择算法：ID3、ID4.0、ID5.0 Ø 连续变量分割算法 Ø 树剪枝：预剪枝、后剪枝 6、人工神经网络模型（ANN） Ø 神经网络概述 Ø 神经元工作原理 Ø 常见神经网络算法（BP、LM、RBF、FNN等） 案例：神经网络预测产品销量 7、支持向量机（SVM） Ø SVM基本原理 Ø 维灾难与核心函数 案例：基于水质图像的水质评价 8、贝叶斯分析 Ø 条件概率 Ø 常见贝叶斯网络 第七部分： 聚类分析（客户细分）实战1、客户细分常用方法 2、聚类分析（Clustering） Ø 聚类方法原理介绍及适用场景 Ø 常用聚类分析算法 Ø 聚类算法的评价 案例：使用SKLearn实现K均值聚类 案例：使用TSNE实现聚类可视化 3、RFM模型分析 Ø RFM模型，更深入了解你的客户价值 Ø RFM模型与市场策略 案例：航空公司客户价值分析 第八部分： 关联规则分析实战1、关联规则概述 2、常用关联规则算法 Ø Apriori算法 ² 发现频繁集 ² 生成关联规则 Ø FP-Growth算法 ² 构建FP树 ² 提取规则 3、时间序列分析 案例：使用apriori库实现关联分析 案例：中医证型关联规则挖掘 第九部分： 案例实战1、客户流失预测和客户挽留模型 2、银行欠贷风险预测模型 结束：课程总结与问题答疑。
| 
