|
数据分析与数据挖掘方法论与工具 课程简介 随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习数据处理技术，使学员深入理解数据分析。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。 本课程重点讲解的数据分析和数据挖掘方法论、算法、思路、流程、工具，并通过对SPSS与SAS数据处理软件实现，为企业的战略发展提供参考。 讲师简介 尹老师 多年从事大数据、云计算、人工智能研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，职称高级工程师，主要研究方向包括云计算、大数据、人工智能、移动开发、云原生应用、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责PaaS平台、大数据、人工智能研发。 IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有大数据、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。 尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技术平台的应用与运维。深入理解Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。 图1. 大数据行业公认的Cloudera认证 图2. 含金量较高的PMP认证 讲师经验 1、 阿里巴巴集团云计算、大数据咨询师 2、 华为云计算、大数据咨询师 3、 百度云计算、大数据咨询师及讲师 4、 中国移动多省大数据、云计算特聘讲师 5、 中国移动多省Docker特聘讲师 6、 中国移动研究院微特聘讲师 7、 中国联通总部大数据、云计算特聘讲师 8、 中国电信多省大数据、云计算、虚拟化特约讲师 9、 中国人民银行大数据特聘讲师 10、 中国工商银行大数据讲师 11、 花旗银行大数据讲师 12、 招商银行大数据调优讲师 13、 中信银行分布式数据库讲师 14、 中国航天三院大数据咨询师 15、 中国石油大数据、云计算特聘讲师 16、 中国石化大数据、云计算特聘讲师 17、 中国电力科学研究院流计算特聘讲师 18、 西安电信十所大数据架构设计讲师 19、 RedHat（中国）大数据咨询师 20、 中电28所大数据特聘讲师 21、 北京中电普华大数据特聘讲师 22、 中国石油东方地球物理公司大数据咨询师 23、 当当网云计算、大数据咨询师 24、 北航特聘企业讲师 25、 阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师 26、 中石油工程设计西南分公司云计算数据中心建设项目 27、 广东发展信用卡精准营销项目 28、 广东发展银行电营、运维大数据分析项目 29、 电商库存预测大数据分析项目 30、 中航国际大综贸易云计算规划项目咨询、培训讲师 31、 北京民生软件SaaS平台研发咨询师 32、 北京立达资本项目管理信息系统解决方案咨询师 33、 曾任大型ERP、电子商务、CRM、电子政务等项目经理 培训目标 1、 介绍数据分析、数据挖掘方法论、算法、常用工具，在工作中如何应用数据分析； 2、 介绍数据分析思路，学习提炼数据、分析数据和建立数据模型的方法和技巧； 3、 让学员掌握基础统计分析知识，包括概率统计的概念、术语和基本统计的算法等； 4、 使学员具备分析企业业务数据的能力，提高分析数据、发现问题的能力，提高工作效率； 5、 使用SPSS实现数据挖掘与数据分析与建模； 6、 使学员具备数据分析与建模为企业管理者制定战略决策提供数据依据； 7、 使学员深入理解数据分析与数据模型的概念、技术、思维模式； 8、使学员具备数据收集、数据挖掘、信息提取的能力； 9、使学员具备利用图形辅助思考的能力； 10、使学员具备大数据技术梳理技能，如历史数据+预测方法+标准工序。 培训对象 1、 即将投身于大数据、数据分析、数据挖掘领域的企业或者个人； 2、 本课程适合于想通过数据化决策制定企业战略的决策者； 3、 适合于经常需要汇报工作的管理者； 4、 对数据可视化分析、数据可视化展现等感兴趣的人士； 5、 对数据分析、数据挖掘算法等感兴趣的人士； 6、 大型集团公司、大型网站、电商网站等数据挖掘、数据分析人员； 7、 云计算、大数据从业者； 8、 系统架构师、系统分析师、高级程序员、资深开发人员； 9、 牵涉到大数据的数据中心运维、规划、设计负责人； 10、政府机关，金融保险、移动互联网、能源行业等大数据相关人员； 11、高校、科研院所统计分析研究员，涉及到数据处理的人员； 培训方式 以课堂讲解、演示、案例分析为主，辅以互动研讨、现场答疑、学以致用。 课程安排 课程时间：3天（6个小时） 课程内容： | | 备注 | | 第1个主题： 数据分析与数据挖掘概述（深入剖析数据数据分析与数据挖掘的过程与方法，介绍数据建模中的机器学习与数据挖掘）（60分钟） 1、 数据分析与建模的概念 2、 数据分析与建模过程 3、 数据分析模型开发过程 4、 数据建模概述 5、 机器学习概念 6、 机器学习算法剖析 7、 算法库分类 8、 算法库 9、 深度学习 10、 神经网络 11、 人工智能 12、 商业智能 第2个主题： 数据挖掘和应用（介绍数据挖掘和应用）（60分钟） 1、 数据挖掘的基本任务 2、 数据挖掘建模过程 a) 定义挖掘目标 b) 数据取样 c) 数据探索 d) 数据预处理 e) 挖掘建模 f) 建立模型 g) 业务理解 h) 模型拟合 i) 训练集 j) 测试集 k) 模型评价 3、 常用的数学预测模型 a) 线性回归 b) 回归（预测）与分类 c) 决策树与随机森林 d) 聚类分析（kmeans） e) 关联规则 f) 时序模式 g) 离群点检测 h) 深度学习 i) 人工智能 j) 神经网络 4、 案例：如何从数据中挖掘出有价值的信息 第3个主题： 数据预处理（剖析数据预处理技术）（60分钟） 1、 数据分析挖掘的过程 2、 建立数据库的方法 3、 企业对数据分析挖掘的错误认识 4、 有效运用数据为客户提供针对性、主动化服务（精准营销） 5、 数据源 6、 数据采集 7、 随机抽样 8、 数据去重 9、 数据缺失值处理 10、 检验数据逻辑错误 11、 离群点检测 12、 数据转换 13、 数据分组 14、 课堂实操：数据预处理案例讲解 第4个主题： 数据的描述性分析（深入剖析数据的描述性分析）（60分钟） 1、 统计学基本概念 2、 统计数据的计量尺度 3、 常用基本统计量 4、 集中趋势的描述指标 5、 离散趋势的描述指标 6、 中心极限定理 7、 大数定律 8、 数据的分布 9、 正态分布的特征 10、 偏度和峰度 11、 检测数据集的分布 12、 数据的分布拟合检验与正态性检验 13、 抽样标准 14、 假设检验 15、 T检验 16、 置信区间 第5个主题： 数据的可视化（实践数据可视化）（90分钟） 1、 散点图 2、 直方图 3、 经验分布函数 4、 QQ图 5、 茎叶图 6、 离群点检测 7、 箱型图检验离群值 8、 盖帽法 9、 课堂实操：SPSS描述性统计分析实现航空业客户描述和行为分析模型 第6个主题： 主成分分析和因子分析（深入剖析主成分分析及因子分析）（30分钟） 1、 主成分分析 2、 总体主成分 3、 样本主成分 4、 主成分分析模型 5、 案例：SPSS主成分分析模型实现 6、 课堂实操：SPSS主成分分析模型实现 第7个主题： 方差分析（深入剖析方差分析方法及SPSS实现）（30分钟） 1、 单因素方差分析 2、 单因素方差分析模型 3、 因素效应的显著性检验 4、 因素各水平均值的估计与比较 5、 两因素等重复试验下的方差分析 6、 统计模型 7、 交互效应及因素效应的显著性检验 8、 无交互效应时各因素均值的估计与比较 9、 有交互效应时因素各水平组合上的均值估计与比较 10、 两因素非重复试验下的方差分析 11、 金融案例：SPSS方差分析实现 12、 课堂实操：SPSS方差分析实现 第8个主题： Bayes统计分析（深入剖析Bayes统计分析）（30分钟） 1、 Baves统计模型 2、 Bayes统计分析的基本思想 3、 Bayes统计模型 4、 Bayes统计推断原则 5、 先验分布的Bayes假设与不变先验分布 6、 共轭先验分布 7、 先验分布中超参数的确定 8、 Baves统计推断 9、 参数的Bayes点估计 10、 Bayes区间估计 11、 Bayes假设检验 12、 案例：SPSS实现Bayes统计分析建模 13、 课堂实操：SPSS实现Bayes统计分析建模 | | | | | | 第9个主题： 数学建模（深入剖析数学建模）（30分钟） 1、 数学建模 2、 数学预测模型 3、 模型评估 4、 模型参数优化 第10个主题： 回归分析与分类分析原理与应用（深入剖析数据的回归分析与分类分析的原理以及应用）（120分钟） 1、 回归与分类 2、 回归分析概念 3、 线性回归模型及其参数估计 4、 一元线性回归 5、 一元线性回归模型 6、 一元线性回归模型求解参数 7、 损失函数 8、 求偏导 9、 回归方程的显著性检验 10、 残差分析 11、 误差项的正态性检验 12、 残差图分析 13、 统计推断与预测 14、 回归模型的选取 15、 穷举法 16、 逐步回归法 17、 岭回归分析 18、 SPSS一元线性回归 19、 金融案例：SPSS一元线性回归模型检验 20、 多元线性回归概述 21、 多元线性回归模型 22、 金融案例：SPSS多元线性回归实现航空业信用打分和评级模型 第11个主题： Logistic回归分析（剖析Logistic回归与其它回归分析方法）（60分钟） 1、 Logistic回归介绍 2、 Logistic函数 3、 Logistic回归模型 4、 案例：SPSS Logistic回归实现 5、 课堂实操：SPSS Logistic回归实现航空业欺诈预测模型 6、 课堂实操：SPSS Logistic回归实现航空业风险分析模型 第12个主题： 非线性回归原理及应用（剖析非线性回归原理及应用实践）（60分钟） 1、 非线性回归 2、 双曲线函数 3、 幂函数 4、 指数函数 5、 对数函数 6、 S型曲线 7、 案例：SPSS非线性回归实现 8、 课堂实操：SPSS非线性回归实现航空业经营分析和绩效分析模型 第13个主题： 数据建模常用距离（深入剖析数据建模过程中常用的距离模型）（30分钟） 1、 数据挖掘常用距离 2、 欧氏距离 3、 曼哈顿距离 4、 切比雪夫距离 5、 闵可夫斯基距离 6、 标准化欧氏距离 7、 马氏距离 8、 夹角余弦 9、 汉明距离 10、 杰卡德距离 & 杰卡德相似系数 11、 相关系数 & 相关距离 12、 信息熵 | | | | | | 第14个主题： 聚类分析与建模实现（深入剖析聚类分析以及通过SPSS聚类算法模型分析数据）（60分钟） 1、 聚类分析 2、 聚类算法 3、 样品间相近性的度量 4、 快速聚类法 5、 快速聚类法的步骤 6、 用Lm距离进行快速聚类 7、 谱系聚类法 8、 类间距离及其递推公式 9、 谱系聚类法的步骤 10、 变量聚类 11、 案例：SPSS聚类实现及绘图 12、 案例：Kmeans应用案例剖析 13、 课堂实操：编写程序实现Kmeans应用案例剖析 第15个主题： 决策树分析与实现（深入剖析决策树分析以及通过SPSS决策树模型分析数据）（60分钟） 1、 决策树分析 2、 决策树 3、 决策树构成要素 4、 决策树算法原理 5、 决策树法的决策过程 6、 决策树算法 7、 案例：SPSS实现决策树分析 8、 课堂实操：SPSS实现航空业客户细分模型 9、 随机森林 第16个主题： 关联规则分析与实现（深入剖析关联规则分析以及通过SPSS关联规则算法模型分析数据）（60分钟） 1、 关联规则 2、 支持度与置信度 3、 关联规则挖掘的过程 4、 Apriori算法 5、 关联规则案例 6、 支持度与置信度计算 7、 案例：SPSS实现关联规则 8、 课堂实操：SPSS实现航空业数据关联规则分析 第17个主题： 数据建模时序模式分析与实现（深入剖析时序模式分析）（60分钟） 1、 时序模式 2、 时间序列分析 3、 时间序列分析 4、 时间序列 5、 序列分析的三个阶段 6、 课堂实操：SPSS实现航空业客户流失模型 第18个主题： 数据分析工具SPSS/SAS在金融行业应用案例（深入剖析数据分析工具SPSS/SAS在金融行业应用案例）（60分钟） 1、 案例：风险分析模型 2、 案例：信用打分和评级模型 3、 案例：客户细分模型 4、 案例：客户描述和行为分析模型 5、 案例：欺诈预测模型 6、 案例：客户流失模型 7、 案例：经营分析和绩效分析模型 8、 案例：交叉销售和增量销售模型 9、 案例：SPSS实现航空业客户流失模型建模 10、 课堂实操：SPSS实现金融行业客户流失模型建模 第19个主题： 大数据个性化精准推荐实战（深入理解大数据个性化精准推荐原理和实现技术）（60分钟） 1、 个性化推荐的理论依据 2、 个性化推荐的价值 3、 个性化推荐能达到的目的 4、 个性化推荐的原则 5、 个性化推荐技术发展史 6、 个性化推荐的相关技术 7、 基于用户的常用推荐算法 8、 基于用户的协同过滤推荐 9、 课堂实操：SPSS实现航空业交叉销售和增量销售模型 | |
| 
