|
Kafka实战培训 课程简介 随着互联网的快速普及，以及大数据在生产生活中迅速应用，对企业业务的高并发提出苛刻的要求，如何能够满足业务的高并发需求呢？Kafka可以满足高并的苛刻需求，被越来越多的企业所使用。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理大规模的网站的所有动作流数据。基于以上市场需求尹老师专门总结了使用Kafka的多年工作经验，帮助学员提升Kafka技能，学会使用Redis。 本课程重点讲解Kafka的安装配置、API的使用、持久化与复制、集群搭建与运维等。 讲师简介 尹老师 多年从事大数据、云计算研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，主要研究方向包括云计算、大数据、移动开发、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责PaaS平台、大数据、人工智能研发工作。 IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有大数据、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。 尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于Hadoop、Spark、Docker、OpenStack、Storm等技术平台的应用与运维。深入理解Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable等大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。
图1.大数据行业公认的Cloudera认证
图2.含金量较高的PMP认证 讲师经验 1、 阿里巴巴集团云计算、大数据咨询师 2、 百度云计算、大数据咨询师及讲师 3、 中国移动多省大数据、云计算特聘讲师 4、 中国移动多省Docker特聘讲师 5、 中国移动研究院微特聘讲师 6、 中国联通总部大数据、云计算特聘讲师 7、 中国电信多省大数据、云计算、虚拟化特约讲师 8、 中国人民银行大数据特聘讲师 9、 中国工商银行大数据讲师 10、 花旗银行大数据讲师 11、 招商银行大数据调优讲师 12、 中信银行分布式数据库讲师 13、 中国航天三院大数据咨询师 14、 中国石油大数据、云计算特聘讲师 15、 中国石化大数据、云计算特聘讲师 16、 中国电力科学研究院流计算特聘讲师 17、 西安电信十所大数据架构设计讲师 18、 RedHat（中国）大数据咨询师 19、 中电28所大数据特聘讲师 20、 北京中电普华大数据特聘讲师 21、 中国石油东方地球物理公司大数据咨询师 22、 当当网云计算、大数据咨询师 23、 北航特聘企业讲师 24、 阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师 25、 中石油工程设计西南分公司云计算数据中心建设项目 26、 广东发展信用卡精准营销项目 27、 广东发展银行电营、运维大数据分析项目 28、 电商库存预测大数据分析项目 29、 中航国际大综贸易云计算规划项目咨询、培训讲师 30、 北京民生软件SaaS平台研发咨询师 31、 北京立达资本项目管理信息系统解决方案咨询师 32、 曾任大型ERP、电子商务、CRM、电子政务等项目经理 培训目标 1、 使学员掌握Kafka的安装配置、集群的部署与运维； 2、 使学员掌握Kafka的使用、持久化与复制、开发与缓存设计等； 3、使学员具备基于Kafka的开发能力。 培训对象 1、本课程适合于即将投身于大数据领域的企业或者个人； 2、本课程适合于开发人员、系统架构师、高级程序员、资深开发人员； 3、本课程适合于企业IT技术优化的人员； 4、政府机关，金融保险、移动互联网、能源行业等相关技术人员； 5、高校、科研院所统计分析研究员，涉及到数据处理的人员； 培训方式 以课堂讲解、演示、案例分析为主，辅以互动研讨、现场答疑、学以致用。 课程安排 课程时间：1天 课程内容： | | 备注 | | 第1个主题： 分布式消息中间件Kafka剖析（深入理解Kafka的实现原理）（90分钟） 1、 Kafka诞生背景剖析 2、 什么是Kafka 3、 Kafka特征剖析 4、 Kafka应用场景 5、 Kafka架构剖析 6、 Broker 7、 Producer 8、 Consumers 9、 Topics 10、 Leader 11、 Follower 12、 队列模式（queuing） 13、 发布-订阅模式(publish-subscribe) 14、 Kafka创建topic、发送消息、消费消息 15、 数据传输的事务定义 16、 数据的持久化 17、 Kafka存储在硬盘上的消息格式 第2个主题： Kafka集群部署剖析（介绍Kafka集群部署）（90分钟） 1、 Kafka集群部署架构介绍 2、 Kafka集群部署环境准备 3、 Kafka集群部署 4、 Kafka节点管理 5、 Kafka运维管理 6、 Kafka主从同步 7、 Kafka的性能优化 8、 Kafka的消息与日志 9、 Kafka实战案例：Kafka集群部署实践 第3个主题： Kafka Shell操作实战（全面深入理解Kafka相关命令和具备Kafka的运维能力）（60分钟） 1、 Kafka Shell介绍 2、 Kafka查看日志命令 3、 Kafka主从命令 4、 Kafka监控命令 第4个主题： 编写Kafka程序（深入理解Kafka的APIs并动手实践）（90分钟） 1、 搭建Kafka开发环境 2、 Driver程序开发 3、 Producer程序开发 4、 Consumer程序开发 5、 发布与运行 6、 Kafka APIs全面剖析 7、 Kafka APIs应用场景剖析及案例 8、 Kafka程序监控 9、 Kafka实战案例：Kafka整合实现数据实时数据分析处理设计与分析 第5个主题： Kafka与其它软件集成（介绍Kafka与其它软件系统集成）（60分钟） 1、 Kafka与Hadoop集成 2、 Kafka与Hadoop集成剖析 3、 搭建Kafka与Hadoop集成环境 4、 Kafka与Spark Streaming集成 5、 Kafka与Spark Streaming集成剖析 6、 搭建Kafka与Spark Streaming集成环境 7、 Kafka与日志收集工具集成 8、 Kafka与日志收集工具集成剖析 9、 搭建Kafka与日志收集工具集成环境 10、 Kafka实战案例：Kafka整合实现数据实时数据分析处理 | |
| 
