|
高并发高性能大容量数据库设计培训 TensorFlow 随着互联网的快速普及和宽带提速，信息技术深入的渗透至人们生活的每个角落，如智能手机、移动设备等，为人们的生产和生活提供了极大的便利，如办公、购物、休闲、娱乐等，同时，每时每刻产生着海量的数据，对于数据的收集、存储、分析、挖掘、应用、创新提出了巨大的挑战。尤其是在线实时高并发大容量的业务要求软件系统具有高效、高并发、大容量的同时，要保证事务的特征，如ACID，即原子性、一致性、持久性、隔离性，但是针对此应用场景，传统的关系数据库已经无法满足生产实际需求，因此，必须采用新的数据库系统才能解决以上挑战，也即是采用高性能的分布式数据库系统。 针对大数据时代对高并发高性能大容量数据库的需求，尹老师总结多年分布式数据库使用与设计经验，精心打造了分布式数据库课程，该课程从分布式数据库原理、性能、应用实践、性能对比等方面对这些数据库进行全面的剖析与介绍，为企业的技术选型、应用实践奠定理论与实践基础，为企业适应大数据时代做了技术储备。 讲师简介 尹老师 多年从事大数据、云计算、人工智能研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，职称高级工程师，主要研究方向包括云计算、大数据、人工智能、移动开发、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责PaaS平台、大数据、人工智能研发。 IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有大数据、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。 尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技术平台的应用与运维。深入理解Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。 图1. 大数据行业公认的Cloudera认证 图2. 含金量较高的PMP认证 讲师经验 1、 阿里巴巴集团云计算、大数据咨询师 2、 华为大数据、云计算特聘讲师 3、 中国人民银行大数据特聘讲师 4、 中国工商银行大数据讲师 5、 中国银联大数据特聘讲师 6、 阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师 7、 RedHat（中国）大数据咨询师 8、 中国移动北京研究院云计算特聘讲师 9、 中国联通全国云计算构架、大数据挖掘、大数据可视化特聘讲师 10、 中国航天三院大数据咨询师 11、 中电28所大数据特聘讲师 12、 西安电信十所大数据架构设计讲师 13、 中国电信上海研究院云计算、虚拟化特约讲师 14、 中国电力科学研究院流计算特聘讲师 15、 北京中电普华大数据特聘讲师 16、 中国石油东方地球物理公司大数据咨询师 17、 当当网云计算、大数据咨询师 18、 北航特聘企业讲师 19、 中石油工程设计西南分公司云计算数据中心建设项目 20、 广东发展银行电营、运维大数据分析项目 21、 电商库存预测大数据分析项目 22、 中航国际大综贸易云计算规划项目咨询、培训讲师 23、 北京民生软件SaaS平台研发咨询师 24、 北京立达资本项目管理信息系统解决方案咨询师 25、 曾任大型ERP、电子商务、CRM、电子政务等项目经理 项目经验 1、 曾任大型ERP、电子商务、CRM、电子政务等项目经理 2、 PaaS平台首席架构师 3、 贵州省政府云呼叫中心建设项目 4、 广东发展银行电营、运维大数据分析项目 5、 中石油工程设计西南分公司云计算项目评审委员、培训讲师 6、 中石油大数据挖掘项目，项目经理 7、 电商库存预测大数据分析项目 8、 曾任大型ERP、电子商务、CRM、电子政务等多个项目的项目经理 培训目标 1、本课程介绍高并发高性能大容量分布式数据库系统，包括高并发高性能大容量数据库设计原理、部署方法、优缺点和应用模式等； 2、本课程介绍数据存储架构，包括数据分片、弱的事务、分布式一致性协议算法、强一致性、平滑无限水平扩展节点的分布式数据库； 3、介绍较新的高并发系统分布式缓存集群设计，代表产品有阿里的HBase、Redis、RedisCluster，并且目前都已经在互联网场景进行了实践，取得了不错的效果； 4、本课程介绍NoSQL原理及分类及使用，这些产品的原理、性能、实践、多个维度对比等方面进行有针对性的剖析，为企业的技术升级做准备。 培训对象 1、 本课程适合于高并发高性能大容量数据库设计应用人员； 2、 适合于互联网、金融机构等分布式数据库使用人员； 3、 适合于大数据、人工智能、数据挖掘人员； 培训方式 以课堂讲解、演示、案例分析为主，辅以互动研讨、现场答疑、学以致用。 课程方案 课程体系 课程内容是讲师多年经验的总结，通过该课程可以学会高并发高性能大容量数据库设计能力。并且课程理论与实践紧密结合，避免了空洞乏味的技术传授。 课程大纲（共2天） | 内容 | | 第1个主题： 高并发高性能大容量数据库设计（介绍当前主流的高并发高性能大容量数据库设计原理、部署方法、优缺点和应用模式）（60分钟） 1、 业界主流的高并发高性能大容量数据库有哪些 2、 高并发高性能大容量数据库的应用场景 a) 大数据非结构化数据的应用场景 b) 大数据历史明细查询的应用场景 c) 秒杀高并发的应用场景 d) 实时高并发业务的应用场景 e) 在线实时统计分析的应用场景 3、 高并发高性能大容量数据库的具体应用案例 a) 分布式内存库在运营商话单详单查询系统中的应用 b) 分布式内存库在金融行业流水业务查询系统中的应用 c) 分布式内存库在微博自媒体业务中应用 4、 高并发高性能大容量数据库设计原理 5、 高并发高性能大容量数据库部署方法 6、 高并发高性能大容量数据库优缺点 7、 高并发高性能大容量数据库应用模式 8、 分布式内存库的特性 9、 CAP理论 10、 BASE思想 11、 RWN理论 12、 分布式关系型内存库 a) MySQL Cluster 13、 分布式NoSQL列式内存库 a) HBase b) Cassandra c) GemFire 14、 分布式文档内存库 a) MongoDB 15、 高并发系统分布式缓存集群 a) HBase b) Redis Cluster 16、 案例：GemFire在实时交易系统12306的使用案例分享 第2个主题： NoSQL原理及分类及使用（深入剖析NoSQL原理及分类及使用）（60分钟） 1、 什么是NoSQL 2、 NoSQL基础概念 3、 NoSQL种类与特点 4、 NoSQL原理 5、 NoSQL数据库架构 6、 NoSQL分类 7、 NoSQL使用 8、 内存数据库 9、 内存数据库原理 10、 内存数据库优劣势剖析 11、 单机NoSQL数据库 12、 分布式NoSQL数据库 13、 典型的NoSQL数据库 14、 实例分享：NoSQL数据库案例剖析 第3个主题： Redis基础知识（详细介绍Redis基础知识）（30分钟） 1、 Redis简介 2、 Redis安装部署 3、 Redis配置详解 4、 客户端 5、 Redis Key类型 6、 Redis String类型 7、 Redis Hash类型 8、 Redis Set类型和ZSet类型 9、 Redis List类型 10、 Redis Key超时机制 11、 Redis 持久化 12、 Redis副本 13、 Redis常用命令介绍 第4个主题： 高并发系统分布式缓存集群设计（深入介绍高并发系统分布式缓存集群设计）（60分钟） 1、 Redis数据库原理 2、 Redis数据库应用 3、 Redis开发实践（倒排索引） 4、 Redis开发调试 5、 Redis优化 6、 Redis发布订阅机制剖析 7、 Redis集群搭建 8、 Codis介绍 9、 Codis整体设计 10、 Codis架构 11、 Codis组件介绍 第5个主题： Redis高级管理（深入介绍Redis的高级管理功能）（30分钟） 1、 Redis安全 2、 Redis加密 3、 Redis信号处理 4、 Redis连接管理 5、 Redis高可用方案 6、 Redis监测 7、 Redis Benchmarks 第6个主题： HBase查询的优化（深入剖析大数据分布式NoSQL技术及原理，并指导学员如何进行调优）（180分钟） 1、 HBase介绍 2、 HBase应用 3、 HBase的特点 4、 HBase逻辑模型 5、 HBase列族与列 6、 HBase时间戳 7、 行式数据库 vs 列式数据库 8、 HBase物理模型 9、 HBase集群部署优化方案介绍：HBase集群建立时的优化方法 10、 倒排索引 11、 HBase调优课堂实战案例：假如知道每天的活跃用户为一个集合，如何快速计算自定义时间段内的活跃用户？需要去重的 12、 HBase分页查询方案介绍：是否有合适的分页查询方法？ 13、 HBase按条件快速查询方案介绍：假如rowkey的设计原则是：地区+厂家+拍照方+id+时间戳，如何快速的查找一个id一天的所有存储记录？如何快速查找按地区、厂商、拍照方、自定义时间段内自由排列组合的所有存储记录？ 14、 HBase Filter 15、 HBase Coprocessor | | | | 第7个主题： MongoDB文档数据库（深入剖析MongoDB文档数据库功能与项目应用）（120分钟） 1、 什么是MongoDB 2、 MongoDB发展现状与趋势 3、 介绍MongoDB基础概念 4、 MongoDB架构剖析 5、 MongoDB文档与集合 6、 MongoDB集群搭建 7、 MongoDB状态监控 8、 MongoDB安全认证 9、 MongoDB备份和恢复 10、 MongoDB Shell操作 11、 MongoDB数据类型 12、 文档的增加、修改与删除 13、 Java访问MongoDB文档的调试 14、 MongoDB查询介绍 15、 MongoDB MapReduce统计分析 16、 MongoDB索引 17、 MongoDB性能优化 18、 MongoDB主从复制 19、 MongoDB Sharding分片 20、 Spark操作MongoDB项目案例：运营商话务数据分析案例剖析 第8个主题： MongoDB文档数据库（深入剖析MongoDB文档数据库功能与项目应用）（90分钟） 1、 MongoDB架构剖析 2、 MongoDB文档与集合 3、 MongoDB集群搭建 4、 Java访问MongoDB文档的调试 5、 MongoDB查询调优 6、 提高读写速度的优化 7、 MongoDB MapReduce统计分析 8、 MongoDB索引 9、 MongoDB性能优化 10、 内存的优化方法 11、 MongoDB主从复制 12、 MongoDB Sharding分片 13、 MongoDB副本集、分片集群优化案例：Mongodb副本集、分片集群建立的优化方法？ 14、 MongoDB优化方案剖析：为什么分片测试读写的速度比副本集要慢？ 第9个主题： 关系型分布式内存库MySQL Cluster（深入剖析关系型分布式内存库MySQL Cluster数据库功能与实现原理）（90分钟） 1、 什么是MySQL Cluster 2、 MySQL Cluster发展现状与趋势 3、 介绍MySQL Cluster基础概念 4、 MySQL Cluster架构剖析 5、 NDB Cluster存储引擎 6、 无共享体系结构 7、 管理(MGM)节点 8、 数据节点 9、 SQL节点 10、 标准MySQL客户端 11、 MySQL Cluster应用场景 12、 案例分享：MySQL Cluster在电商平台中的应用 第10个主题： 数据存储架构（介绍数据存储架构）（30分钟） 1、 数据存储架构 2、 数据单机版存储架构 3、 数据分布式存储架构 4、 中心集群 5、 去中心化集群 6、 关系型数据库 7、 层次数据存储架构 8、 网状数据存储架构 9、 行式数据存储架构 10、 行式数据库原理 11、 行式数据库架构 12、 关系型数据库理论 13、 RDBMS 14、 行式数据库优劣势剖析 15、 列式数据存储架构 16、 列式数据库 17、 列式数据库原理 18、 日志结构文件系统 19、 列式数据库架构 20、 列式数据库优劣势剖析 第11个主题： 分布式事务（介绍分布式事务）（30分钟） 1、 强事务ACID 2、 弱一致性、强一致性 3、 分布式事务 4、 两步提交、三步提交 5、 分布式技术的存储、计算、算法、开发等能力的完美结合 6、 弱事务 7、 数据的强一致性 8、 分布式一致性协议算法 9、 平滑无限水平扩展节点 10、 深入分析企业业务数据特点 11、 思想的应用 12、 事务剖析 13、 分布式事务剖析 14、 分布式系统的职责分离思想 15、 CAP理论 16、 BASE思想 17、 RWN原理 18、 事务的特征ACID 19、 弱一致性事务 20、 强一致性事务 21、 分布式事务 22、 两阶段提交 23、 三阶段提交 24、 数据库事务隔离标准分析 25、 ANSI事务隔离级别 26、 P1 脏读(“Dirty read”) 27、 P2 不可重复读(“Non-repeatable read”) 28、 P3 幻读(“Phantom”) 29、 基于锁的事务隔离 30、 基于快照的事务隔离 31、 两阶段提交（2 Phase Commit简称2PC）协议 32、 产品应用案例 | | |
| 
