个人简介: 10年以上软件开发和系统架构设计工作经验,历任软件工程师、技术经理、架构师,现任某大数据公司技术总监。从事技术培训工作5年以上,主讲软件开发和大数据相关技术课程,能够运用 Python, Java, C++等语言,精通Spark、Hadoop, Hive, Map-Reduce 分布式计算系统设计算法,主持和参与过多个大型开发项目,具备架构设计、软件开发和数据分析挖掘能力。具备培训课程开发和组织能力。 授课风格良好,沟通能力好,交付多次获得客户的高度评价。 | |
教育背景: 2005.09—2008.02 中国农业大学 信电学院 自动化硕士 2001.09—2005.07 中国农业大学 信电学院 工学学士
从业经历: 2008年到2013年,从事软件开发工作,历任软件工程师,高级工程师,部门经理。 2014年合伙成立北京盛和大地数据科技有限公司,担任公司CTO).公司致力于开发全生命周期的大数据存储,以及大数据平台产品,目前集中在运营商、金融、归档等行业和业务方向。 近期研发项目经验: 某超级计算机集群二级数据备份系统项目 某涉密单位OA系统数据平台项目 广东气象局数据分析平台项目 中国地质调查局数据备份系统项目 广电总局东莞多媒体数据中心数据备份系统项目 国家电网电商部门,第三方电子支付平台数据库架构升级方案,包括支付平台和数据库
近期培训和咨询内容: 广东电信研究院 大数据平台优化及开发应用实战,通过十多天的大数据培训和咨询工作,提升电信网络运维及开发团队的大数据应用实践能力,优化了多个数据分析应用软件的性能,提升了大数据平台的稳定性,提高了客户满意度。
江苏某大型国有银行 银行客户的大数据平台应用培训,通过三个多月的大数据培训和咨询工作,提升银行客户管理团队的运维和开发能力,上线了一批新的数据分析和数据挖掘应用,有效提升了大数据平台的稳定性和易用性。 工作任务: 1.新员工技术培训营 通过编程语言基础、自动化运维技术、虚拟化技术等课程的理论和实战课程,以及考核比赛环节,使新员工具备了岗位所需的研发和运维能力 2.数据分析和挖掘培训 引入第三方的数据分析平台软件后,通过阶段性组织数据分析平台应用开发能力培训,以及实践问题分析研究讨论会议,提升数据分析平台使用水平,而且,基于常见问题形成了相关知识库。(另外,也组织了开发培训,包括传统的数据分析软件SAS/SPSS/Excel,以及新的开发语言 R语言和Python) 3.大数据平台引入和调优 大数据平台是从第三方厂家引入的,配置参数、虚拟资源池工作模式等需要根据实际需要进行调优。通过逐步引入数据分析和挖掘任务,对产生的资源瓶颈和出现的故障等问题进行案例分析和讨论研究,以阶段性实践的方式提升运维团队和数据分析团队的技术能力。 4.团队协作 在新团队磨合过程中,凸现出部门樊篱文化的问题,部门之间协调配合紧密度不强,步调往往不一致,对整体工作效率有负面影响。对此,以Devops为基础,结合公司内部已经在使用的Devops平台产品,组织了部门工作流程管理的系列培训。
四川移动 大数据分析和应用(数据分析,数据挖掘,深度学习以及人工智能),通过两周的大数据实战培训,提升移动数据团队的大数据开发实践水平,并将相关技术应用到了四川移动数据分析的内部示范平台。
南京南瑞 南瑞电力数据管理平台优化,通过一个多月的培训和咨询工作,提升了电力数据管理平台的运算性能,提高了开发和运维团队的数据分析和平台管理能力。引入了深度学习和人工智能技术,引导开发了“智慧电网”的相关应用。有效提升了电力数据平台的业务水平。
中国移动设计研究院 大型电商网站设计和优化,通过培训和咨询工作,使网站架构能够适应在用户数量快速提升的同时保持高可用,提高了开发和运维团队对于海量用户和海量数据的处理能力。引入了去中心化集群技术和跨域资源调度技术,提高了电商网站的可靠性和可维护性。 项目方案要点: 1.客户端优化,统一平台入口,消减内部系统业务连接数量 2.应用CDN技术,静态资源本地化 3.对商品展示资源应用多级数据缓存 4.对业务进行分级,在高峰留恋冲击下,会触发对非关键业务资源的限制,动态释放给核心业务。 5. 去中心化。构建机架内的高可用,以及数据中心级别的高可用。 项目实施情况: 1. 通过蓝军部门设计的流量冲击模拟测试和局部故障测试。 2. 项目上线后,经过近一个月的调适和经验总结,系统没有出现大的问题,达到了预期的设计要求。 3. 业务上线半年后,启动了进一步升级扩容的计划,目前仍在进行中。附件是培训所使用的部分课件。
自我评价: l 计算机水平: C++/Java,Python,Spark,Hadoop,Hive,Map-Reduce ,R, SQL l 性格、爱好:热爱学习,进取创新,善于交流,十分热爱技术传播工作。
|