spark运行模式多种多样,本课程将详细分析单机上的本地运行模式、伪分布运行模式、SparkStandalone模式、SparkonYARN模式的设计和实现,通过本课程的学习,你将轻松的掌握spark常见运行模式的内部实现,从而达到轻松驾驭Spark集群运行的目的。
Felix,大讲台大数据特聘讲师|北京某移动应用平台大数据高级架构师,北京某移动应用平台大数据高级架构师。9年一线开发及项目管理经验,5年以上大数据系统架构分析及处理经验,曾就职国内某TOP5的电信相关业务公司,负责对手机信息手机处理工作。
对于Hadoop,Strom,Spark,Flink有较深研究。最擅长项目实战,搭建、监控、维护过上百节点集群,处理过PB级数据。因自身工作出色,经常在知名企业内部进行大数据培训。对一线企业大数据技能需求方面非常了解。
Spark培训之搭建开发环境详解课程大纲
1、Spark最简安装
2、Spark编程环境搭建
2.1、基于IDEA搭建Spark开发环境
2.2、用maven构建Scala项目
2.3、开发第一个Spark程序
3、Sparkstandalone运行模式详解
3.1、Sparkstandalone架构
3.2、Sparkstandalone模式安装配置
3.3、SparkStandaloneHA安装模式
3.4、Sparkstandalone详细过程解析
Felix,大讲台大数据特聘讲师|北京某移动应用平台大数据高级架构师,北京某移动应用平台大数据高级架构师。9年一线开发及项目管理经验,5年以上大数据系统架构分析及处理经验,曾就职国内某TOP5的电信相关业务公司,负责对手机信息手机处理工作。
对于Hadoop,Strom,Spark,Flink有较深研究。最擅长项目实战,搭建、监控、维护过上百节点集群,处理过PB级数据。因自身工作出色,经常在知名企业内部进行大数据培训。对一线企业大数据技能需求方面非常了解。
Spark培训之搭建开发环境详解课程大纲
1、Spark最简安装
2、Spark编程环境搭建
2.1、基于IDEA搭建Spark开发环境
2.2、用maven构建Scala项目
2.3、开发第一个Spark程序
3、Sparkstandalone运行模式详解
3.1、Sparkstandalone架构
3.2、Sparkstandalone模式安装配置
3.3、SparkStandaloneHA安装模式
3.4、Sparkstandalone详细过程解析