Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位。
伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬。而要想成为Spark高手，也需要一招一式，从内功练起：通常来讲需要经历以下阶段：
第一阶段：熟练的掌握Scala语言
Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala，；
虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序；
尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；
第二阶段：精通Spark平台本身提供给开发者API
掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；
掌握Spark中的宽依赖和窄依赖以及lineage机制；
掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等
第三阶段：深入Spark内核
此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：
通过源码掌握Spark的任务提交过程；
通过源码掌握Spark集群的任务调度；
尤其要精通DAGScheduler、TaskScheduler和Worker
伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬。而要想成为Spark高手，也需要一招一式，从内功练起：通常来讲需要经历以下阶段：
第一阶段：熟练的掌握Scala语言
Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala，；
虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序；
尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；
第二阶段：精通Spark平台本身提供给开发者API
掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；
掌握Spark中的宽依赖和窄依赖以及lineage机制；
掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等
第三阶段：深入Spark内核
此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：
通过源码掌握Spark的任务提交过程；
通过源码掌握Spark集群的任务调度；
尤其要精通DAGScheduler、TaskScheduler和Worker
