源 什么是大数据开发工程师
大数据开发：也就是去网络上找数据，各大平台，用爬虫去爬取，建库
围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。
深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如：Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。
通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。
薪资情况：
现在，大数据工程师的平均薪资已经超过20000元，有着3年以上经验的工程师，年薪超过30万是很普通的薪资水平。
大数据开发为什么待遇高？
大数据的待遇高主要是因为：
（1）行业的必然趋势
随着技术的不断提高，大数据广泛应用于电信业、金融业扩展到政务、健康医疗、工业、交通物流、能源行业、教育文化等。随着数据的不断积累，必然要有人懂得怎么用大数据进行分析，运维一些软件。
（2）大数据的需求缺口大
大数据专业人才比较缺乏，高端人才更是企业争抢的对象。据TDU研究显示，至2025年中国数据人才缺口将达到200万，但数据人才的供给却严重不足，无论是人才的数量还是质量都有待提升。目前大数据行业人才短缺严重，尤其是中高端人才，很多企业即使开出很高的工资待遇也招不到合适的人。（引用https://www.sohu.com/a/348686198_100065429）
缺口体现在大数据应用类的开发及大数据系统类的开发上。
大数据应用的开发有：
大数据平台的开发、大数据分析师、ETL(数据研发)、基于大数据的组件进行开发。
大数据系统开发：
对于底层组件进行开发或者进行二次开发比如阿里的Blink。
（3）大数据开发的薪资怎么样
没事的时候，你可以去BOSS或者前程上看一下大数据开发的薪资以及要求等等，就知道这个行业是个怎么样的情景了。就以南京为例，看看满帮的招聘要求是20-40K。如果你在北京、上海、杭州只会比这个高不会比这个低。
学习大数据很难，是因为大数据是一整套体系，涉及到编程、数学、工程等多方面的知识。
在编程、数学、工程三者中：
数学是基础。我们编写程序，我们使用工程框架，实际都是在将数学逻辑实现出来。不过，数学是很多学习者，甚至是从业者的短板。
如果一个开发者的数学知识欠缺，则他只能循规蹈矩地Ctrl C和Ctrl V，没办法知其然并知其所以然，基本就是个工具人。
编程是工具。对于大多数的学习者而言，编程可能是最容易的，毕竟编程知识很多，四处都可以学得到。
而且，大数据所需要的编程语言也不是太多，一般Python加Java就足够了。甚至，只需要Python也能行。
工程是平台。最终大家走上工作岗位，或者去面试，接触到的都是工程，例如使用Hadoop、HDFS、Spark、Flink等。但工程确实对于很多初学者而言是难点，因为初学者往往不具备相应的学习环境。
三者相辅相成，但也给很多大数据的初学者设置了不小的门槛。
说了这么多，你是不是有点心动呢？那我们如何学习大数据开发呢？
（1）大数据开发需要学习那些知识
先说说大数据开发需要哪些基础知识的储备，你需要学习：
java基础、SSM框架、linux的一些命令、redis，Kafka。
上面提到的是你在学习java的时候就需要掌握的一些知识，除了这些你还需掌握：
Hadoop、Hive、Avro与Protobuf、ZooKeeper、HBase、phoenix、Flume、Spark、Python与数据分析。
（2）根据自己的定位选择性的学习
我上面说了这么多知识点，有些同学会说我都要学习，并不是全部都要学习要根据自己的目标来学习，这样效率会更高，也会更加的聚焦。
一些建议
最后，给大家一些建议：
1、 学习大数据开发亦或者是学习java开发，前期的基础知识一定学习好。
2、 不要过度搜集一些资料因为你一定不会看，都在那躺着睡大觉了，选择一门合适的课程就可以了。
3、 学习这些知识要多动手，以多实战为目标而不是单单地看一些知识点。
4、 要养成总结的好习惯，不要一周两周过去了还不知道自己学了啥。
5、 不要害怕出现错误，错误是成功之母，解决错误的能力是很重要的。
大数据开发：也就是去网络上找数据，各大平台，用爬虫去爬取，建库
围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。
深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如：Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。
通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。
薪资情况：
现在，大数据工程师的平均薪资已经超过20000元，有着3年以上经验的工程师，年薪超过30万是很普通的薪资水平。
大数据开发为什么待遇高？
大数据的待遇高主要是因为：
（1）行业的必然趋势
随着技术的不断提高，大数据广泛应用于电信业、金融业扩展到政务、健康医疗、工业、交通物流、能源行业、教育文化等。随着数据的不断积累，必然要有人懂得怎么用大数据进行分析，运维一些软件。
（2）大数据的需求缺口大
大数据专业人才比较缺乏，高端人才更是企业争抢的对象。据TDU研究显示，至2025年中国数据人才缺口将达到200万，但数据人才的供给却严重不足，无论是人才的数量还是质量都有待提升。目前大数据行业人才短缺严重，尤其是中高端人才，很多企业即使开出很高的工资待遇也招不到合适的人。（引用https://www.sohu.com/a/348686198_100065429）
缺口体现在大数据应用类的开发及大数据系统类的开发上。
大数据应用的开发有：
大数据平台的开发、大数据分析师、ETL(数据研发)、基于大数据的组件进行开发。
大数据系统开发：
对于底层组件进行开发或者进行二次开发比如阿里的Blink。
（3）大数据开发的薪资怎么样
没事的时候，你可以去BOSS或者前程上看一下大数据开发的薪资以及要求等等，就知道这个行业是个怎么样的情景了。就以南京为例，看看满帮的招聘要求是20-40K。如果你在北京、上海、杭州只会比这个高不会比这个低。
学习大数据很难，是因为大数据是一整套体系，涉及到编程、数学、工程等多方面的知识。
在编程、数学、工程三者中：
数学是基础。我们编写程序，我们使用工程框架，实际都是在将数学逻辑实现出来。不过，数学是很多学习者，甚至是从业者的短板。
如果一个开发者的数学知识欠缺，则他只能循规蹈矩地Ctrl C和Ctrl V，没办法知其然并知其所以然，基本就是个工具人。
编程是工具。对于大多数的学习者而言，编程可能是最容易的，毕竟编程知识很多，四处都可以学得到。
而且，大数据所需要的编程语言也不是太多，一般Python加Java就足够了。甚至，只需要Python也能行。
工程是平台。最终大家走上工作岗位，或者去面试，接触到的都是工程，例如使用Hadoop、HDFS、Spark、Flink等。但工程确实对于很多初学者而言是难点，因为初学者往往不具备相应的学习环境。
三者相辅相成，但也给很多大数据的初学者设置了不小的门槛。
说了这么多，你是不是有点心动呢？那我们如何学习大数据开发呢？
（1）大数据开发需要学习那些知识
先说说大数据开发需要哪些基础知识的储备，你需要学习：
java基础、SSM框架、linux的一些命令、redis，Kafka。
上面提到的是你在学习java的时候就需要掌握的一些知识，除了这些你还需掌握：
Hadoop、Hive、Avro与Protobuf、ZooKeeper、HBase、phoenix、Flume、Spark、Python与数据分析。
（2）根据自己的定位选择性的学习我上面说了这么多知识点，有些同学会说我都要学习，并不是全部都要学习要根据自己的目标来学习，这样效率会更高，也会更加的聚焦。
一些建议
最后，给大家一些建议：
1、 学习大数据开发亦或者是学习java开发，前期的基础知识一定学习好。
2、 不要过度搜集一些资料因为你一定不会看，都在那躺着睡大觉了，选择一门合适的课程就可以了。
3、 学习这些知识要多动手，以多实战为目标而不是单单地看一些知识点。
4、 要养成总结的好习惯，不要一周两周过去了还不知道自己学了啥。
5、 不要害怕出现错误，错误是成功之母，解决错误的能力是很重要的。
