大数据学习吧 关注:2,097贴子:2,770
  • 0回复贴,共1

【大数据遇见的问题汇总3】Spark Streaming 默认

只看楼主收藏回复

Spark Streaming默认分区个数与所对接的kafka topic分区个数一致,Spark Streaming里一般不会使用repartition算子增大分区,因为repartition会进行shuffle增加耗时


IP属地:北京来自iPhone客户端1楼2021-10-13 14:29回复