#Spark

主要内容:

  • Spark数据倾斜的几种场景以及对应的解决方案

主要内容:

  • 介绍Join的三种实现方式
  • 介绍Spark中的Join策略

主要内容:

  • 介绍RDD和DataFrame

主要内容:

  • 介绍Spark的产生
  • 介绍Spark的基本架构图
  • 介绍Spark的4种提交运行模式
  • 介绍RDD

主要内容:

  • Scala实现SparkStreaming消费Kafka数据保存Offset到Redis,实现自主维护Offset。
  • 分析部分源码