3.6RDD的依赖关系

 

      RDD的依赖关系

主要讲述RDD的依赖关系。在Spark中,不同的RDD之间具有依赖的关系。RDD与它所依赖的RDD的依赖关系有两种类型,分别是窄依赖(narrow dependency)和宽依赖(wide dependency)。通过两张图来讲解RDD的窄依赖和宽依赖。

  • 窄依赖是指父RDD的每一个分区最多被一个子RDD的分区使用,即neToOneDependencies。
  • 宽依赖是指子RDD的每一个分区都会使用所有父RDD的所有分区或多个分区,即OneToManyDependecies。为了便于理解,我们通常把宽依赖形象的比喻为超

最后修改: 2021年10月29日 星期五 09:21