3.5 RDD的分区

 

     RDD的分区原则是分区的个数尽量等于集群中的CPU核心(Core)数目。对于不同的Spark部署模式而言,都可以通过设置spark.default.parallelism这个参数值来配置默认的分区数目。

最后修改: 2021年10月29日 星期五 09:19