Home Alex 的所有内容

Spark中repartition和coalesce的区别与使用场景解析

0/3 Views        3-3 11:33 |Alex | Spark

repartition和coalesce都是进行RDD的重新分区操作,那么他们有什么区别与各自合适的使用场景呢,我们来看下边的源码 def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { coalesce(numPartitions, shuffle = true) }  可以看到 repartition 内部实现调用的&...More »

返回顶部
Themes by lishiyu.cn