河源网站建设公司最近新闻头条
Shuffle的本质基于磁盘划分来解决分布式大数据量的全局分组、全局排序、重新分区【增大】的问题。
1、Spark的Shuffle设计
Spark Shuffle过程也叫作宽依赖过程，Spark不完全依赖于内存计算，面临以上问题时，也需要Shuffle过程。
2、Spark中哪些算子会产生Shuffle？
只要这个算子包含以下四个功能之一：必须经过Shuffle
进行join：join、fullOuterJoin、 leftOuterJoin 、rightOuterJoin
大数据量全局分组：reduceByKey、groupByKey
大数据量全局排序：sortBy、sortByKey
大数据量增大分区：repartition、coalesce
3、Spark中有哪些shuffle【分类的】?
Spark 0.8及以前 Hash Based Shuffle
Spark 0.8.1 为 Hash Based Shuffle 引入 File Consolidation 机制
Spark 1.1 引入 Sort Based Shuffle ，但默认仍为 Hash Based Shuffle
Spark 1.2 默认的 Shuffle 方式改为 Sort Based Shuffle
Spark 1.4 引入 Tungsten-Sort Based Shuffle 直接使用堆外内存和新的内存管理模型，节省了内存空间和大量的gc，提升了性能
Spark 1.6 Tungsten-sort 并入 Sort Based Shuffle
Spark 2.0 Hash Based Shuffle 退出历史舞台
1）Hash Based Shuffle
特点：没有排序，只分区，每个Task按照ReduceTask个数生成多个文件【M * R】
优点：简单，数据量比较小，性能就比较高
缺点：小文件非常多，数据量比较大性能非常差
2) Hash Based Shuffle 【优化后的，File Consolidation机制
3) Sort Based Shuffle [目前最新的]
Shuffle Write + Shuffle Read
Shuffle Write：类似于MR中的Map端Shuffle，但是Spark的 Shuffle Write 有3种，会根据情况自动判断选择哪种Shuffle Write
Shuffle Read：类似于MR中的Reduce端Shuffle，但是 Spark的 Shuffle Read 功能由算子来决定，不同算子经过的过程不一样的。
MR Shuffle可以参考MapReduce 的 Shuffle 过程-CSDN博客
4、Spark 2以后的Shuffle Write判断机制：
第一种：SortShuffleWriter：普通Sort Shuffle Write机制
排序，生成一个整体基于分区和分区内部有序的文件和一个索引文件
大多数场景：数据量比较大场景 与MR的Map端Shuffle基本一致
特点：有排序，先生成多个有序小文件，再生成整体有序大文件，每个Task生成2个文件，数据文件和索引文件
Sort Shuffle Write过程与MapReduce的Map端shuffle基本一致
第二种：BypassMergeSortShuffleWriter
类似于优化后的Hash Based Shuffle，先为每个分区生成一个文件，最后合并为一个大文件，分区内部不排序
条件：分区数小于200，并且Map端没有聚合操作
场景：数据量小
跟第一个相比，处理的数据量小，处理的分区数小于200 ，不在内存中排序。
第三种：UnsafeShuffleWriter
钨丝计划方案，使用UnSafe API操作序列化数据，使用压缩指针存储元数据，溢写合并使用fastMerge提升效率
条件：Map端没有聚合操作、序列化方式需要支持重定位，Partition个数不能超过2^24-1个
在什么情况下使用什么ShuffleWriter 呢？
ShuffleWriter的实现方式有三种：
BypassMergeSortShuffleWriter
使用这种shuffle writer的条件是：
(1) 没有map端的聚合操作
(2) 分区数小于参数：spark.shuffle.sort.bypassMergeThreshold，默认是200
UnsafeShuffleWriter
使用这种shuffle writer的条件是：
(1) 序列化工具类支持对象的重定位
(2) 不需要在map端进行聚合操作
(3) 分区数不能大于：PackedRecordPointer.MAXIMUM_PARTITION_ID + 1
SortShuffleWriter
若以上两种shuffle writer都不能选择，则使用该shuffle writer类。
这也是相对比较常用的一种shuffle writer。
5、 Shuffle Read：类似于MapReduce中的Reduce端shuffle
MR：Reduce端的shuffle过程一定会经过合并排序、分组
需求：统计每个单词出现的次数，不需要排序，依旧会给结果进行排序
Spark：Shuffle Read具体的功能由算子来决定，不同的算子在经过shuffle时功能不一样
reduceByKey：Shuffle Read：只分组聚合，不排序
sortByKey：Shuffle Read：只排序，不分组
repartition：Shuffle Read：不排序，不分组