MapReduce设计流程详解
输入切片（Input Splitting）
在MapReduce作业开始之前，输入数据需要被切片成多个独立的块，这些块通常与Hadoop分布式文件系统（HDFS）中的块大小一致，默认为128MB，每个切片将由一个单独的Mapper处理。
映射阶段（Mapping）
在映射阶段，每个Mapper会读取分配给它的数据切片，并将其转换成键值对（keyvalue pairs），这一阶段是高度并行的，即不同的Mapper可以同时处理不同的数据切片。
Shuffle和排序阶段
Shuffle是MapReduce中非常关键的一个环节，在此阶段，系统会根据键（key）对Mapper输出的键值对进行分区（partitioning），并将相同键的所有值聚集到一起，此过程涉及大量的数据传输，因此被称为“shuffle”。
排序发生在数据被发送到Reducer之前，确保了相同键的所有记录都会集中到同一个Reducer上，并且是有序的，这有助于Reducer更高效地处理数据。
归约阶段（Reducing）
Reducer接收到排序和分组后的数据，并对每个唯一的键执行用户定义的reduce函数，以生成最终的输出结果，这一阶段的输出通常是累加或汇总信息，如计数或总和等。
输出格式化（Output Formatting）
Reducer的输出会被格式化并写入到HDFS或其他指定的存储系统中，输出格式可以是文本文件、SequenceFiles或其他用户定义的格式。
FAQs
Q1: 为什么MapReduce需要Shuffle和排序阶段？
A1: Shuffle和排序阶段对于确保Reducer能高效处理数据至关重要，通过根据键进行分区和排序，MapReduce框架能够保证所有具有相同键的值都会被发送到同一个Reducer，并且是以有序的方式，这样Reducer就不需要额外的排序操作，直接进行归约处理即可。
Q2: MapReduce中的Combiner有何作用？
A2: Combiner在MapReduce中是一个可选的组件，其主要作用是在数据发送到Reducer之前，在Mapper端进行局部聚合操作，这可以减少网络传输的数据量，从而加快整个作业的执行速度，虽然Combiner的操作是局部的，并不能保证全局的唯一性，但它能显著提高性能，尤其是在处理大规模数据集时。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1201121.html
