作业性能
-
如何确定MapReduce作业中Map任务的最佳数量?
MapReduce中,map个数由输入数据的大小和HDFS中每个块的大小决定。默认情况下,每个输入分片(split)对应一个map任务。可以通过设置D mapreduce.job.split.metainfo.maxsize参数来调整分片大小,从而间接控制map个数。
MapReduce中,map个数由输入数据的大小和HDFS中每个块的大小决定。默认情况下,每个输入分片(split)对应一个map任务。可以通过设置D mapreduce.job.split.metainfo.maxsize参数来调整分片大小,从而间接控制map个数。