MapReduce Job初始化涉及配置作业参数,包括输入输出路径、Mapper和Reducer类、以及作业的并行度等。正确设置这些基线参数是确保MapReduce作业有效运行的关键。
MapReduce Job初始化配置主要包括以下几个步骤:
(图片来源网络,侵删)
1、创建一个新的Hadoop项目,并添加Hadoop相关的依赖库。
2、编写一个继承自org.apache.hadoop.mapreduce.Job
的类,用于配置和提交MapReduce作业。
3、在main
方法中,创建一个Job
对象,并设置作业的基本属性。
4、设置输入和输出路径,以及Mapper和Reducer类。
5、设置作业的其他配置参数,如分区器、排序器、组合器等。
6、提交作业并等待执行完成。
以下是一个简单的示例代码:
(图片来源网络,侵删)
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws Exception { // 检查命令行参数 if (args.length != 2) { System.err.println("Usage: WordCount <input path> <output path>"); System.exit(1); } // 创建作业配置对象 Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); // 设置作业的主类 job.setJarByClass(WordCount.class); // 设置Mapper类和Reducer类 job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); // 设置Map输出键值类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 设置最终输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 设置输入和输出路径 FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 提交作业并等待执行完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } }
在这个示例中,我们创建了一个名为WordCount
的作业,它使用TokenizerMapper
作为Mapper类,IntSumReducer
作为Reducer类,输入和输出路径分别由命令行参数指定。
(图片来源网络,侵删)
原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/830982.html
本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。
发表回复