如何在YARN上提交MapReduce作业并管理录制控制命令？

Hadoop环境中使用YARN提交MapReduce作业的详细指南

在处理大量数据时，Apache Hadoop及其MapReduce编程模型是不可或缺的工具，MapReduce允许开发者通过简单的编程模型对大数据进行分布式处理，在Hadoop生态系统中，YARN（Yet Another Resource Negotiator）充当资源管理器的角色，负责集群资源管理和作业调度，本文旨在提供一个详细的指南，介绍如何在Hadoop环境中使用YARN提交MapReduce作业。

在开始之前，确保HDFS（Hadoop Distributed File System）集群正在运行，这可以通过在命令行界面输入jps命令来确认，正常会显示NameNode、DataNode等进程正在运行，将数据文件上传至HDFS的指定目录，比如input，这一步通常使用hadoop fs put命令完成。

需要准备MapReduce作业，Hadoop提供了一系列的内置示例，如WordCount和Pi计算程序，这些程序位于$HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples*.jar文件中，为演示目的，我们将使用WordCount程序，此程序统计给定文本中每个单词的出现次数。

在提交作业之前，可能需要配置一些参数，特别是当作业需要运行在不同平台时，可以在Java代码中设置mapreduce.appsubmission.crossplatform参数为true，以支持跨平台提交。

提交MapReduce作业到YARN，主要通过hadoop jar命令完成，具体命令格式如下：

hadoop jar hadoopmapreduceexamples.jar [作业类名] [输入路径] [输出路径]

对于WordCount程序，作业类名为wordcount.WordCount，输入和输出路径应指向HDFS的对应位置。

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount.WordCount /input /output

还可以通过设定yarn.resourcemanager.address参数指定YARN资源管理器的地址，以便作业能正确提交到特定的YARN集群。

作业提交后，可以通过Web界面或命令行工具查看作业的进度和状态，作业完成后，结果将存储在HDFS的指定输出路径中，可以使用hadoop fs cat等命令查看结果。

归纳以上步骤，可以将其整理为以下几个关键操作：

1、检查HDFS集群状态。

2、上传数据文件到HDFS。

3、准备并配置MapReduce作业。

4、使用hadoop jar命令提交作业到YARN。

5、监控作业执行并查看结果。

操作 | 说明

检查HDFS | 使用jps确认HDFS关键进程是否运行

数据上传 | 使用hadoop fs put将数据上传至HDFS

作业配置 | 设置必要的参数，如跨平台标志

作业提交 | 使用hadoop jar命令，指定作业类名和路径

作业监控 | 通过Web界面或命令行查看作业状态

结果查看 | 使用hadoop fs cat查看输出结果

FAQs

Q1: 提交作业时遇到“File not found”错误，怎么办？

A1: 确保输入的文件路径正确且文件确实存在于HDFS中，可以使用hadoop fs ls命令检查文件路径。

Q2: 作业一直在接受状态，没有进一步执行，可能是什么原因？

A2: 可能是资源管理器未能正确分配资源，检查YARN的资源管理器地址是否正确配置，并查看资源管理器的状态是否正常。