bash，hadoop jar yourmapreduceprogram.jar your.main.Class inputpath outputpath，`，，yourmapreduceprogram.jar 是你的MapReduce程序打包成的JAR文件，your.main.Class 是你的主类（包含main方法的类），inputpath 是HDFS上的输入路径，outputpath` 是HDFS上的输出路径。Hadoop环境中使用YARN提交MapReduce作业的详细指南
在处理大量数据时，Apache Hadoop及其MapReduce编程模型是不可或缺的工具，MapReduce允许开发者通过简单的编程模型对大数据进行分布式处理，在Hadoop生态系统中，YARN（Yet Another Resource Negotiator）充当资源管理器的角色，负责集群资源管理和作业调度，本文旨在提供一个详细的指南，介绍如何在Hadoop环境中使用YARN提交MapReduce作业。
在开始之前，确保HDFS（Hadoop Distributed File System）集群正在运行，这可以通过在命令行界面输入jps命令来确认，正常会显示NameNode、DataNode等进程正在运行，将数据文件上传至HDFS的指定目录，比如input，这一步通常使用hadoop fs put命令完成。
需要准备MapReduce作业，Hadoop提供了一系列的内置示例，如WordCount和Pi计算程序，这些程序位于$HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples*.jar文件中，为演示目的，我们将使用WordCount程序，此程序统计给定文本中每个单词的出现次数。
在提交作业之前，可能需要配置一些参数，特别是当作业需要运行在不同平台时，可以在Java代码中设置mapreduce.appsubmission.crossplatform参数为true，以支持跨平台提交。
提交MapReduce作业到YARN，主要通过hadoop jar命令完成，具体命令格式如下：
hadoop jar hadoopmapreduceexamples.jar [作业类名] [输入路径] [输出路径]
对于WordCount程序，作业类名为wordcount.WordCount，输入和输出路径应指向HDFS的对应位置。
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount.WordCount /input /output
还可以通过设定yarn.resourcemanager.address参数指定YARN资源管理器的地址，以便作业能正确提交到特定的YARN集群。
作业提交后，可以通过Web界面或命令行工具查看作业的进度和状态，作业完成后，结果将存储在HDFS的指定输出路径中，可以使用hadoop fs cat等命令查看结果。
归纳以上步骤，可以将其整理为以下几个关键操作：
1、检查HDFS集群状态。
2、上传数据文件到HDFS。
3、准备并配置MapReduce作业。
4、使用hadoop jar命令提交作业到YARN。
5、监控作业执行并查看结果。
操作 | 说明
检查HDFS | 使用jps确认HDFS关键进程是否运行
数据上传 | 使用hadoop fs put将数据上传至HDFS
作业配置 | 设置必要的参数，如跨平台标志
作业提交 | 使用hadoop jar命令，指定作业类名和路径
作业监控 | 通过Web界面或命令行查看作业状态
结果查看 | 使用hadoop fs cat查看输出结果
FAQs
Q1: 提交作业时遇到“File not found”错误，怎么办？
A1: 确保输入的文件路径正确且文件确实存在于HDFS中，可以使用hadoop fs ls命令检查文件路径。
Q2: 作业一直在接受状态，没有进一步执行，可能是什么原因？
A2: 可能是资源管理器未能正确分配资源，检查YARN的资源管理器地址是否正确配置，并查看资源管理器的状态是否正常。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/952672.html
