yarn jar。提交MapReduce程序至YARN的步骤与命令
提交MapReduce程序至YARN的基本步骤
1、启动YARN集群：在部署并成功启动YARN集群后，就可以运行各类应用程序，YARN作为资源调度管控框架，提供资源供许多应用程序运行，包括MapReduce、Spark和Flink等。
2、准备数据文件：需要先准备一份数据文件，并将其上传到HDFS中，将文件命名为words.txt，然后上传到HDFS的指定路径。
3、创建HDFS目录：在HDFS中创建输入和输出目录，使用以下命令：
hadoop fs mkdir p /input/wordcount hadoop fs mkdir p /output
4、上传数据文件：将本地的words.txt文件上传到HDFS的输入目录。
hadoop fs put words.txt /input/wordcount/
5、提交MapReduce任务：使用hadoop jar命令提交MapReduce程序到YARN上执行，提交单词计数（wordcount）示例程序的命令如下：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount /input/wordcount/ /output/wc
6、查看结果：提交程序后，可以在YARN的WEB UI页面看到运行中的程序，完成运行后，可以在HDFS中查看结果文件，结果文件通常以partr00000命名，表示部分结果文件。_SUCCESS文件是标记文件，表示运行成功。
7、查看日志：点击logs可以查看详细的运行日志，如果配置文件中配置了日志聚合功能，并且设置了历史服务器，才能在网页中显示出来。
常见问题解答
1、问题一：如何提交圆周率计算程序？
答案：提交圆周率计算程序的命令如下：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar pi 3 1000
参数pi表示要运行的Java类，参数3表示设置几个map任务，参数1000表示模拟求PI的样本数（越大求的PI越准确，但是速度慢）。
2、问题二：如何查看MapReduce任务的执行状态和结果？
答案：提交程序后，可以在YARN的WEB UI页面（通常是http://<ResourceManager>:8088）看到运行中的程序，完成运行后，可以在HDFS中查看结果文件，结果文件通常以partr00000命名，表示部分结果文件。_SUCCESS文件是标记文件，表示运行成功，点击logs可以查看详细的运行日志。
通过以上步骤和命令，用户可以顺利地将MapReduce程序提交到YARN上执行，并查看任务的执行状态和结果。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1193635.html
