如何通过MapReduce提交YARN命令执行录制控制操作?

MapReduce作业提交到YARN的命令是yarn jar

提交MapReduce程序至YARN的步骤与命令

如何通过MapReduce提交YARN命令执行录制控制操作?

提交MapReduce程序至YARN的基本步骤

1、启动YARN集群:在部署并成功启动YARN集群后,就可以运行各类应用程序,YARN作为资源调度管控框架,提供资源供许多应用程序运行,包括MapReduce、Spark和Flink等。

2、准备数据文件:需要先准备一份数据文件,并将其上传到HDFS中,将文件命名为words.txt,然后上传到HDFS的指定路径。

3、创建HDFS目录:在HDFS中创建输入和输出目录,使用以下命令:

   hadoop fs mkdir p /input/wordcount
   hadoop fs mkdir p /output

4、上传数据文件:将本地的words.txt文件上传到HDFS的输入目录。

   hadoop fs put words.txt /input/wordcount/

5、提交MapReduce任务:使用hadoop jar命令提交MapReduce程序到YARN上执行,提交单词计数(wordcount)示例程序的命令如下:

如何通过MapReduce提交YARN命令执行录制控制操作?

   hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount /input/wordcount/ /output/wc

6、查看结果:提交程序后,可以在YARN的WEB UI页面看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000命名,表示部分结果文件。_SUCCESS文件是标记文件,表示运行成功。

7、查看日志:点击logs可以查看详细的运行日志,如果配置文件中配置了日志聚合功能,并且设置了历史服务器,才能在网页中显示出来。

常见问题解答

1、问题一:如何提交圆周率计算程序?

答案:提交圆周率计算程序的命令如下:

     hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar pi 3 1000

参数pi表示要运行的Java类,参数3表示设置几个map任务,参数1000表示模拟求PI的样本数(越大求的PI越准确,但是速度慢)。

如何通过MapReduce提交YARN命令执行录制控制操作?

2、问题二:如何查看MapReduce任务的执行状态和结果?

答案:提交程序后,可以在YARN的WEB UI页面(通常是http://<ResourceManager>:8088)看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000命名,表示部分结果文件。_SUCCESS文件是标记文件,表示运行成功,点击logs可以查看详细的运行日志。

通过以上步骤和命令,用户可以顺利地将MapReduce程序提交到YARN上执行,并查看任务的执行状态和结果。

原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/1193635.html

本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。

(0)
未希新媒体运营
上一篇 2024-10-09 18:08
下一篇 2024-10-09 18:10

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

产品购买 QQ咨询 微信咨询 SEO优化
分享本页
返回顶部
云产品限时秒杀。精选云产品高防服务器,20M大带宽限量抢购 >>点击进入