yarn jar
。提交MapReduce程序至YARN的步骤与命令
提交MapReduce程序至YARN的基本步骤
1、启动YARN集群:在部署并成功启动YARN集群后,就可以运行各类应用程序,YARN作为资源调度管控框架,提供资源供许多应用程序运行,包括MapReduce、Spark和Flink等。
2、准备数据文件:需要先准备一份数据文件,并将其上传到HDFS中,将文件命名为words.txt
,然后上传到HDFS的指定路径。
3、创建HDFS目录:在HDFS中创建输入和输出目录,使用以下命令:
hadoop fs mkdir p /input/wordcount hadoop fs mkdir p /output
4、上传数据文件:将本地的words.txt
文件上传到HDFS的输入目录。
hadoop fs put words.txt /input/wordcount/
5、提交MapReduce任务:使用hadoop jar
命令提交MapReduce程序到YARN上执行,提交单词计数(wordcount)示例程序的命令如下:
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount /input/wordcount/ /output/wc
6、查看结果:提交程序后,可以在YARN的WEB UI页面看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000
命名,表示部分结果文件。_SUCCESS
文件是标记文件,表示运行成功。
7、查看日志:点击logs可以查看详细的运行日志,如果配置文件中配置了日志聚合功能,并且设置了历史服务器,才能在网页中显示出来。
常见问题解答
1、问题一:如何提交圆周率计算程序?
答案:提交圆周率计算程序的命令如下:
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar pi 3 1000
参数pi
表示要运行的Java类,参数3
表示设置几个map任务,参数1000
表示模拟求PI的样本数(越大求的PI越准确,但是速度慢)。
2、问题二:如何查看MapReduce任务的执行状态和结果?
答案:提交程序后,可以在YARN的WEB UI页面(通常是http://<ResourceManager>:8088)看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000
命名,表示部分结果文件。_SUCCESS
文件是标记文件,表示运行成功,点击logs可以查看详细的运行日志。
通过以上步骤和命令,用户可以顺利地将MapReduce程序提交到YARN上执行,并查看任务的执行状态和结果。
原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/1193635.html
本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。
发表回复