MapReduce 提交到 YARN 的命令
为了将 MapReduce 程序提交到 YARN 上运行，您需要使用yarn 命令，以下是一个详细的步骤和命令示例：
步骤 1: 准备 MapReduce 程序
确保您的 MapReduce 程序已经编写完毕，并且编译成了可执行的 JAR 文件。
步骤 2: 提交到 YARN
使用以下命令将 MapReduce 程序提交到 YARN： yarn jar <jarfile> [mainclass] [args…]
<jarfile>是您的 MapReduce 程序的 JAR 文件路径。[mainclass]是包含 main 方法的类名。[args...]是传递给 main 方法的参数。 示例 假设您的 MapReduce 程序的 JAR 文件名为mymapreduceprogram.jar，主类名为com.example.MyMapper，并且您想要传递一些参数给程序。
yarn jar mymapreduceprogram.jar com.example.MyMapper arg1 arg2 arg3
录制控制命令 如果您想要记录这个提交命令以便将来重复执行或分析，可以使用以下命令：
yarn jar mymapreduceprogram.jar com.example.MyMapper arg1 arg2 arg3 > submitlog.txt 2>&1
这里：>用于将命令的输出重定向到文件submitlog.txt。2>&1用于将标准错误也重定向到相同的文件。 这样，所有的输出（包括标准输出和标准错误）都会被记录到submitlog.txt文件中，方便后续查看和分析。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1135860.html
本网站发布或转载的文章及图片均来自网络，其原创性以及文中表达的观点和判断不代表本网站。如有问题，请联系客服处理。
发表回复