在多轮MapReduce作业中，针对多CPU内核的调优配置是提升Hadoop集群性能的关键，以下是一些具体的调优策略和配置建议：
资源相关参数调整
| 配置参数 | 参数说明 |
| mapreduce.map.memory.mb | 一个Map Task可使用的最大内存（单位:MB），默认为1024，如果Map Task实际使用的内存超过该值，则会被强制杀死。 |
| mapreduce.reduce.memory.mb | 一个Reduce Task可使用的最大内存（单位:MB），默认为1024，如果Reduce Task实际使用的内存超过该值，则会被强制杀死。 |
| mapreduce.map.cpu.vcores | 每个Map Task可使用的最大CPU核心数，默认值为1。 |
| mapreduce.reduce.cpu.vcores | 每个Reduce Task可使用的最大CPU核心数，默认值为1。 |
| yarn.scheduler.minimumallocationvcores | 每个Container申请的最小CPU核数，默认值为1。 |
| yarn.scheduler.maximumallocationvcores | 每个Container申请的最大CPU核数，默认值为32。 |
Shuffle性能优化
| 配置参数 | 参数说明 |
| mapreduce.reduce.shuffle.parallelcopies | 每个Reduce去Map中取数据的并行数，默认值为5，增大此值可以提高数据读取速度。 |
| mapreduce.reduce.shuffle.merge.percent | Buffer中的数据达到多少比例时开始写入磁盘，默认值为0.66，适当增大此值可以减少磁盘IO次数。 |
| mapreduce.reduce.shuffle.input.buffer.percent | Buffer大小占Reduce可用内存的比例，默认值为0.7，适当调整此值可以平衡内存和磁盘的使用。 |
操作系统调优
文件描述符上限：增大打开文件的数据和网络连接上限，如调整net.core.somaxconn以提高读写速度和网络带宽使用率。
预读缓存区大小：增加预读缓存区大小，减少磁盘寻道次数和I/O等待时间。
关闭swap：避免因内存不足导致的频繁数据交换，提高进程执行效率。
HDFS参数调优
块大小设置：合理设置HDFS块大小（如dfs.blocksize），避免过大或过小影响MapReduce任务的执行效率。
临时文件目录：为每个磁盘设置单独的临时文件目录，提高磁盘IO效率。
系统优化
避免排序：对于不需要排序的应用，可以将排序变为可选环节，以减少计算负担。
使用Netty：在Map端使用Netty代替Jetty，提高数据传输效率。
FAQs
1. 为什么需要调整MapReduce的内存和CPU参数？
答：调整MapReduce的内存和CPU参数是为了充分利用集群资源，提高任务执行效率，通过合理分配内存和CPU资源，可以避免资源浪费和任务执行瓶颈，从而提高整个集群的处理能力。
2. Shuffle阶段的性能优化有哪些关键点？
答：Shuffle阶段的性能优化关键点包括增大并行数据读取数（mapreduce.reduce.shuffle.parallelcopies）、调整数据写入磁盘的阈值（mapreduce.reduce.shuffle.merge.percent）以及平衡内存和磁盘使用（mapreduce.reduce.shuffle.input.buffer.percent），这些调整可以减少磁盘IO次数，提高数据传输效率，从而加快Reduce任务的执行速度。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1101892.html
微信扫一扫